У OpenCV система координат отличается от юнити тем, что Y направлен вниз.
Для позиций трансформация очевидна - инвертируем Y и будет щастье.
Для кватернионов, если правильно помню, трансформация требует инверсии .y и .w
А вообще посмотри на EmguCV. C#-обёртка с нормальным интерфейсом под юнити, с уже готовыми конверсиями из Mat в массивы, текстуры; с конверсией систем координат. Правда, пребилт у них довольно старый, там OpenCV 3.x не было (а мне надо было), а чтобы руками это собрать я где-то с неделю посношался. Но оно того стоит
