var to = Quaternion.LookRotation(targetTransform.position - transform.position);
попробуй для определения направления поворота просто здесь проверять значение to.x(или to.w) (для оси Y), и to.y (для оси X) на меньше-больше нуля.
теоретически должно работать.