имхо мышь никто не сглаживает, самый простой способ - вращать и перемещать вспомогательный объект вместо камеры, а камеру стремить к ориентации и положению этого объекта. Потом просто две строчки:
transform.position = Vector3.Lerp(transform.position, targetTransform.position, positionSpeed * Time.deltatime);
transform.rotation= Quaternion.Slerp(transform.rotation, targetTransform.rotation, rotationSpeed * Time.deltatime);