В смысле не двигает остальные объекты? Или CharacterController проходит сквозь объекты? Объясняйся понятнее.
UPD: CharacterController надо двигать функцией Move, не трансформом.
UPD2: Вот еще варианты решения похожей проблемы:
http://answers.unity3d.com/questions...ontroller.html