Physics в Юнити урезанный. Во всяком случае ко многому доступа нет. Не знаю кто виноват, Юнитект, или сам Physics, но объекты проскакивают коллайдеры даже при невысокой скорости. Если сильно уменьшать FixedTime, то при небольшой скорости объектов можно избавиться от пролета коллайдеров. Но при этом возможны тормоза именно из-за низкого FixedTime.
Вообще Physics достаточно тормозной. Нео на русском форуме, и еще один пользователь прикручивали к Юнити Jitter. Можно посмотреть тут:
Форум
Говорят значительно быстрее работает. Но готового решения никто не выложил.