Ну думается можно отвести один слой на то, что в нем никакая физика друг с другом не будет взаимодействовать (выключить все галочки в матрице коллизий на против этого слоя). Туда перенести колайдеры частей тела, по ним стрелять рейкастом именно по этому слою. А когда рагдол - то переносить все в дефолтный слой...
Толкать предметы можно чем-то вроде
PhysicsFPSWalker или
RigidbodyFPSWalker