За основу мат. библы можно взять собственно сам булет - абсолютно бесплатный и открытый двиг. Там есть:
- прекрасная 3Д математика с векторами, матрицами, кватернионами и трансформациями;
- отличный механизм определения коллизий с множеством алгоритмов и видов тел;
- ну и собстно сам физ. движок со множеством настроек!
Таким образом можно убить сразу 2-3 зайцев
))