Давно решил эту проблему, в одной книге очень хороший пример с классом камеры есть, если кому надо: Франк Луна - Введение в программирование трехмерных игр с DX9.
http://www.proklondike.com/books/cod..._dx9games.html
Смотреть главу про реализацию класса камеры, она подходит и для объектов естественно)