Суммарный вес всех костей равен 1. Неужели так сложно догадаться, что надо тупо перемножить вершину на матрицу каждой кости, результат домножить на вес и потом все вектора сложить?
Vector resultPosition;
for(int i = 0; i < vertex->getTotalWeights(); i++)
resultVector += (skeleton->getBoneMatrix(vertex->getBoneIndex(i)) * vertex->getPosition()) * vertex->getBoneWeight(i);