Спасибо, Сквид.
У L знак правильный, косяк в определении второго вектора. L 'то проекция первого на нормаль. Я просто не принял во внимание, что это не длина и если умножить на нее нормаль, то итоговый вектор будет смотреть в ту же сторону, что и первый, а я его еще дополнительно обратно повернул
2(xn*l;yn*l;zn*l)
3(x1-xn*l;y1-yn*l,z1-zn*l)
вектор 4 это еще 2 третих вектора минус первый:
4(x1-2*xn*l;y1-2*yn*l;z1-2zn*l)
Теперь правильно?