[Igor]

пространство 3d?
Геометрически делается так - пусть прямые "а" и "б", берём плоскость, перпендикулярную "а" (назовём её N), делаем на неё проекцию "б", ищем расстояние от проекции "б" до точки пересечения a и N. (расстояние от прямой до точки найдёшь?)
P.S. должны быть более изящные способы

UPD: можно обозначить вектор "с" как кратчайший путь между "а" и "б". Условие - скалярные произведения с*а=0 и с*b=0.

А если думать лень, написать функцию нахождения расстояния от точки до прямой "а" и бинарным поиском пробежаться по "б", подбирая точки. (тем более если "б"-отрезок)