Ужасный инженерный способ:
Представляешь, что у каждой точки есть масса. Считаешь общий момент инерции относительно произвольной точки.
Твоя точка это та в которой момент инерции минимальный. Есть маааленькая кучка формул из термеха как находить весь этот ужас и считать момент инерции относительно другой оси если известен относительно другой. Из них можно выкопать нужный алгоритм. И это будет правильно, но надо ли оно тебе?
Центр тяжести.
Центром тяжести тела называется точка, относительно которой суммарный момент сил тяжести, действующих на систему, равен нулю. Например, в системе, состоящей из двух одинаковых масс, соединённых несгибаемым стержнем, и помещённой в неоднородное гравитационное поле (например, планеты), центр масс будет находиться в середине стержня, в то время как центр тяжести системы будет смещён к тому концу стержня, который находится ближе к планете (ибо вес массы P = m·g зависит от параметра гравитационного поля g), и, вообще говоря, даже расположен вне стержня.
Можно для двух-трех точек определить вектор направления гравитации. Поидее они пересекутся, там центр тяжести
В твоем случае f=G*m*M/R^2
Здесь G — гравитационная постоянная, равная примерно 6,6725Ч10-11 мі/(кг·сІ).
Направлена по вектору соединяющему точку для которой считаешь. Складываешь N векторов. результат показывает в сторону центра тяжести.