Можно прибегнуть тогда к более сложному варрианту, например индекс указывать 2D, и он будет приблезителен к координате. Таким образом начинать не всё перебирать, а только начиная с индекса приближенного к нужной координате, с маленьким разбросом например в 5 влево, и 5 вправо, таким образом меньше переборов. Но тут нужно продумать всю системку, т.к. вершин может быть очень много, и они тупо не влезут в массив, тогда придётся брать масштаб, например индексы будут в 3 раза больше чем приближенная округлённая позиция.
Вообще как понимаю ты делаешь Секторы?
По сути если размер сектора не огромный, то перебор другой сотни вершин - не сложная затея..