[alcoSHoLiK]

Надо знать уравнение гиперболы. Если же оно неизвестно, как вариант, можно заполнить нужную область какими-то данными (одним цветом). Затем построить апроксимирующую кривую - можно просто прямую, чтобы получился треугольник. И проверять цвет в полученной точке. Если не попал, выбираешь новую точку.
Если уравнение задано, должно быть понятно, как делать.