для круга :
если растояние от центра круга до точки равно радиусу круга то точка на круге (для вычислительных систем надо брать некоторую погрешность +-d, ибо сравнивать на равенство два числа с плавающей точкой в корне не верно)
дла овала (эллипса) :
надо проверить выполняется ли каноническое уравнение x^2 / a^2 + y^2 / b^2 = 1 подставив туда координаты нашей точки
что такое a и b можно увидеть на рисунке сдесь
ps. по-сути для круга a = b = r, потому принадлежность точки кругу тоже можно проверять через каноническое уравнение эллипса
ps2. первый курс, линейная алгебра, матчасть форева