В Qt можно на саму форму рисовать (через QPainter), в RAD Studio (бывший с++билдер) тоже можно на форму рисовать (в TCanvas), простыми точками (цвет можно менять) - обе среды с языком "плюсЫ"
.
Уравнение функции y(x) записываешь и прогоняешь в цикле х от минус скольки-то до плюс скольки-то, с маленьким шагом, чтоб сплошная линия получалась.
Либы я не знаю.