https://github.com/antonkov/cg/blob/master/include/cg/operations/point_in_convex_contour.h
Только надо добавить проверки, когда в контуре меньше трех вершин.