С трехмерной выч. геометрией я не работал, но может чтонибудь придумаю. Я правильно понимаю задачу: нужен быстрый алгоритм (быстрее, чем цикл по всем треугольникам) для проверки того, принадлежит ли точка трехмерному выпуклому многограннику?