Aлгоритм построения пространственной структуры сцены
Authors: БЕЛЯКОВ П.В. 
Published: January 2025

Одной из наиболее актуальных проблем, связанных с разработкой систем технического зрения, является проблема высококачественной пространственной реконструкции статической сцены по изображениям с движущейся камеры. Построение трехмерных моделей требуется во многих областях, где активно ведется роботизация человеческой деятелности: медицине, промышленности, системах управления автономными транспортными средствами и многих других. Традиционные методы пространственной реконструкции основаны на поиске локальных особенностей на изображениях, затем между выявленными особенностями устанавливается соответствие, по этому соответствию определяется фундаментальная матрица и уже на ее основе вычисляется пространственная структура сцены. Качество методов, основанных на вычислении особенностей, зависит от качества выборки особенностей для вычисления фундаментальной матрицы. Предлагается алгоритм восстановления трехмерной структуры сцены по последовательности изображений, который основан на плотном методе сопоставления изображений оптическом потоке, но с учетом ограничений эпиполярной геометрии. Алгоритм пространственной реконструкции основывается на минимизации совместного функционала вычисления оптического потока и эпиполярной геометрии с одновременным определением пространственных координат точек сцены. Такой способ минимизации одного общего функционала для всех неизвестных обеспечивает более высокую точность их совместного вычисления и соответственно более качественное построение пространственной структуры сцены. Эксперименты показывают, что метод является хорошей альтернативой подходам, основанным на поиске особых точек на изображениях и вычислении их позиции в трехмерном пространстве по принципу триангуляции. В качестве входных данных требуется последовательность изображений статической сцены, полученных при движении наблюдателя по непрерывной траектории. Кроме того, предполагаются известными внутренние параметры камеры.
One of the most important problems in the technical vision systems development is the problem of a static scene highquality spatial reconstruction in accordance with images captured by moving camera. 3Dstructure reconstruction is required in different areas where human activity is being actively robotized: medicine, industry, autonomous vehicle control systems, and many others. Traditional methods of spatial reconstruction are based on the images local features search, features matching, the fundamental matrix evaluation according this correspondence and the spatial structure of the scene is then calculated. The quality of the feature based methods generally depends of the feature sample quality for the fundamental matrix evaluation. Based on the variational optical flow model with the additional epipolar geometry constraint algorithm of a scene structure reconstruction from a sequence of images is proposed. The proposed approach of the spatial reconstruction is build on the optical flow and epipolar geometry joint functional minimization with the simultaneous scene points coordinates determination. The method of one gathered functional for all variables minimization provides higher accuracy of their joint computation and, accordingly, better scene spatial structure reconstruction. Experiments show that the method is a good alternative to the feature matching based approaches and their 3Dposition computation based on triangulation. A sequence of a static scene images is required as input data and the internal parameters of the camera are assumed to be known.