Устройство для записи изображения в трехмерном масштабе, способ создания 3D-изображения и способ формирования устройства для записи изображения в трехмерном масштабе
DEVICE FOR RECORDING IMAGES IN THREE-DIMENSIONAL SCALE, METHOD FOR FORMATION OF 3D-IMAGE AND METHOD FOR PRODUCING DEVICE FOR RECORDING IMAGES IN THREE DIMENSIONAL SCALE

Изобретение относится к устройству для записи изображения в трехмерном масштабе, имеющему устройство ввода изображения, дальномер и устройство для обработки изображения.
Кроме того, изобретение относится к способу создания 3D-изображения.
Наконец, изобретение относится к способу формирования такого устройства для записи изображения в трехмерном масштабе.
Известно создание 3D-изображения объектов с помощью проецирования образа или считывания. Подходящие для этого устройства для записи изображения в трехмерном масштабе сложны и требуют наиболее квалифицированного пользователя.
Целью изобретения является создание более простого способа формирования приближенного 3D-изображения.
Для решения этой задачи согласно изобретению предлагаются признаки п. 1 формулы. В частности, для устройства для записи изображения в трехмерном масштабе указанного типа согласно изобретению предлагается, чтобы было выполнено устройство для обработки изображения для идентификации, по меньшей мере, одной группы соответствующих друг другу элементов изображения в серии, по меньшей мере, двух кадров, снятых устройством ввода изображения, чтобы устройство для обработки изображения было выполнено для вычисления, по меньшей мере, одного значения трехмерного пространственного изображения, по меньшей мере, для одной группы соответствующих друг другу элементов изображения по соответствующему положению элементов кадра из группы кадров серии и что устройство для обработки изображений выполнено для масштабирования, по меньшей мере, одного рассчитанного значения трехмерного пространственного положения с помощью данных о расстоянии, измеренном дальномером. При этом выгодно, что трехмерное пространственное изображения возможно сформировать из серии снятых кадров, например, кадров видеоряда, на основе положения идентифицированных элементов кадра, соответствующих друг другу. Из этого можно рассчитать значения трехмерного пространственного положения идентифицированных элементов кадра, которые можно масштабировать с помощью значения расстояния или нескольких значений расстояния до получения фактического размера. Таким образом можно получить действительные длины, площади и/или объемы пространства. При этом выгодно, что нужно измерить очень малое количество расстояний, например, одно единственное расстояние или менее десяти расстояний, или менее половины расстояний по сравнению с идентифицированными группами соответствующих друг другу элементов изображения. Это значительно упрощает требования к используемому дальномеру, в результате чего упрощается и его обслуживание.
В качестве соответствующих элементов изображения обозначены, таким образом, элементы на кадрах, которые по содержанию соответствуют друг другу по совпадающим или похожим признакам или другим образом.
Предпочтительно дальномер предназначен для измерения расстояния в направлении измерения, имеющем, например, форму линии или луча. Например, направление измерения может быть сформировано измерительным лучом дальномера.
Дальномер может быть выполнен, таким образом, для точечного измерения расстояния.
Дальномер может быть основан на разных принципах измерения. Возможно, например, лазерное дистанционное измерение, когда дальномер выполнен в виде лазерного устройства для измерения расстояния. При этом дальномер формирует лазерный луч в виде измерительного луча, с помощью которого можно измерить расстояние. Можно выполнять измерения также с помощью ультразвука.
Можно предусмотреть выполнение устройства вывода, для вывода, по меньшей мере, одного значения о масштабированном трехмерном пространственном положении. Таким образом, можно подготовить и/или в последующем обработать данные о масштабировании полученного трехмерного пространственного изображения.
В одной форме выполнения изобретения можно предусмотреть, что устройство обработки изображения выполнено для вычисления положения устройства ввода изображения при съемке, исходя из соответствующих положений элементов изображения, по меньшей мере, одной группы. При этом выгодно, что можно сделать выводы об условиях съемки. Кроме того, выгодно, что данные об измеренном расстоянии можно соотнести с местоположением съемки.
В одной из форм выполнения изобретения можно предусмотреть, что устройство обработки изображения выполнено для получения других данных о трехмерном пространственном положении по уже вычисленным данным о трехмерном пространственном положении и положениях для съемки. При этом выгодно, что можно определить дополнительные опорные точки для более точного трехмерного пространственного изображения. Например, устройство обработки изображения может быть выполнено для вычислений способом формирования стереоизображения и/или по граничной плоскости, вычисленной методом множества уровня.
Идентификация групп соответствующих элементов изображения может происходить, например, за счет того, что сначала идентифицируют элемент изображения в кадре и на других кадрах ищут элементы изображения, которые по содержанию соответствуют идентифицированному элементу изображения.
Предпочтительно идентифицируют несколько групп, например, более 10 или более 50 или даже более 100 групп соответствующих элементов изображения. Из положений элементов изображения в этих группах в соответствующих, отдельных кадрах можно построить систему уравнений, которая описывает отдельные изображения в виде проекций трехмерного построения элементов изображения в пространстве. Это трехмерное пространственное построение представляет собой пригодное приближение снятой сцены. При этом, устройство обработки изображения можно применить для реализации этой системы уравнений для вычисления для каждой группы элементов кадра данных о трехмерном пространственном положении.
Особенно хорошо, если устройство для записи изображения в трехмерном масштабе представляет собой фотоаппарат, камеру или мобильный телефон, оснащенный функцией фотосъемки, планшетник или т.п., соответственно оснащенный съемным дальномером. Устройство для записи изображения в трехмерном масштабе может быть выполнено в виде тепловизионной камеры.
Так как изобретение обходится незначительным количеством измерений расстояния, например, одним единственным измерением расстояния, можно применять дальномеры, отвечающие лишь ограниченным требованиям.
Можно даже оснастить имеющееся устройство ввода изображения, например, камеру или мобильный телефон с фотокамерой, смартфон, планшетник или тепловизионную камеру, съемным дальномером, например, прикрепляемым или насаживаемым или т.п., для подготовки к работе устройства для записи изображения в трехмерном масштабе, с помощью которого, согласно соответствующему построению системного программного обеспечения, можно реализовать заявленный способ.
В одной форме выполнения изобретения можно предусмотреть, чтобы устройство обработки изображения было выполнено для идентификации, по меньшей мере, одной группы соответствующих друг другу элементов изображения с помощью анализа признаков. При этом выгодно, что можно идентифицировать характерные элементы изображения, для которых в остальных кадрах серии можно идентифицировать с высокой вероятностью элементы изображения, которые соответствуют друг другу по содержанию.
В одной форме выполнения изобретения можно предусмотреть, чтобы устройство для обработки изображения было выполнено для деления кадров на сегменты. При этом выгодно, что отдельные элементы кадров можно в дальнейшем обрабатывать отдельно друг от друга.
В одной из форм выполнения изобретения можно предусмотреть, чтобы устройство обработки изображения было предназначено для вычисления значения расстояния, относящегося, по меньшей мере, к одной группе соответствующих друг другу элементов изображения методом экстра- и/или интерполяции, по значению уже измеренного расстояния и значению трехмерного пространственного положения. При этом выгодно, что можно получить дополнительные данные о расстоянии, которые могут принадлежать группам элементов изображения. Тем самым можно сократить количество необходимых измерений расстояния. При этом, можно использовать известные методы экстраполяции и/или интерполяции.
Альтернативно или дополнительно можно предусмотреть, чтобы устройство обработки изображения было выполнено для вычисления других данных о трехмерном пространственном положении методом экстраполяции и/или интерполяции. При этом выгодно, что можно вычислить, и другие опорные точки для получения более точного 3D-изображения.
В одной форме выполнения изобретения можно предусмотреть, чтобы дальномер был выполнен для изменения ориентации направления измерения и/или измерительного луча. Для этого, например, можно предусмотреть, чтобы дальномер был расположен с возможностью перемещения в разных направлениях измерения. Альтернативно или дополнительно можно предусмотреть, чтобы путь измерительного луча можно было менять, например, с помощью переключаемого и/или перемещаемого зеркала или других оптических элементов. Тем самым можно менять точку измерения для измерения расстояния. При этом выгодно, что с помощью дальномера можно выполнить множество замеров расстояния. Кроме того, выгодно, что можно выполнить более точные замеры расстояния для элементов изображения, соответствующих идентифицированным группам элементов изображения. Например, при этом можно настроить дальномер на элементы изображения, которые каждый раз соответствуют идентифицированной группе элементов изображения. Тем самым можно выполнить замеры расстояния до отдельных или всех идентифицированных групп элементов изображения.
В одной форме выполнения изобретения можно предусмотреть, чтобы было выполнено устройство наведения для ориентации направления измерения дальномера, причем так, чтобы данные об измеренном расстоянии относились к сегменту кадра. Выгодно, что целенаправленно можно выполнить измерения расстояния, которые можно соотнести каждый раз с отдельной группой элементов кадра. Этого можно добиться путем ориентирования измерительного луча.
При этом можно вычислить или оценить актуальное положение для съемки с помощью временной экстраполяции уже вычисленных положений для съемки и/или путем оценки выходного сигнала датчика движения и/или ускорения. С помощью этого нового положения для съемки определяют направление измерения для целенаправленного получения данных о расстоянии, например, для элемента изображения, для которого еще нет или имеется еще очень мало данных о трехмерном пространственном положении.
Наиболее простые формы выполнения в конструктивном плане получаются тогда, когда дальномер жестко закреплен на устройстве ввода изображения или относительно устройства ввода изображения. Для изменения направленности измерительного луча можно применить средства с подвижными и/или переключаемыми зеркалами.
В одной форме выполнения изобретения можно предусмотреть, чтобы дальномер был выполнен для формирования измерительного луча в спектральной области, обнаруженной с помощью устройства ввода изображения. При этом выгодно, что можно выполнить поверочные измерения, при которых световые образцы, сформированные дальномером, можно идентифицировать как элементы изображения группы. При этом выгодно, что по этим положениям этих элементов изображения можно вычислить ориентацию дальномера относительно направления съемки, выполняемой устройством ввода изображения.
В одной форме выполнения изобретения можно предусмотреть наличие датчика движения и/или ускорения для определения движения устройства ввода изображения. При этом выгодно, что вычисление данных о трехмерном пространственном положении подкрепляется, когда по выходному сигналу датчика движения и/или ускорения получают информацию об изменении снятого кадра в результате изменения положения устройства ввода изображения при съемке. Тем самым еще раз можно сократить объем необходимых вычислений в устройстве обработки изображения. Кроме того, выгодно, что для следующих съемок изображений соответствующие положения для съемки можно оценивать или вычислять по уже вычисленным положениям для съемки с помощью временной экстраполяции и интеграции выходного сигнала.
В одной из форм выполнения изобретения можно предусмотреть, чтобы устройство обработки изображения было выполнено для исключения грубых ошибок, по меньшей мере, в одном значении трехмерного пространственного положения. При этом выгодно, что из всего количества вычисленных данных о трехмерном пространственном положении можно отобрать те данные, которым с большой степенью вероятности можно подчинить уже вычисленные данные об измеренном расстоянии. Кроме того, выгодно, что можно исключить данные о трехмерном пространственном положении, основывающиеся, например, на ошибках при вычислении или идентификации. Тем самым можно повысить качество формирования 3D-изображения.
В одной из форм выполнения изобретения можно предусмотреть, чтобы устройство обработки изображения было выполнено для соотнесения геометрического объекта, по меньшей мере, с одним масштабированным значением трехмерного пространственного положения. Геометрическим объектом может быть одномерный, двухмерный или трехмерный пробный образец или более сложный объект. Например, устройство обработки изображения может быть выполнено для соотнесения линии, в частности, прямой линии, с группой, по меньшей мере, из двух значений трехмерного пространственного положения. Например, устройство обработки изображения может быть выполнено для соотнесения области, в частности, плоскости, с группой, по меньшей мере, из трех значений трехмерного пространственного положения. При этом выгодно, что можно выполнить интерполирование и/или продолжения 3D-изображения в графической форме.
В одной из форм выполнения изобретения можно предусмотреть, чтобы устройство обработки данных было выполнено для вычисления, по меньшей мере, одной длины, площади и/или объема пространства по преимущественно масштабированным данным о трехмерном положении. Преимущественно описан отрезок, площадь и/или пространство, для которого можно рассчитать соответствующую величину с помощью вычисленных данных о трехмерном пространственном положении. При этом выгодно, что реальные физические базовые параметры, например, размер площади или пространства освещенных объектов, можно подготовить для дальнейшей обработки и/или оценки результатов измерений.
В одной из форм выполнения изобретения можно предусмотреть, что устройство вывода выполнено для вывода в графической форме, по меньшей мере, одной группы соответствующих друг другу элементов кадра в точке изображения, соответствующей преимущественно масштабированному значению трехмерного пространственного положения. При этом выгодно, что можно подготовить другие двухмерные изображения, например, перспективные изображения вычисленного 3D-изображения.
Для решения указанной задачи согласно изобретению в способе построения 3D-изображения предлагается с помощью устройства ввода изображения проводить съемку серии, по меньшей мере, двух кадров сцены и идентифицировать на снятых кадрах, по меньшей мере, одну группу соответствующих друг другу элементов изображения, вычислять в устройстве обработки изображения, по меньшей мере, одно значение трехмерного пространственного изображения для, по меньшей мере, одной группы соответствующих друг другу элементов изображения, измерять с помощью дальномера, по меньшей мере, одно значение расстояния до сцены и выполнять масштабирование значения положения при помощи значения измеренного расстояния. При этом выгодно, что 3D-изображение можно получить, проведя наименьшее число замеров расстояния. Для этого устройство обработки изображения можно оснастить вычислительной техникой и выполнить таким образом, чтобы для вычисления, по меньшей мере, одного значения трехмерного пространственного положения имелась система уравнений, которая описывает положения соответствующих друг другу элементов изображения, по меньшей мере, из одной группы в отдельных кадрах в виде точек встречи проекций. Особенно хорошо, если идентифицируют множество таких групп для возможности наиболее точного отображения сцены в трехмерном масштабе. Заявленный способ отличается потребностью в незначительном количестве вычислений и измерений. Предпочтительно заявленный способ реализуется с помощью заявленного устройства для записи изображения в трехмерном масштабе.
В одной из форм выполнения изобретения можно предусмотреть, чтобы из соответствующего положения элементов кадра, по меньшей мере, из одной группы на кадрах серии было вычислено, по меньшей мере, одно положение для съемки устройства ввода изображения в момент съемки. При этом выгодно, что ситуация съемки очень просто воспроизводится с помощью техники вычислений.
Для этого снова можно привлечь систему уравнений. Предпочтительно эта система уравнений такая же, как и при вычислении данных о трехмерном пространственном положении по положениям элементов кадра. При этом выгодно, что с помощью положений при съемке можно вычислить прохождение луча в процессе отображения.
В одной из форм выполнения изобретения можно предусмотреть вычисление других данных о трехмерном пространственном положении для других элементов кадра до или после масштабирования. При этом выгодно, что разрешающая способность полученного 3D-изображения улучшается.
В одной форме выполнения изобретения можно предусмотреть, чтобы другие данные о трехмерном пространственном положении вычислялись способом создания стереоизображения. Способ создания стереоизображения известен из патента DE 102007055262 A1. Он может характеризоваться, например, тем, что сначала соответствующие друг другу элементы изображения идентифицируют, по меньшей мере, в двух кадрах, а затем, используя вычисленное положение при съемке, определяют ход лучей, образующих изображение, в трехмерном пространстве, (примерная) точка пересечения которых дает следующие данные о трехмерном положении в пространстве.
В одной из форм выполнения изобретения можно предусмотреть, чтобы следующие данные о трехмерном пространственном положении были определены по граничной плоскости, вычисленной методом множества уровня. Применение метода множества уровня для вычисления граничной плоскости само по себе известно, например, из публикации К. Kolev, T. Brox, D. Cremers: Fast Joint Estimation of Silhouettes and Dense 3D Geometry from Multiple Images, IEEE Transactions on Pettern Analysis and Machine Intelligence, 34 (3): 493-505, 2012. Используемый при этом выгодным образом метод множества уровня можно характеризовать, например, тем, что определяют граничную плоскость, точки которой в трехмерном пространстве во всех изображениях серии с учетом каждый раз достоверных, заранее вычисленных положений для съемки имеют одинаковый или, по меньшей мере, достаточно похожий вид. Граничная плоскость описывает тем самым, по меньшей мере, приближенно обнаруженную устройством ввода изображения часть поверхности снятой сцены. Другие значения трехмерного пространственного положения можно теперь определить, например, по граничной плоскости, получив положение граничной плоскости в пространстве и положение объектов на граничной плоскости.
В одной из форм выполнения изобретения можно предусмотреть идентификацию, по меньшей мере, одной группы соответствующих друг другу элементов изображения с помощью анализа признаков. При этом выгодно, что можно идентифицировать и идентифицируют характерные элементы изображения, для которых соответствующие друг другу элементы изображения на остальных кадрах можно легко обнаружить с помощью техники вычислений. Анализ признаков может включать в себя обнаружение углов, краев или прочих признаков, например, с помощью масштабно-инвариантной трансформации возможностей.
В одной из форм выполнения изобретения можно предусмотреть разбивку снятых кадров на сегменты с помощью устройства обработки изображения. При этом выгодно, что сегменты можно обрабатывать порознь. Например, можно формировать сегменты кадра, содержащие всякий раз только один элемент изображения из группы.
В одной форме выполнения изобретения можно предусмотреть автоматическое измерение расстояния до элемента сцены, соответствующего, по меньшей мере, одной группе соответствующих друг другу элементов кадра. При этом выгодно, что данные о трехмерном пространственном положении, рассчитанные, по меньшей мере, для одной группы, особенно точно соотносят с фактически измеренным значением расстояния.
В одной форме выполнения изобретения можно предусмотреть вычисление значения расстояния, относящегося, по меньшей мере, к одной группе соответствующих друг другу элементов изображения, методом экстра- или интерполяции, по меньшей мере, по одному значению измеренного расстояния и, по меньшей мере, одному значению трехмерного пространственного положения. При этом выгодно, что другие значения расстояния можно получить без дополнительных измерений. Тем самым еще раз можно улучшить качество вычисленного 3D-изображения.
Альтернативно или дополнительно можно вычислить другое значение расстояния методом экстраполяции и/или интерполяции по уже полученным данным о трехмерном пространственном положении. При этом выгодно, что можно вычислить дополнительные опорные точки и подготовить их для формирования 3D-изображения.
В одной из форм выполнения изобретения можно предусмотреть, что масштабирование можно вычислить по данным о расстоянии, относящимся, по меньшей мере, к одной группе соответствующих друг другу элементов кадра. Предпочтительно, эти данные о расстоянии получают методом экстра- или интерполяции. При этом выгодно, что точность масштабирования можно повысить, не прибегая к целенаправленному измерению значения расстояния. Значение расстояния можно также измерить напрямую.
В одной из форм выполнения изобретения можно предусмотреть, что расстояние измеряют с помощью измерительного луча, находящегося в спектральной области, в которой находится устройство ввода изображения. При этом выгодно, что можно предпринять выверку. Для этого можно использовать точку встречи измерительного луча на объекте сцены, например, световой образец, в качестве характерного элемента изображения для идентификации группы соответствующих друг другу элементов кадра. Тем самым с помощью упомянутых уравнений можно вычислить ориентацию дальномера относительно устройства обработки данных. Этот результат выверки еще раз может повысить точность вычисления данных о трехмерном пространственном положении.
В одной из форм выполнения изобретения можно предусмотреть вычисление движения устройства ввода изображения между двумя отдельными съемками с помощью выходного сигнала датчика движения и/или ускорения. При этом выгодно, что вычисление данных о трехмерном пространственном положении опять же упрощается, так как дополнительные данные об изменении положения при съемке между двумя съемками уже имеются.
В одной из форм выполнения изобретения можно предусмотреть вычисление, по меньшей мере, одного значения трехмерного пространственного положения с помощью способа одновременной локализации и картирования. Дополнительно или альтернативно можно предусмотреть, что вычисляют, по меньшей мере, одно значение трехмерного положения в пространстве методом определения структуры объекта по отображению движения. При этом выгодно, что для реализации этапов метода можно использовать известные алгоритмы.
В одной форме выполнения изобретения можно предусмотреть, что представление в трехмерном пространстве, по меньшей мере, одной группы соответствующих друг другу элементов кадра рассчитывают, по меньшей мере, по одному масштабированному значению трехмерного пространственного положения. При этом выгодно, что можно сформировать, по меньшей мере, примерное 3D-изображение или 3D-модель снятой сцены.
В одной из форм выполнения изобретения можно предусмотреть идентификацию области пространства, в которой следует вычислить другие данные о трехмерном пространственном положении, и настроить дальномер таким образом, чтобы измерить расстояние до области пространства. При этом выгодно, что целенаправленно можно получить другие данные о трехмерном пространственном положении. Таким образом, вычисленное 3D-изображение можно целенаправленно улучшить.
При этом, для настройки дальномера можно предусмотреть расчет или оценку реального положения для съемки по заранее вычисленным положениям для съемки. Это можно выполнить, например, с помощью временной экстраполяции серии положений для съемки и/или оценки выходного сигнала датчика движения и/или ускорения. При этом выгодно, что можно заранее подготовить положение для съемки в данный момент, по меньшей мере, примерно в виде базового значения.
В одной из форм выполнения изобретения можно предусмотреть, что, по меньшей мере, с одним значением трехмерного пространственного положения соотносят геометрический объект. При этом выгодно, что более сложные объекты можно сформировать с помощью простых средств техники вычислений. Фактическое построение снятой сцены можно воспроизвести с незначительными затратами на технику вычисления.
В одной форме выполнения изобретения можно предусмотреть, что для вычисления, по меньшей мере, одного значения трехмерного пространственного положения применяют метод произвольной выборки. При этом выгодно, что заранее подготовлен метод, реализуемый с незначительными затратами на технику вычислений и дающий полезные результаты.
В одной форме выполнения изобретения можно предусмотреть вычисление, по меньшей мере, одной длины, площади и/или объема пространства по преимущественно масштабированным значениям трехмерного пространственного положения. Таким образом, можно получить измеренные величины в пересчете на реальные соотношения величин.
В одной из форм выполнения изобретения можно предусмотреть, что с помощью устройства вывода, по меньшей мере, одну группу выводят в точке изображения, соответствующей, по меньшей мере, одному значению трехмерного пространственного положения. При этом выгодно, что можно создавать и выводить и создают и выводят двухмерные изображения трехмерного пространственного представления. Это выведение может быть выполнено, например, с помощью дисплея или в виде распечатки, цифрового представления данных или другим способом.
Для решения указанной задачи, согласно изобретению, в способе формирования устройства для записи изображения в трехмерном масштабе предлагается соединить дальномер с устройством ввода изображения, снимать серию, по меньшей мере, одного кадра сцены, измерять расстояние до каждого изображения, определять для каждого значения измеренного расстояния положение в соответствующем кадре, к которому относится это значение расстояния, вычислять по значению измеренного расстояния и определенным положениям изображения, по меньшей мере, один параметр, описывающий ориентацию дальномера относительно устройства ввода изображения. Необходимое количество снятых кадров серии зависит от числа вычисляемых параметров для ориентации дальномера относительно устройства ввода изображения. Чем больше степень свободы для ориентации, тем больше требуется кадров и соответствующих замеров расстояния для определения параметров. В самом благоприятном случае может быть достаточно уже одного кадра с одним значением расстояния для определения оставшейся степени свободы ориентации. При достаточно большом количестве снятых кадров и данных о расстоянии можно вычислить также параметры, описывающие характеристики изображения устройства ввода изображения, например, фокусное расстояние, искажение изображения, опорную точку и другие параметры оптической системы, и произвести расчеты с помощью известных уравнений. Таким образом, можно заранее подготовить или определить параметры, с помощью которых можно реализовать описанный способ формирования 3D-изображения. При этом выгодно, что очень просто можно модернизировать уже имеющееся устройство ввода изображения, например, смартфон, планшетник или т.п. Устройство ввода изображения можно сформировать путем установки подходящего программного обеспечения, например, 3D-изображения. При этом, количество снятых кадров серии благоприятным образом зависит оттого сколько параметров ориентации дальномера относительно устройства ввода изображения уже известно или в рамках необходимой точности могут считаться подходящими. Чем больше параметров ориентации известно, чем меньше степени свободы для ориентации остается, тем меньше требуется съемок изображения в серии.
При достаточно большом количестве снятых кадров в серии можно, таким образом, рассчитать также параметры, которые характеризуют структуру изображения, снятого устройством ввода изображения. К таким параметрам можно отнести, например, фокусное расстояние, опорную точку, искажение изображения или другие параметры устройства ввода изображения.
В одной из форм выполнения изобретения можно предусмотреть проецирование известной и/или искусственно созданной сцены с помощью измерительного луча дальномера. Так, простым способом при каждом соединении с дальномером можно снова выполнить выверку, если ориентация дальномера неизвестна.
Теперь изобретение поясняется более подробно на примерах выполнения, однако не ограничивается этими примерами. Другие примеры выполнения возникают в результате сочетания признаков отдельных или нескольких пунктов формулы изобретения и/или отдельных или нескольких признаков примеров выполнения.
Фиг. 1 представляет заявленное устройство для записи изображения в трехмерном масштабе в очень упрощенном виде для раскрытия изобретения,
Фиг. 2 - другое заявленное устройство для записи изображения в трехмерном масштабе в очень упрощенном виде,
Фиг. 3 - еще одно заявленное устройство для записи изображения в трехмерном масштабе в очень упрощенном виде,
Фиг. 4 - запись изображений кадра в сильно упрощенном виде для раскрытия заявленного способа,
Фиг. 5 - логическая схема программы, реализуемая в примерах выполнения изобретения согласно Фиг. 1-3,
Фиг. 6 - очень условное принципиальное изображение интерполяции данных о расстоянии в примере выполнения изобретения,
Фиг. 7 - последовательность кадров, снятых заявленным способом.
На Фиг. 1 представлено заявленное устройство для записи изображения в трехмерном масштабе в сильно упрощенном виде.
На Фиг. 1 устройство для записи изображения в трехмерном масштабе 1 представлено в виде готового к рабочему процессу смартфона.
Устройство для записи изображения в трехмерном масштабе 1 имеет устройство ввода изображения 2 и дальномер 3. Дальномер 3 предназначен для измерения расстояния в направлении измерения. В примере выполнения дальномер 3 выполнен в виде лазерного дальномера.
В примере выполнения устройство ввода изображения 2 представляет собой цифровую камеру указанного смартфона.
Дальномер 3 насажен на смартфон для формирования устройства записи изображения в трехмерном масштабе 1 и подсоединен для обмена данными и/или сигналами.
Внутри устройства для записи изображения в трехмерном масштабе 1 находится устройство обработки изображения 4.
Кроме того, в устройстве для записи изображения в трехмерном масштабе 1 находится устройство вывода 5 в виде дисплея.
На Фиг. 2 и Фиг. 3 представлены в сильно упрощенном виде принципиальные схемы других заявленных устройств для записи изображения в трехмерном масштабе 1 для раскрытия изобретения. В функциональном и/или конструктивном плане относительно примера выполнения согласно Фиг. 1 однотипные или подобные элементы и функциональные узлы обозначены теми же позициями и повторно отдельно не описаны. Поэтому выполнение, представленное на Фиг. 1, относится и к выполнению согласно Фиг. 2 и 3.
Пример выполнения согласно Фиг. 2 отличается от примера выполнения согласно Фиг. 1 тем, что устройство для записи изображения 2 выполнено в виде тепловизионной камеры. Таким образом, с помощью устройства ввода изображения 2 лучи света можно обнаружить в инфракрасной спектральной области для формирования тепловой диаграммы и/или для измерения распределения температур бесконтактным способом.
Дополнительно устройство для записи изображения в трехмерном масштабе 1 имеет на Фиг. 2 еще и камеру для видимой области спектра 6 (VIS-камеру) для записи изображения известным образом в видимой области спектра.
Пример выполнения согласно Фиг. 3 отличается от примера выполнения согласно Фиг. 1 тем, что устройство ввода изображения 2, дальномер 3, устройство обработки изображения 4 и блок вывода 5 встроены в прибор. Можно обойтись без блока вывода 5 или выполнить его в виде интерфейса данных.
Устройства обработки изображений 4 приведенных примеров выполнения предназначены для реализации заявленного способа, описанного далее согласно Фиг. 4-7, путем программирования и электронного подключения.
Сначала на этапе ввода изображения 7 снимают серию кадров 9, 10 сцены 11.
При этом, устройство ввода изображения 2 предназначено для съемки 12 кадров 9, 10.
После каждой съемки 12 происходит запрос 13 относительно того, нужно ли выполнять дальнейшую съемку 12.
Если это так, то сначала производят изменение 14 положения при съемке, т.е. положение и ориентацию устройства ввода изображения 2.
Устройство ввода изображения 2 переводится, например, из положения при съемке 15 в положение при съемке 16.
Затем выполняют новую съемку 12.
Например, устройство ввода изображений 2 снимает в положении съемки 15 кадр 9, а в положении съемки 16 - кадр 10. Получается серия 8 кадров 9, 10, представленная на Фиг. 7.
В примере нужно снять, по меньшей мере, три кадра 9, 10 для формирования серии. В действительности снимают множество кадров 9, 10, например, в виде видеоряда.
Если запрос 13 отклонен, то формирование серии 8 завершено.
Теперь в первом кадре 9 серии 8 идентифицируют характерные элементы кадра 18, 19, 20, 21 на этапе идентификации 22. Это можно выполнить путем определения краев и/или углов, контраста или другим способом.
При анализе признаков 23 описание элементов кадра 18, 19, 20, 21 оценивают по признакам.
На этапе определения соответствия 24 с помощью устройства обработки изображений 4 проводится поиск элементов кадра 25, 26, 27, 28 во втором кадре 10 серии 8, соответствующих элементов кадра 18, 19, 20, 21 на основе оцененного описания. Для этого можно применять, например, корреляционный анализ и/или сам по себе известный SLAM-метод и/или способ определения структуры объекта по отображению движения.
Соответствующие друг другу элементы кадра 18 и 25 или 19 и 26 или 20 и 27 или 21 и 28 образуют, таким образом, каждый раз группу 29, 30, 31, 32 из двух попарно соответствующих друг другу элементов кадра 18, 19, 20, 21, 25, 26, 27, 28.
Устройство обработки изображений 4 предназначено, таким образом, для автоматической идентификации 33, по меньшей мере, одной группы, здесь, например, четырех групп 29, 30, 31 и 32, соответствующих друг другу элементов кадра 18, 19, 20, 21, 25, 26, 27, 28.
Группы 29, 30, 31, 32 содержат, тем самым, всякий раз те элементы кадра 18, 19, 20, 21, 25, 26, 27 и 28, которые происходят из общего элемента сцены 34, 35, 36, 37: так, элементы кадра 18 и 25 взяты в примере из элемента сцены 34, элементы 19 и 26 - из элемента сцены 35, элементы кадра 20 и 27 - из элемента сцены 36, а элементы кадра 21 и 28 - из элемента сцены 37. В действительности обрабатывается гораздо большее количество элементов кадра 18, 19, 20, 21, 25, 26, 27, 28.
Устройство обработки изображений 4 предназначено для последующей оценки 38 значения трехмерного пространственного положения 50 для каждой группы 29, 30, 31, 32.
Для этого в устройстве обработки изображений 4, которое может иметь отдельный и далее не представленный вычислительный блок, автоматически действует система уравнений, которая описывает положения 59, 60 элементов 18, 19, 20, 21, 25, 26, 27, 28 на кадрах 9, 10 в виде проекций элементов сцены 34, 35, 36, 37 во время соответствующей съемки 12. В этой системе уравнений положения 59, 60 элементов 18, 19, 20, 21, 25, 26, 27, 28 входят в кадры 9, 10 в виде входной величины.
В результате обработанные данные о трехмерном пространственном положении 50 соответствуют, вплоть до масштабного коэффициента положению в пространстве, элементу сцены 34, 35, 36, 37, который представляет группа 29, 30, 31 или 32.
Из решения упомянутой системы уравнений в оценке 38 определяется также соответствующее положение для съемки 15, 16 к моменту съемки 12 кадра 9 или 10.
Для оценки 38 можно применить, например, способ произвольной выборки.
Подключается цикл программы 39, в которой описанная идентификация 33 и оценка 38 проводятся для других кадров серии 8, относящихся к другим положениям для съемки 17.
В корректирующем вычислении 40 оцененные положения для съемки 15, 16, 17 и данные о положении в трехмерном пространстве 50 уточняют с помощью вновь оцененных данных.
Цикл программы 39 прерывается, когда поступает сообщение 41, что серия 8 больше не имеет других кадров 9, 10, которые нужно обработать.
Во время съемок 12 с помощью дальномера 3 каждый раз измеряют расстояние и получают значение расстояния 42.
На Фиг. 4 представлено, что значение расстояния 42, полученное при измерении в положении для съемки 16, представляет собой расстояние между устройством ввода изображения 2 и элементом сцены 36 на момент съемки 12 кадра 10.
Измерения положений для съемки 15 и 17, наоборот, не относят к элементу сцены 34, 35, 36 или 37, а отклоняют.
Ради простоты показано только одно значение расстояния 42, хотя для каждого положения для съемки 15, 16, 17 каждый раз получают, по меньшей мере, одно значение расстояния 42.
Настройка дальномера 3 относительно положения для съемки 15, 16, 17 известна. Она может быть, как показано здесь, неизменной, или дальномер 3 может быть выполнен с возможностью перемещения относительно устройства ввода изображения 2. Также может быть установлен неподвижный дальномер 3 для изменения измерительного луча 52, например, с помощью оптического устройства или зеркала.
На этапе оценки луча 43, исходя из уже вычисленных положений для съемки 15, 16, 17 и данных об измеренном расстоянии, каждый раз вычисляют точки в трехмерном пространстве, для которых были сделаны измерения и получены значения расстояния 42.
На этапе подбора 44 выбирают те значения расстояния 42, которые ближе всего к данным о трехмерном пространственном положении группы 29, 30, 31, 32 и, таким образом, достаточно точно описывают расстояние до соответствующего элемента сцены 34, 35, 36, 37. Другими словами, на этом этапе грубая ошибка исключается.
Эти отобранные значения расстояния 42 можно использовать в качестве рекомендуемого масштаба. На этапе определения масштаба 45 вычисляют оптимальный масштабный коэффициент. Это может, например, происходить на базе всех целесообразных сопоставлений между значениями расстояния 42 и полученными данными о трехмерном пространственном положении 50.
Затем полученные данные о трехмерном пространственном положении 50 масштабируют на этапе масштабирования 46, так что они согласованы с действительными размерами и положениями элементов сцены 34, 35, 36, 37.
Методом экстра- и/или интерполяции 47 для данных о трехмерном пространственном положении, которым нельзя подчинить значения измеренного расстояния 42, вычисляют другие значения расстояния.
В способе экстра- и/или интерполяции 47 для уже выделенных значений расстояния 42 вычисляют другие значения трехмерного пространственного положения 48, 49.
Это показано на Фиг. 6. Для этого с данными о трехмерном пространственном положении 50, вычисленными до этого для групп 29, 30, 31, 32, соотносят геометрический объект 51 (здесь плоскость) с помощью установления оптимального режима.
Другие вычисленные значения трехмерного пространственного положения 48 и 49 получают в виде точек пересечения измерительного луча 52 дальномера 3 с геометрическим объектом 51.
Эти другие вычисленные значения трехмерного пространственного положения 48, 49 используют в качестве дополнительных опорных точек для формирования трехмерного пространственного изображения групп 29, 30, 31, 32 в их соответствующих значениях трехмерного пространственного положения 50 в 3D-изображении.
В блоке вывода 5 из этого 3D-изображения можно вывести изображения в графической форме, в которой показаны группы 29, 30, 31, 32 на элементе кадра, который представлен с помощью соответствующих значений трехмерного пространственного положения 48, 49, 50.
В запросе 53 может начаться другая обработка 54 результатов вычислений.
При этой обработке 54 можно выполнить разбивку на сегменты 55 площадей или других сегментов в кадрах 9, 10. Дальномер 3 настраивают с помощью устройства наведения 56 на элементы 34, 35, 36, 37 сцены 11, которые относятся к разбитым на сегменты площадям. Для этого дальномер 3 расположен с возможностью перемещения на устройстве для записи изображения в трехмерном масштабе 1.
Теперь можно получить другие значения расстояния 42 для новых настроек.
На этапе вычисления объекта 56 для разбитых на сегменты площадей или других сегментов изображения, с одной стороны, и значений трехмерного пространственного положения 48, 49, 50, с другой стороны, вычисляют плоскости или другие геометрические объекты 51.
Путем масштабирования 46 для геометрических объектов 51 вычисляют действительную величину или размер, например, фактическую длину или фактическую величину площади или пространства.
Если ориентация дальномера 3 относительно устройства ввода изображения 2 неизвестна, то в процессе настройки вместо элементов сцены 34, 35, 36, 37 можно использовать образец измерительного луча 52 на плоской поверхности сцены 11 описанным образом. Исходя из положения этого образца света на кадрах 9, 10 можно вычислить неизвестную ориентацию.
Для этого с помощью дальномера 3 можно сформировать измерительный луч 52 в спектральной области, в которой устройство ввода изображения 2 очень чувствительно для обнаружения образца света.
Альтернативно можно снять известную сцену 11 с помощью известных геометрических характеристик.
Устройство для записи изображения в трехмерном масштабе 1 имеет сам по себе известный датчик движения и/или ускорения 58, с помощью которого можно регистрировать изменение положения при съемке 15, 16, 17 между двумя съемками 12, и выходной сигнал которого входит в расчеты положения при съемке 15, 16, 17.
Если устройство обработки изображения 4 и/или пользователь устанавливает, что в области пространства необходимы дополнительные данные о трехмерном пространственном положении 48, 49, то можно прибегнуть к следующим способам.
Предполагается, что на Фиг. 4 представлена первая съемка 12 в положении для съемки 15 и вторая съемка 12 в положении для съемки 16. Описанным образом получают значения трехмерного пространственного положения 50 элементов сцены 34, 35, 36, 37 из обработки кадров 9, 10.
Предполагается, что пользователь или программа, заложенная в устройстве обработки изображения, приходит к выводу, что в области пространства 61 имеется слишком мало значений трехмерного пространственного положения 50.
С помощью уже упомянутой системы уравнений уже были вычислены положения для съемки 15, 16 кадров 9, 10.
Из этого методом экстраполяции можно вычислить положение для съемки 17, в котором в данный момент находится устройство ввода изображения 2.
Положение для съемки 17 можно альтернативно или дополнительно определить по выходным сигналам датчика движения и/или ускорения 58, при необходимости, с помощью подходящего соединения.
При известном положении для съемки 17 измерительный луч 52 дальномера 3 теперь направлен так, что можно получить значения расстояния до области пространства 61 и/или находящегося в ней элемента сцены 37. Это происходит с помощью средств, известных для изменения направления луча, таких как зеркало или т.п.
Для таких значений расстояния в дальнейшем вычисляют другие необходимые значения трехмерного пространственного положения.
На Фиг. 1 представлено заявленное устройство для записи изображения в трехмерном масштабе 1 со съемным дальномером 3. Благодаря такой возможности съема получается, что точная ориентация измерительного луча 52 относительно направления съемки устройства ввода изображения 2 неизвестна.
Информацию о такой ориентации можно получить простым способом в процессе выверки.
Для этого, с помощью дальномера 3, образец света, в самом простом случае отдельную световую точку, проецируют на сцену 11, например, на плоскую поверхность. Получается ситуация согласно Фиг. 4, причем элементы сцены 34, 35, 36, 37 представлены с помощью элементов светового образца. В случае отдельной световой точки при этом возникает только один элемент сцены 34.
Световой образец возникает, например, из измерения значения расстояния 42 с помощью лазерного дальномера или проецируется независимо от измерения значения расстояния 42.
Этот световой образец воспринимается в кадрах 9, 10 из разных положений для съемки 15, 16, 17. В описанном способе для элементов кадра 18, 19, 20, 21 и 25, 26, 27, 28 получают значения трехмерного пространственного положения 50. Кроме того, вычисляют положения для съемки 15, 16, 17.
Так как геометрические характеристики светового образца известны, то по ним можно вычислить такую ориентацию дальномера 3 или измерительного луча 52 относительно устройства ввода изображения 2, при которой световой образец соответствует вычисленным значениям трехмерного пространственного положения 50.
При измерении расстояния без видимого глазу света можно выполнить выверку с помощью известной сцены 11, например, напечатанного образца.
Теперь эта информация об ориентации сохраняется и подготавливается для дальнейшей обработки кадров 9, 10 неизвестной сцены 11.
Такую выверку можно выполнить вновь при каждом соединении дальномера 3 с устройством ввода изображения 2.
В устройстве для записи изображения в трехмерном масштабе 1, имеющем устройство ввода изображения 2, дальномер 3 и устройство вывода 5, предлагается с помощью устройства обработки изображения 4 в серии 8 кадров 9, 10, снятых в разных положениях 15, 16, 17, вычислять группы 29, 30, 31, 32 соответствующих друг другу элементов кадров 18, 19, 20, 21, 25, 26, 27, 28 и получать для этих групп 29, 30, 31, 32 каждый раз значения трехмерного пространственного положения 48, 49, 50 и масштабировать значения трехмерного пространственного положения 48, 49, 50 с помощью значений расстояния 42, измеренного с помощью дальномера 3 (Фиг. 4).