СПОСОБ 3D-РЕКОНСТРУКЦИИ ОКРУЖАЮЩЕЙ СРЕДЫ МОБИЛЬНОГО УСТРОЙСТВА, СООТВЕТСТВУЮЩИЙ КОМПЬЮТЕРНЫЙ ПРОГРАММНЫЙ ПРОДУКТ И УСТРОЙСТВО

1. Способ 3D-реконструкции окружающей среды мобильного устройства (200), содержащего по меньшей мере одну камеру (201),
отличающийся тем, что он содержит этапы, на которых:
вычисляют (100) грубую 3D-реконструкцию по меньшей мере одной зоны упомянутой окружающей среды посредством первого способа реконструкции,
причем упомянутый первый способ реконструкции принимает в расчет по меньшей мере первые изображения упомянутой по меньшей мере одной зоны, захваченные упомянутой по меньшей мере одной камерой;
определяют автоматически (110), существует ли по меньшей мере одна целевая часть в упомянутой окружающей среде, на основе по меньшей мере обнаружения по меньшей мере одного атрибута объекта, причем упомянутое обнаружение принимает в расчет по меньшей мере одно из упомянутых первых изображений;
вычисляют (120) уточненную 3D-реконструкцию упомянутой по меньшей мере одной целевой части посредством второго способа реконструкции,
причем упомянутый второй способ реконструкции принимает в расчет по меньшей мере вторые изображения упомянутой по меньшей мере одной целевой части, захваченные упомянутой по меньшей мере одной камерой;
объединяют (130) вычисленные реконструкции для обеспечения упомянутой 3D-реконструкции упомянутой окружающей среды.
2. Способ по п.1, в котором упомянутый по меньшей мере один атрибут объекта принадлежит к группе, содержащей:
атрибут отличительной черты, представляющий собой качество, посредством которого упомянутая целевая часть выделяется по отношению к своему окружению;
атрибут геометрии упомянутой целевой части;
атрибут категории, представляющий собой классификацию объекта упомянутой целевой части; и
взвешенную комбинацию упомянутого атрибута отличительной черты, упомянутого атрибута геометрии и упомянутого атрибута категории.
3. Способ по п.2, в котором упомянутый по меньшей мере один атрибут геометрии принадлежит к группе, содержащей:
размер масштаба;
плотность распределения 3D-точек;
планарность; и
форму.
4. Способ по любому из пп.1-3, в котором упомянутое автоматическое определение (110) дополнительно содержит этап, на котором:
локализуют (110a) по меньшей мере одну локализованную зону в упомянутой окружающей среде посредством пользовательского интерфейса упомянутого мобильного устройства;
причем упомянутая по меньшей мере одна целевая часть определяется автоматически в упомянутой по меньшей мере одной локализованной зоне.
5. Способ по любому из пп.1-4, в котором упомянутое вычисление (120) уточненной 3D-реконструкции упомянутой по меньшей мере одной целевой части дополнительно содержит этап, на котором:
подтверждают (120a) упомянутую по меньшей мере одну целевую часть благодаря пользователю упомянутого мобильного устройства;
причем упомянутое вычисление уточненной 3D-реконструкции выполняется, когда упомянутая по меньшей мере одна целевая часть подтверждена.
6. Способ по любому из пп.1-5, в котором упомянутое вычисление (100) грубой 3D-реконструкции по меньшей мере одной зоны упомянутой окружающей среды дополнительно содержит этап, на котором:
активируют (100a) упомянутую по меньшей мере одну камеру в первом режиме функционирования для захвата упомянутых первых изображений.
7. Способ по любому из пп.1-6, в котором упомянутый первый способ реконструкции принадлежит к группе, содержащей:
структуру по движению (SfM);
многовидовое стерео (MVS); и
одновременную локализацию и картирование (SLAM).
8. Способ по любому из пп.1-7, в котором упомянутое мобильное устройство дополнительно содержит датчик глубины,
и в котором упомянутая грубая 3D-реконструкция по меньшей мере одной зоны упомянутой окружающей среды дополнительно принимает в расчет карты глубин упомянутой зоны, выданные упомянутым датчиком глубины.
9. Способ по любому из пп.1-8,
и в котором упомянутое вычисление (120) уточненной 3D-реконструкции упомянутой по меньшей мере одной целевой части дополнительно содержит этап, на котором:
активируют (120b) упомянутую по меньшей мере одну камеру во втором режиме функционирования для захвата упомянутых вторых изображений.
10. Способ по п.9, в котором упомянутое мобильное устройство дополнительно содержит по меньшей мере одну фотовспышку (202),
в котором упомянутая по меньшей мере одна фотовспышка активируется в упомянутом втором режиме,
и в котором упомянутое вычисление (120) уточненной 3D-реконструкции упомянутой по меньшей мере одной целевой части приводит в исполнение способ многовидового фотометрического стерео, принимающий в расчет фотометрические данные на основе упомянутых вторых изображений и ассоциированной позиции упомянутой по меньшей мере одной фотовспышки,
причем упомянутая ассоциированная позиция упомянутой по меньшей мере одной фотовспышки оценивается из позиции упомянутой по меньшей мере одной камеры упомянутого мобильного устройства.
11. Способ по п.10, который является зависимым от п.2, в котором упомянутый способ многовидового фотометрического стерео дополнительно принимает в расчет отражательную способность, ассоциированную с упомянутой классификацией объекта упомянутой по меньшей мере одной целевой части.
12. Способ по любому из пп.1-11, в котором упомянутое объединение (130) реконструкций, вычисленных для упомянутой по меньшей мере одной зоны, приводит в исполнение методологию многовидового стерео для обеспечения представления с множеством разрешений в качестве упомянутой 3D-реконструкции упомянутой окружающей среды.
13. Компьютерный программный продукт, отличающийся тем, что он содержит инструкции программного кода для осуществления способа по меньшей мере по одному из пп.1-12, когда упомянутая программа исполняется на компьютере или процессоре.
14. Устройство (400) для 3D-реконструкции окружающей среды мобильного устройства (200), содержащего по меньшей мере одну камеру (201), причем упомянутое устройство содержит:
- память (401, 403); и
- по меньшей мере один процессор (402), отличающийся тем, что он сконфигурирован, чтобы:
вычислять грубую 3D-реконструкцию по меньшей мере одной зоны упомянутой окружающей среды посредством первого способа реконструкции,
причем упомянутый первый способ реконструкции принимает в расчет по меньшей мере первые изображения упомянутой по меньшей мере одной зоны, захваченные упомянутой по меньшей мере одной камерой;
определять автоматически, существует ли по меньшей мере одна целевая часть в упомянутой окружающей среде, на основе по меньшей мере обнаружения по меньшей мере одного атрибута объекта,
причем упомянутое обнаружение принимает в расчет по меньшей мере одно из упомянутых первых изображений;
вычислять уточненную 3D-реконструкцию упомянутой по меньшей мере одной целевой части посредством второго способа реконструкции,
причем упомянутый второй способ реконструкции принимает в расчет по меньшей мере вторые изображения упомянутой по меньшей мере одной целевой части, захваченные упомянутой по меньшей мере одной камерой;
объединять вычисленные реконструкции для обеспечения упомянутой 3D-реконструкции упомянутой окружающей среды.
15. Устройство по п.14, в котором упомянутый по меньшей мере один процессор дополнительно сконфигурирован для осуществления способа по любому из пп.2-12.
16. Мобильное устройство (200), отличающееся тем, что оно содержит устройство по п.14 или 15, причем упомянутое мобильное устройство предпочтительно выбрано из мобильного телефона и планшета.