Система и способ для захвата измерительных изображений измеряемого объекта
SYSTEM AND METHOD FOR CAPTURING MEASURING IMAGES OF MEASURED OBJECT

Изобретение относится к системе для захвата измерительных изображений измеряемого объекта, а также к способу захвата измерительных изображений измеряемого объекта посредством указанной системы и к соответствующему компьютерному программному продукту.
Во многих технических и нетехнических приложениях представляющие интерес параметры объекта зависят от (био-)химического состава объекта. Структуры на поверхности или слоях объекта, которые находятся близко к поверхности и не видимы невооруженным глазом, в зависимости от своей прозрачности в определенных спектральных диапазонах могут также влиять на некоторые характеристики объекта. Поэтому оптическое обнаружение размера, формы и цвета объекта или макроскопической (но все еще неразличимой невооруженным глазом) поверхностной структуры объекта, как правило, не достаточно для удовлетворительной оценки таких характеристик. В качестве примеров можно упомянуть обнаружение состояния продовольственных товаров с помощью увеличительной линзы с точки зрения свежести и неповрежденности продукта, выявление маскирующей краски на автомобиле после повреждения его вследствие аварии, а также распознавание поддельных документов, медикаментов и высококачественных тканей.
Захват гиперспектральных изображений объектов применяют во многих случаях, прежде всего - в коммерческих приложениях и в исследованиях. В этом случае захватывают гиперспектральные измерительные изображения объекта, и они представляют собой спектральные характеристики отражения объекта с пространственным разрешением. На основе этих измерительных изображений можно оценить соответствующие характеристики объекта, представляющие интерес. Для захвата гиперспектральных измерительных изображений известно два подхода. В первом подходе объект освещают широкополосным источником света, отраженный свет раскладывают на спектральные составляющие посредством узкополосных частотных фильтров, призм или дифракционных решеток и индивидуально отображают с помощью спектральной камеры. Широкополосное равномерное облучение может быть реализовано искусственно на большой поверхности, или же можно использовать в качестве естественного освещения дневной свет. Согласно второму подходу, используют обратный принцип, и для захвата изображения используют широкополосную камеру с градационной шкалой, а объект последовательно освещают узкополосными источниками света. Этот вариант используется, прежде всего, для малых объектов в лабораториях или при микроскопических исследованиях. В этом случае для освещения используют светодиоды или сменные светофильтры, которые рассортированы, например, согласно спектрам.
Одним из неудобств известных способов захвата гиперспектральных измерительных изображений объекта является, в частности, высокая стоимость необходимых устройств, - такие устройства, как правило, являются сложными лабораторными измерительными устройствами и во многих случаях сконфигурированы и оптимизированы для конкретных приложений. Многим другим способам, с помощью которых производят захват измерительных изображений исследуемых объектов, также присущи недостатки. Поэтому многие технически подходящие способы на практике не могут быть осуществлены по экономическим соображениям, в особенности с точки зрения потребителей. Дополнительными недостатками многих известных способов захвата измерительных изображений объектов для исследования являются, кроме того, большие временные затраты, а также необходимость в специальных технических знаниях о работе устройств или об осуществлении способа.
Поэтому целью настоящего изобретения является система для захвата измерительных изображений исследуемого объекта, также называемого измеряемым объектом, при этом указанная система должна быть по возможности недорогой, по возможности простой в эксплуатации и по возможности гибкой в использовании. Несмотря на это, измерительные изображения должны обеспечить по возможности наилучшую оценку параметров объекта, представляющих интерес. Кроме того, должен быть предложен способ захвата соответствующих измерительных изображений, по возможности простой, дешевый и гибкий в использовании. Наконец, должен быть предложен соответствующий компьютерный программный продукт, загружаемый прямо во внутреннюю память предлагаемой системы и содержащий программный код, при выполнении которого в системе происходит выполнение шагов указанного способа.
Эта цель достигнута в системе согласно главному пункту формулы изобретения, а также в способе и компьютерном программном продукте согласно другим независимым пунктам формулы изобретения. Дальнейшая разработка и конкретные примеры вариантов выполнения настоящего изобретения следуют из зависимых пунктов формулы изобретения, последующего описания и чертежей.
Предложенная система для захвата измерительных изображений измеряемого объекта содержит по меньшей мере одно мобильное электронное устройство, например смартфон, планшетный компьютер или другой (цифровой) компьютер. Указанное (по меньшей мере одно) мобильное электронное устройство, которое в дальнейшем часто упоминается просто как «устройство», содержит (каждое):
- корпус,
- камеру, которая интегрирована в корпус, для захвата измерительных изображений измеряемого объекта в пределах области обзора камеры, то есть пространственной области, которая может быть захвачена камерой;
- экран, который интегрирован в корпус, для показа, путем испускания света, изображений, которые представлены на экране, например для показа заранее заданной последовательности осветительных изображений в виде изображений, которые последовательно представлены на экране, при этом экран находится перед областью обзора камеры,
- управляющий блок, который интегрирован в корпус и сконфигурирован для активизации экрана мобильного электронного устройства для последовательного отображения нескольких различных осветительных изображений из заранее заданной последовательности осветительных изображений, при этом управляющий блок сконфигурирован для активизации камеры мобильного электронного устройства для захвата измерительных изображений измеряемого объекта синхронно с показом каждого осветительного изображения из заранее заданной последовательности осветительных изображений.
Предложенный способ захвата измерительных изображений измеряемого объекта может быть выполнен в указанной системе и включает следующие шаги:
- с помощью управляющего блока, активизацию экрана мобильного электронного устройства для последовательного показа нескольких различных осветительных изображений из заранее заданной последовательности осветительных изображений,
- активизацию камеры мобильного электронного устройства для захвата измерительных изображений измеряемого объекта синхронно с показом каждого осветительного изображения из заранее заданной последовательности осветительных изображений.
Электронное мобильное устройство, как правило, содержит по меньшей мере одну внутреннюю память для данных, которая интегрирована в корпус устройства. Внутренняя память как правило представляет собой энергозависимую или энергонезависимую память данных или их комбинацию, например RAM, ROM, жесткий диск или твердотельный накопитель или их комбинацию.
Предложенный компьютерный программный продукт может быть загружен непосредственно во внутреннюю память в устройстве. Компьютерный программный продукт содержит разделы программного кода, которые обеспечивают по меньшей мере выполнение вышеуказанных шагов предложенного способа (и, возможно, дополнительных шагов способа), когда компьютерный программный продукт загружен в мобильное электронное устройство и выполняется.
Компьютерный программный продукт представляет собой, например, компьютерную программу, которая хранится в памяти для данных (на «носителе»). Память для данных представляет собой, например, компьютерные аппаратные средства, например энергозависимую или энергонезависимую память данных, например, указанную выше внутреннюю память для данных в устройстве или дополнительную память системы вне мобильного электронного устройства, например, память в компьютере, таком как компьютерный сервер, или память для данных, которая является частью компьютерной сети, например, Интернета или (компьютерного) облака, или генерируется компьютерной сетью (например, Интернетом или облаком). Компьютер или компьютерный сервер, компьютерная сеть (например, Интернет или облако) могут быть, например, дополнительным компонентом системы. В качестве возможной (дополнительной) памяти для данных можно рассмотреть RAM, ROM, жесткий диск, или твердотельный накопитель, или их комбинацию, или компакт-диск, DVD или USB-накопитель.
Устройство как правило содержит по меньшей мере один (цифровой) процессор, например по меньшей мере один главный процессор (центральный процессор), который сам может содержать, например, один или более интегрированных блоков (сопроцессоров), например графический процессор. Процессор может быть реализован, например, в виде электронной схемы, например как полупроводниковый чип. Вышеуказанный управляющий блок устройства может быть процессорным блоком (логическим или интегрированным). Процессор связан, например, с внутренней памятью устройства с целью получения доступа к памяти, в частности, для извлечения компьютерного программного продукта, который загружен во внутреннюю память для данных, или загруженных разделов программного кода, а затем для выполнения (в качестве управляющего блока устройства) вышеуказанных шагов способа (синхронной активизации экрана и камеры). Соответствующие шаги предложенного способа могут быть закодированы в разделах программного кода, например в виде инструкций, которые могут быть выполнены процессором устройства. При выполнении этих инструкций процессор работает, например, как указанный управляющий блок устройства.
Предложенный способ может включать дополнительные шаги, которые ниже описаны более подробно. Управляющий блок устройства может быть сконфигурирован для выполнения этих дополнительных шагов способа. Соответственно, компьютерный программный продукт может также содержать дополнительные разделы программного кода, в которых могут быть закодированы соответствующие дополнительные инструкции, которые могут быть выполнены процессором устройства. При выполнении этих дополнительных инструкций процессор также функционирует, например, как указанный управляющий блок устройства или как дополнительный блок устройства, например, оценочный блок устройства.
Альтернативно, указанные дополнительные шаги способа могут быть также выполнены посредством других компонентов системы. Например, оценочный блок может быть расположен вне мобильного электронного устройства. Поэтому оценочный блок может также быть, например, соответственно сконфигурированным компьютером, например компьютерным сервером в компьютерной сети или блоком (логическим или интегрированным) в процессоре компьютера. Возможны также смешанные формы, в которых оценочный блок распределен среди нескольких компонентов системы и сформирован, например, посредством блоков (логических или интегрированных) нескольких процессоров, например процессора устройства или процессора указанного компьютера или компьютерного сервера.
Поэтому в некоторых примерах варианта выполнения настоящего изобретения способ может быть полностью осуществлен с использованием только мобильного электронного устройства. В других вариантах выполнения настоящего изобретения способ также частично реализован посредством других компонентов системы, например посредством одного или более компьютеров (например, в Интернете или облаке), при этом связь и передача данных между устройством и другими компонентами могут производится, например, через Интернет или через облако.
Хранение данных или другой информации, относящейся к приложению, в системе внешней памяти (например, в памяти облака) не обязательно ни для функционирования, ни по причинам, связанным с безопасностью, но также и не противоречат концепциям, описанным здесь. Например, может быть предусмотрено использование внешней памяти, если хранение некоторых данных во внутренней памяти мобильного устройства невозможно по определенным причинам, например вследствие большого объема данных, по причинам лицензирования и/или из соображений безопасности.
Преимущественно или исключительно, локальная обработка и/или хранение данных в мобильном устройстве может обеспечиваться в общем случае или в некоторых случаях, например:
(1) для уменьшения объема данных, переносимых (переданных) из мобильного устройства во внешний сервер/память,
(2) в случае недостаточной ширины полосы передачи данных мобильного соединения или отсутствия такового в соответствующем месте измерения (например, на сельскохозяйственных полях или в железобетонных зданиях), и
(3) если имеются уязвимые данные, которые могут иметь отношение, например, к измеряемому объекту, местоположению измерения или самого пользователя, особенно если мобильное устройство оборудовано модулем GPS. Например, следует упомянуть в качестве примеров измерение секретных объектов или секретных химических поверхностных составов, а также измерения в месте, которое должно держаться в секрете, например, если это место служит для хранения соответствующего измеряемого объекта или если координаты измерения или измерительных данных могли бы способствовать нежеланному воздействию на пользователя, например, на состояние здоровья пользователя, его дом или на его потребительское поведение.
Например, управляющий блок мобильного устройства и/или оценочный блок мобильного устройства, если он присутствует, может быть сконфигурирован, чтобы в общем случае или по меньшей мере в определенных приложениях выполнять оценку измерительных данных полностью самостоятельно и хранить все полученные данные исключительно во внутренней памяти данных. Кроме того, управляющий блок может дополнительно быть сконфигурирован, чтобы ограничивать или блокировать передачу измерительных данных и/или данных, полученных на их основе (в частности, данных GPS), во внешние устройства. Кроме того, функционированием системы можно управлять, ограничивать ее или полностью блокировать на основе этих данных GPS.
Всякий раз, когда, в дальнейшем тексте и в пунктах формулы изобретения, сказано, что управляющий блок или оценочный блок «сконфигурирован» для выполнения дополнительных операций, эти операции следует также понимать как возможные шаги (опции) предложенного способа. Соответственно, компьютерный программный продукт может содержать разделы программного кода, в которых закодированы инструкции для выполнения этих дополнительных операций, например, для выполнения процессором устройства или другим компонентом системы. И наоборот, подразумевается, что компонент «сконфигурирован», когда сказано, что шаги способа могут быть выполнены посредством соответствующего компонента системы, например посредством управляющего блока, оценочного блока или другого компонента. Это «конфигурирование», в свою очередь, может быть реализовано, например, посредством загрузки соответственно разработанного компьютерного программного продукта, например, в устройство или в указанные дополнительные компьютеры системы.
Заранее заданная последовательность осветительных изображений, как правило частично или предпочтительно полностью, задается параметрами освещения. Конкретные примеры параметров освещения описаны ниже. Параметры освещения, как правило, хранятся по меньшей мере в одной памяти системы, например во внутренней памяти мобильного электронного устройства и/или в памяти другого компонента системы, например указанного компьютера. Например, автоматическое хранение параметров освещения во внутренней памяти устройства может быть произведено посредством загрузки в устройство компьютерного программного продукта. Например, программный код компьютерного программного продукта может содержать определения параметров освещения и/или их значения. Управляющий блок мобильного электронного устройства может быть сконфигурирован для извлечения параметров освещения, которые хранятся в этой по меньшей мере одной памяти, из памяти и определения заранее заданной последовательности осветительных изображений на основе этих извлеченных параметров освещения. Как правило, только после этого управляющий блок активизирует экран на показ осветительных изображений, определенных такой заранее заданной последовательностью осветительных изображений и, синхронно с этим, активизирует камеру на захват измерительных изображений.
Мобильное электронное устройство может содержать пользовательский интерфейс, при помощи которого этим устройством можно управлять, например для реализации предложенного способа. Например, заранее заданная последовательность осветительных изображений может быть настроена или по меньшей мере изменена, например, посредством регулировки или изменения по меньшей мере одного из параметров освещения с помощью пользовательского интерфейса. Дополнительно или альтернативно, выбор между различными (хранящимися) заранее заданными последовательностями осветительных изображений может быть сделан возможным посредством пользовательского интерфейса, при этом последовательности осветительных изображений отличаются друг от друга, например, одним или более параметром освещения.
Дополнительно или альтернативно, посредством пользовательского интерфейса можно также ввести тип исследуемого измеряемого объекта. Кроме такого ввода посредством пользовательских интерфейсов можно организовать дополнительные вводы, например, сделать выбор характеристик соответствующего выбранного измеряемого объекта, представляющего интерес. Кроме определения последовательности осветительных изображений, последующая оценка измерительных изображений также может зависеть от таких вводов через пользовательский интерфейс. Например, такие вводы могут учитываться оценочным блоком системы, как описано ниже.
Например, можно предусмотреть несколько различных последовательностей осветительных изображений или несколько различных заранее заданных наборов параметров освещения, каждый из которых определяет одно из нескольких измеренных заранее заданных изображений и, как описано выше, хранящихся в одном или большем количестве указанных устройств памяти для данных. Различные заранее заданные последовательности осветительных изображений или наборы параметров освещения могут быть присвоены, например, одному из нескольких различных заранее заданных (измерительных) приложений (например, определяемых соответствующим измеряемым объектом, параметром, представляющим интерес, и/или рекомендацией к действию). (Примеры различных приложений приведены ниже). Например, можно предусмотреть, чтобы пользователь выбирал (например, с помощью пользовательского интерфейса мобильного устройства) конкретное приложение (например, по меньшей мере из одного списка приложений, который отображается на пользовательском интерфейсе), а управляющий блок затем считывал заранее заданную последовательность осветительных изображений (или параметров освещения), которая относится к выбранному приложению, из памяти данных в зависимости от выбранного приложения и выполнял затем измерения с использованием последовательностей осветительных изображений (или со считанными параметрами освещения) как описано выше. Дополнительно или альтернативно, оценка измерительных изображений может зависеть от выбранного приложения.
Экран может быть сенсорным экраном и, таким образом, служить указанным пользовательским интерфейсом устройства, например посредством представления графической пользовательской поверхности с полями ввода, которые представлены на сенсорном экране.
Кроме того, пользовательский интерфейс может быть сконфигурирован для вывода предупреждений, например, если помехи от окружающего света оценены как слишком серьезные или если нельзя успешно провести совмещение некоторого полученного изображения из измерительных изображений или распознавание объекта, например на основании параметров объекта или действий пользователя.
Пользовательский интерфейс может содержать акустический выход устройства, который, например, может производить указанные предупреждения. Пользовательский интерфейс может содержать модуль вибрации в устройстве, который, например, может производить указанные предупреждения. Дополнительные пользовательские интерфейсы могут быть реализованы, например, посредством дополнительных устройств связи с дисплеем, например интеллектуальных часов и дисплеев, фиксированных на голове. Можно также использовать в комбинации различные модули, если таковые имеются.
По меньшей мере одна внутренняя память устройства или внешняя память для данных, например в описанном ниже компьютере, могут служить для (промежуточного) хранения захваченных измерительных изображений. Соответственно, управляющий блок может быть сконфигурирован для выполнения или запуска передачи захваченных измеренных изображений в эту по меньшей мере одну память данных.
Кроме того, управляющий блок может быть сконфигурирован для активизации экрана на отображение захваченных измерительных изображений, например, автоматически после захвата измерительных изображений. Например, результаты измерений могут быть отображены на экране устройства во время или сразу после измерений, и, например захваченное изображение измеряемого объекта или мгновенное живое изображение из камеры могут быть наложены на экране, чтобы, таким образом, можно было воспользоваться, например, методами дополненной реальности.
Например, операционная система устройства, такая, например, как iOС, Android, Windows, Linux, Blackberry OS или другая операционная система, а также обычно программы дополнительных приложений, такие, как например Интернет-браузер и/или приложение Арр store, может быть инсталлировано по меньшей мере в одной внутренней памяти устройства. Например, соединение (через Интернет) устройства с Арр store, то есть, с цифровой маркетинговой платформой на основе Интернет для программного обеспечения приложения, например Apple's Арр Store или Google's Арр Store, может быть создано с помощью приложения Арр store. В одном примере варианта выполнения настоящего изобретения компьютерный программный продукт может быть загружен в качестве приложения во внутреннюю память устройства с помощью этого приложения Арр Store и может храниться там, например, постоянно (например, до процедуры удаления, которую инициирует и/или подтверждает пользователь). Дополнительная возможность заключается в копировании компьютерного программного продукта или приложения прямо в устройство (например, через USB-кабель), в частности в смартфон, если только это не заблокировано соответствующей операционной системой. В еще одном примере варианта выполнения настоящего изобретения компьютерный программный продукт может быть загружен во внутреннюю память устройства в качестве сетевого приложения с Интернет-страницы провайдера через Интернет-браузер устройства. Например, сетевое приложение временно (например, только для заранее заданной продолжительности времени или только для заранее заданного количества реализаций способа) хранится во внутренней памяти и впоследствии автоматически удаляется из внутренней памяти устройства. Однако во всех случаях компьютерный программный продукт способен работать в устройстве и может использоваться пользователем для реализации способа, предпочтительно путем непосредственной загрузки во внутреннюю память устройства.
Как правило, устройство содержит один или более проводных или предпочтительно беспроводных интерфейсов данных, например, по меньшей мере один радиоинтерфейс, чтобы обеспечить соединение устройства, например, с Интернетом или с возможными дополнительными компонентами системы, например, с одним или большим количеством компьютерных серверов, например через Интернет.
Мобильное (портативное) электронное устройство имеет по возможности наименьший вес, чтобы его удобно было держать пользователю (в частности, во время вышеуказанных шагов способа, то есть во время показа осветительных изображений и захвата измерительных изображений) обеими руками или предпочтительно только одной рукой, ориентированным в соответствующем положении относительно измеряемого объекта. Поэтому устройство предпочтительно весит меньше 3 кг, меньше 2 кг или меньше 1 кг. Максимальная длина края корпуса, как правило, не превышает 30 см, как правило меньше, чем 25 см или меньше, чем 20 см. Например, корпус может иметь по существу форму прямоугольного параллелепипеда. Минимальная длина края, как правило, меньше 5 см, предпочтительно меньше 2 см.
Камера, как правило, содержит объектив, который расположен на передней стороне корпуса и определяет область обзора камеры. В этом случае экран, как правило, размещен на передней стороне корпуса. Камера (по меньшей мере объектив камеры) и экран, как правило, установлены на одной стороне корпуса, то есть, иначе говоря, видимы с одной и той же стороны корпуса. Камера, как правило, дополнительно содержит датчик изображения, например, светочувствительный полупроводниковый чип, такой как датчик на основе прибора с зарядовой связью (CCD) или комплементарного металло-оксидного полупроводника (CMOS) или датчик на основе InGaAs.
Устройство может дополнительно содержать громкоговоритель или микрофон чтобы, например, с помощью телефонного приложения, которое установлено во внутренней памяти, обеспечить телефонные разговоры через мобильную радиотелефонную сеть или через Интернет. Устройство может дополнительно содержать (перезаряжаемый) источник питания для питания устройства электроэнергией, в частности экрана, камеры и управляющего блока устройства.
При реализации способа в рамках системы экран устройства во время показа осветительных изображений излучает свет. Измеряемый объект, который расположен в области обзора камеры, может, таким образом, освещаться посредством экрана, поскольку экран обращен к области обзора камеры. Таким образом, свет от экрана, который испускается при показе осветительных изображений, достигает измеряемого объекта, отражается от измеряемого объекта и захватывается камерой. При этом отраженный свет, как правило, проходит через объектив камеры в камеру и создает изображение на датчике изображения камеры.
Датчик изображения камеры, как правило, содержит множество блоков датчика, которые расположены в виде полной сетки. Каждый из блоков датчика может содержать один или более элементов датчика изображения. Например, каждый блок датчика соответствует точке изображения (пикселю) измерительного изображения, которое захвачено посредством камеры. Положения блоков датчика и их элементов датчика в пределах датчика изображения определяется двумя координатами (XY) соответствующего блока датчика.
Поэтому каждое из измерительных изображений аналогично содержит множество точек изображения (пикселей), которые расположены в виде сетки и назначены блокам датчика изображения, при этом их положения в пределах соответствующего измерительного изображения определены двумя координатами (XY) изображения, которые как правило соответствуют координатам соответствующих блоков датчика. Кроме того, измерительные изображения содержат данные изображения, в которых закодирована информация об изображении. Например, в данных изображения закодированы значения яркости соответствующих точек изображения в измерительных изображениях. Значения яркости точек изображения в измерительных изображениях обычно зависят от заряженного или разряженного состояния светочувствительных элементов датчика блоков датчика при захвате соответствующего измерительного изображения.
Различные измерительные изображения содержат различную информацию об измеряемом объекте благодаря различию в осветительных изображениях. Например, осветительные изображения могут отличаться друг от друга по спектральному составу света, который излучается экраном, когда они отображены. Альтернативно или дополнительно, можно размещать осветительные изображения в различных областях экрана, чтобы измеряемый объект был освещен с различных направлений, видимых камерой.
Поэтому можно получать различную информацию о характеристиках отражения или других параметрах измеряемого объекта по соответственно захваченным измерительным изображениям. Кроме того, на объем информации в измерительных изображениях можно очень просто влиять путем изменения последовательности осветительных изображений.
Еще одно важное преимущество заключается в том, что мобильное электронное устройство может быть, например, смартфоном, планшетным компьютером (планшетом), лэптопом или аналогичным широко распространенным мобильным электронным устройством. Предпочтительно, чтобы пользователь/потребитель мог очень просто конфигурировать такое коммерчески доступное устройство для выполнения предлагаемого способа, например просто посредством того, что пользователь/потребитель загружает предлагаемый компьютерный программный продукт в устройство, например из арр store или с веб-сайта поставщика компьютерного программного продукта, как описано выше. Поэтому система и способ очень недороги по сравнению со многими обычными измерительными устройствами и обеспечивают гибкое конфигурирование посредством последовательности осветительных изображений и оценочного блока для оценки данных, который интегрирован в мобильное устройство, как описано ниже, и могут, кроме того, быть применены или выполнены в манере, интуитивно понятно многим пользователям. Дополнительное преимущество перед известными системами состоит в том, что мобильное электронное устройство не должно быть модернизировано для согласования с дополнительными (внешними) оптическими техническими средствами, ни для генерации рассеивающего оптического эффекта, ни для управления специфическими параметрами освещения и/или захвата изображения. Поэтому описанный здесь способ может быть успешно выполнен без необходимости модификации устройства дополнительными оптическими или электронными блоками. В частности, этот способ не требует модификации мобильного устройства дополнительными компонентами, например такими компонентами как фильтры, линзы, зеркала, апертуры, экраны, источники света, датчики и т.д., или установки таких компонентов между мобильным устройством и измеряемым объектом во время выполнения способа.
Прежде, чем захватить измерительные изображения, можно предусмотреть шаги предварительной обработки, которые могут быть автоматически выполнены при выключении или деактивизации камеры. Например, можно предусмотреть регулировку цветовой температуры захваченных изображений, которая автоматически выполняется при выключении камеры или, например, установку цветовой температуры на постоянное значение, а впоследствии ее корректировку при оценке измерительных изображений. Это соответственно относится к автоматической регулировке других параметров захвата/записи камеры, таких как чувствительность, время экспонирования и баланс белого.
Соответственно, можно предусмотреть выключение автоматической стабилизации яркости экрана (управляющим блоком) и установку освещения, например, на максимально возможную яркость.
d
Экран мобильного электронного устройства, как правило, излучает свет, прежде всего или исключительно, в видимой области спектра, то есть свет с длиной волны между 400 нм и приблизительно 800 нм. Экран, как правило, является цветным и поэтому сконфигурирован для показа цветных изображений. Экран может содержать, например, несколько цветовых каналов. Экран характеризуется специфической спектральной характеристикой излучения канала, которая ниже обозначена как D(λ), для каждого цветового канала. Поэтому свет, который излучается в цветовом канале, имеет спектральное распределение интенсивности, которое заранее задано для этого цветового канала и соответствует основному цвету, который может быть представлен на экране. Например, экран может содержать красный цветовой канал, синий цветовой канал и зеленый цветовой канал. Таким образом, в этом случае, например, красный, зеленый и синий цвета цветовых каналов представляют собой основные цвета экрана. Экран и камеры обычно адаптированы к зрительной системе человека. Видимый свет с длинами волн приблизительно до 485 нм воспринимается как синий, от приблизительно 500 нм до приблизительно 550 нм - как зеленый, а приблизительно от 630 нм как красный. Соответственно, красный цветовой канал (преимущественно) испускает свет в красной области длин волн, зеленый канал (преимущественно) - в зеленой области длин волн и синий цветовом канале -(преимущественно) - в зеленой области длины волны.
Экран, как правило, содержит множество световых элементов, которые расположены в виде сетки, формируют точки изображения (пиксели) на экране, и все вместе заполняют всю область изображения экрана. В этом случае каждый из цветовых каналов сформирован подмножеством световых элементов экрана, при этом спектральные характеристики излучения указанных световых элементов соответствуют специфическим для канала спектральным характеристикам излучения соответствующего цветового канала. Каждая точка изображения на экране сформирована, например, группой соседних световых элементов, которые принадлежат различным цветовым каналам. Световые элементы различных цветовых каналов, которые принадлежат общей точке изображения, называются также подпикселями экрана. Каждый световой элемент каждого цветового канала входит в некоторую сетку. Сетки цветовых каналов пространственно наложены друг на друга и поэтому формируют полную сетку точек изображения экрана.
с
Камера мобильного электронного устройства, как правило, - цветная камера, которая чувствительна к свету с длинами волн приблизительно между 400 нм и приблизительно 800 нм и содержит несколько различных цветовых каналов. Камера, как правило, имеет специфическую чувствительность для каждого из цветовых каналов, при этом указанная чувствительность ниже обозначена как С(λ). Например, камера может иметь красный цветовой канал, синий цветовой канал и зеленый цветовой канал. Во многих случаях диапазоны длин волн цветовых каналов камеры в парах в значительной степени (обычно, но не полностью) соответствуют цветовым каналам экрана.
Каждый из цветовых каналов камеры сформирован подмножеством элементов датчика изображения, спектральные чувствительности которого соответствуют спектральной чувствительности соответствующего цветового канала камеры. Каждый блок датчика изображения камеры сформирован, например, группой соседних цветовых каналов датчика изображения, которые принадлежат различным цветовым каналам камеры. Поэтому каждый сенсорный элемент каждого цветового канала расположен в подсетке, которая охватывает датчик изображения. Подсетки элементов датчика различных цветовых каналов пространственно взаимно накладываются и, таким образом, формируют полную сетку блоков датчика изображения. Например, элементы датчика красного цветового канала наиболее чувствительны к красному свету, элементы датчика зеленого цветового канала наиболее чувствительны к зеленому свету, а элементы датчика синего цветового канала наиболее чувствительны к синему свету. Например, длина волны красного света составляет приблизительно 605 нм или больше, зеленого света - приблизительно 555 нм, а синего света - приблизительно 450 нм или меньше. Дополнительные примеры диапазонов длин волн для различных цветов приведены выше.
Например, управляющий блок мобильного электронного устройства сконфигурирован для активизации экрана мобильного электронного устройства для показа одного или более или всех осветительных изображений из заранее заданной последовательности осветительных изображений
- посредством активизации световых элементов только одного цветового канала экрана и посредством активизации всех активных световых элементов этого цветового канала с однородным значением яркости, которая заранее задана для этого цветового канала, или
- посредством активизации световых элементов нескольких цветовых каналов и посредством активизации всех активных световых элементов с однородным значением яркости, которая заранее задана для этого цветового канала, или
- посредством замены вышеуказанных однородных значений яркости значениями с некоторым градиентом. Вместо того, чтобы быть активизированы с однородным значением яркости, активные световые элементы данного цветового канала могут быть активизированы, например, с различными значениями яркости, которые отличаются друг от друга согласно некоторому градиенту, который определен для этого цветового канала. Градиент соответствующего цветового канала может быть, например, заранее заданным вектором, который, например, может быть однородным (то есть константой) по всему экрану. Значения яркости световых элементов для этого цветового канала в этом случае равномерно увеличиваются вдоль направления вектора градиента согласно величине вектора градиента (или, альтернативно, равномерно уменьшаются).
Активизация световых элементов цветового канала может быть произведена, например, посредством включения этих световых элементов или посредством активизации их с однородным значением яркости, которая больше, чем минимальное значение яркости световых элементов. Для достижения наибольшей возможной яркости освещения измеряемого объекта посредством активных световых элементов, соответствующее однородное значение яркости предпочтительно соответствует максимально возможному значению яркости световых элементов.
При этом соответствующие неактивные световые элементы оставшихся цветовых каналов могут быть выключены или могут оставаться выключенными, или все они могут быть активизированы с минимальным значением яркости.
Активизация с однородным значением яркости позволяет соответствующему осветительному изображению иметь однородный цвет; таким образом, каждая точка изображения на экране светит этим однородным цветом или, если осветительное изображение не заполняет весь экран, то есть всю область изображения этого экрана, она выключена или светит лишь с наименьшей яркостью. Таким образом, измеряемый объект может быть пространственно освещен с помощью экрана однородным светом с заранее заданным распределением спектральной интенсивности.
Если, например, активизирован только один цветовой канал экрана, экран светит равномерно соответствующим основным цветом экрана, например красным, зеленым или синим цветом. Например, последовательность освещения может охватывать изображение при красном освещении, изображение при зеленом освещении и изображение при синем освещении или только одно или два из этих осветительных изображений. Например, управляющий блок сконфигурирован, чтобы активизировать экран для:
- показа красного осветительного изображения посредством активизации световых элементов только красного цветового канала на экране и посредством активизации всех активных световых элементов красного цветового канала с однородным значением яркости, которая заранее задана для красного цветового канала,
- показа зеленого осветительного изображения посредством активизации световых элементов только зеленого цветового канала на экране и посредством активизации всех активных световых элементов зеленого цветового канала с однородным значением яркости, которая заранее задана для зеленого цветового канала, и/или
- показа синего осветительного изображения посредством активизации световых элементов только синего цветового канала на экране и посредством активизации всех активных световых элементов синего цветового канала с однородным значением яркости, которая заранее задана для синего цветового канала. Последовательность осветительных изображений может быть произвольной.
Посредством активизации нескольких цветовых каналов могут быть произведены однородные смеси основных цветов экрана. Одно из осветительных изображений может быть, например, изображением белого освещения (в дальнейшем также называемым белым изображением), при котором все световые элементы экрана активизированы, причем с максимальным значением яркости. Следующее осветительное изображение может быть, например, изображением при черном освещении (в дальнейшем также называемым черным изображением), при котором все световые элементы экрана выключены, или деактивизированы, или активизированы с минимальным значением яркости. Изображение при белом освещении и изображение при черном освещении могут использоваться, например, для калибровки оставшихся измерительных изображений и для оценки влияния окружающего света. Калибровка, которая основана на некоторой максимальной и минимальной яркостях, чтобы учесть влияние окружающего света, может быть выполнена, например, с использованием линейной функции (смещение и масштабирование). Она может также быть достигнута с использованием нелинейной функции, например, чтобы усилить темные области в изображении или ослабить яркие области в изображении.
Для задания осветительных изображений, может, например, использоваться один или более следующих параметров освещения:
- спектральный состав света, который излучается экраном при показе соответствующего осветительного изображения, и/или
- для каждого цветового канала в экране, однородное значение яркости и/или
область экрана, которая заполнена соответствующим осветительным изображением, в частности, размер и форма этой области экрана, и/или
- расположение некоторой области экрана, которая заполнена соответствующим осветительным изображением, в пределах полной области изображения на экране.
Обычно каждое из осветительных изображений непрерывно. Например, одно, несколько или все осветительные изображения могут полностью заполнять всю область изображения на экране. Однако возможно также, что одно, несколько или все осветительные изображения заполняет только частичную область в полной области изображения на экране, при этом, как правило, экран черен вне этой частичной области, которая заполнена осветительным изображением (то есть, световые элементы выключены или не активизированы, а следовательно не светят или светят лишь с минимальной яркостью). Область экрана, которая соответственно заполнена осветительными изображениями, соответствует, например, по меньшей мере 1/6, 1/5, 1/4, 1/3, 1/2 или больше от полной области изображения на экране. Например, последовательность осветительных изображений может содержать R осветительных изображений, каждое из которых заполняет примерно только 1/R от полной области изображения на экране, при этом R, например, - натуральное число, которое больше 2 и, например, меньше 20. Как правило, оно находится между 3 и 10. Например, R=3, 4, 5, или 6. Как правило, соответствующие частично заполненные области осветительных изображений на экране взаимно не накладываются.
Заполненные частичные области осветительных изображений могут быть расположены в одном и том же месте в пределах полной области изображения на экране. Однако тогда осветительные изображения, как правило, отличаются друг от друга по меньшей мере цветом. Альтернативно, возможно, что осветительные изображения отличаются не только по цвету, но также и по их расположению относительно экрана. Кроме того, осветительные изображения могут не отличаться по цвету, а отличаться только по их расположению относительно экрана.
Например, содержимое каждого из осветительных изображений может быть областью (которая, как правило, полностью заполняет указанную частичную область), которая заполнена единственным цветом, при этом этот цвет может быть, например, одним из основных цветов (например, красным, зеленым или синим цветом) экрана или белым цветом (все цветовые каналы светят с одинаковой, предпочтительно максимальной, яркостью), как было описано выше.
Если осветительные изображения имеют одинаковый цвет и отличаются только по их расположению на экране, то эти осветительные изображения, как правило, представляют собой области (которые полностью заполняют соответствующие частичные области), заполненные единственным цветом, при этом этот цвет в каждом случае, например, одинаковый основной цвет (например, красный, зеленый или синий цвет) экрана или белый цвет (все цветовые каналы светят с одинаковой, предпочтительно максимальной, яркостью).
Например, полная область изображения на экране может содержать верхний край, нижний край, левый край и правый край, при этом заполненные частичные области осветительных изображений отличаются друг от друга по их расстоянию от верхнего края полной области изображения на экрана, а объектив расположен выше верхнего края полной области изображения на экране.
Например, последовательность осветительных изображений может быть определена посредством одного или нескольких из следующих дополнительных параметров освещения:
- полное количество осветительных изображений,
- последовательность осветительных изображений,
- продолжительность показа осветительных изображений,
- временной интервал между показом отдельных осветительных изображений. Общее количество осветительных изображений получают, например, из количества цветовых каналов камеры и экрана. Если, например, оба последних имеют три цветовых канала (например, красный, зеленый и синий), которые соответствуют друг другу, то последовательность осветительных изображений может содержать по меньшей мере три осветительных изображения, а именно: по одному для каждого цветового канала (красный, зеленый и синий цвета). Кроме того, последовательность осветительных изображений может содержать вышеописанное белое изображение и черное изображение, так что последовательность осветительных изображений в этом случае содержит, например, (по меньшей мере) пять осветительных изображений. Эта последовательность может быть установлена, например, произвольным образом. Продолжительность показа должна быть выбрана так, чтобы быть по меньшей мере достаточно длинной, чтобы датчик изображения был адекватно освещен при захвате измерительных изображений. Продолжительность показа, как правило, лежит в диапазоне между 10 мс и 500 мс, предпочтительно в диапазоне между 100 мс и 200 мс. Осветительные изображения, как правило, отображаются последовательно во времени, а не одновременно. Временной интервал между показом отдельных осветительных изображений, как правило, находится в диапазоне между 1 мс и 20 мс, предпочтительно в диапазоне между 5 мс и 10 мс. Полная продолжительность захвата измерительных изображений поэтому, как правило, находится в диапазоне между 60 мс и 3000 мс.
Каждое из записанных измерительных изображений содержит множество точек изображения, а также данных изображения, которые присвоены соответствующим точкам изображения. Как было описано выше, система может содержать оценочный блок, который может быть частью устройства (например, в качестве логического или интегрированного процессорного блока в устройстве) или частью другого компонента системы (например, в качестве логического или интегрированного процессорного блока в этом соответствующем компоненте), например, компьютерного сервера.
Например, оценочный блок сконфигурирован посредством компьютерного программного продукта для объединения точек изображения измерительных изображений и группировки данных изображения объединенных точек изображения в наборы измерительных данных для соответственно объединенных точек изображения. Объединение точек изображения, как правило, производят посредством совмещения измерительных изображений. Тогда объединенные точки изображения формируют единственное совмещенное измерительное изображение, а точки изображения для совмещенного измерительного изображения содержат соответственно назначенные наборы измерительных данных.
Дальнейшую обработку записанных данных изображения предпочтительно производят с использованием этих наборов измерительных данных. Вместо индивидуальной, последовательной оценки отдельных измерительных изображений, оценку можно проводить на всех измерительных изображениях, при этом - одновременно для всех измерительных изображений, посредством использования описанных наборов измерительных данных. Наборы измерительных данных, которые получены из данных изображения в измерительных изображениях, представляют собой, например, (гипер-) спектральные наборы данных (ниже также называемые спектральными сигнатурами), каждый из которых назначен общему местоположению в измерительных изображениях и которые содержат измерительные данные для нескольких или всех измерительных изображений, захваченных во время последовательности осветительных изображений. Можно обработать измерительные изображения с использованием пространственного разрешения посредством использования предложенных наборов измерительных данных (посредством наборов измерительных данных для объединенных точек изображения, обработанных индивидуально). При этом каждый набор измерительных данных может рассматриваться как результат измерения, который не зависит от других наборов измерительных данных и который зависит от локальных параметров объекта в области объекта, которая соответственно отображена набором измеренных данных. В зависимости от разрешения камеры, большое количество независимых измерений, каждое из которых представлено одним из наборов измерительных данных, может, таким образом, быть произведено посредством одноразового выполнения предложенного способа измерения. С учетом множества наборов измерительных данных, которые созданы при каждом измерении, наборы измерительных данных особенно хорошо подходят в качестве исследуемых данных для обучающих алгоритмов машинного обучения, таких как, например, способы классификации, например, с помощью искусственных нейронных сетей. Соответственно, наборы измерительных данных точно так же пригодны для оценки посредством таких алгоритмов. Оценочный блок предпочтительно сконфигурирован для оценки наборов измерительных данных посредством алгоритма, который обучается или способен к обучению способом машинного обучения, например, в способе классификации, например, в искусственной нейронной сети. Формат данных в наборах измерительных данных также заранее задан соответствующим способом вследствие того, что заранее задана последовательность осветительных изображений. В частности, посредством задания последовательности осветительных изображений можно заранее определить, какие компоненты наборов измерительных данных принадлежат какому осветительному изображению (и, следовательно, например, какому диапазоны длин волн). Такое фиксированное назначение упрощает дальнейшую обработку наборов измерительных данных посредством заранее заданных оценочных алгоритмов или калиброванных моделей, которые, как правило, требуют определенного формата данных или запрограммированы для обработки определенного формата данных.
Как правило, для совмещения измерительных изображений с целью компенсации или вычитания относительных перемещений между устройством и измеряемым объектом во время захвата измерительных изображений необходимы преобразования измерительных изображений, например, (локальные) преобразования координат (вращения, трансляции, наклоны и/или (локальное) изменение масштаба, интерполяция подпикселей). В идеальном случае между точками изображения на измерительных изображениях существует соответствие 1:1, обычно, однако, имеет место соответствие 1:Х, где Х≠1. Когда Х≠1, чтобы определить наборы измерительных данных, измерительные значения объединенных точек изображения, как правило, интерполируют или усредняют.
Например, алгоритм распознавания объектов может быть выполнен на основе измерительных изображений, предпочтительно на основе совмещенного измерительного изображения, чтобы распознать те точки изображения в измерительном изображении или в совмещенном измерительном изображении, которые отображают измеряемый объект. Эти точки изображения ниже называются точками изображения объекта. Каждая из этих распознанных точек изображения объекта отображает частичную область на поверхности объекта в измерительном изображении или в совмещенном измерительном изображении. Эти частичные области ниже называются точками объекта. Например, алгоритм распознавания объектов может содержать алгоритм «роста области». В начале этого алгоритма определяют первую точку изображения, которая, как предполагается, является точкой изображения объекта. Например, в качестве первой точки изображения может быть определена точка изображения в середине одного из измерительных изображений или совмещенного измерительного изображения. Альтернативно, первая точка изображения может также быть определена пользователем с помощью пользовательского интерфейса, например, посредством маркировки некоторой области на измерительном изображении, которое показано на экране, или маркировки показанного совмещенного измерительного изображения, в частности, если экран представляет собой сенсорный экран. Затем исследуют, насколько наборы измерительных данных для соседних точек изображения отличаются от набора измерительных данных для первой точки изображения. Только при малом отклонении соседняя точка изображения может также быть классифицирована как точка изображения объекта. Этот алгоритм (начинающийся с точек объекта, каждая из которых классифицируется как новая) продолжают или повторяют, пока никакие дополнительные точки изображения больше не классифицируются как точки объекта.
Если экран и камера имеют несколько цветовых каналов, и осветительные изображения отличаются по цвету, как было описано выше, то каждый из наборов измерительных данных может быть, например, так называемой «спектральной сигнатурой» измеряемого объекта в ассоциированной точке измеряемого объекта. Если экран имеет, например, М цветовых каналов, а камера, например, имеет N цветовых каналов, то каждый из наборов измерительных данных может содержать, например, M×N измерительных значений или больше. Например, осветительное изображение может быть показано для каждого цветового канала экрана и измерительного изображения, захваченного для каждого из этих осветительных изображений, при этом значения яркости, которые измерены в отдельных каналах цветности камеры, содержатся в наборах измерительных данных как отдельные измерительные значения. (Первые) M×N измерительных значений для набора измерительных данных точки объекта соответствуют здесь, например, различным возможным комбинациям цветовых каналов экрана с цветовыми каналами камеры. Например, может случиться так, что М=3 и N=3, если как камера, так и экран содержат красный, зеленый и синий цветовые каналы. Если дополнительно были показаны вышеописанные белое изображение и черное изображение, и измерительное изображение захвачено в каждом случае, то каждый набор измерительных данных может содержать (M+2)×N измерительных значений.
Набор измерительных данных, который принадлежит точке измеряемого объекта или точке изображения объекта, в дальнейшем также называют F(d,c), если как камера, так и экран содержат по несколько цветовых каналов. Индекс d описывает цвета осветительных изображений (или цветовые каналы экрана) и может быть определен, например, численно, а согласно вышеуказанным примерам удовлетворяет, например, соотношениям 1≤d≤M или 1≤d≤M+2 при, например, М=3. Альтернативно, индекс d может также быть определен соответствующими буквами и, согласно вышеуказанным примерам, имеет вид, например, d={r, g, b) или d={r, g, b, w, s}, где r, g, b обозначают красный, зеленый и синий цветовые каналы экрана или красное, зеленое и синее осветительное изображение соответственно, w обозначает белое изображение, a s - черное изображение. Соответственно, индекс с, который обозначает цветовые каналы камеры, может также быть определен численно, и, согласно вышеуказанным примерам, может, например, удовлетворять соотношению 1≤c≤N при N=3. Альтернативно, индекс с может также быть определен посредством соответствующих букв, и, согласно вышеуказанным примерам, иметь вид: с={r, g, b}, где r, g, b обозначают красный, зеленый и синий цветовые каналы камеры соответственно. Например, измерительные данные, которые содержатся в наборе измерительных данных, могут быть представлены в виде таблицы. Для d={r, g, b, w, s} и с={r, g, b) например:
Таблица 1: Пример компонентов набора измерительных данных F(d, с) для точки измеряемого объекта.
Например, F(d, с) содержит значение яркости для соответствующей точки измеряемого объекта, при этом указанное значение яркости измерено при освещении осветительным изображением основного цвета d элементом датчика цветового канала с камеры.
Наборы измерительных данных отдельных точек изображения могут, однако, также быть значениями полной яркости без цветовой информации. Например, набор измерительных данных может быть так называемым «измерительным вектором блеска», который в дальнейшем обозначен как G(a), при этом индекс а представляет собой отдельные осветительные изображения из последовательности осветительных изображений.
Например, как описано выше, может иметься R осветительных изображений, и каждое из них, как описано выше, покрывает 1/R от полной области экрана и, как правило, они взаимно не накладываются. Они отличаются по своему положению на экране и, взятые вместе (если бы они были показаны одновременно), покрывают весь экран. Заполненные частичные области осветительных изображений отличаются друг от друга по их расстояниям от верхнего края полной области изображения на экране, при этом объектив расположен выше верхнего края полной области изображения на экране. Кроме того, последовательность осветительных изображений может содержать белое изображение и черное изображение, которые уже описаны выше. Индекс а можно тогда определить, например, численно и задать, например, 1≤d≤R или 1≤a≤R+2 (с учетом белого изображения и черного изображения). «Измерительный вектор блеска» G(a) для R=3 имеет, например, следующие компоненты:
Таблица 2: Пример компонентов набора измерительных данных G(a) для точки измеряемого объекта.
Как правило, все цветовые каналы экрана в соответствующих частичных областях активизированы с самым большим значением яркости, чтобы эти осветительные изображения казались белыми. Например, измерительный вектор блеска G(a) содержит полное значение яркости для каждого индекса а, при этом указанное полное значение яркости измерено при освещении осветительным изображением с индексом а всеми сенсорными элементами камеры в соответствующей точке изображения объекта.
Однако в принципе последовательность осветительных изображений может также содержать осветительные изображения, которые отличаются друг от друга по спектральному составу или цвету, а также, как описано выше, положением соответствующих частично заполненных областей. Например, спектральная сигнатура F(c, d), которая описана выше, может быть получена для каждого местоположения а, при этом цветные осветительные изображения заполняют только описанную частичную область в этом местоположении а. Таким образом, набор измерительных данных Н(с, d, а), который содержит информацию о спектральных параметрах отражения, а также о блеске измеряемого объекта в соответствующей точке объекте, может быть вычислен для каждой точки объекта.
Например, информация о параметрах блеска измеряемого объекта может быть получена посредством оценки измерительного вектора блеска G(a), а также как набора измерительных данных Н(с, d, а). Помимо многих других возможных примеров можно рассматривать в качестве измеряемых объектов, например (человеческий или животный) волос или поверхность, которая сформирована множеством (человеческих) волос, уложенных рядом друг с другом.
Сотни, тысячи или миллионы наборов измерительных данных измеряемого объекта могут быть получены посредством захвата измерительных изображений во время показа последовательности осветительных изображений в зависимости от количества точек изображения или точек изображения объекта в измерительных изображениях.
Например, оценочный блок может быть сконфигурирован для сравнения одного, нескольких или всех наборов измерительных данных, таких как, например, описанная выше спектральная сигнатура F(c, d), измерительный вектор блеска G(a) и/или набор измерительных данных Н(с, d, а), по меньшей мере с одним заранее заданным набором измерительных данных. Результат этого сравнения может быть, например, значением размера, которое показывает, насколько сильно соответствующий набор измерительных данных отличается от соответствующего набора эталонных данных. Например, этот по меньшей мере один набор эталонных данных может быть определен в пространстве признаков, и наборы измерительных данных могут быть перед сравнением сначала преобразованы в это пространство признаков с помощью оценочного блока, чтобы впоследствии можно было провести сравнение между измерительным набором данных и набором эталонных данных в пространстве признаков.
При наличии нескольких наборов эталонных данных одним из результатов может быть идентификация набора эталонных данных, от которого соответствующий набор измерительных данных отличается меньше всего. Например, может быть произведено ранжирование, при котором, чем меньше соответствующий набор измерительных данных отличается от набора эталонных данных, тем больше ранг, который получает этот набор эталонных данных. Классификация соответствующего набора измерительных данных может быть произведена посредством оценочного блока, находящего набор эталонных данных с самым высоким рангом.
После сравнения нескольких или всех наборов измерительных данных с (несколькими) наборами эталонных данных можно определить тот набор эталонных данных, который победил в описанном ранжировании и который, например, получал высший ранг чаще всего и, таким образом, получил самый высокий полный ранг (победил «большинством голосов»). Классификация измеряемого объекта в целом может быть произведена оценочным блоком с учетом этого.
Идентифицированный набор эталонных данных с самым высоким полным рангом может быть выдан как результат измерений, например, через пользовательский интерфейс, например через экран устройства. Вместо идентифицированного набора эталонных данных с самым высоким полным рангом можно также вывести некий параметр измеряемого объекта, который соответствует этому набору эталонных данных или соответствующей классификации измеряемого объекта подходящим образом.
Несколько примеров вариантов выполнения настоящего изобретения относятся к типу сбора и хранения записанных измерительных значений, а также к их сравнению с эталонными величинами для конкретного приложения. В некоторых вариантах выполнения настоящего изобретения, например, в ходе выполнения варианта настоящего изобретения для конкретного приложения оценочный блок не выполняет никакого сбора и хранения отдельных измерительных данных или наборов измерительных данных (спектральных сигнатур) и их прямого сравнения с соответствующими эталонными значениями (спектральными сигнатурами) из банка данных. Например, можно выполнить коллективный сбор и хранение характерных признаков записанных измерительных значений для всех измерительных значений, и, например, сравнение этих характерных признаков с характерными эталонными признаками, которые определены тем же способом, может быть выполнено путем конкретных специфических для приложения измерений, например в синаптических элементах искусственной нейронной сети или в аналогичных модулях для других способов машинного обучения, например, способов классификаций. Анализ на основе модели представляет собой больше чем простое сравнение с эталонными моделями, но скорее результат систематической и всесторонней измерительной процедуры, которую выполняют для конкретного приложения и которая охватывает ожидаемые типичные флуктуации измерительных сигналов в предметной области и строит неявную модель, которая выводит решение из измерительных значений.
Оценочный блок может быть сконфигурирован для выполнения вышеуказанного сравнения между наборами измерительных данных и наборами эталонных данных посредством - соответствующим образом обученной или оптимизированной - искусственной нейронной сети. Описанная классификация наборов измерительных данных и измеряемого объекта в целом в этом случае может быть произведена, например, посредством математической модели классификации на основе этой искусственной нейронной сети. Искусственная нейронная сеть может быть, например, многослойным перцептроном, у которого может иметься, например, два слоя или более двух слоев, в частности скрытых (внутренних) слоев.
Например, отображение математического соотношения между записанными измерительными данными и информацией, относящейся к приложению, - при этом указанное отображение необходимо для решения задачи по измерению, - поэтому производят не фиксированным способом на основе решения заранее заданной системы уравнений, а способом, зависящим от приложения на основе свободно конфигурируемого и параметризированного алгоритма, предпочтительно из области машинного обучения.
Искусственная нейронная сеть может обучаться посредством учебных ситуаций. Например, при заданном способе контролируемого обучения множество учебных ситуаций может быть описано входным вектором и выходным вектором. Описанные выше наборы измерительных данных для измерительных изображений известного измеряемого объекта, которые были созданы предлагаемым способом и характерные признаки которых были определены, например, в соответствии с вышеописанным подходом, могут служить входными векторами. Как правило, характерные параметры не могут быть выведены из единственного набора измерительных данных, но их определяют как обобщение параметров многих наборов измерительных данных, то есть, можно сказать, что они определены неявно. Измерительные значения, которые были получены независимо от измерительных данных и которые характеризуют определенные параметры измеряемого объекта, представляющие интерес (например, химический состав, степень полноты, параметры блеска или другие параметры измеряемого объекта, представляющие интерес) могут служить выходными векторами. Искусственную нейронную сеть (то есть, ее параметры) затем оптимизируют для этих учебных ситуаций, например посредством обратной связи по ошибкам (обратное распространение). Более подробную информацию о таких методах можно найти, например, в следующих научных книгах:
R. Rojas: Theory of neural networks: A systematic introduction, Springer, 1996
R. Brause: Neuronal networks: An introduction into neuroinformatics, Teubner, 1995
J. Lunze Artificial intelligence for engineers, Oldenbourg 2010
По меньшей мере один заранее заданный набор эталонных данных может храниться, например, в памяти для данных, например во внутренней памяти данных мобильного электронного устройства или в другом компоненте системы, например в компьютерном сервере или в облаке. Оценочный блок может быть сконфигурирован для автоматического получения доступа к этой памяти для данных и извлечения наборов эталонных данных из памяти для выполнения вышеописанного сравнения. Например, оценочный блок может быть сконфигурирован для выполнения запроса набора эталонных данных в зависимости от информации, введенной через пользовательский интерфейс. Например, посредством пользовательского интерфейса можно предусмотреть ввод типа исследуемого измеряемого объекта и ввод того, какие параметры этого измеряемого объекта должны быть измерены.
с
d
с
d
Оценочный блок может быть сконфигурирован для учета - при оценке наборов измерительных данных - спектральной чувствительности С(λ) камеры или спектральной характеристики D(λ) излучения экрана или и того, и другого. (Индексы с и d определены так, как описано выше). Аналогично, можно, например, улучшить сравнимость наборов измерительных данных, которые получены с помощью различных экранов и камер, в частности, сравнимость вышеописанной спектральной сигнатуры F(d, с) или измерительного вектора блеска G(a). Спектральная чувствительность С(λ) камеры и спектральная характеристика D(λ) излучения экрана может быть измерена, например, с помощью спектрометра или получена из соответствующих технических условий изготовителя.
с
d
Дополнительно или альтернативно к оценке, которая описана выше, оценочный блок может быть сконфигурирован для определения параметров отражения измеряемого объекта по наборам измерительных данных с учетом спектральной чувствительности С(λ) камеры и спектральной характеристики D(λ) излучения экрана. Если говорить об указанном параметре отражения, это, например, может быть спектр отражения измеряемого объекта (в соответствующих точках объекта), который представляет собой зависимость степени отражения измеряемого объекта (в соответствующих точках объекта) от длины волны света. Определенный спектр отражения во многих случаях дает информацию о (био-)химическом составе измеряемого объекта (по меньшей мере, на его поверхности) или параметры измеряемого объекта, которые коррелируют с ним.
В общем случае, зависимость между измеренной «спектральной сигнатурой» F(d, с) измеряемого объекта в некоторой точке объекта и фактическим (неизвестным) спектром S(λ) отражения измеряемого объекта, который представляет интерес, в этой точке объекта, может быть математически описана как интеграл по полному диапазону длин волн:
d
с
k,
k+l
k
k+l
k+l
k
k
Спектральная характеристика D(λ) отражения экрана при d={r, г, b, w, s} и спектральная чувствительность С(λ) камеры с={r, г, b} определены так, как описано выше. Спектральные каналы S, как средние значения по соответствующему диапазону длин волны [A A] между длинами волн A и A, могут быть определены как ΔА=A-A:
k
Компоненты спектральной сигнатуры F(d, с) можно тогда рассматривать приблизительно как сумму по спектральным каналам S, то есть:
с коэффициентами, которые являются специфическими для соответствующего устройства
k
k
k
k
k
k
k
k
k
d
с
d
с
d
с
Спектральные каналы S не зависят (или зависят лишь относительно слабо) от специфических для устройства переменных D(λ) и С(λ) и поэтому особенно хорошо подходят для приложений со всеми типами устройств. Спектральные каналы S, как правило, охватывают весь спектральный диапазон длин волн дисплея и камеры. При известных специфических для устройства переменных D(λ) и С(λ) и при известном результате измерений спектральной сигнатуры F(d, с) получается система уравнений (3) со спектральными каналами S в качестве неизвестных. Если система уравнений соответственно линейно независима, ее можно решить и найти искомые спектральные каналы S. Для этого можно выбрать подходящее количество и положение спектральных каналов Однако, Если количество спектральных каналов S выбрано слишком большим, то система уравнений больше не будет линейно независимой. В некоторых приложениях, например для коммерчески доступных смартфонов, система уравнений может найти S во многих случаях, если количество каналов равно, например, 5-6 каналов. В некоторых случаях большее количество каналов S можно получить с использованием нелинейных эффектов. Возможное количество и положения каналов S для соответствующего устройства, которое может быть вычислено, как правило, зависят от разностей между специфическими для устройства переменными D(λ) и С(λ) и от влияния шумов. Например, в некоторых случаях могут быть реализованы 15 каналов S.
Спектр S(λ) отражения, который определен описанным выше способом, является приближением с ограниченной точностью. Несмотря на это, с его помощью могут быть осуществлены полезные приложения.
k
Альтернативно или дополнительно к спектральным каналам S указанные параметры отражения могут также представлять собой или включать, например, зависимость степени отражения измеряемого объекта (в соответствующих точках объекта) от угла падения света на измеряемый объект (в соответствующих точках объекта). Угловая зависимость степени отражения во многих случаях учитывает объективные выводы относительно блеска поверхности, то есть, доли света, которая направленно отражается от поверхности измеряемого объекта (в противоположность диффузно отраженному свету). Например, эта угловая зависимость степени отражения может быть определена на основе описанного выше измерения измерительного вектора блеска G(a) или наборов измерительных данных Н(с, d, а) для каждой точки объекта, или их можно оценить количественно. Если имеется очень блестящая поверхность, угловая зависимость отражения от поверхности, как правило, имеет особенно сильный и узкий максимум интенсивности, когда выходной угол тракта измеренного отраженного луча в точности соответствует углу падения луча. Например, можно вычислить гистограмму яркости отдельных пикселей. Например, значение размера для отражения относительно угла (соответствующее освещенной в настоящее время части экрана) может быть вычислено на основе этой гистограммы или ее параметров, например посредством пороговых значений или анализа гистограммы.
k
Как уже было описано выше в контексте наборов измерительных данных, в частности, в контексте спектральной сигнатуры F(c, d), фактора блеска G(a) и набора измерительных данных Н(с, d, а), оценочный блок может, дополнительно или альтернативно, быть сконфигурирован для сравнения определенных параметров отражения измеряемого объекта, например, спектральных каналов S или определенных значений для угловой зависимости степени отражения, по меньшей мере с одним заранее заданным эталонным параметром отражения.
k
k
k
k
d
с
d
с
В отношении зависимых от устройства вариаций параметров, в частности, экрана и камеры мобильного устройства (например, смартфона), при этом такие вариации, хотя и очень малы, но не могут, однако, быть полностью исключены, можно выполнить, например, специфическую для устройства калибровку для повышения точности измерения. Однократное или многократное измерение известного калибровочного эталона, которое предпочтительно характеризуется как можно меньшим уровнем возможной вариации его материала и, таким образом, спектральных характеристик, может быть выполнено с использованием мобильного устройства (например, смартфона). Для измерения способ измерения, предложенный здесь, выполняют с использованием мобильного устройства и создают описанные выше измерительные изображения калибровочного эталона. Затем можно выполнить сравнение измерительных данных, которое получено при этом измерении, например в форме вышеописанных наборов измерительных данных, вышеописанных характеристик отражения или спектральных каналов S, с соответствующим набором эталонных данных для этого калибровочного эталона, который хранится, например, в оценочном блоке или во внутренней памяти мобильного устройства. Этот набор эталонных данных может быть определен, например, заранее посредством очень точных способов с использованием одного или более калибровочных эталонов. Например, значения специфических для устройства переменных D(λ) и С(S) могут быть вычислены заново на основе сравнения измерительных данных для спектральных каналов S с соответствующими эталонными значениями спектральных каналов S и сохранены для использования при будущих измерениях. Например, управляющий блок и/или оценочный блок мобильного устройства могут быть сконфигурированы для автоматического выполнения нового вычисления переменных D(λ) и С(λ), которые необходимы для калибровки, например в ранее активированном (например, пользователем через пользовательский интерфейс) режиме калибровки устройства.
Для конструкции вышеуказанного калибровочного эталона могут использоваться коммерчески доступные и специально калиброванные эталоны, например, особо спектрально стабильный материал (PTFE, Тефлон). Дополнительная возможность конструкции, в частности, в отношении предпочтительного использования потребителем и во избежание использования дополнительных аппаратных средств с соответствующими дополнительными затратами, лежит в использовании в качестве калибровочного эталона обычно легкодоступных и менее меняющихся объектов, имеющих другое прикладное назначение, таких как банкноты.
Если предполагается, что вышеуказанные зависящие от устройства параметры, в частности, экрана и камеры в мобильном устройстве (например, смартфоне), не меняются во время нормального срока службы и срока обслуживания устройства, эта специфическая для устройства калибровка обычно необходима только один раз. В случаях значительных зависящих от устройства вариаций параметров, в частности экрана и камеры в мобильном устройстве (например, вследствие чрезмерного износа), эту калибровку можно в основном повторять так часто, как желательно, чтобы учесть происходящую вариацию. Посредством предложенной калибровки такие вариации можно снизить. Это особенно предпочтительно в случае смартфонов и аналогичных мобильных устройств для потребителей, так как такие устройства часто отличаются по излучению дисплея, а также по параметрам фильтра цветной камеры, и эти параметры часто можно получить только непосредственными измерениями, потратив много усилий.
В результате для системы, способа и компьютерной программы имеются различные приложения, некоторые из которых перечислены в качестве примеров и сгруппированы согласно комплексам приложений. В список внесены примеры измеряемых объектов, примеры возможных параметров соответствующих измеряемых объектов, которые представляют интерес, а также примеры рекомендаций для действий.
Комплекс приложений 1:
Человек - медицина:
- тип кожи
- тип волос
- цвет волос
- обесцвечивание (родинки, меланомы)
- заживление ран, цвет воспаления
- распознавание, объективная оценка и/или документация болезни (например, нарушения обмена веществ, инфекции, аллергии) и/или проявления недостаточности на основе специфического изменения волос или кожи (или меха у животных). Автоматическая или полуавтоматическая (в контексте системы помощи) формулировка рекомендаций для действий на этой основе, например для лечения соответствующей болезни, для лечения симптома недостаточности, для оптимизации питания или для оптимизации ухода за кожей и/или волосами (или мехом в случае животных). Например, продукты по уходу (такие как, например, лосьоны, шампуни и т.д.) или определенные пищевые продукты (такие как, например, так называемые «функциональные продукты», фрукты, искусственно произведенные пищевые добавки и т.д.) или определенные пищевые ингредиенты (например, витамины, минералы и т.д.) могут быть рекомендованы, например, автоматически или полуавтоматически для оптимизации пищи или средства ухода.
Человек - косметика (рекомендация продуктов по уходу и линий поведения):
- тип кожи, (обычный) цвет кожи
- выбор косметики
- выбор защиты от солнца
- выбор краски
- выбор продуктов по уходу
- цвет кожи (в данный момент)
- степень загара
- цвет волос (в данный момент)
- необходима или новая окраска?
Домашние животные и домашний скот
- шкура, мех
- продукты по уходу
- здоровье
Комплекс приложений 2:
Производство и обработка растительных продуктов:
- распознавание условий для здоровья и питания культивируемых растений в естественных условиях на полях, в теплицах и лабораториях (все типы биотических и небиотических стрессов)
- распознавание сорняков и нежелательных растений при сельскохозяйственном производстве в полевых условиях
- определения параметров качества урожая прямо на поле/после сбора урожая, а также при хранении, продаже и дальнейшей обработке
- распознавание нежелательных продуктов|объектов|загрязнений фунгицидов и заражения вредителями урожая прямо на поле/после сбора урожая, а также при хранении, продаже и дальнейшей обработке
- определение количественных параметров семян в рамках культивирования растений (селекция) или производства семян (гарантия качества)
Комплекс приложений 3:
Определения параметров швейных материалов, таких как кожа, мех, материалы естественного или искусственного происхождения:
- цвет
- структура
- состав
- происхождение
- возраст
- чистота
- цветовые нюансы, рекомендации по стилю (какой материал с каким сочетается и когда),
Комплекс приложений 4:
Определение характеристик продовольствия (фрукты, овощи, рыба, мясо, грибы, молочные продукты, полуфабрикаты),
- срок годности
- свежесть, возраст, зрелость
- чистота, состав
- разнообразие
- степень обработки
- обработано или нет
Если говорить об описанных примерах приложений, измерительные изображения соответствующего указанного объекта захватываются, например, посредством предложенной системы, а затем они оцениваются посредством этой системы. Информация, которая представляет интерес в каждом случае, например, некоторые параметры объекта или информация, которую получают из них, определяются системой, например, оценочным блоком мобильного устройства. Например, соответствующие рекомендации к действиям можно впоследствии определить на основе определенной таким способом информации (из определенных параметров объекта и/или из информации, которая получена из них). Определенная информация и/или определенные рекомендации к действиям могут быть выданы пользователю через мобильное устройство, например оптически с помощью дисплея мобильного устройства и/или акустически с помощью громкоговорителя мобильного устройства. Например, можно предусмотреть, чтобы перед выполнением измерения пользователь выполнил ввод через пользовательский интерфейс мобильного устройства, в процессе которого задал тип измеряемого объекта, тип информации, которая представляет интерес и/или тип рекомендаций к действиям. Как уже описано выше, от этого ввода могут зависеть параметры освещения для последовательности осветительных изображений, а также оценка измерительных изображений.
С помощью системы и способа, которые предложены здесь, пользователь может выполнить измерения на объекте и получить информацию о параметрах объекта, которые представляют интерес, а возможно и рекомендации по действиям, очень простым путем посредством общедоступного мобильного устройства, например, посредством смартфона. Во многих примерах выполнения настоящего изобретения, которые описаны здесь, система или способ представляют собой комбинацию мобильного устройства, систематического сбора данных, машинного обучения и основанного на модели распознавания, специфического для приложения. В результате этой комбинации система, кроме того, обладает экспертными знаниями (например, знаниями врача), поскольку система, например, изучает, какие специфические рекомендации к действиям могут быть получены, и из какого параметра. В результате система в некоторых случаях может выполнять для пользователя роль независимого эксперта, а кроме того может также использоваться в комбинациях, которые ранее не существовали.
Ниже изобретение иллюстрируется более подробно на конкретных примерах вариантов его выполнения, которые схематично показаны на фиг. 1-8. На чертежах:
На фиг. 1 показана система того типа, который описан здесь,
На фиг. 2 показано мобильное электронное устройство для системы, показанной на фиг. 1,
На фиг. 3А-3Е показано мобильное электронное устройство для системы, которая показана на фиг. 1, на виде спереди, при этом на каждом чертеже демонстрируется разное осветительное изображение для первой последовательности осветительных изображений,
На фиг. 4 показано мобильное электронное устройство для системы, которая показана на фиг. 1, на виде сбоку, где показано осветительное изображение первой последовательности осветительных изображений и измеряемый объект,
На фиг. 5А-5Е показано мобильное электронное устройство для системы, которая показана на фиг. 1, на виде спереди, при этом на каждом чертеже демонстрируется разное осветительное изображение для второй последовательности осветительных изображений,
На фиг. 6А-6С показано мобильное электронное устройство для системы, которая показана на фиг. 1, на виде сбоку, при этом на каждом чертеже демонстрируется разное осветительное изображение для второй последовательности осветительных изображений и измеряемый объект,
На фиг. 7 схематично показано нескольких измерительных изображений, которые были захвачены при съемке измеряемого объекта устройством системы, показанной на фиг. 1, и
На фиг. 8 показана последовательность операций для способа предложенного здесь типа.
Одинаковые признаки или те, которые соответствуют друг другу, обозначены на чертежах одинаковыми позициями.
На фиг. 1 показана предложенная система 1, предназначенная для захвата и оценки измерительных изображений измеряемого объекта. Система 1 содержит несколько мобильных электронных устройств 2, из которых на фиг. 1 для ясности представлено только одно. Система 1 в этом примере дополнительно содержит несколько компьютеров 3, таких как, например, компьютерные серверы, или персональные компьютеры, или облачные средства, из которых на чертеже аналогично показан только один. Последующее описание может относиться к каждому из устройств 2 или компьютеров 3, хотя рассматривается при этом только устройство 2 или компьютер 3.
В показанном примере устройство 2 и компьютер 3 связаны друг с другом через компьютерную сеть 4, например, через Интернет и/или облако. В другом варианте выполнения настоящего изобретения система не содержит дополнительных компьютеров 3.
Устройство 2 может быть, например смартфоном, например изделием iPhone фирмы Apple. Однако устройство 2 может также быть смартфоном другого изготовителя или другим мобильным электронным устройством, например планшетным компьютером.
Устройство содержит корпус 5 и камеру 6, которые интегрированы в корпус 5, для захвата измерительных изображений измеряемого объекта в пределах области обзора камеры 6. Устройство дополнительно содержит экран 7, который интегрирован в корпус 4, для показа осветительных изображений. Экран 7 обращен к области обзора камеры 6.
На фиг. 2 показано схематичное и более подробное представление устройства 2, на котором показано несколько компонентов устройства 2. Устройство 2 содержит управляющий блок 8, который интегрирован в корпус и который сконфигурирован для активизации экрана 6 для последовательного показа нескольких различных осветительных изображений из заранее заданной последовательности осветительных изображений. Кроме этого, управляющий блок 8 сконфигурирован для активизации камеры 6 на захват измерительных изображений измеряемого объекта синхронно с показом каждого осветительного изображения из заранее заданной последовательности осветительных изображений.
Устройство 2 содержит Интернет-память 9 для данных, которая интегрирована в корпус 4 устройства 2. Интернет-память 9 содержит, например энергозависимую и энергонезависимую память, например, RAM и ROM, в виде, например, одного или более твердотельных накопителей.
В устройство 2 загружен компьютерный программный продукт 10, который содержит разделы программного кода. В разделах программного кода содержатся инструкции, которые могут быть выполнены управляющим блоком. При выполнении этих инструкций, когда компьютерный программный продукт запущен в устройстве 2, управляющий блок выполняет вышеописанное управление экраном 6 и камерой 5, а также выполняет дополнительные шаги, которые описаны ниже.
Компьютерный программный продукт 9 представляет собой компьютерную программу, которая хранится в памяти 9. Эта компьютерная программа также хранится в памяти 11 данных компьютера 3, например на жестком диске компьютера 3 или в облачной памяти и загружается, например, с компьютера 3 в устройство 2 через компьютерную сеть 4.
Управляющий блок 8 представляет собой (логический или интегрированный) блок (цифрового) процессора 12, например главный процессор (центральный процессор) устройства 2 в виде электронной схемы, которая реализована, например, в виде полупроводникового чипа. Процессор 12 связан с памятью 9 устройства 2 для получения доступа к памяти 9 и, в частности, для извлечения компьютерного программного продукта, который загружен в память 9, или его загруженных разделов программного кода, и для последующего выполнение (управляющим блоком 8 устройства) вышеуказанных шагов (синхронная активизация экрана 7 и камеры 6), а также дополнительных шагов, описанных ниже.
Кроме того, устройство 2 содержит оценочный блок 13, который аналогично представляет собой (логический или интегрированный) блок (цифрового) процессора 12. Оценочный блок 13 сконфигурирован для выполнения шагов способа с целью оценки измерительных изображений. Компьютерный программный продукт содержит дополнительные разделы программного кода, в которых закодированы соответствующие инструкции, выполняемые процессором 12 устройства, в результате чего процессор 12 при выполнении этих дополнительных инструкций функционирует как вышеуказанный оценочный блок 13 устройства 2.
Например, способ может быть полностью выполнен устройством 2, чтобы таким образом минимизировать передаваемый объем данных и не полагаться на соединение и/или защитить уязвимые данные. В принципе, дополнительно или альтернативно, возможно также, чтобы соответствующие шаги оценки выполнялись, например, посредством компьютера 3. Для этого компьютер может (аналогично) содержать соответственно сконфигурированный оценочный блок 14, который может аналогично представлять собой (логический или интегрированный) блок процессора 15 в компьютере 3. Можно также, чтобы оценка измерительных изображений частично выполнялась оценочным блоком 13 устройства, а частично - оценочным блоком 14 компьютера 3.
Заранее заданная последовательность осветительных изображений в этом примере полностью определяется рядом параметров освещения, которые более подробно описаны ниже. Параметры освещения хранятся в памяти 9 мобильного электронного устройства 2, а также в памяти 11 компьютера 3. Например, программный код компьютерного программного продукта 10 содержит определения и значения параметров освещения. Например, автоматическое хранение параметров освещения в памяти 9 устройства 2 производят посредством загрузки компьютерного программного продукта 10 в устройство 2. При выполнении вышеописанных шагов способа управляющий блок 8 извлекает хранящиеся параметры освещения из памяти 9 устройства 2 (или, альтернативно, из памяти 11 компьютера), затем определяет заранее заданную последовательность осветительных изображений на основе этих извлеченных параметров освещения, а затем активизирует экран 7 на показ осветительных изображений заранее заданной последовательности осветительных изображений, определенной выше, а синхронно с этим активизирует камеру 6 на запись измерительных изображений.
Экран 7 устройства 2 представляет собой сенсорный экран, который действует как пользовательский интерфейс 16 устройства. Пользовательский интерфейс 16, в частности, обеспечивает работу устройства по реализации предложенного способа. Например, заранее заданная последовательность осветительных изображений может быть установлена прямо или косвенно через пользовательский интерфейс 16. Например, выбор между различными (хранящимися) заранее заданными последовательностями осветительных изображений может быть выполнен посредством пользовательского интерфейса 16. Это может быть выполнено с помощью пользовательского интерфейса 16, например, путем ввода типа измеряемого объекта, который будет исследован, и выбора одного или более представляющих интерес параметров выбранного измеренного объекта. В зависимости от этого ввода управляющий блок 8, например, определяет осветительные изображения из последовательности осветительных изображений, а оценочный блок 13, например, определяет тип оценки. Кроме того, пользовательский интерфейс содержит, например, акустический вывод устройства 2, например в виде установленного громкоговорителя и/или вибрационного модуля, например, для выработки предупредительных сигналов, например если влияние окружающего света оценивается как слишком большое или если совмещение измерительных изображений или распознавание объекта не смогли быть выполнены успешно, например из-за параметров объекта или действий пользователя.
Память 9 устройства 2 сконфигурирована для хранения захваченных измерительных изображений. Для этого управляющий блок 8 передает захваченное измерительное изображение в память 9 и инициирует сохранение. Например, для выполнения оценки оценочный блок 13 устройства может получить доступ к измерительным изображениям, которые хранятся в памяти 9. Кроме того, управляющий блок 8 может активизировать экран 7, например, на автоматический показ одного или более захваченных измерительных изображений после захвата измерительных изображений. По существу, дополнительно или альтернативно, измерительные изображения также можно переслать в компьютер 3, сохранить там в памяти 11 и оценить посредством оценочного блока 14.
Кроме того, в памяти 9 устройства 2 инсталлированы операционная система устройства 2, такая как iOS, а также дополнительные прикладные программы, в частности Интернет-браузер и приложение App-Store. (Интернет) соединение устройства 2 с Арр-Store может быть создано через приложение App-Store. Компьютерный программный продукт 10, например в виде приложения, может быть загружен из памяти 11 компьютера 3 в память 11 устройства 2 через это приложение App-Store и храниться там постоянно. Однако альтернативно компьютерный программный продукт 10 можно загрузить из памяти 11 компьютера 3 в память 9 устройства в качестве сетевого приложение через Интернет-браузер устройства 2 со страницы Интернет-провайдера. Затем компьютерную программу временно сохраняют в памяти 9 для выполнения способа, а затем автоматически стирают вновь.
Устройство содержит несколько (беспроводных) интерфейсов 17 данных, таких, например, как радиоинтерфейс для связи устройства с Интернетом.
Мобильное (портативное) электронное устройство 2 является малым и легким, чтобы во время показа осветительных изображений и захвата измерительных изображений пользователь мог его ориентировать и держать в нужном положении относительно измеряемого объекта только одной рукой. Поэтому устройство предпочтительно весит меньше 1 кг, например, приблизительно 200 г. Максимальная длина стороны корпуса 5, имеющего форму приблизительно прямоугольного параллелепипеда, составляет, например, меньше 20 см, например приблизительно 16 см, а минимальная длина стороны составляет, например, меньше 1 см, например приблизительно 8 мм.
Камера 6 устройства содержит объектив 18, который расположен на передней стороне 19 корпуса 5 и определяет область обзора 20 камеры 6. Камера 5 содержит датчик 21 изображения, например светочувствительный полупроводниковый чип, как например датчик на основе прибора с зарядовой связью (CCD) или комплементарного металло-оксидного полупроводника (CMOS) или датчик на основе InGaAs. Датчик 21 изображения содержит множество блоков датчика (не показаны), которые установлены в виде полной сетки. Каждый из блоков датчика содержит несколько соседних светочувствительных элементов датчика (не показаны) датчика 21 изображения, которые относятся к различным цветовым каналам камеры 6. Каждый блок датчика соответствует точке изображения (пикселю) измеренного изображения, которое захвачено посредством камеры 6. Положения блоков датчика и их элементов датчика в пределах датчика изображения определяется двумя координатами (XY) соответствующего блока датчика.
с
Камера 5 чувствительна к свету с длинами волны приблизительно между 400 нм и приблизительно 800 нм, то есть включая красный, зеленый и синий цветовые каналы. Для каждого из цветовых каналов камера имеет специфическую для канала спектральную чувствительность С(λ). Каждый из цветовых каналов камеры сформирован подмножеством элементов датчика 21 изображения, спектральная чувствительность которого соответствуют специфическим для канала спектральным чувствительностям соответствующего цветового канала камеры. Поэтому все элементы датчика каждого цветового канала расположены в виде подсетки, которая охватывает датчик 21 изображения. Подсетей элементов датчика для различных цветовых каналов пространственно налагаются друг на друга и, таким образом, формируют полную сетку блоков датчика 21 изображения.
d
Экран 7 аналогично расположен на передней стороне 19 корпуса 5 и излучает свет в видимой спектральной области между 400 нм и приблизительно 800 нм. Экран 7, как и камера 6, содержит красный, зеленый и синий цветовые каналы. Экран 7 имеет спектральную характеристику D(λ) излучения для каждого из цветовых каналов, при этом указанная характеристика соответствует основным цветам экрана 7: красному, зеленому и синему. Экран 7 содержит множество световых элементов (не показаны), которые расположены по полной сетке экрана 7 и которые формируют точки изображения (пиксели) экрана 7, а вместе заполняют всю область 22 изображения экрана 7. Каждый из цветовых каналов сформирован подмножеством световых элементов экрана, спектральные характеристики излучения которого соответствуют специфическим для канала спектральным характеристикам излучения цветового канала. Каждая точка изображения экрана сформирована группой соседних световых элементов, которые принадлежат различным цветовым каналам.
Помимо громкоговорителя или микрофона (оба не показаны), например, для телефонных приложений, устройство дополнительно содержит перезаряжающийся источник 45 энергии для питания компонентов устройства 2.
Электронное устройство системы 1, изображенное на фиг. 1, показано на виде спереди на фиг. 3А-3Е, при этом в каждом случае осветительное изображение первой заранее заданной последовательности осветительных изображений показано на экране 7. В показанном примере эта первая последовательность осветительных изображений содержит: красное осветительное изображение 23, зеленое осветительное изображение 24, синее осветительное изображение 25 и белое осветительное изображение 26 (белое изображение). Кроме того, показано черное осветительное изображение 27 (черное изображение).
Управляющий блок 8 мобильного электронного устройства 2 сконфигурирован для активизации экрана 7 мобильного электронного устройства 2 для:
- показа красного осветительного изображения 23 посредством активизации световых элементов только красного цветового канала на экране 7 и посредством активизации всех активных световых элементов красного цветового канала с однородным значением яркости, которая заранее задана для красного цветового канала,
- показа зеленого осветительного изображения 24 посредством активизации световых элементов только зеленого цветового канала на экране 7 и посредством активизации всех активных световых элементов зеленого цветового канала с однородным значением яркости, которая заранее задана для зеленого цветового канала, и
- показа синего осветительного изображения 25 посредством активизации световых элементов только синего цветового канала на экране 7 и посредством активизации всех активных световых элементов синего цветового канала с однородным значением яркости, которая заранее задана для синего цветового канала.
Альтернативно однородным значениям яркости, активные световые элементы соответствующего цветового канала могут также быть активизированы, например, с другими значениями яркости, которые отличаются друг от друга, например, градиентом (через экран).
Неактивные световые элементы соответствующих остальных цветовых каналов выключены или каждый активизирован с самым малым значением яркости.
Белое изображение 26 производят посредством управляющего блока 8 путем активизации всех световых элементов экрана с максимальной яркостью. Черное изображение 27 производят путем выключения управляющего блока 8, или выключения всех световых элементов экрана 7, или активизации их с самым малым значением яркости. Белое осветительное изображение и черное осветительное изображение используются оценочным блоком 13 для калибровки оставшихся измерительных изображений и для оценки влияния окружающего света.
Каждое осветительное изображение 23, 24, 25, 26, 27 из первой последовательности осветительных изображений целиком заполняет полную область 22 изображения экрана 7. Кроме вышеуказанных значений яркости первая последовательность осветительных изображений определяется следующими параметрами освещения:
- общим количеством осветительных изображений, в этом случае все три цветных изображения, белое изображение и черное изображение,
- последовательностью осветительных изображений, в этом случае, например, последовательность цветов такова: красный, зеленый, синий, белый, черный (или по существу любая другая заранее заданная последовательность),
- продолжительностью показа осветительных изображений, в этом примере в диапазоне между 100 мс и 200 мс, например 150 мс,
- временным интервалом между показом отдельных осветительных изображений, в этом примере в диапазоне между 5 мс и 10 мс, например 7 мс.
На фиг. 4 мобильное электронное устройство 2 показано на виде сбоку, когда одно из осветительных изображений из заранее заданной первой последовательности осветительных изображений, например красное осветительное изображение 23, показано на экране 7. Кроме того, показана часть измеряемого объекта 38, который размещен в области 20 обзора камеры 6. Во время показа осветительных изображений 23, экран 7 устройства 2 испускает красный свет (представленный на фиг. 4 штриховыми линиями) и освещает измеряемый объект 38 этим красным светом. При синхронном захвате измерительного изображения, которое соответствует осветительному изображению 23, свет, который отражен измеряемым объектом 23 (представлен на фиг. 4 штриховыми линиями) захватывается камерой 6 и освещает датчик 21 изображения. Это соответственно повторяют для других осветительных изображений из первой последовательности осветительных изображений.
Электронное устройство системы 1, показанной на фиг. 1, показано еще раз на виде спереди на фиг. 5А-5Е, при этом на экране 7 показано осветительное изображение из второй заранее заданной последовательности осветительных изображений. В показанном примере эта вторая последовательность осветительных изображений содержит: первое осветительное изображение 28, второе осветительное изображение 29, третье осветительное изображение 30 и белое осветительное изображение 31 (белое изображение). Кроме того, показано черное осветительное изображение 32 (черное изображение). Белое изображение 31 не отличается от белого изображения 26 в первой последовательности осветительных изображений. Аналогично, черное изображение 32 не отличается от черного изображения 27 в первой последовательности осветительных изображений.
Каждое из первого, второго и третьего осветительных изображений 28, 29, 30 непрерывно и каждое заполняет только частичную область 33 из полной области 22 изображения на экране 7. Например, световые элементы экрана 7 в пределах соответственно заполненной частичной области 33 активизированы с самым большим значением яркости в каждом цветовом канале. Вне частично заполненной области 33, световые элементы выключены или не активизированы, таким образом не испускают свет или светят лишь с минимальной яркостью. Соответственно, заполненные частичные области 33 осветительных изображений не накладываются друг на друга на экране 7. Частичная область 33, которая в этом примере соответственно заполнена осветительными изображениями, соответствует 1/3 полной области 22 изображения на экране 7. Альтернативно, последовательность осветительных изображений может содержать другое количество таких осветительных изображений, например R осветительных изображений, каждое из которых заполняет только 1/R от полной области изображения на экране, при этом R представляет собой, например, натуральное число, которое больше чем 3 и меньше 20.
Заполненные частичные области 33 первого, второго и третьего осветительных изображений 28, 29, 30 отличаются по их расположению относительно экрана 7. На показанном чертеже полная область 23 изображения на экране 7 имеет верхний край 34, нижний край 35, левый край 36 и правый край 37. Заполненные частичные области 33 осветительных изображений 28, 29, 30 отличаются по их расстоянию от верхнего края 34 и поэтому также от объектива 18 камеры 5, который расположен выше верхнего края 34 полной области 23 изображения на экране 7.
Кроме значений яркости, которые определены выше, второе осветительное изображение определено следующими дополнительными параметрами освещения:
- общим количеством осветительных изображений, в этом случае три белых осветительных изображений, каждое из которых заполняет только частичную область 33 на экране 7, а также белое изображение и черное изображение,
- последовательностью осветительных изображений, в этом случае, например, последовательность такова: первое, второе, третье осветительное изображение, белое изображение 31, черное изображение 32 (или по существу любая другая заранее заданная последовательность),
- продолжительностью показа осветительных изображений, в этом примере в диапазоне между 100 мс и 200 мс, например 150 мс,
- временным интервалом между показом отдельных осветительных изображений, в этом примере в диапазоне между 5 мс и 10 мс, например 7 мс.
Управляющий блок 8 мобильного электронного устройства 2 соответственно сконфигурирован для активизации экрана 7 мобильного электронного устройства 2 на показ осветительных изображений из второй последовательности осветительных изображений и синхронного с этим захвата измерительных изображений, как было уже описано в контексте первой последовательности осветительных изображений.
На каждом из фиг. 6А-6С мобильное электронное устройство 2 показано на виде сбоку, при этом первое, второе и третье осветительное изображение 28, 29, 30 из второй последовательности осветительных изображений показано на экране 7. Кроме того, еще раз показана часть измеряемого объекта 38, которая расположена в области 20 обзора камеры 6. Во время показа осветительных изображений 23 экран 7 устройства 2 излучает свет (представленный на фиг. 6 штриховыми линиями) и освещает измеряемый объект 38 в каждом случае с различного направления. При синхронном захвате измерительного изображения, которое соответствует осветительному изображению 23, свет (представленный на фиг. 6 штриховыми линиями), который отражен измеряемым объектом 38, захватывается камерой 6 и освещает датчик 21 изображения.
Например, можно выбрать между первой и второй последовательностью осветительных изображений с помощью пользовательского интерфейса 16 в устройстве 2. Можно также предусмотреть, чтобы управляющий блок 8 автоматически выбирал между первой и второй последовательностями осветительных изображений, например, в зависимости от типа измеряемого объекта 38 или в зависимости от исследуемого параметра измеряемого объекта 38. Например, тип измеряемого объекта 38 и исследуемый параметр можно ввести через пользовательский интерфейс 16. Оценочный блок 13 сконфигурирован для выполнения оценки измерительных изображений в зависимости от этого ввода.
Эта оценка в принципе может зависеть от дополнительных переменных, которые определены устройством, например, от текущего времени и текущих координат местоположения устройства 2 во время захвата измерительных изображений. Время можно определить, например, системными часами устройства, а координаты местоположения - посредством модуля 4 GPS в устройстве 2. Например, каждое измерительное изображение может нести соответствующую сигнатуру времени и сигнатуру местоположения. Таким образом, можно определить зависящие от местоположения переменные, при этом эти зависящие от местоположения переменные коррелируют с параметрами измеряемого объекта, которые должны быть исследованы, или влияют на них. Это имеет место, например, если исследуемый измеряемый объект является, например, человеческими волосами, а исследуемым параметром - например, блеск волос, так как преобладающее строение волос отличается в различных регионах земли. Кроме того, работой системы можно управлять, ограничивать ее или полностью блокировать на основе данных GPS. Например, управляющий блок 8 может быть сконфигурирован для выполнения способа без ограничений только в определенных странах или более малых географических областях (например, производственные объекты, торговые центры), для выполнения способа (в частности, захват измерительных изображений и/или их оценка) только в ограниченном или модифицированном режиме в других странах или более малых географических областях (например, производственные объекты, торговые центры) и может полностью заблокировать выполнение способа в других странах или более малых географических областях (например, производственные объекты, торговые центры).
На фиг. 7 схематично показано нескольких измерительных изображений 39, которые были захвачены от измеряемого объекта 38 устройством системы 1, которая показана на фиг. 1. Например, показанные измерительные изображения 39 представляют собой измерительные изображения, которые были захвачены синхронно с показом осветительных изображений 23-27 из первой последовательности осветительных изображений, или измерительные изображения, которые были захвачены синхронно с показом осветительных изображений 28 32 из второй последовательности осветительных изображений.
Каждое из измерительных изображений 39, которые были записаны посредством камеры 6, содержит множество точек 40 изображения (пикселей), которые расположены по полной сетке, назначены сенсорным блокам датчика изображения, и положения которых в пределах соответствующего измерительного изображения определены двумя координатами (XY) изображения, которые зависят от координат датчика соответствующих блоков датчика или соответствуют им. Измерительные изображения 39 содержат данные изображения, в которых закодирована информация об изображении в виде конкретных значенияй яркости соответствующих точек изображения в измерительных изображениях. Значения яркости точек 40 изображения на измерительных изображениях 39 зависят, например, от заряженного или разряженного состояния элементов соответственно назначенных блоков датчика 21 изображения при захвате соответствующего измерительного изображения 39.
Как также показано на фиг 6, точки 40 изображения измерительных изображений 39 объединены в совмещенное измерительное изображение 41 посредством оценочного устройства 13 в описываемом устройстве (альтернативно, посредством оценочного блока 14 в компьютере 3), например, посредством совмещения изображений, и данные изображений объединенных точек 40 изображения сгруппированы в наборы измерительных данных соответствующих объединенных точек 40 изображения из совмещенных измерительных изображений 41. Для совмещения измерительных изображений 38 при необходимости производят преобразования измерительных изображений 39, например, (локальные) преобразования координат (вращения, трансляции, наклоны и/или (локальное) изменение масштаба, интерполяцию подпикселей).
Кроме того применяют алгоритм распознавания объекта, например, с помощью оценочного блока 13 в устройстве (альтернативно, посредством оценочного блока 14 в компьютере 3) на основе совмещенного измерительного изображения 40 для идентификации точек 42 изображения объекта в совмещенном измерительном изображении 41, то есть тех точек 40 изображения, которые отображают точки 43 объекта для измеряемого объекта 38. Алгоритм распознавания объекта базируется, например, на алгоритме «роста области», как описано выше.
Если измерительные изображения 39 представляют собой измерительные изображения, которые были захвачены синхронно с показом осветительных изображений 23 и 27 из первой последовательности осветительных изображений, то каждый из наборов измерительных данных может представлять собой, например, вышеописанную «спектральную сигнатуру» F(d, с) измеряемого объекта в соответствующей ассоциированной точке 43 измеряемого объекта 38, компоненты которой определены, например, как в Таблице 1. Индекс d определен как d={r, г, b, w, s} где r, g, b обозначают красное, зеленое и синее осветительные изображения 23, 24, 25, соответственно, w обозначает белое изображение 26, a s - черное изображение 27. Соответственно, индекс с обозначает цветовые каналы камеры 6 и определен как с={r, г, b}, где r, g, b обозначают красный, зеленый и синий цветовые каналы камеры 6, соответственно.
Если измерительные изображения 39 представляют собой измерительные изображения, которые были захвачены синхронно с показом осветительных изображений 28-32 из второй последовательности осветительных изображений, то сгруппированные наборы измерительных данных для отдельных точек 52 изображения объекта представляют собой, например, вышеописанные измерительные векторы блеска G(a), где индекс а представляет отдельные осветительные изображения для первой последовательности осветительных изображений. Как было описано выше в отношении первого, второго и третьего осветительных изображений 28, 29, 30 из второй последовательности осветительных изображений, все цветовые каналы экрана 7 активизируют с максимальным значением яркости в соответствующих частичных областях 33, так чтобы эти осветительные изображения казались белыми. Например, измерительные векторы блеска G(a) содержат полное значение яркости, которое измерено всеми элементами датчика камеры 6 (в точке 42 изображения объекта) для каждого индекса а.
В принципе, может быть определено любое дополнительное количество дополнительных последовательностей осветительных изображений в зависимости от приложения, то есть от соответствующего измеряемого объекта и соответствующих параметров изучаемого измеряемого объекта. Как описано выше, последовательность осветительных изображений может содержать осветительные изображения, которые отличаются друг от друга по их положению на экране, а также по цвету. Например, описанная выше спектральная сигнатура F(c, d) может быть получена для каждого местоположения а, при этом цветное осветительное изображение заполняет только описанную частичную область 33 в соответствующем месте. При этом, например, описанный выше набор измерительных данных Н(с, d, а) может быть получен для каждой точки объекта, и этот набор измерительных данных содержит информацию о спектральных характеристиках отражения, а также о блеске измеряемого объекта в соответствующей точке объекта.
Оценочный блок 13 сконфигурирован, например, для сравнения каждого набора измерительных данных F(c, d) (или, альтернативно G(a) или Н(с, d, а)), который принадлежит точке 42 изображения объекта, с несколькими заранее заданными наборами эталонных данных. Наборы эталонных данных хранятся, например, в памяти 9 мобильного электронного устройства 2. Сравнение производят, например, посредством математической классификационной модели на основе искусственной нейронной сети - соответственно обученной. Ранжирование производят, например, на основе классификации, в которой, чем меньше соответствующий набор измерительных данных отличается от набора эталонных данных, тем больше ранг, который получает этот набор эталонных данных. После сравнения всех наборов измерительных данных с наборами эталонных данных оценочный блок 12 идентифицирует тот набор эталонных данных, который получил высший ранг наибольшее количество раз. Впоследствии оценку параметра измеряемого объекта, где указанная оценка принадлежит этому идентифицированному набору эталонных данных, или классификацию измеряемого объекта выводят через пользовательский интерфейс 16.
с
d
Кроме того, оценочный блок сконфигурирован, чтобы с учетом спектральной чувствительности С(λ) камеры и спектральной характеристики D(λ) излучения экрана определять характеристику отражения измеряемого объекта по набору измерительных данных.
k
В зависимости от приложения, которое может быть задано, например, через пользовательский интерфейс 16, характеристика отражения, которая должна быть определена, является, например, спектром S(λ) отражения измеряемого объекта (в соответствующих точках объекта). Например, оценочный блок 13 может быть сконфигурирован для определения (приблизительного) спектра S(λ) отражения из измеренной «спектральной сигнатуры» F(d, с) с использованием уравнений 1-4, которые описаны выше, или определения значений для спектральных каналов S как аппроксимации спектра отражения.
Альтернативно, определяемая характеристика отражения представляет собой, например, зависимость степени отражения измеряемого объекта (в соответствующих точках объекта) от угла падения света на измеряемый объект (в соответствующих точках объекта). Например, оценочный блок может быть сконфигурирован для оценки угловой зависимости степени отражения на основе описанного выше измерительного вектора блеска G(a) (или набора измерительных данных Н(с, d, а)) для каждой точки объекта.
k
Кроме того, оценочный блок 13 сконфигурирован для сравнения определенной характеристики отражения измеряемого объекта, то есть, например спектральных каналов S или определенных значений для угловой зависимости степени отражения, по меньшей мере с одной заранее заданной эталонной характеристикой отражения и, соответственно, для классификации измеряемого объекта, например посредством классификационной модели на основе искусственной нейронной сети, как описано выше.
Результаты оценки могут быть показаны на экране 7 и сохранены в памяти 11 устройства.
Способ, который может быть выполнен системой, показан на фиг. 7 в виде последовательности операций.
Шаг S1 включает:
- активизацию экрана 7 мобильного электронного устройства 2 посредством управляющего блока 8 для последовательного показа нескольких различных осветительных изображений из заранее заданной последовательности осветительных изображений,
- активизацию камеры 6 мобильного электронного устройства 2 для захвата измерительного изображения 39 измеряемого объекта 38 синхронно с показом каждого осветительного изображения из заранее заданной последовательности осветительных изображений.
Шаг S2 включает:
- совмещение измерительного отображения 39 с формированием совмещенного измерительного изображения 41.
Шаг S3 включает:
- спектральную предварительную обработку, такую, например, как учет влияния окружающего света, в частности, с использованием одного или более измерительных изображений измеряемого объекта, которые были записаны при выключенном дисплее или во время показа черного осветительного изображения. При слишком сильном влиянии окружающего света, пользователю может быть выдано соответствующее предупреждение, например, посредством экрана 7 или посредством звукового или вибрационного сигнала предупреждения.
Шаг S4 включает:
- классификацию на основе пиксельного рисунка, при которой наборы измерительных данных, принадлежащих точкам изображения или точкам 42 изображения объекта из совмещенного измерительного изображения 41, классифицируют, например, посредством математической классификационной модели на основе искусственной нейронной сети.
Шаг S5 включает:
- сбор результатов, например посредством ранжирования и/или мажоритарным решением.
Шаг 6 включает:
- показ результатов, например посредством экрана 7, и сохранение результатов, например, посредством памяти 9 в устройстве и/или памяти 11 в компьютере 3.
В принципе, можно выполнить шаги S2-S6 исключительно посредством оценочного блока 13 в устройстве 2 или, после соответствующей передачи измерительного изображения 39, посредством оценочного блока 14 в компьютера 3.
Измеряемый объект 38 может быть сформирован волосами человека (или, альтернативно, животного). Параметр, который нужно исследовать, может быть, например, блеском волос. Другие возможные примеры измеряемого объекта 38 и параметров, которые должны быть исследованы, определены комплексами 1-4-приложений, приведенными выше.
Помимо прочего, для предложенного способа описаны следующие примеры варианта выполнения настоящего изобретения:
1. Способ захвата измерительных изображений измеряемого объекта с помощью системы предложенного здесь типа, включающий следующие шаги:
- посредством управляющего блока, активизацию экрана мобильного электронного устройства для последовательного показа нескольких различных осветительных изображений из заранее заданной последовательности осветительных изображений,
- активизацию камеры мобильного электронного устройства для захвата измерительного изображения измеряемого объекта синхронно с показом каждого осветительного изображения из заранее заданной последовательности осветительных изображений.
2. Способ по примеру 1, в котором экран мобильного электронного устройства содержит несколько цветовых каналов, при этом экран имеет специфическую для канала спектральную характеристику излучения в каждом из цветовых каналов и экран содержит множество световых элементов, которые расположены в виде сетки, при этом каждый из цветовых каналов сформирован подмножеством световых элементов экрана, спектральные характеристики излучения которых соответствуют специфическим для канала спектральным характеристикам излучения соответствующего цветового канала.
3. Способ по примеру 2, дополнительно включающий:
активизацию экрана мобильного электронного устройства на показ одного или более осветительных изображений из заранее заданной последовательности осветительных изображений
- посредством активизации световых элементов только одного цветового канала экрана и посредством активизации всех активных световых элементов этого цветового канала с однородным значением яркости, которая заранее задана для этого цветового канала, или
- посредством активизации световых элементов нескольких цветовых каналов и посредством активизации всех активных световых элементов с однородным значением яркости, которая заранее задана для соответствующего цветового канала, или
- посредством активизации световых элементов одного или более цветовых каналов и посредством активизации всех активных световых элементов с градиентом, который заранее задан для соответствующего цветового канала.
4. Способ по одному из примеров 2 или 3, в котором экран мобильного электронного устройства содержит красный цветовой канал, зеленый цветовой канал и синий цветовой канал, при этом последовательность освещения содержит красное осветительное изображение, зеленое осветительное изображение и синее осветительное изображение, при этом указанный способ включает:
активизацию экрана на
- показ красного осветительного изображения посредством активизации световых элементов только красного цветового канала экрана и посредством активизации всех активных световых элементов красного цветового канала с однородным значением яркости, которая заранее задана для красного цветового канала,
- показ зеленого осветительного изображения посредством активизации световых элементов только зеленого цветового канала экрана и посредством активизации всех активных световых элементов зеленого цветового канала с однородным значением яркости, которая заранее задана для зеленого цветового канала, и/или
- показ синего осветительного изображения посредством активизации световых элементов только синего цветового канала экрана и посредством активизации всех активных световых элементов синего цветового канала с однородным значением яркости, которая заранее задана для синего цветового канала.
5. Способ по одному из предыдущих примеров, в котором для каждого из осветительных изображений в заранее заданной последовательности осветительных изображений заранее задан один или более из следующих параметров изображения:
- спектральный состав света, который излучается экраном при показе соответствующего осветительного изображения и/или
- для каждого цветового канала экрана, однородное значение яркости, в той мере, в которой этот пример имеет отношение к одному из примеров 2-4, и/или
область экрана, которая заполнена соответствующим осветительным изображением, и/или
- подмассив области экрана, который заполнен соответствующим осветительным изображением в пределах полной области изображения экрана.
6. Способ по одному из предыдущих примеров, в котором каждое из осветительных изображений заполняет только частичную область из полной области изображения экрана, при этом заполненные частичные области осветительных изображений отличаются друг от друга по их местоположению относительно полной области изображения экрана.
7. Способ по примеру 6, в котором полная область изображения экрана содержит верхний край, нижний край, левый край и правый край, при этом заполненные частичные области осветительных изображений отличаются друг от друга по их расстоянию от верхнего края полной области изображения экрана и при этом объектив расположен выше верхнего края полной области изображения экрана.
8. Способ по одному из предыдущих примеров, в котором указанная система содержит по меньшей мере одну память для данных, в который хранятся параметры освещения, которые частично или полностью определяют заранее заданную последовательность осветительных изображений, при этом способ включает:
- извлечение параметров освещения, которые хранятся в этой по меньшей мере одной памяти, из этой памяти и
- определение заранее заданной последовательности осветительных изображений на основе извлеченных параметров освещения.
9. Способ по одному из предыдущих примеров, в котором камера мобильного электронного устройства содержит несколько различных цветовых каналов, при этом камера имеет специфическую для канала спектральную чувствительность для каждого из цветовых каналов, при этом камера содержит датчик изображения, который содержит множество элементов датчика, которые расположены в виде сетки, при этом каждый из цветовых каналов камеры сформирован подмножеством элементов датчика изображения, спектральные чувствительности которых соответствуют специфической для канала чувствительности соответствующего цветового канала камеры.
10. Способ по примеру 9, в котором камера мобильного электронного устройства содержит красный цветовой канал, зеленый цветовой канал, и синий цветовой канал.
11. Способ по одному из предыдущих примеров, в котором каждое из измерительных изображений содержит множество точек изображения, а также данных изображения, которые назначены точкам изображения, при этом способ включает:
- объединение точек изображения измерительных изображений,
- группировку данных изображения объединенных точек изображения в наборы измерительных данных соответствующих объединенных точек изображения.
12. Способ по примеру 11, в котором точки изображения измерительных изображений объединяют посредством совмещения измерительных изображений (39).
13. Способ по одному из примеров 11 и 12, в котором наборы измерительных данных оценивают посредством алгоритма, который откалиброван или обучен посредством машинного обучения.
14. Способ по примеру 13, в котором обучение указанного алгоритма производят посредством контролируемого способа обучения или посредством неконтролируемого способа обучения.
15. Способ по одному из примеров 11-14, в котором наборы измерительных данных оценивают посредством способа классификации.
16. Способ согласно одному из примеров 11-15, в котором наборы измерительных данных оценивают посредством искусственной нейронной сети.
17. Способ по одному из примеров 11-16, включающий:
- сравнение каждого из наборов измерительных данных по меньшей мере с одним заранее заданным набором эталонных данных.
18. Способ по одному из примеров 11-17, включающий:
- определение по меньшей мере одной характеристики отражения измеряемого объекта по наборам измерительных данных, предпочтительно с учетом спектральной чувствительности камеры и спектральной характеристики излучения экрана.
19. Способ по одному из примеров 11-18, включающий:
- сравнение определенной по меньшей мере одной характеристики отражения измеряемого объекта по меньшей мере с одной заранее заданной эталонной характеристикой отражения.
20. Способ по одному из примеров 11-19, скомбинированным с одним из примеров 2-5 и одним из примеров 9 или 10, в котором экран содержит М цветовых каналов, а камера - N цветовых каналов, при этом М>1 и N>1, при этом каждый набор измерительных данных содержит по меньшей мере M×N измерительных значений (F(d, с), где 1≤d≤M и 1≤c≤N), при этом M×N измерительных значений соответствуют M×N различным комбинациям цветовых каналов экрана с цветовыми каналами камеры.
21. Способ по одному из предыдущих примеров, в котором мобильное электронное устройство содержит пользовательский интерфейс, а способ дополнительно включает:
- установку или определение заранее заданной последовательности осветительных изображений посредством пользовательского интерфейса и/или
- выбор между различными заранее заданными последовательностями осветительных изображений посредством пользовательского интерфейса и/или
- выбор между различными измеряемыми объектами и/или между различными параметрами измеряемого объекта, которые представляют интерес, посредством пользовательского интерфейса, и выбор (например, автоматически посредством управляющего блока мобильного устройства) заранее заданной последовательности осветительных изображений из нескольких хранящихся заранее заданных последовательностей осветительных изображений в зависимости от сделанного выбора измеряемого объекта и/или параметра, представляющего интерес.
22. Способ по одному из предыдущих примеров, включающий:
- захват измерительных изображений калибровочного эталона,
- калибровку мобильного устройства с использованием измерительных изображений калибровочного эталона и хранящегося набора эталонных данных, который принадлежит этому калибровочному эталону, в частности, калибровку камеры и/или калибровку экрана мобильного устройства.
23. Способ по одному из предыдущих примеров, в котором экран представляет собой сенсорный экран.
24. Способ по одному из предыдущих примеров, в котором мобильное электронное устройство представляет собой смартфон или планшетный компьютер.
Предложенный компьютерный программный продукт, который может быть загружен во внутреннюю память данных мобильного электронного устройства, содержит, например, разделы программного кода, с помощью которых выполняются шаги способа согласно одному из примеров 1-24, когда этот компьютерный программный продукт выполняется в мобильном электронном устройстве.
k
d
с
Кроме того, режим калибровки устройства 2 можно активизировать посредством пользовательского интерфейса 16 в мобильном устройстве 2. Управляющий блок 8 и оценочный блок 13 мобильного устройства 2 сконфигурированы для захвата и оценки описанных измерительных изображений калибровочного эталона в режиме калибровки. С целью этого захвата пользователь помещает калибровочный эталон в область 20 обзора камеры 6. Как описано выше, значения для спектральных каналов S вычисляют по измерительным изображениям с помощью оценочного блока 13, а затем сравнивают с набором эталонных данных, который относится к этому калибровочному эталону и который хранится в памяти 9 мобильного устройства 2. На основе этого сравнения значения переменных D(λ) и С(λ) автоматически вновь вычисляют и сохраняют в памяти 9 для последующих измерений.
Список позиций
1 система
2 устройство
3 компьютер
4 компьютерная сеть
5 корпус
6 камера
7 экран
8 управляющий блок
9 память для данных
10 компьютерный программный продукт
11 память для данных
12 процессор
13 оценочный блок
14 оценочный блок
15 процессор
16 пользовательский интерфейс
17 интерфейс для данных
18 объектив
19 передняя сторона
20 область обзора
21 датчик изображения
22 полная область изображения
23-32 осветительное изображение
33 частичная область
34 верхний край
35 нижний край
36 левый край
37 правый край
38 измеряемый объект
39 измерительные изображения
40 точка изображения
41 измерительное изображение
42 точка изображения объекта
43 точка объекта
44 модуль GPS
45 источник энергии