СПОСОБ АНАЛИЗА ИЗОБРАЖЕНИЯ, В ЧАСТНОСТИ, ДЛЯ МОБИЛЬНОГО УСТРОЙСТВА
IMAGE ANALYSIS METHOD, PARTICULARLY FOR MOBILE DEVICE

Изобретение относится к способу анализа изображения, в частности, для мобильного устройства со встроенной цифровой камерой для автоматического оптического распознавания символов (OCR) согласно ограничительной части п.п.1 или 2 формулы изобретения.
Существует множество OCR-устройств для ПК. Как правило, для считывания текста используют планшетный сканер. Существуют ручные сканеры для мобильного применения, которые отображают отсканированный текст на дисплее, сохраняют его или передают на компьютер. Проблемы возникают каждый раз, когда оригинал отсканирован криво или различимы буквы только отдельных фрагментов (например, флаг с надписями на ветру). Кроме того, такие технологии оказываются несостоятельными, когда непосредственно сканирование невозможно осуществить (например, в случае указателей на обочине дороги). Согласно современному уровню техники такое изображение может быть снято с большим разрешением и затем отсканировано. Однако оптическое распознавание символов непосредственно в камере не осуществляется, так как при традиционных способах это требует слишком большой вычислительной мощности.
Если необходимо распознать более длинные тексты, часто требуется снять несколько изображений и затем объединить их (составить 360°-снимки). Чтобы обеспечить необходимое качество, процесс, как правило, требует ручной доработки.
Важнейшие способы оптического распознавания символов основаны на простом сопоставлении с образцом (pattern-matching) или, как при распознавании рукописного текста, с помощью описания букв посредством линий и точек пересечения. Сопоставление с образцом особенно успешно применяется тогда, когда речь идет о нормированных символах (например, обозначении транспортного средства). При распознавании номеров распознаваемые символы ограничены небольшим количеством и к тому же нормированы.
www.clicktel.de
Кроме того, известны различные приложения из области дополненной реальности. В качестве примера можно привести наложение снимка (фото, сделанного со спутника) на дорожную карту, на которой показаны названия отдельных улиц ().
Уровень техники представлен способом для групп пикселей с приоритетами из патента DE 10113880 В4 или эквивалентного патента ЕР 1371229 В1, который имеет признаки согласно ограничительной части п.2 формулы изобретения.
В DE 10025017 А1 описан мобильный телефон, предназначенный для простых приложений и использования дополнительных служб и функций, таких как, например, служба коротких сообщений, платежные операции, проверка подлинности и безопасности и т.п. Данный мобильный телефон имеет встроенное устройство считывания символов, знаков, кодов и/или признаков для идентификации, которым являются сканер, устройство для считывания штрихового кода или считыватель отпечатков пальцев в виде ПЗС-сенсора. При этом возможен удобный и быстрый ввод и регистрация текста, символов или признаков, связанных с безопасностью.
В DE 202005018376 U1 описан мобильный телефон с клавиатурой, дисплеем, системой обработки данных и расположенным позади отверстия или окна корпуса оптическим развертывающим устройством, в частности, ручным сканером, а также с встроенной программой перевода. С помощью оптической системы развертки можно сканировать символы и/или слова на другом языке. С помощью выбора языка осуществляют перевод слова или слов. Благодаря этому пользователь мобильного телефона может понимать слова и тексты на иностранном языке. Предпочтительно это могут быть меню, предупреждающие указатели, инструкции и географические карты, а также вывески. Кроме того, пользователь может с помощью клавиатуры мобильного телефона самостоятельно вводить или выбирать слова из хранящейся в памяти системы обработки данных энциклопедии. Путем соединения системы обработки данных с дисплеем и клавиатурой с помощью выбора языка эти слова переводятся и отображаются на дисплее.
В DE 10163688 А1 описаны способ и устройство отслеживания товаров, снабженных оптически читаемой алфавитно-цифровой маркировкой, а также регистрирующее устройство для этих целей. Маркировка регистрируется регистрирующим устройством как изображение и преобразуется в графические данные. С помощью радиосвязи они передаются регистрирующим устройством на приемник, который соединен с компьютерным устройством, осуществляющим дальнейшую обработку графических данных. Альтернативно перед передачей на приемник графические данные обрабатываются регистрирующим устройством. Конкретный процесс обработки графических данных подробно не раскрывается.
В DE 102005033001 А1 описан способ обработки изображений в мобильных оконечных устройствах, например, мобильных телефонах с камерой, которая записывает цифровую графическую информацию и с помощью способов распознавания образа, например, оптического распознавания символов (OCR), анализирует часть этой графической информации. Конкретный способ оптического распознавания символов (OCR) в данной публикации не описывается.
Поэтому задачей настоящего изобретения является предложение существенно более точного и быстрого типового способа обработки изображений в мобильных оконечных устройствах с цифровой камерой.
Изобретение характеризуется признаками независимых пунктов 1 или 2 формулы изобретения.
Предпочтительные усовершенствованные варианты осуществления изобретения являются предметом зависимых пунктов формулы изобретения.
Преимуществом изобретения является более надежная OCR-регистрация с факультативным переводом в режиме реального времени, требующая значительно меньшей вычислительной мощности. Надежность, в частности, относится к тому, что распознавание осуществляется лучше, чем в традиционных системах даже при неблагоприятных условиях (в частности, в условиях освещения, наложении помех).
Это достигается, с одной стороны, за счет того, что сначала выполняется самонастраивающаяся оптимизированная по группам пикселей предварительная обработка, в ходе которой в изображении осуществляется поиск штрихов. Существенный отличительный признак по сравнению с известными способами состоит в том, что дальнейшее прямое сопоставление с образцом не выполняется, а осуществляется попытка наиболее оптимально скопировать штрихи. На основании этой последовательности перемещений делается вывод о соответствующем символе. Так как данную последовательность перемещений можно легко масштабировать и несложно описать, такая технология пригодна как раз для мобильного применения. Последовательность перемещений известных символов сохранена в ключевом слове, таким образом, на основании перемещений можно сделать непосредственный вывод о символе. Дополнительно может использоваться словарь или лексикон. Когда слова распознаны на основе словаря или лексикона, распознанные буквы могут использоваться для оптимизации распознавания текста.
Возможным применением могут быть мобильные телефоны с камерой для иностранных туристов для чтения дорожных знаков, меню, указателей общего назначения. При этом содержание может быть сразу переведено на второй язык. Для пользователя перевод отображается на дисплее или прочитывается вслух с помощью приложений преобразования текста в речь.
Надежность распознавания основывается, прежде всего, на нормировании толщины штрихов или размеров букв. После этого буквы копируются, причем в ходе копирования сами буквы распознаются. Надежность способа распознавания реализуется путем выполнения комбинации различных этапов решения. Благодаря нормированию толщины штрихов теневые эффекты и плохое освещение почти не влияют на скорость распознавания. С помощью нормирования размеров можно, например, компенсировать эффекты, возникающие на удаленных вывесках. Посредством копирования с помощью простых нетрудоемких и расширяемых деревьев решений можно верно определить букву или цифру. Чтобы сделать результаты еще надежнее, дополнительно может применяться словарь. Обратный контроль на основании распознанных слов позволяет соответствующим образом оптимизировать деревья решений и толщину штрихов оригинала.
Для решения задачи выполняют следующие этапы.
Сначала с помощью элемента записи изображения, например ПЗС-камеры, изображение преобразуют в электрические сигналы. Затем эти сигналы в соответствии со способом из патента DE 10113880 В4 сохраняют в массиве с приоритетами. Факультативно при назначении приоритетов может использоваться позиционный фактор. Позиционный фактор тем больше, чем ближе к начальному пикселю находится группа пикселей.
Для западных языков (английского, немецкого, французского) начальный пиксель исходно расположен в левом верхнем углу массива.
В отличие от патента DE 10113880 В4, в котором работают с заранее заданной формой группы пикселей, здесь группы пикселей могут изменяться в ходе распознавания. Примером группы пикселей является горизонтально расположенная строка пикселей, длина которой зависит от двукратного изменения яркости. Тогда при распознавании темных букв на светлом фоне расстояние между первым переходом «свет-тень» и следующим переходом «тень-свет» являлось бы величиной заданной толщины штриха. Группы пикселей, для которых толщина штриха считается одинаковой, объединяются в отдельный список. Чтобы повысить надежность способа в отношении ошибок для пикселей, дополнительно может применяться фильтр нижних частот. В случае использования такого фильтра, чтобы определить соответствующий переход «свет-тень» или «тень-свет», каждый раз берется сумма n соседних пикселей. С помощью формирования сумм в значительной мере устраняются возможные ошибки пикселей или ошибки вследствие сильных помех.
Для распознавания буквы сходные группы пикселей объединяются в соответствующем отдельном списке. Каждый полученный таким образом список сортируют так, что группы пикселей, расположенные ниже на оси Y, сортируются по убыванию. Если несколько сходных групп пикселей расположено на одном уровне по оси Y, для них формируются новые списки. Затем из этих списков выводятся соответствующие вектора. При этом из соответствующих списков выбираются группы пикселей с самым малым и самым большим значением Y. Затем между этими положениями групп пикселей рассчитывается линия. После этого определяют отклонения других групп пикселей от этой линии. Если все отклонения лежат ниже определенного порогового значения, то для этого списка находится описательный вектор. Если отклонения лежат выше порогового значения, список делят и пытаются сгенерировать для каждой части списка соответствующие вектора. При этом целесообразно разделить список там, где имеются наибольшие отклонения от рассчитанной линии. Таким образом получают множество векторов. Соприкасающиеся вектора объединяются в дополнительном векторном списке и значения Y сортируются соответствующим образом.
Такой векторный список описывает соответствующие буквы. Векторный список затем нормируется (например, по максимальной разнице Y). Такой нормированный векторный список может затем проходить по дереву решений, в котором сохранены различные буквы. При таком подходе сначала распознается только часть букв. Однако таким образом получают первичную информацию о распознаваемом тексте. В случае больших шрифтов каждый раз получают двойные буквы. Это объясняется тем, что в соответствии с толщиной линии буквы как переход «свет-тень», так и «тень-свет» интерпретируются как отдельная буква соответственно. При этом исходят из того, что расстояние между этими двойными буквами является более или менее постоянным. Это обстоятельство можно использовать для того, чтобы оптимизировать форму используемых групп пикселей в соответствии с толщиной линии. Так, ширину используемой группы пикселей нужно выбирать таким образом, чтобы она была в три раза шире толщины линии. Оптимальная высота группы пикселей зависит от высоты шрифта. С помощью таким образом оптимизированных групп пикселей изображение сканируется далее. За счет укрупнения групп пикселей благодаря меньшему количеству необходимых внутренних списков осуществляется более быстрая обработка, к тому же дающая более точный результат. Дополнительная оптимизация заключается в оптимизации деревьев результатов. Так как тип шрифта в тексте, как правило, не меняется, для каждого текста с таким типом шрифта существуют деревья результатов. Исходя из наличия 26 букв, с учетом заглавных и строчных букв получается 52 различных символа. Исходя из бинарного дерева, состоящего из 128 знаков, для определения буквы достаточно 7 ветвлений (2 в степени 7).
В случае машинного шрифта весь процесс распознавания текста можно дополнительно оптимизировать, сохраняя уже распознанные буквы или даже слоги в качестве образцов групп пикселей. Параллельно с помощью вышеописанного способа с помощью образца групп пикселей можно, например, легко распознавать гласные, так как они могут достигать очень большого значения групп пикселей.
В качестве дополнительной возможности ошибки распознавания частично могут распознаваться и корректироваться с помощью словарей. Вывод распознанных символов может осуществляться как на дисплей, так и с помощью приложений преобразования текста в речь.
Описан оптимизированный способ, с помощью которого из изображений на основе пикселей строят вектора, причем каждый отдельный пиксель (в одной строке группы пикселей) требуется пройти только один раз. В известных на сегодня способах оптического распознавания символов для повышения скорости распознавания, как правило, предварительно осуществляют оптимизацию контура и только затем приступают к распознаванию. В вышеописанном способе это осуществляется на одном этапе, снижая потребность в вычислительной мощности и повышая надежность.