СИСТЕМА, МОБИЛЬНОЕ УСТРОЙСТВО И СЧИТЫВАЮЩЕЕ УСТРОЙСТВО ДЛЯ ПЕРЕДАЧИ ТЕКСТОВОЙ ИНФОРМАЦИИ С ПОМОЩЬЮ ГРАФИЧЕСКИХ ИЗОБРАЖЕНИЙ

Область техники, к которой относится полезная модель
Настоящая полезная модель относится к системам оптической передачи информации и может применяться в системах оптической передачи и считывания информации, используемых в таких областях, как, например, системы мобильных электронных платежей, системы контроля доступа людей в различного рода организациях и на предприятиях, системы обеспечения абонентов систем мобильной связи доступом к информации, товарам и услугам и др.
Уровень техники
Известно большое количество способов передать информацию визуально и считать с помощью устройства с камерой. Один из самый популярных способов - с использованием двумерного графического кода (также может обозначаться как двумерный штрих-код). Суть метода заключается в определении положения двумерного графического кода в пространстве с помощью специальных графических элементов и последующем раскодировании данных, заложенных в изображение. Как правило, информация кодируется множеством черных и белых пикселей. Черный квадрат означает бит «1» в передаваемом блоке информации, белый квадрат означает бит «0». Двумерные графические коды значительно превосходят одномерные коды, например, штрих-код, по информационной емкости.
Одним из самых популярных на сегодняшний деть двумерных графических кодов является QR-Code (Патент США US 005726435 A). QR-code представляет собой двумерный код, включающий: ячейки, каждая из которых содержит двоично-закодированные данные и по крайней мере два символа позиционирования расположенных в предопределенных позициях в матрице. Символы позиционирования служат для определения положения графического кода в пространстве вне зависимости от положения устройства, производящего считывание. QR-code позволяет передавать около 2 килобайт данных.
Двумерные графические коды были изобретены довольно давно и изначально печатались только на бумаге. С популяризацией мобильных телефонов, возникла потребность быстрой передачи информации с помощью экрана мобильного телефона. Например, с развитием индустрии мобильного маркетинга, мобильный телефон стал часто использоваться как носитель электронных купонов. Для учета использования электронных купонов требуется мгновенная передача информации от мобильного телефона к устройству продавца. Для этих целей, технология графических кодов стала использоваться в мобильных телефонах, однако считывание существующих графических кодов с мобильных телефонов покупателей происходит не так эффективно, как с бумажных носителей. Стоит учитывать факт, что большинство экранов мобильных телефонов имеют небольшие размеры, поэтому для того чтобы распознать мелкие детали графического кода требуется камера высокой четкости, либо благоприятные условия считывания. Такие обстоятельства как дрожащая рука покупателя, держащего в руках телефон, а также блики на стекле могут значительно увеличить время считывания. Причиной перечисленных проблем является высокая степень сложности существующих технологий отображения графического кода. С одной стороны, можно поместить в графический код минимальное количество информации и тогда он без труда будет считываться даже с небольшого экрана мобильного телефона. Однако такой подход не применим, например, для мобильных платежных систем, в которых одинаково важны как скорость считывания информации для быстрой покупки, так и защищенность персональной информации клиента, требующая передачи длинного ключа идентификации (от 128 бит).
Еще одним недостатком является дороговизна оборудования для считывания графических кодов с большим объемом информации, так как требуется камера, устойчивая к движениям руки пользователя и руки считывателя.
Раскрытие полезной модели
Настоящая полезная модель направлена на создание системы и устройств для передачи текстовой информации с помощью графических изображений через экран (устройство отображения) мобильного устройства, не имеющих отмеченных недостатков, свойственных предшествующему уровню техники. Задачей полезной модели является предложение такой системы и устройств, в которых снижены требования к оборудованию для считывания информации с экрана мобильного устройства. Дополнительной задачей полезной модели является обеспечение быстрого считывания информации с экрана мобильного устройства, а также предоставление возможности варьирования объема передаваемых данных при незначительном увеличении времени, необходимого для считывания данных с экрана мобильного устройства.
Указанный технический результат достигается с помощью системы для передачи текстовой информации с помощью графических изображений, содержащей мобильное устройство, имеющее устройство отображения графических изображений, и считывающее устройство, имеющее средство для считывания графических изображений. Входящее в состав такой системы мобильное устройство содержит: устройство для генерации графических изображений, выполненное с возможностью генерации графических изображений, состоящих из графических элементов, по меньшей мере, двух цветов, причем устройство для генерации графических изображений генерирует каждое графическое изображение на основе части передаваемой текстовой информации таким образом, чтобы обеспечить возможность передачи информации с помощью последовательности генерируемых графических изображений; и устройство для последовательной передачи графических изображений, выполненное с возможностью последовательной передачи графических изображений, сгенерированных устройством для генерации графических изображений, на устройство отображения. В то же время, считывающее устройство, входящее в состав такой системы, содержит устройство для обработки изображений, выполненное с возможностью обработки последовательности считываемых изображений и извлечения текстовой информации, закодированной последовательностью считываемых изображений.
В зависимости от размеров устройства отображения мобильного устройства, входящего в систему, графическое изображение может содержать от 3 до 180 графических элементов, причем в предпочтительном варианте графическое изображение содержит не более 80 графических элементов, предпочтительно 20 графических элементов. В одном из вариантов графические элементы имеют одинаковую форму и одинаковый размер, причем для обеспечения возможности повторного считывания также может быть реализован циклический повтор последовательности графических изображений. При этом предпочтительно, чтобы графическое изображение содержало служебные графические элементы, предназначенные для определения ориентации графического изображения относительно считывающего устройства и/или количества графических изображений в отображаемой последовательности графических изображений, причем в одном из вариантов, по меньшей мере, некоторые служебные графические элементы имеют цвет, отличающийся от цвета элементов, используемых для передачи текстовой информации и/или форму, отличающуюся от формы элементов, используемых для передачи текстовой информации.
Мобильное устройство, входящее в систему, в одном из вариантов содержит таймер, причем устройство для последовательной передачи графических изображений выполнено с возможностью передачи графических изображений на устройство отображения через промежутки времени, измеряемые таймером. При этом промежутки времени, измеряемые таймером, предпочтительно имеют равное или большее значение по сравнению с величиной, обратной количеству кадров в единицу времени, выполняемых считывающим устройством. Мобильное устройство, входящее в систему, является одним из следующих устройств: мобильный телефон, смартфон, коммуникатор, карманный компьютер, или может быть любым мобильным устройством, имеющим экран (устройство отображения), на котором могут изменяться изображения.
Средство для считывания графического изображения, входящее в состав считывающего устройства, являющего частью предложенной системы, может быть фотокамерой или видеокамерой, а считывающее устройство может являться одним из следующих устройств: мобильный телефон, смартфон, коммуникатор, карманный компьютер.
В другом аспекте задачу настоящей полезной модели решает мобильное устройство для передачи текстовой информации с помощью графических изображений в считывающее устройство, имеющее устройство отображения графических изображений. Такое мобильное устройство также: устройство для генерации графических изображений, выполненное с возможностью генерации графических изображений, состоящих из графических элементов, по меньшей мере, двух цветов, причем каждое графическое изображение генерируют на основе части передаваемой текстовой информации таким образом, чтобы передать информацию с помощью последовательности генерируемых графических изображений; и устройство для последовательной передачи графических изображений, выполненное с возможностью последовательной передачи графических изображений, сгенерированных устройством для генерации графических изображений, на устройство отображения.
Предлагаемое мобильное устройство может содержать таймер, причем устройство для последовательной передачи графических изображений может быть выполнено с возможностью передачи графических изображений на устройство отображения через промежутки времени, измеряемые таймером. Предлагаемое мобильное устройство, входящее в систему, является одним из следующих устройств: мобильный телефон, смартфон, коммуникатор, карманный компьютер, или может быть любым мобильным устройством, имеющим устройства отображения, на котором могут изменяться изображения.
В зависимости от размеров устройства отображения формируемое предлагаемым мобильным устройством графическое изображение может содержать от 3 до 180 графических элементов, в то же время предпочтительно 20 графических элементов. В одном из вариантов графические элементы формируемого изображения имеют одинаковую форму и одинаковый размер, причем последовательность графических изображений может циклически повторяться.
Формируемое предлагаемым мобильным устройством графическое изображение может содержать служебные графические элементы, предназначенные для определения ориентации графического изображения относительно считывающего устройства и/или количества графических изображений в отображаемой последовательности графических изображений, причем, по меньшей мере, некоторые служебные графические элементы могут иметь цвет, отличающийся от цвета элементов, используемых для передачи текстовой информации и/или форму, отличающуюся от формы элементов, используемых для передачи текстовой информации.
В дополнительном аспекте задачу настоящей полезной модели решает считывающее устройство, имеющее средство для считывания графических изображений с устройства отображения мобильного устройства. Такое считывающее устройство содержит устройство для обработки изображений, выполненное с возможностью обработки последовательности считываемых изображений и извлечения текстовой информации, закодированной последовательностью считываемых изображений.
В предпочтительном варианте средство для считывания графического изображения в предложенном считывающем устройстве являются фотокамерой или видеокамерой, а считывающее устройство является одним из следующих устройств: мобильный телефон, смартфон, коммуникатор, карманный компьютер. Предложенное считывающее устройство может быть предназначено для обработки графических изображений, содержащих графические элементы, имеющие одинаковую форму и одинаковый размер. Настоящее считывающее устройство может быть выполнено с возможностью обработки циклически повторяемой последовательности графических изображений.
В предпочтительном варианте считывающее устройство предназначено для обработки графического изображения, содержащего служебные графические элементы, предназначенные для определения ориентации графического изображения относительно считывающего устройства и/или количества графических изображений в отображаемой последовательности графических изображений, причем, по меньшей мере, некоторые служебные графические элементы могут иметь цвет, отличающийся от цвета элементов, используемых для передачи текстовой информации и/или форму, отличающуюся от формы элементов, используемых для передачи текстовой информации.
Благодаря предложенным системе, мобильному устройству и считывающему устройству для передачи текстовой информации с помощью графических изображений удается снизить требования к считывающему устройству, в частности, к разрешающей способности и/или системе фокусировки средства для считывания графических изображений, благодаря увеличению размеров графических элементов, из которых состоят генерируемые на основе передаваемой текстовой информации графические изображения. Вследствие считывания последовательности генерируемых графических изображений с увеличенными по размеру графическими элементами удается передать такой же или больший объем информации, что и при считывании одного графического изображения с большим количеством графических элементов малого размера, в то же время, позволяя обеспечить быстрое считывание информации с экрана мобильного устройства, незначительно увеличивая время или даже уменьшая время, необходимое для считывания данных с экрана мобильного устройства. Поскольку считывание графических изображений происходит со скоростью, например, 10, 15, 25, 30 или 60 кадров в секунду, то за время поднесения мобильного устройства к считывающему устройству, имеющему дешевую камеру с малым разрешением, может быть осуществлено считывание последовательности графических изображений с передачей одинакового или даже большего объема текстовой информации, чем при считывании одного графического изображения с большим количеством графических элементов с помощью более дорогой камеры, имеющей высокое разрешение. Кроме того, благодаря настоящей полезной модели также обеспечивается возможность варьирования объема передаваемых данных при незначительном увеличении времени, необходимого для считывания данных с экрана мобильного устройства.
Краткое описание чертежей
На фиг.1 представлена блок-схема системы для передачи текстовой информации с помощью графических изображений.
На фиг.2 проиллюстрирован процесс преобразования и передачи информации от одних компонентов системы к другим.
На фиг.3 показана последовательность действий, выполняемых устройством для генерации графических изображений.
На фиг.4 показана последовательность изображений, полученных в результате действий, показанных на фиг.3.
На фиг.5 показана блок-схема алгоритма работы устройства для последовательной передачи графических изображений.
На фиг.6 показана блок-схема алгоритма работы устройства обработки изображений.
Осуществление полезной модели
Предлагаемые система, мобильное устройство и считывающее устройство предназначены для передачи текстовой информации с помощью графических изображений. Под текстовой информацией понимается буквенная, цифровая, иероглифическая и какая-либо еще информация, элементы которой имеют определенные заранее или стандартные значения. В некоторых вариантах элементы текстовой информации могут быть закодированы, например, с помощью кодов ASCII, KOI-8 и др. Мобильное устройство, входящее в состав системы, может являться одним из следующих устройств: мобильный телефон, смартфон, коммуникатор, карманный компьютер, причем средство для считывания графического изображения может являться фотокамерой или видеокамерой, а считывающее устройство может являться одним из следующих устройств: мобильный телефон, смартфон, коммуникатор, карманный компьютер.
Как показано на фиг.1, система для передачи информации через экран мобильного устройства содержит мобильное устройство М1, устройство М2 для генерации графических изображений, устройство М3 для последовательной передачи графических изображений, таймер М4, а также устройство М5 отображения, которое может также обозначаться как экран, дисплей или монитор. Таймер М4 в мобильном устройстве М1 может отсутствовать. Система также содержит считывающее устройство С1, содержащее средство для считывания графических изображений в виде камеры С2, а также устройство для обработки изображений С3. Мобильное устройство и считывающее устройство связываются путем непрерывного получения изображений с камеры С2, на которых изображен экран мобильного устройства М1.
На фиг.2 показано как происходит преобразование и передача информации от одних компонент системы к другим. Из фиг.2 видно, что сначала передаваемая информация представлена в виде конечной последовательности байт 1, предположительно находящейся в памяти мобильного устройства. Затем последовательность байт, с помощью устройства М2 для генерации графических изображений, представляется в виде конечной последовательности графических изображений 2-1…2-N. Устройство МЗ для последовательной передачи графических изображений последовательно передает на устройство М5 отображения последовательность полученных графических изображений 2-1…2-N с некоторой временной задержкой между двумя подряд идущими изображениями, причем временная задержка в одном варианте может задаваться таймером М4, а в другом варианте может определяться длительностью процессов генерирования и/или передачи графических изображений. Далее камерой С2 считывающего устройства С1 производится непрерывное получение длительной последовательности изображений 3-1, 3-2, …, причем считывающее устройство С1 позиционируется в пространстве относительно мобильного устройства М1 так, что среди элементов последовательности 3-1, 3-2,… можно выделить конечную подпоследовательность 4-1…4-N из N изображений, на каждом из которых изображено устройство М5 отображения, причем изображение 4-1 получено в момент, когда на устройстве М5 отображения показывалось изображение 2-1, изображение 4-2 получено в момент, когда на устройстве М5 отображения показывалось изображение 2-2, и так далее, изображение 4-N получено в момент, когда на устройстве М5 отображения показывалось изображение 2-N. Затем, устройство С3 для обработки изображений обрабатывает последовательность 3-1, 3-2,… до тех пор, пока не выделится указанная конечная подпоследовательность 4-1…4-N. Далее устройство для обработки изображений по имеющейся последовательности 4-1…4-N восстанавливает исходную последовательность изображений 2-1…2-N. Далее устройство для обработки изображений по последовательности изображений 2-1…2-N восстанавливает последовательность байт 5, в точности или с некоторой ошибкой, определяемой условиями передачи графических изображений, соответствующую передаваемой последовательности байт 1.
На фиг.3 показана последовательность действий, совершаемых одним из возможных алгоритмов, которому следует устройство М2 для генерации графических изображений. На входе, устройство М2 получает конечную последовательность байт 1. На выходе, устройство М2 выдает последовательность графических изображений 2-1, 2-2, 2-3, в которых закодирована последовательность байт 1, а также некоторая служебная информация.
На входе алгоритма имеется следующая последовательность байт: А1=20, А2=30, А3=40.
На этапе 6, эти числа представляются в двоичной системе счисления: А1=00010100 А2=00011110 А3=00101000.
На этапе 7, генерируется заготовка для изображения 2-1. Заготовка представляет собой таблицу 4 на 5. Левая верхняя, правая верхняя и левая нижняя ячейки таблицы закрашиваются красным цветом (на фигурах красный цвет передается штриховкой). Это необходимо впоследствии для определения ориентации изображения на экране мобильного устройства М1 в пространстве относительно камеры устройства С1 при получении с нее изображений. Незакрашенными остаются 17 ячеек таблицы.
На этапе 8, происходит последовательное закрашивание незакрашенных ячеек таблицы изображения 2-1 слева направо в соответствии с двоичным представлением байта А1. Клетки, соответствующие биту 0 закрашиваются белым, клетки, соответствующие биту 1 закрашиваются черным.
На этапе 9, происходит последовательное закрашивание незакрашенных ячеек таблицы изображения 2-1 слева направо в соответствии с двоичным представлением байта А2. Клетки, соответствующие биту 0 закрашиваются белым, клетки, соответствующие биту 1 закрашиваются черным. Права нижняя клетка таблицы не используется и закрашивается белым.
На этапе 10, происходит генерация изображения 2-2 по аналогии с этапами 7-9. Так как исходный набор данных ограничивается тремя байтами, оставшиеся свободные ячейки таблицы закрашиваются белым.
На этапе 11, происходит генерация изображения 2-3, содержащего служебную информацию, необходимую для корректного распознавания последовательности изображений устройством С3 для обработки изображений, в частности, количества изображений в показываемой последовательности. Одно или более из изображений могло потеряться, а информация из изображения 2-3 позволит понять, что это произошло. Например: если получилось, что в «служебном изображении» указано что всего должно быть показано 10 изображений, а на деле камера и/или устройство обработки изображений зафиксировали только 8 фотографий, на которых изображены отличные друг от друга картинки из последовательности 2-1…2-N. Это может произойти в том случае, если на устройстве считывания неожиданно запустилась какая-то задача, из-за которой камера «пропустила» несколько картинок. В такой ситуации, последовательность изображений будет циклически повторяться до тех пор, пока камерой не будут зафиксированы оставшиеся 2 изображения. Заготовка для изображения 2-3 делается также, как и для предыдущих изображений - изображается таблица и три квадрата закрашиваются красным. По аналогии с этапами 7 и 9, в изображение 2-3 кодируется следующие два числа: 3 и 170. Число 3 указывает на количество изображений в последовательности 2-1…2-N, а число 170 является служебным числом и указывает на то, что в данном изображении закодировано количество изображений в последовательности.
На фиг.4 показана последовательность изображений, полученных в результате действий, показанных на фиг.3. В целом, в зависимости от размеров устройства отображения мобильного устройства, входящего в систему, графическое изображение может содержать от 3 до 180 графических элементов, причем в предпочтительном варианте графическое изображение содержит не более 80 графических элементов, предпочтительно 20 графических элементов. В одном из вариантов, графические элементы имеют одинаковую форму и одинаковый размер, причем для обеспечения возможности повторного считывания также может быть реализован циклический повтор последовательности графических изображений. Предпочтительно графическое изображение содержит служебные графические элементы, предназначенные для определения ориентации графического изображения относительно считывающего устройства и/или количества графических изображений в отображаемой последовательности графических изображений, однако могут быть предусмотрены изображения, в которых такие служебные элементы отсутствуют. При наличии служебных элементов в одном из вариантов, по меньшей мере, некоторые служебные графические элементы имеют цвет, отличающийся от цвета элементов, используемых для передачи текстовой информации, однако все служебные элементы могут иметь и одинаковые цвета по сравнению с элементами, используемыми для передачи текстовой информации. Некоторые служебные графические элементы могут иметь форму, отличающуюся от формы элементов, используемых для передачи текстовой информации, однако в описанном случае их форма одинакова.
На фиг.5 показана блок-схема алгоритма работы устройства МЗ для последовательной передачи графических изображений и его связь с таймером М4.
На этапе 12, счетчик количества переданных изображений К устанавливается в ноль.
На этапе 13, изображение 2-К передается на устройство отображения.
На этапе 14, счетчик К увеличивается на единицу.
На этапе 15 происходит обращение к таймеру. Таймер останавливает работу устройства МЗ на определенное количество времени. Требуемое количество времени задержки таймера М4, необходимое для корректного принятия изображений камерой С2 устройства С1, может рассчитываться по следующей формуле:
T=1/(FPS/N)
В формуле участвуют следующие параметры: Т - требуемое время задержки таймера в долях секунды, FPS - количество кадров в секунду (характеристика камеры С2) и N - количество изображений в последовательности 2-1…2-N. Из формулы видно, что для устройства С1 более предпочтителен выбор камеры с большим значением FPS. Длительность демонстрации изображения может быть и более рассчитанного значения задержки таймера.
На этапе 16, происходит проверка, произошла ли передача последнего изображений в последовательности устройству отображения. Если нет - алгоритм переходит к этапу 13, если да - алгоритм возвращается к этапу 12.
Алгоритм останавливает свою работу по требованию пользователя мобильного устройства.
На фиг.6 показана блок-схема алгоритма работы устройства СЗ обработки изображений, соответствующего алгоритму кодирования последовательности байт, пример работы которого описан на фиг.3. На входе, алгоритм получает длинную последовательность изображений 3-1, 3-2,… от камеры С2 устройства С1. На выходе, алгоритм выдает последовательность байт А1…АМ, закодированную в полученных изображениях. Для простоты описания, указанный алгоритм допускает, что в исходной последовательности байт нет подряд идущих одинаковых пар байт, последовательность не оканчивается нулем и не содержит числа 170.
На этапе 17, переменная N, обозначающая количество изображений в последовательности 2-1…2-N устанавливается в -1 (значение еще не определено). Счетчик количества распознанных в текущем цикле пар байт устанавливается в 0.
На этапе 18, следующее по порядку изображение с камеры проходит проверку на наличие в нем красных фигур. Для этого, устройство обработки изображений последовательно проходит все пиксели изображения до появления цвета, близкого к красному (близким считается цвет, для которого верны следующие отношения для параметров цветовых компонент RGB: R>150, G<100, В<100). Если такой пиксель найден, алгоритм просматривает все соседние пиксели до тех пор, пока не определятся контуры красной фигуры на изображении. Делается предположение, что найденная на изображении красная фигура является одной из трех красных ячеек на одном из изображений 2-1…2-N. Далее сканирование изображения продолжается до конца массива данных, при этом пиксели, вошедшие в первую красную фигуру, не учитываются. Таким образом, после этапа 18, на изображении выделяются несколько красных фигур. Если не найдено на одной красной фигуры, алгоритм возвращается к этапу 18.
На этапе 19, найденные на предыдущем этапе красные фигуры сравниваются по объему. Если удается выделить тройку близких друг к другу по объему фигур, а также все другие найденные на изображении красные фигуры отличаются по объему от указанных трех не менее чем на 50%, считается, что найдены три красных квадрата от одного из изображений 2-1…2-N. В таком случае, алгоритм переходит к этапу 20. Если же тройки фигур с указанным свойством не нашлось, алгоритм возвращается к этапу 18.
На этапе 20, происходит определение двух байт, закодированных в текущем изображении. Для этого происходит поиск точек центров масс трех красных фигур, найденных на этапе 19. Найденные точки образуют параллелограмм. Зная координаты параллелограмма, а также количество ячеек по каждой из сторон в таблице в изображениях 2-1…2-N, алгоритм может определить координаты центров всех ячеек с информацией на полученном изображении. Далее, анализируя цвет пикселя в центрах этих ячеек, алгоритм получает последовательность из 16 бит, которые были закодированы в одном из изображений 2-1…2-N.
На этапе 21, производится проверка, является ли второй закодированный байт числом 170 (служебное значение). Если это так, алгоритм переходит к этапу 22. Если значение не равно 170 и при этом последние два байта последовательности распознанных к текущему времени байт отличаются от пары закодированных байт, полученной из текущего изображения, то эта пара байт заносится в конец последовательности распознанных байт А1…АМ, а также к счетчику К количества распознанных в текущем цикле пар байт прибавляется единица. Далее алгоритм возвращается к этапу 18.
На этапе 22, когда алгоритм обнаружил, что на изображении присутствует закодированная служебная информация (служебное число 170 и число N), происходит проверка, все ли пары байт в последовательности найдены (K=N-1). Если данная проверка дает положительный результат, алгоритм завершается и результатом его работы является последовательность байт А1…АМ, состоящая из 2*(N-1) байт. Если же равенство не выполняется, переменной N присваивается значение, закодированное в первом байте, обнуляется значение К, стирается найденная не до конца последовательность байт А1…АМ и алгоритм возвращается к этапу 18.
Описание устройства выполнено с разделением на функциональные блоки, однако такое деление не существенно для выполнения устройств, которые могут быть выполнены как аппаратно, так и программно, либо в комбинации аппаратных и программных средств.
Настоящая полезная модель относится как к системе для передачи текстовой информации с помощью графических изображений в целом, так и мобильному устройству и считывающему устройству, входящим в систему, по отдельности.