Способ сбора размеченного набора данных
METHOD OF COLLECTING MARKED DATA SET

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области вычислительной техники, в частности, к области формирования обучающих данных для нейронных сетей в точках розничных, в том числе автоматизированных, продаж, а также к области использования искусственных нейронных сетей в компьютерном зрении, а более конкретно к системам и способам обработки изображений, полученных от устройств регистрации изображений, и может использоваться, по крайней мере, для определения списка купленных товаров посредством обработки изображений с использованием искусственных нейронных сетей.
УРОВЕНЬ ТЕХНИКИ
В настоящее время в супермаркетах в среднем может насчитываться более пятнадцати тысяч уникальных товарных позиций (англ. stock keeping unit, SKU), которые имеют уникальных дизайн. Каждый месяц около десяти процентов товаров могут изменить свой дизайн, так что за год весь ассортимент может полностью обновиться, а некоторые товары меняют дизайн несколько раз в год.
Розничные сети заинтересованы в том, чтобы их полки были заполнены, что достаточно сложно проконтролировать. Одним из решений являются беспилотные или управляемые летательные аппараты (дроны, мульткоптеры, например квадрокоптеры, и т.д.) с камерами или стационарные камеры, регистрирующими изображения товаров, размещенных на стеллажи с товарами. Такие изображения товаров и, если применимо, изображений названий товаров могут использоваться для создания набора данных. Использование дронов имеет ряд недостатков, таких как подвижность дронов, а, следовательно, ухудшение качества регистрируемых установленными на них камерами изображений вследствие размытия «смазывания» изображений, особенно при регистрации названий товаров. Для использования стационарных камер необходима установка большого количества камер для большого количества витрин (прилавков и т.д.) и с увеличением количества товаров, а соответственно и поверхностей для их размещения, необходимо увеличивать количество устанавливаемых камер. Также, с удалением таких камер от регистрируемых названий товаров возникают искажения изображений, в том числе на границах изображений, требуются камеры с большим разрешением матрицы камеры и т.д., что приводить к дополнительным издержкам, например, на покупку более дорогих камер, на дополнительную обработку изображений, например, для корректировки и/или исключения искажений, на установку большего количества камер и т.д., а дронам требуется больше времени для регистрации изображений, что приводит к увеличению количества подзарядок дронов, и т.д.
Также к известным недостаткам существующих решений можно отнести необходимость распознавания текста названий товаров на полученных изображениях, в частности, изображениях ценников, помещаемых рядом с товаром и в частных случаях не соответствующих товарам, рядом (например, под ними) с которыми они размещены, например, вследствие ошибочных действий работников магазинов, действий покупателей (перекладывание товара с одного места на другое) и т.д.
Для того чтобы нейронная сеть распознавала все товары необходимо инвестировать значительные средства в каталог продукции (который должен содержать актуальные изображения, по крайней мере, товаров) и в разметку набора данных (датасета, от англ. англ. dataset), и так как многие товары очень схожи люди тратят много времени при разметке датасета.
Также, существующие точки продаж тратят значительные средства на заработные платы продавцам-кассирам, а использование нейронных сетей, обучаемый с использованием формируемого набора данных, позволяет сократить или полностью исключить необходимость привлечения продавцов-кассиров, значительно снизив расходы на выплату им заработной платы.
В существующих на настоящий момент времени способах разметки данных для обучения нейронных сетей осуществляется создание архива фотографий и разметка изображений с использованием программного обеспечения и ручного труда человека.
Из уровня техники известны система и способ выявления потенциального мошенничества со стороны кассира, а также способ формирования выборки изображений товаров для обучения искусственной нейронной сети (см. RU 2695056, опубл. 18.07.2019), причем кассовая система для выявления факта потенциального мошенничества со стороны кассира, содержит: устройство считывания штрих-кодов; память, сконфигурированную для хранения базы данных товаров, содержащей выборку изображений товаров; устройство захвата изображений, сконфигурированное для получения видеоданных из области считывания штрих-кодов кассиром; и по меньшей мере, одно устройство обработки данных, сконфигурированное для: получения данных о считанном товаре из базы данных товаров на основании сигнала считывания, поступившего от устройства считывания штрих-кодов; получения видеоданных от устройства захвата изображений и выполнения верификации с использованием искусственной нейронной сети, причем указанная верификация заключается в сравнении изображения товара, полученного от устройства захвата изображения в момент поступления сигнала считывания, с по меньшей мере, одним изображением товара, содержащимся в данных о считанном товаре; если результат верификации является отрицательным, то, по меньшей мере, одно устройство обработки данных определяет факт потенциального мошенничества со стороны кассира, а способ автоматического формирования выборки изображений товаров для обучения искусственной нейронной сети, выполняемый кассовой системой, содержащей, по меньшей мере, одно устройство обработки данных, содержит этапы, на которых: при поднесении кассиром товара к устройству считывания штрих-кодов выполняется считывание штрих-кода, при этом формируется сигнал считывания; на основании сигнала считывания получают данные о считанном товаре из базы данных товаров, сохраненной в памяти кассовой системы, причем если указанная база данных не содержит данных о считанном товаре, то создается новая запись о таком товаре; в момент получения сигнала считывания получают изображение поднесенного товара от устройства захвата изображений, сконфигурированного для получения видеоданных из области считывания штрих-кодов; сохраняют полученное изображение поднесенного товара к данным о считанном товаре в базе данных товаров; повторяют вышеприведенные этапы для каждого товара, подносимого к устройству считывания штрих-кодов, посредством чего автоматически формируется или пополняется выборка изображений товаров для обучения искусственной нейронной сети, используемой для выявления факта потенциального мошенничества со стороны кассира.
К недостаткам известных решений, в том числе указанного выше решения, можно отнести невысокую надежность определения списка купленных товаров, а также достаточно высокие трудозатраты на кассовые операции.
Предлагаемое изобретение позволяет преодолеть, по крайней мере, часть недостатков уровня техники, а также реализовать преимущества настоящего изобретения, как описано в рамках настоящего изобретения.
СУЩНОСТЬ ТЕХНИЧЕСКОГО РЕШЕНИЯ
Технический результат, достигаемый предлагаемым изобретением, состоит в повышении надежности определения списка купленных товаров, снижение трудозатрат на кассовые операции.
Для достижения указанного технического результата, предлагается способ формирования обучающих данных для нейронной сети в точке розничных продаж, заключающийся в том, что в процессе сессии выбора товаров пользователем, для каждого пользователя динамически формируют изображения набора покупок пользователя предприятия торговли, с которым сопоставляют динамически формируемый список идентификаторов покупок из набора и, после завершения сессии, для товаров, представленных на изображениях выявляют соответствия товаров, представленных на изображениях, идентификаторам из списка покупок пользователя, при этом, для каждого из соответствий определяют степень соответствия, и, для каждого из товаров, представленных  на изображениях, используют соответствующий участок изображения, идентификатор и степень соответствия в качестве обучающей совокупности данных для нейронной сети.
В одном из частных вариантов реализации, что дополнительно определяют изменения представления товаров в торговом зале точки розничных продаж, для покупок, представленных в наборе пользователя, соответствующих выявленным изменениям в торговом зале, повышают степень соответствия, а для покупок, не соответствующих  выявленным изменениям,  понижают степень соответствия.
В одном из частных вариантов реализации повышают степень соответствия при самостоятельном формировании списка покупок пользователем и понижают степень соответствия при формировании списка покупок сотрудником точки розничных продаж.
В одном из частных вариантов реализации для каждого пользователя задают зону отображения товаров, соответствующих динамически вводимым идентификаторам и устанавливают нулевую степень соответствия при несоответствии введенного идентификатора изображению товара, появившемуся в зоне отображения при вводе идентификатора.
В одном из частных вариантов реализации формируют сигнал тревоги, при отсутствии ввода идентификатора после появления нового товара в зоне отображения.
В одном из частных вариантов реализации формируемая обучающая совокупность данных для нейронной сети пополняется данными товаров и используется для обучения нейронной.
В одном из частных вариантов реализации формирование и пополнение обучающей совокупности данных для нейронной сети и обучение нейронной сети осуществляют постоянно в заранее заданное пользователем время.
В одном из частных вариантов реализации формирование и пополнение обучающей совокупности данных для нейронной сети и обучение нейронной сети осуществляется сервером обработки данных.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
Дополнительные цели, признаки и преимущества настоящего технического решения будут понятны из прочтения последующего описания осуществления технического решения со ссылкой на прилагаемые графические материалы, на которых:
ФИГ. 1
иллюстрирует примерный вариант системы, реализующий способ, описываемый в рамках настоящего изобретения;
ФИГ. 2
иллюстрирует блок-схему примерного варианта способа осуществления настоящего изобретения;
ФИГ. 3
иллюстрирует упрощенный пример аппаратной реализации предложенного изобретения;
ФИГ. 4
иллюстрирует пример вычислительной системы, пригодный для реализации элементов предложенного изобретения;
ПОДРОБНОЕ ОПИСАНИЕ
Объекты и признаки настоящего изобретения, способы для достижения этих объектов и признаков станут очевидными посредством отсылки к примерным вариантам осуществления. Однако настоящее изобретение не ограничивается примерными вариантами осуществления, раскрытыми ниже, оно может воплощаться в различных видах. Сущность, приведенная в описании, является ничем иным, как конкретными деталями, обеспеченными для помощи специалисту в области техники в исчерпывающем понимании изобретения, и настоящее изобретение определяется только в объеме приложенной формулы.
Используемые в настоящем описании изобретения термины «модуль», «компонент», «элемент», «часть», «составная часть» и подобные используются для обозначения компьютерных сущностей, которые могут являться аппаратным обеспечением, например, устройством или частью устройства, в частности, включающим, по крайней мере, один процессор, микроконтроллер и т.д., или программным обеспечением, например, компьютерной программой, «прошивкой» (от англ. firmware) и т.д., позволяющей аппаратному обеспечению вычислительной системы выполнять вычисления или функции управления, являющиеся комбинацией инструкций и данных.
ФИГ. 1
На  показан примерный вариант системы, реализующий способ, описываемый в рамках настоящего изобретения.
Описываемое изобретение позволяет осуществлять сбор данных, в частности, по крайней мере, регистрируемых камерой изображений объектов и соответствующих им данных, регистрируемых кассовым аппаратом, с формированием набора данных, в частности, размеченного набора данных, который может использоваться для обучения нейронной сети для распознавания товарных позиций (товаров), в том числе уникальных, например, блюд в системе общепита, товары на ленте транспортера при кассе и т.д.
Зарегистрированные камерой изображения и информация из кассовых чеков используются для создания каталога товаров, верифицированных кассой, в частности, сформированной библиотеки образов товаров и их названий.
Предлагаемое изобретение позволяет осуществлять автоматическое создание библиотеки образов товаров и их названий.
ФИГ. 1
121
121
121
131
121
141
121
141
121
121
141
171
181
131
121
111
151
121
111
121
121
121
171
181
Как показано на  примерный вариант системы, реализующий предлагаемый способ, включает устройство регистрации изображения , например, фотоаппарат, кинокамеру, телекамеру, видеокамеру, веб-камеру и т.д. Устройство регистрации изображения  может осуществлять запись, хранение и передачу регистрируемого изображения. Устройство регистрации изображения  крепится на кронштейне  одним из известных способов крепления, например, с использованием магнита (магнитов),  использованием разъемных или неразъемных видов соединений, например, с использованием сварки, в том числе точечной сверки, различных крепежных изделий, веществ и многокомпонентных композиций и т.д. Питание устройства регистрации изображения  может осуществляться от кассового аппарата , например, с использованием USB-подключения, устройству регистрации изображения , с использованием которого также могут передаваться данные от кассового аппарата  к устройству регистрации изображения  или от устройство регистрации изображения  к кассовому аппарату  в том числе для дальнейшей передачи данных на сервер обработки данных  и/или в хранилище данных . Кронштейн   может быть выполнен регулируемым по высоте, а также в горизонтальной плоскости для возможности направления устройства регистрации изображения  на ленту транспортера  так, чтобы в область видимости  устройства регистрации изображения  попадала вся или максимально возможная поверхность (в частности, площадь) ленты транспортера , в том числе определяемая особенностями и возможностями (в частности, техническими характеристиками) устройства регистрации изображения , такими как угол обзора, фокусное расстояние, скрытые зоны и т.д. Регистрирование изображения может осуществляться в непрерывном режиме, например, осуществление видеосъемки, с формированием видеосигнала или цифрового видеопотока или с заранее заданными промежутками времени (в частности, дискретно), например, один раз в секунду, минуту и т.д. с формированием фотографий. Сформированный видеосигнал (или цифровой видеопоток) может быть преобразован в набор фотографий, формируемых, например, один раз в секунду, один раз в минуту и т.д. Зарегистрированное изображение, в частности, сформированный видеосигнал (или цифровой видеопоток) и/или фотографии, могут быть сохранены в промежуточном (в частности, локальном) хранилище данных, например, хранилище данных устройства регистрации изображения , в одном из известных форматах хранения изображения (фот- и видео-). Так, например, зарегистрированное изображение (набор изображений, видеозапись) может быть сохранено на энергонезависимом носителе устройства регистрации изображения . Изображения, сохраненные в локальном хранилище данных, далее передаются на сервер обработки данных  для дальнейшей обработки и сохранения в хранилище данных  (в частности, в удаленном хранилище данных).
181
Данные о каждом товаре, сохраненные в хранилище данных  (например, в базе данных товаров), связанным с сервером обработки данных, могут включать наименование товара, цену (стоимость) товара, штрихкод товара, изображения товара (в частности, совокупность, выборку товара).
181
Товары могут быть разделены на группы товаров, в том числе при хранении информации (данных) о них в базе данных хранилища данных . Так, товары могут быть разделены на такие группы, как бутылка, коробка, упаковка, жесткая упаковка, мягкая упаковка, комбинированная упаковка, бочка, пакет, корзина, и т.д.
121
171
181
121
121
181
171
181
171
171
Также, изображения (фото-, видео-), регистрируемые устройством регистрации изображения , могут быть переданы на сервер обработки данных  для дальнейшей обработки и сохранения в хранилище данных  без промежуточного сохранения в локальном хранилище данных, например, хранилище данных устройства регистрации изображения . Изображения (фото-, видео-), регистрируемые устройством регистрации изображения , могут быть переданы в хранилище данных  без необходимости промежуточной передачи на сервер обработки данных , причем для обработки данных данные из хранилища данных могут быть переданы на сервер , например, по запросу (например, по запросу от сервера обработки данных ). Сервер обработки данных  может быть реализован веб-сервером и/или специализированным вычислительным устройством (в частности, компьютером) и/или специализированным оборудованием для выполнения на нем сервисного программного обеспечения (в том числе серверов тех или иных задач).
181
Упомянутое хранилище данных (локальное хранилище данных, хранилище данных  и т.д.) может являться временным устройством хранения данных, например, Оперативным Запоминающим Устройством (ОЗУ), постоянным устройством хранения данных, например, (Программируемым) Постоянным Запоминающим Устройством (ПЗУ/ППЗУ), в том числе, реализуемым, по крайней мере, одной микросхемой или набором микросхем и т.д. Хранилище данных может являться составной частью, по крайней мере, одного модуля описываемой системы. В частном случае, упомянутое хранилище данных является устройством для хранения информации/данных и может быть реализовано, по крайней мере, одним накопителем на жестких магнитных дисках (НЖМД/HDD, англ. hard (magnetic) disk drive), твердотельным накопителем (SSD, англ. solid-state drive), гибридным жестким диском (SSHD, англ. solid-state hybrid drive), сетью хранения данных (СХД/SAN, англ. Storage Area Network), сетевой системой хранения данных/сетевым хранилищем (NAS, англ. Network Attached Storage) и/или любым другим устройством или совокупностью устройств, позволяющим осуществлять, по крайней мере, запись на устройство, чтение с устройства и/или хранение данных на устройстве. Данные в хранилищах данных могут храниться в любом известном формате данных, например, в виде, по крайней мере, одной таблицы или набора связанных или не связанных между собой таблиц базы данных. По крайней мере, одна упомянутая база данных может являться иерархической, объектной, объектно-ориентированной, объектно-реляционной, реляционной, сетевой и/или функциональной базой данных, каждая из которых может быть централизованной, сосредоточенной, распределенной, неоднородной, однородной, фрагментированной (секционированной), тиражированной, пространственной, временной, пространственно-временной, циклической, сверх-большой базой данных и т.д., причем для управления, создания и использования баз данных могут использоваться различные системы управления базами данных (СУБД). Данные в хранилищах данных могут храниться, по крайней мере, в одном файле, в частном случае, в виде текстового файла, либо данные могут храниться в любом, по крайней мере, одном другом известном в настоящее время формате хранения данных/информации или в формате данных, изобретенном позднее.
121
161
151
121
161
121
111
161
121
Устройство регистрации изображения  осуществляет регистрацию изображений объектов , попадающих в область видимости (зону обзора, зону видимости)  устройства регистрации изображения . Объектами , изображение которых может регистрироваться устройством регистрации изображения , могут являться продукты в магазине, блюда в сети общепита и т.д., например, расположенные (в частности, размещаемые покупателями, продавцами и т.д.) на подвижной (например, на прилавке) или неподвижной (например, ленте транспортера ) поверхностях. Размещаемые на подвижных или неподвижных поверхностях объекты  могут быть перемещены в область видимости устройства регистрации изображения  покупателями или сотрудниками магазина или автоматически, например, посредством их перемещения (в пространстве) специализированными устройствами, такими как конвейер (транспортер) с использованием движущихся элементов, в частности, тягового и грузонесущего органа, например, конвейерной ленты ленточного транспортера (конвейерной ленты) и т.д.
181
171
171
161
Регистрируемое изображение (в формате фотографий в цифровом формате или в формате цифровой видеозаписи) сохраняется в локальном хранилище данных или в хранилище данных  вместе с меткой времени, в которое было зарегистрировано такое изображение. Передача зарегистрированных изображений на сервер обработки данных  также осуществляется вместе с упомянутой меткой времени. Так, например, если регистрируется видеоизображение (в формате видеофайла), то такое изображение может быть сохранено с меткой времени, соответствующей началу записи видеоизображения или окончанию записи видеоизображения вместе с длительностью записи, хотя в частном случае, длительность видеозаписи может быть определена (вычислена) вычислительными устройствами, например, сервером обработки данных . Таким образом, совокупность метки времени (начала и/или конца записи) и длительности (вычисленной и/или  сохраненной) позволяет определить соответствие конкретного кадра видеозаписи конкретному моменту времени. Как описано в рамках настоящего изобретения, набор фотографий регистрируемых объектов  (в цифровом формате) может быть получен посредством преобразования видеозаписи в статичные изображения, в частности, фотографии в цифровом формате одним из известных способов, например, посредством вырезания кадров (стоп-кадра) из видео с заданной периодичностью. Метка времени начала (или конца) видеозаписи используется для формирования метки времени для изображения соответствующему конкретному моменту времени, причем конкретный момент времени, соответствующий изображению, может быть вычислен, как сумма времени начала видеозаписи (времени, соответствующего началу видеозаписи) и времени, прошедшему с момента начала видеозаписи, т.е. если время начала видеозаписи (регистрации) - 15 часов 15 минут 15 секунд, а время, прошедшее с момента начала записи равно 15 минутам 15 секундам, то время, соответствующее текущему кадру будет равно 15 часам 30 минутам 30 секундам. При формировании фотографий из видеопотока с заданным интервалом времени, например, равным 15  секундам, фотографии будут формироваться для каждых 15 секунд видеозаписи, т.е. в приведенном выше примере, фотографии будут формироваться с метками времени 15 часов 15 минут 30 секунд, 15 часов 45 минут 15 секунд, 15 часов 16 минут 0 секунд и т.д. Метки времени могут быть добавлены к изображениям (фотографиям, видеозаписи и т.д.) в любом известном формате, в том числе с добавлением даты, например, 12.12.2019, 15:15:15; двенадцатое декабря 2019 года, пятнадцать часов пятнадцать минут пятнадцать секунд и т.д.
121
171
171
181
121
171
181
Формирование изображений из видеозаписи (видеопотока и т.д.) может осуществляться как устройством регистрации изображения , так и сервером обработки данных  или любым другим вычислительным устройством, сервисом, например, облачным сервисом, в частности, размещенным в сети Интернет, и т.д., причем, как до их передачи на сервер обработки данных , в хранилище данных , так и после. Так, например, может осуществляться передача видеозаписи (видеопотока и т.д.) на упомянутое вычислительное устройство, в сервис (в том числе облачный сервис) и т.д. устройством регистрации изображения , который формирует фотографии из видеозаписи по заранее заданным параметрам (критериям) и передает сформированные фотографии на сервер обработки данных  и/или сохраняет в хранилище данных .
161
Регистрируемые изображения объектов  в формате цифровых фотографий (в том числе в формате сформированных изображений из видеофайлов, видеопотока и т.д.) с меткой времени сохраняются, по крайней мере, в одном хранилище данных для последующей передачи и/или обработки, как описано в рамках настоящего изобретения.
В частном случае, фотографии или видеозаписи могут содержать метку времени, в которое они были сделаны (в частности, для видеозаписи, по крайней мере, время начала и/или окончания записи), например, посредством добавления такой метки времени на регистрируемое (или формируемое и т.д.) изображение, или могут содержать метку времени, сохраненную в файле, содержащем изображение, например, в служебной информации об изображении, в частности, в метаданных файла и т.д., в зависимости от формата графического файла, в котором сохраняются изображения (RAW, JPEG, TIFF, PSD, BMP, GIF, PNG и т.д.).
181
141
141
121
Метка времени, в том числе для соответствующего изображения, кассового чека, товара в кассовом чеке и т.д., может быть сохранена в таблице, в том числе в таблице базы данных, например, хранимой в хранилище данных , со ссылкой на изображение (кассовый чек, товар и т.д.), которому она принадлежит (с которой она связана), например, со ссылкой на базу данных изображений (товаров, позиций в чеке и т.д.), в которых хранятся соответствующие данные (изображения, позиции и т.д.), с указанием имени (названия) файла изображения (кассового чека, данных, переданных кассовым аппаратом , данных содержащихся в кассовых чеках  и т.д.), указания времени (в то числе смещения по времени относительно начала или конца файла видеозаписи) в видеозаписи и любом другом известном формате связывания цифровых объектов между собой, подходящем для реализации связывания цифровых данных, в частности, в формате времени, с другими цифровыми данными, в частности, переданными кассовым аппаратом , устройством регистрации изображения  и т.д., например, хранящими изображения, данные кассовых чеков и т.д.
121
171
141
121
171
Таким образом, на описываемых в настоящем изобретении устройствах задается (устанавливается) время, причем на каждом устройстве (устройстве регистрации изображения , сервере обработки данных , кассовом аппарате (контрольно-кассовой машине) и т.д.) может быть установлено свое (собственное) время, например, в зависимости от часового пояса, в котором размещается такое устройство, может быть задано местное время. На каждом упомянутом устройстве может быть задано всемирное координированное время (UTC - от англ. Coordinated Universal Time). Также, время на каждом упомянутом устройстве заданное время может быть синхронизировано с временем на других устройствах, так, например, на каждом из устройств может быть дополнительно задано всемирное координированное время, разница с всемирным координированным временем и т.д. Также, синхронизация времени на устройствах может осуществляться посредством преобразования времени на одном устройстве в время на другом устройстве. Так, например, время, заданное на устройстве регистрации изображения , может быть преобразовано во время, заданное на сервере обработки данных  (хранилище данных, кассовом аппарате и т.д.), причем преобразование может осуществляться как на одном устройстве (до передачи данных, в частности, изображений), так и на другом устройстве (после передачи на него данных), в частности, осуществляется преобразование метки времени, соответствующей передаваемому (или полученному) изображению. Также, вместе с передачей данных, включая, изображения, но не ограничиваясь ими, может быть передано значение (момент) времени, заданное на устройстве и соответствующее времени регистрации изображения (началу видеозаписи и т.д.), осуществляющем передачу данных, разница с всемирным координированным временем и т.д.
171
121
141
171
171
171
На сервере обработки данных  может храниться список устройств системы, передающих данные, например, устройств регистрации изображения , кассовых аппаратов и т.д., в частности, в виде названий, идентификаторов таких устройств, сетевых адресов, данных о местоположении устройств (например, названий городов или географических координат, регистрируемых устройствами, в частности, модулями, таких устройств, например, модулями геопозиционирования, модулями геолокации, модулями определения местоположения) и т.д., которые могут быть переданы такими устройствами на другие устройства, в частности, на сервер обработки данных , по крайней мере, для осуществления возможности идентификации устройств, с которых были отправлены данные (изображения и т.д.), в том числе для установления разницы во времени с такими устройствами, причем разница во времени может вычисляться сервером обработки данных  автоматически с использованием заданного времени на сервере обработки данных , местоположения передающего устройства, идентификатора передающего устройства, всемирного координированного времени и т.д.
141
141
171
141
181
171
141
171
Описываемая система также содержит кассовый аппарат (контрольно-кассовую машину) , который используется при расчетах за проданные товары и выполненные услуги и основной задачей которого является фиксирование, в том числе на бумаге (кассовом чеке), сделки купли-продажи. Кассовым аппаратом  может являться компьютер, онлайн-касса и т.д., в том числе упрощающие процесс передачи данных, в частности в налоговую службу, на сервер , в хранилища данных и т.д., причем кассовый аппарат  может содержать связанное с ним хранилище данных, в частности, включать хранилище данных, или может быть связан с хранилищем данных, например, хранилищем данных , а также сервером . Кассовый аппарат , например, онлайн-касса, осуществляет передачу данных, по крайней мере, на сервер обработки данных , о совершенных покупателями покупках, в частности, список купленных товаров (или услуг) в том числе вместе с меткой времени продажи товаров, в частности, моментом времени осуществления продажи таких товаров, например, временем открытия чека и/или временем закрытия кассового чека.
161
161
161
161
161
141
141
141
171
181
141
141
141
С использованием устройства ввода осуществляется ввод данных об объектах , например, посредством ввода наименования, цены и т.д. объектов , в том числе с использованием штрих-кодов (или любых других идентификаторов), нанесенных на такие объекты  (например, на упаковку, с этикеток и т.д.). Так, например, с использованием сканера штрих-кодов продавец(-кассир) осуществляется сканирование штрих-кодов, нанесенных на объекты , для осуществления считывания таким устройством ввода штрих-кодов (сканером штрих-кодов). Продавец может осуществлять ввод информации, размещенной на объекте  без использования сканера штрих-кодов, например, используя ввод кодов европейской ассоциации товарной нумерации (EAN) штрих-кодов. Штрих-коды (в частности, содержащиеся в них данные, коды EAN и т.д.) передаются в кассовый аппарат , где средствами кассового аппарата  декодируются, т.е. извлекается закодированная в них информация, например, стоимость объектов, наименование (название) и т.д., и сохраняется в памяти кассового аппарата  и/или передается на сервер , хранилище данных  и т.д. Сканер штрих-кодов может декодировать (расшифровывать) информацию, в частности, кодировки с этикеток, и передавать декодированные данные (информацию) на кассовый аппарат . В памяти кассового аппарата  сохраняются (накапливаются) данные об операциях, совершенных при помощи данного кассового аппарата , в частности, сохраняются позиции, приобретенные покупателем, которые добавляются в кассовый чек.
141
171
181
141
Передача данных кассовым аппаратом  (на сервер , хранилище данных  и т.д.) может осуществляться с заданной периодичностью, например, один раз в десять минут, один раз в час, десять часов, сутки и т.д. и/или может осуществляться при вводе данных (или сразу после ввода данных) в кассовый аппарат , а также сразу (или через заданный промежуток времени) после формирования (закрытия, выдачи) кассового чека. Ввод данных в кассовый аппарат может осуществляться одним из известных способов ввода данных с использованием, по крайней мере, одного из известных устройств ввода данных (устройств ввода графической информации, таких как видео-, веб-камера, цифровой фотоаппарат, сканер; устройств ввода звуковой информации, например, микрофона, указательных (координатных) устройств и т.д.), например, с использованием клавиатуры, сканера одномерных (линейных, 1D), двумерных (2D) и т.д. кодов (штриховых кодов), например, QRCode, Aztec, DataMatrix, MaxiCode и т.д.
141
161
151
121
Передаваемые кассовым аппаратом  данные могут включать, как позиции, регистрируемые кассовым аппаратом и содержащиеся в кассовых чеках, так и данные регистрации данных позиций, соответствующих объектам , размещаемым в области видимости  устройства регистрации изображения , например, количество позиций, время совершения покупки и т.д.
141
181
Регистрируемые кассовым аппаратом  данные (в том числе в формате кассовых чеков) с меткой времени сохраняются, по крайней мере, в одном хранилище данных, например, хранилище данных кассового аппарата, хранилище данных  и т.д. для последующей передачи и/или обработки, как описано в рамках настоящего изобретения.
171
141
141
Так, сервер  может отправлять запрос на передачу кассовым аппаратом  описанных в настоящем изобретении данных, регистрируемых кассовым аппаратом , в частности, данные о совершенных покупках покупателем, такие как позиции (наименования товаров, идентификаторы товаров и т.д.) в кассовых чеках, время и даты формирования кассовых чеков, отмененные факты покупки товаров и т.д.
141
161
161
141
121
171
121
161
121
121
171
121
161
111
171
141
141
141
141
171
Также, может быть установлено дополнительное устройство регистрации изображения, в частности, после кассового аппарата  для регистрации, по крайней мере, объектов , которые перемещены в область совершенных покупок покупателем, в частности, объекты , информация о которых уже добавлена в кассовый чек (электронный и/или бумажный), формируемый кассовым аппаратом . Изображения, регистрируемые таким дополнительным (в дополнение к устройству регистрации изображения ) устройством регистрации изображения, также сохраняются и передаются на сервер обработки данных , как описано выше для устройства регистрации изображения , причем передаваемые изображения могут включать идентификатор устройства, с которого они были переданы, метки времени и т.д., как описано выше, а также дополнительно может включать метку принадлежности данных изображений приобретенным пользователями объектов . Изображения с устройства регистрации изображения  или с устройства регистрации изображения  и дополнительного устройства регистрации изображения могут быть использованы для снижения вероятности ошибок при обработке полученных сервером обработки данных . Так, например, устройством регистрации изображения  могут быть зарегистрированы изображения объектов , размещенных на ленте транспортера , которые передаются на сервер обработки данных  и обрабатываются вместе с данными, переданными кассовым аппаратом , однако, данные, переданные кассовым аппаратом  (например, содержащиеся в кассовом чеке), могут не содержать позиции, соответствующие объектам, зарегистрированным на ленте транспортера по тем или иным причинам. Так, например, может иметь место ошибка продавца (кассира), например, продавец переместил товар в область купленных товаров без внесения их в кассовый чек (без «пробития» товара); неисправность кассового аппарата  (например, кассовый аппарат не добавил данные о товаре в кассовый чек после ввода данных о товаре); ошибки в маркировке (кодировании) товаров, например, в нанесенных на товарах штрих-кодах, например, штрих-код содержит информацию, не соответствующую товару и/или его характеристиках, на который он был нанесен, например, информацию о цене, весе, стране происхождения и т.д., покупатель не захотел покупать товар по той цене, которая была предъявлена покупателю кассовым аппаратом и товар был исключен из кассового чека и т.д., что может быть выявлено, по крайней мере, в процессе обработки данных, полученных сервером .
121
151
111
141
151
141
Также, для регистрации объектов (товаров) устройством регистрации изображения  (или дополнительным устройством регистрации изображения) продавец-кассир (или покупатель и т.д.) может размещать покупаемый товар в области видимости  товар, который не был размещен пользователем на ленте транспортера , например, был передан в руки продавцу-кассиру (пользователю кассового-аппарата ), был взят продавцом-кассиром из зоны, находящейся за пределами области видимости , например, товары (по акции, размещаемые на закрытых витринах и т.д.), размещаемые над кассовым аппаратом , за спиной продавца-кассира и т.д.
121
171
141
181
Также, устройством регистрации изображения  (в том числе дополнительным или в дополнение к дополнительному) может являться камера мобильного вычислительного устройства пользователя (например, покупателя, сотрудника магазина, например, продавца-кассира, и т.д.), которое осуществляет передачу данных на устройства регистрации, сервер  или любое другое вычислительное устройство (например, кассовый аппарат ), описываемое в рамках настоящего изобретения (и/или сервер, хранилище данных и т.д. стороннего сервиса), и/или в хранилище данных (например, хранилище данных , хранилище данных вычислительных устройств, устройств регистрации и т.д.) для хранения и обработки (формирования набора данных и т.д.), как описано в рамках настоящего изобретения.
171
121
141
121
141
Посредством обработки (в частности, анализа) данных, переданных на сервер обработки данных , например, посредством сопоставления (сравнения) изображений объектов, зарегистрированных устройством регистрации изображения , и данных, переданных кассовым аппаратом  (например, позиции в кассовом чеке), а также опционально дополнительным устройством регистрации изображения, могут быть выявлено несоответствие товаров, зарегистрированных устройством регистрации изображения , и содержащихся в кассовом чеке кассового аппарата .
111
121
Так, например, время с момента формирования предыдущего кассового чека (в частности, времени «закрытия» кассового чека, «выдачи» кассового чека) до времени формирования следующего кассового чека может являться промежутком времени, в течение которого объекты, соответствующие позициям, содержащимся в следующем кассовом чеке, находятся на ленте транспортера  и регистрируются устройством регистрации изображения . Таким образом, изображения объектов с соответствующими метками времени соответствуют позициям упомянутого следующего кассового чека с соответствующей меткой времени такого кассового чека.
111
161
111
161
121
141
Также, время (момент) начала перемещения ленты транспортера  с момента формирования предыдущего кассового чека может являться меткой времени для соответствующей группы товаров, расположенной на ленте транспортера, причем разделитель объектов , в частности, разделитель товаров одного покупателя от товаров другого покупателя, например, изображение разделителя может использоваться в процессе анализа изображений товаров (объектов) для выявления (изображений) конкретных товаров, соответствующих конкретным позициям в конкретном кассовом чеке. Время начала перемещения ленты транспортера  может быть определено (установлено) с использованием анализа изображения (изображений) объектов , регистрируемого устройством регистрации изображения , на ленте транспортеров, например, посредством выявления смещения (перемещения) товаров по направлению к кассовому аппарату , или, например, посредством использования датчика движения, передающего данные о начале движения ленты транспортера, или посредством регистрации нажатия кнопки перемещения ленты транспортера сотрудником магазина (продавцом и т.д.), регистрации нажатия кнопки начала новой покупки и т.д.
ФИГ. 1
Элементы (в частном случае, составные части описываемой системы, реализующей способ, описываемый в рамках настоящего изобретения), в том числе изображенные на , могут быть связаны между собой (и любыми другими модулями, устройствами и сервисами, способными получать информацию от модулей описываемой системы и/или передавать данные в описываемые модули системы) посредством локальной вычислительной сети (ЛВС), сети Интернет, (средствами) мобильной/спутниковой связи и/или посредством любого другого вида (способа) проводной связи (например, посредством USB-интерфейса, интерфейса стандарта RS-232/COM-порта и т.д.) и/или беспроводной связи, например, Bluetooth, Wi-Fi, мобильной сотовой связи (GSM), в том числе 3G, 4G, LTE, в частности, в диапазонах 850/900/1800/1900 MГц, спутниковой связи, транкинговой связи и каналов передачи данных со сверхнизким энергопотреблением, формирующие сложные беспроводные сети с ячеистой топологией (ZigBee) и т.д.
171
171
По крайней мере, одна часть описываемого в рамках настоящего изобретения способа (или способ целиком) может осуществляться на сервере  и/или на пользовательском устройстве, в том числе, после установления связи устройств (или любыми другими модулями описываемой системы) с сервером , и/или друг с другом, например, посредством, по крайней мере, одного протокола передачи данных, в том числе сетевого протокола, например, TCP/IP, HTTP/HTTPs (англ. Hyper Text Transfer Protocol, протокол передачи гипертекста), FTP (англ. File Transfer Protocol, протокол передачи файлов), POP3 (англ. Post Office Protocol, стандартный протокол почтового соединения), SMTP (англ. Simple Mail Transfer Protocol, протокол, который задает набор правил для передачи почты), TELNET (протокол удаленного доступа), XMPP (от англ. Extensible Messaging and Presence Protocol - расширяемый протокол обмена сообщениями и информацией о присутствии, ранее известный как Jabber - открытый, основанный на XML, протокол для мгновенного обмена сообщениями и информацией о присутствии в режиме, близком к режиму реального времени), DTN и т.д., в том числе протоколов, регламентированных стандартами IEEE 802.15.4 и ZigBee, включая существующие надстройки, например, спецификации сетевых протоколов верхнего уровня, в частности, уровня приложений APS (от англ. application support sublayer), и сетевого уровня NWK, использующих, в частном случае, сервисы нижних уровней, уровня управления доступом к среде MAC и физического уровня PHY и т.д.
171
171
171
Использование, по крайней мере, одного устройства регистрации изображения (в частном случае, устройства регистрации изображения  или устройства регистрации изображения  и дополнительного устройства регистрации изображения) в совокупности с кассовым аппаратом и обработкой данных сервером обработки данных  позволяет, по крайней мере, выявлять ошибки продавцов (продавцов-кассиров), неисправность устройств, ошибки в маркировке (кодировании) товаров, например, в нанесенных на товарах штрих-кодах, а также формировать набор данных, в том числе для обучений нейронных сетей, снижающий количество ошибок нейронных сетей в процессе их обучения, в том числе посредством исключения сведений, заведомо приводящим к ошибкам в процессе функционирования нейронных сетей и результатов такого функционирования.
ФИГ. 2
На  показана блок-схема примерного варианта способа осуществления настоящего изобретения.
202
В шаге  описываемого в настоящем изобретении способа в процессе сессии выбора товаров пользователем (в частности, покупателем), для каждого пользователя динамически осуществляется формирование, по крайней мере, одного изображения набора покупок пользователя (или, по крайней мере, одного изображения, по крайней мере, одной покупки, в частности, одного товара) предприятия торговли, в частности, в точке розничных продаж (например, в магазине), в том числе в автоматизированных точках розничных продаж.
121
Формирование изображения набора покупок (товаров и т.д.) пользователя, в частности покупателя, может осуществляться устройством регистрации изображения .
212
ФИГ. 1
121
171
171
141
Далее, в шаге  средствами системы, примерный вариант которой приведен на  (например, устройством регистрации изображения  и/или сервером обработки данных , или модулем сервера обработки данных , например, модулемсопоставления списка идентификаторов с зарегистрированными и полученными изображениями, и/или кассовым аппаратом ), осуществляется сопоставление динамически формируемого списка идентификаторов покупок из набора со сформированными изображениями набора покупок пользователя.
222
ФИГ. 1
171
171
Далее в шаге  средствами системы, примерный вариант которой приведен на  (например, сервером обработки данных , или модулем сервера обработки данных , например, модулем выявления соответствия товаров идентификаторам), для товаров, представленных на изображениях, осуществляется выявление соответствия товаров, представленных на изображениях, идентификаторам из списка покупок пользователя. Выявление соответствия товаров, представленных на изображениях, идентификаторам из списка покупок пользователя может осуществляться в процессе или после завершения сессии выбора товаров пользователем.
232
ФИГ. 1
171
171
Далее в шаге  для каждого из выявленных соответствий средствами системы, примерный вариант которой приведен на  (например, сервером обработки данных , или модулем сервера обработки данных , например, модулем определения степени соответствия) осуществляется определение степени соответствия.
В частном случае, дополнительно осуществляется определение изменений представления товаров в торговом зале точки розничных продаж, для покупок, представленных в наборе пользователя, соответствующих выявленным изменениям в торговом зале, повышают степень соответствия, а для покупок, не соответствующих  выявленным изменениям, понижают степень соответствия.
В частном случае, осуществляется повышение степени соответствия при самостоятельном формировании списка покупок пользователем и понижают степень соответствия при формировании списка покупок сотрудником точки розничных продаж.
242
ФИГ. 1
171
Далее в шаге для каждого из товаров, представленных  на изображениях, средствами системы, примерный вариант которой приведен на  (например, сервером обработки данных , или модулем использования данных в качестве обучающей совокупности данных для нейронной сети) используется соответствующий участок изображения, идентификатор и степень соответствия в качестве обучающей совокупности данных для нейронной сети.
В частном случае, для каждого пользователя осуществляется задание зоны отображения товаров, соответствующих динамически вводимым идентификаторам и осуществляется установление нулевой степени соответствия при несоответствии введенного идентификатора изображению товара, появившемуся в зоне отображения при вводе идентификатора.
В частном случае, осуществляется формирование сигнала тревоги (сообщения и т.д.) при отсутствии ввода идентификатора после появления нового товара в зоне отображения.
ФИГ. 1
171
ФИГ. 1
После получения изображения средствами системы, примерный вариант которой показан на , например, сервером обработки данных , может осуществляться выделение, по крайней мере, одного изображения товара из набора покупок. Далее средствами системы, примерный вариант которой показан на , осуществляется их обработка, например, верификация с использованием искусственной нейронной сети.
121
Упомянутая обработка (как для одного товара, так и для группы товаров) может включать, по крайней мере, сравнение, по крайней мере, одного изображения товара, зарегистрированного устройством регистрации изображения , по крайней мере, с одним изображением товара, содержащимся в данных о товаре, например, в совокупности данных, в том числе изображений, этого товара, например, в выборке данных.
Если зарегистрированное изображение соответствует (в частности, совпадает) в достаточной степени, по крайней мере, одному изображению в совокупности данных, в том числе в выборке изображений товара, то такой товар является идентифицированным. Если товар был идентифицирован, то процесс обработки может быть остановлен, а зарегистрированные изображения могут быть добавлены в совокупность данных (изображений) для их дальнейшего использования, что позволяет, по крайней мере, снизить время на обработку изображений, а также снизить затрачиваемые вычислительные ресурсы на дополнительную, в частности, излишнюю, обработку данных, что позволяет также ускорить процесс сравнения данных.
Если зарегистрированное изображение не соответствует (в частности, совпадает) в достаточной степени, по крайней мере, одному изображению в совокупности данных, в том числе в выборке изображений товара, то такой товар является неидентифицированным, и данные о нем могут быть добавлены в базу данных, в том числе изображения такого товара.
После регистрации изображения товара средствами системы может осуществляться предварительная обработка, которая может включать определение границ товара на изображении, увеличение или уменьшение масштаба изображения или части изображения, поворот изображения или части изображения по часовой или против часовой стрелке на заранее заданный угол, в том числе угол, приемлемый для обработки изображения, преобразование цвета изображения, резкости, яркости и т.д. такая предобработка (в том числе устройством регистрации изображений, сервером обработки данных, нейронной сетью и т.д.) также может включать выделение ключевых признаков на изображении для получения дескрипторов изображения, которые (а также, связанные с ними данные) используются для вычисления соответствия изображения зарегистрированного товара изображению из базы данных.
ФИГ. 1
По крайней мере, одна часть (модуль и т.д.) системы, примерный вариант которой показан на , например, сервер обработки данных, устройство (средство) регистрации изображений и т.д., может формировать упомянутую совокупность данных для обучения искусственной нейронной сети, обучать искусственную нейронную сеть и т.д., причем такие процессы могут выполняться параллельно (одновременно и т.д.), а каждая часть системы может содержать нейронную сеть, причем, по крайней мере, для одного товара, набора продуктов, набора товаров и т.д., а упомянутая совокупность данных может содержать одно или несколько последних зарегистрированных изображений, где количество таких последних зарегистрированных изображений задается пользователем.
В частном случае, формируемая обучающая совокупность данных для нейронной сети пополняется данными товаров и используется для обучения нейронной.
В частном случае, формирование и пополнение обучающей совокупности данных для нейронной сети и обучение нейронной сети осуществляют постоянно в заранее заданное пользователем время.
В частном случае, формирование и пополнение обучающей совокупности данных для нейронной сети и обучение нейронной сети осуществляется сервером обработки данных.
ФИГ. 3
ФИГ. 3
ФИГ. 3
На  показан упрощенный пример аппаратной реализации предложенного изобретения. Компьютерная сеть может представлять собой географически распределенную совокупность узлов, соединенных линиями связи и сегментами для передачи данных между конечными узлами, такими как персональные компьютеры, рабочие станции, или периферийные устройства, такие как принтеры или сканеры. Доступно множество типов сетей, от локальных сетей (LAN) до глобальных сетей (WAN). Как показано на , примерная компьютерная сеть 1100 может содержать множество сетевых устройств, таких как маршрутизаторы, коммутаторы, компьютеры и тому подобное, связанных между собой линиями связи. Например, множество сетевых устройств может соединять одно или несколько пользовательских устройств («клиентских устройств») 1110, которые могут использоваться пользователем, таких как компьютеры, смартфоны, планшеты и т.д. Каналы связи, соединяющие различные сетевые устройства, могут быть проводными линиями или общими средами (например, беспроводными линиями), где определенные устройства могут поддерживать связь с другими устройствами на основе расстояния, уровня сигнала, текущего рабочего состояния, местоположения и т.п. Каналы связи могут соединять различные сетевые устройства в любой возможной конфигурации. Один или несколько серверов 1120 (например, хост-серверы, веб-серверы, базы данных и т.д.) Могут поддерживать связь с сетью 1100 и, таким образом, с множеством клиентских устройств 1110. Специалистам в данной области техники будет понятно, что в компьютерной сети может использоваться любое количество и расположение узлов, устройств, линий связи и т.д., а иллюстрация, показанная на  является упрощенным примером аппаратной реализации системы.
ФИГ. 4
ФИГ. 4
ФИГ. 3
ФИГ. 3
На  показан пример вычислительной системы, пригодный для реализации элементов предложенного изобретения. Как показано на , вычислительная система содержит вычислительное устройство 1200, которое может использоваться в качестве устройства пользователя или сервера, в памяти 1240 которого хранятся операционная система 1242, компьютерные программы 1244 и структуры данных 1245. Память 1240 устройства 1200 связана шиной 1250 с источником питания 1260, по крайней мере, одним процессором 1220 и, по крайней мере, одним сетевым интерфейсом 1210, осуществляющим передачу данных в сеть 1100 () и из сети 1100 ().
В заключение следует отметить, что приведенные в описании сведения являются примерами, которые не ограничивают объем настоящего изобретения, определенного формулой. Специалисту в данной области становится понятным, что могут существовать и другие варианты осуществления настоящего изобретения, согласующиеся с сущностью и объемом настоящего изобретения.