СЕРВЕРНОЕ УСТРОЙСТВО И АВТОМОБИЛЬНОЕ УСТРОЙСТВО
SERVER DEVICE AND AUTOMOTIVE DEVICE

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
1. Область техники, к которой относится изобретение
[0001] Изобретение относится к серверному устройству и автомобильному устройству, которое доводит информацию до сведения водителя транспортного средства.
2. Описание предшествующего уровня техники
[0002] Алгоритм распознавания изображений различается в зависимости от объекта для распознавания. Таким образом, известно техническое решение для упрощения определения оптимального алгоритма в соответствии с распознаваемым объектом (см., например, публикацию нерассмотренной японской патентной заявки № 2015-130093 (JP 2015-130093)).
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0003] Существует необходимость экономически эффективного сбора информации о размещенных в разных местоположениях различных объектах посредством распознавания изображений.
[0004] Изобретение было создано с учетом такого обстоятельства. Задача изобретения заключается в предоставлении серверного устройства и автомобильного устройства, способных экономически эффективно собирать информацию по различным объектам в разных местоположениях.
[0005] Первый объект изобретения относится к серверному устройству, включающему в себя определяющий блок, распределяющий блок и блок сбора данных. Определяющий блок сконфигурирован таким образом, чтобы на основе информации, полученной от множества транспортных средств, определить транспортное средство, являющееся целью распределения; этому транспортному средству среди множества транспортных средств должна быть распределена логика распознавания изображений для распознавания изображений заранее заданного объекта. Распределяющий блок сконфигурирован таким образом, чтобы распределять логику распознавания изображений транспортному средству, являющемуся целью распределения и определенному определяющим блоком. Блок сбора данных сконфигурирован таким образом, чтобы получать информацию о заранее заданном объекте от являющегося целью распределения транспортного средства, которому была распределена логика распознавания изображений, при этом информация о заранее заданном объекте, распознаваемом посредством выполнения логики распознавания изображений на изображении, отснятом являющимся целью распределения транспортным средством снаружи этого транспортного средства.
[0006] В соответствии с первым объектом, логика распознавания изображений распределяется определенному являющемуся целью распределения транспортному средству, а информация об объекте, распознанном посредством выполнения логики распознавания изображений на отснятом изображении, получается от являющегося целью распределения транспортного средства. Таким образом, можно экономически эффективно собирать информацию о различных объектах в разных местоположениях без предварительного включения логики распознавания изображений, определенной для каждого объекта, в транспортное средство.
[0007] В соответствии с первым объектом, в серверном устройстве определяющий блок может определять являющееся целью распределения транспортное средство среди транспортных средств, которые могут передвигаться в регионе, относящимся к логике распознавания изображений.
[0008] В соответствии с первым объектом в серверном устройстве определяющий блок может определять являющееся целью распределения транспортное средство среди транспортных средств, которые могут передвигаться в определенном регионе в течение периода, относящегося к логике распознавания изображений.
[0009] В соответствии с первым объектом в серверном устройстве информация о заранее заданном объекте может включать в себя информацию о местоположении являющегося целью распределения транспортного средства, когда получено изображение заранее заданного объекта. Серверное устройство может также включать в себя выводящий блок, сконфигурированный таким образом, чтобы получить информацию о местоположении заранее заданного объекта на основе информации о местоположении являющегося целью распределения транспортного средства, когда получено изображение заранее заданного объекта. Распределяющий блок может распределять выводимую информацию о местоположении заранее заданного объекта множеству транспортных средств.
[0010] В соответствии с первым объектом, в серверном устройстве, когда удовлетворяется условие завершения приема информации о заранее заданном объекте, распределяющий блок может распределять команду удаления логики распознавания изображений являющемуся целью распределения транспортному средству, которому была распределена логика распознавания изображений.
[0011] В соответствии с первым объектом в серверном устройстве логика распознавания изображений может создаваться моделью обучающей схемы.
[0012] Второй объект изобретения относится к серверному устройству, включающему в себя определяющий блок, распределяющий блок и блок сбора данных. Определяющий блок сконфигурирован таким образом, чтобы на основе информации, полученной от множества транспортных средств, определить множество являющихся целью распределения транспортных средств; этим транспортным средствам среди множества других транспортных средств должна быть распределена, по меньшей мере, одна логика распознавания изображений для распознавания изображений типового или идентичного заранее заданного объекта. Распределяющий блок сконфигурирован таким образом, чтобы распределять, по меньшей мере, одну логику распознавания изображений множеству являющихся целью распределения транспортных средств, и определенных определяющим блоком. Блок сбора данных сконфигурирован таким образом, чтобы получать информацию о заранее заданном объекте от являющихся целью распределения транспортных средств, которым была распределена, по меньшей мере, одна логика распознавания изображений, информация о заранее заданном объекте, распознаваемом посредством выполнения, по меньшей мере, одной логики распознавания изображений на изображениях, отснятых являющимися целью распределения транспортными средствами снаружи этих транспортных средств.
[0013] В соответствии со вторым объектом в серверном устройстве каждое из множества транспортных средств может включать в себя блок распознавания изображений, сконфигурированный таким образом, чтобы выполнять, по меньшей мере, одну логику распознавания изображений. Серверное устройство может также включать в себя блок хранения, сконфигурированный таким образом, чтобы хранить множество логик распознавания изображений для распознавания изображений типового или идентичного объекта, причем множество логик распознавания изображений выполняются различными блоками распознавания изображений. Распределяющий блок может распределять каждому из множества являющихся целью распределения транспортных средств, определенных определяющим блоком, одну логику распознавания изображений, которая является выполняемой блоком распознавания изображений транспортного средства, являющимся одним из множества транспортных средств, являющихся целью распределения, среди множества логик распознавания изображений, хранящихся в блоке хранения.
[0014] Третий объект изобретения относится к автомобильному устройству, включающему в себя получающий блок, блок распознавания изображений, выводящий блок и уведомляющий блок. Получающий блок сконфигурирован таким образом, чтобы получать от серверного устройства логику распознавания изображений для распознавания изображений заранее заданного объекта. Блок распознавания изображений сконфигурирован таким образом, чтобы распознавать заранее заданный объект на изображении, отснятом транспортным средством снаружи этого транспортного средства, на котором установлено автомобильное устройство, посредством выполнения логики распознавания изображений, полученной получающим блоком. Выводящий блок сконфигурирован таким образом, чтобы получать информацию о заранее заданном объекте на основе результата распознавания изображений, полученного блоком распознавания изображений. Уведомляющий блок сконфигурирован таким образом, чтобы уведомлять серверное устройство информацией о заранее заданном объекте, полученной блоком распознавания изображений.
[0015] В соответствии с третьим объектом, логика распознавания изображений получается от серверного устройства, информация об объекте выводится на основе результата распознавания изображения, полученного посредством выполнения логики распознавания изображений, а информация об объекте доводится до сведения серверного устройства. Таким образом, можно экономически эффективно собирать информацию о различных объектах в разных местоположениях без предварительного включения логики распознавания изображений, определенной для каждого объекта, в транспортное средство.
[0016] В соответствии с изобретением можно экономически эффективно собирать информацию о различных объектах в разных местоположениях.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0017] Признаки, преимущества, а также техническая и промышленная значимость иллюстративных примеров осуществления изобретения будут описаны ниже со ссылкой на прилагаемые чертежи, на которых одинаковые цифры обозначают одинаковые элементы.
ФИГ. 1 представляет собой схему, показывающую конфигурацию системы транспортных средств в соответствии с первым примером осуществления изобретения;
ФИГ. 2 представляет собой схему, показывающую конфигурации автомобильного устройства и серверного устройства, представленных на ФИГ. 1;
ФИГ. 3 представляет собой схему для пояснения ситуации, когда транспортное средство, оборудованное автомобильным устройством, показанным на ФИГ. 1, распознает изображение объекта;
ФИГ. 4 представляет собой блок-схему последовательности операций, показывающую процесс распределения логики распознавания изображений в серверном устройстве, показанном на ФИГ. 1;
ФИГ. 5 представляет собой блок-схему последовательности операций, показывающую процесс распознавания изображений в автомобильном устройстве, показанном на ФИГ. 1;
ФИГ. 6 представляет собой блок-схему последовательности операций, показывающую процесс получения информации об объекте в серверном устройстве, показанном на ФИГ. 1; и
ФИГ. 7А представляет собой структуру данных первой таблицы, хранящейся в блоке хранения серверного устройства, согласно второму примеру осуществления изобретения; ФИГ. 7B представляет собой структуру данных второй таблицы, хранящейся в блоке хранения, а ФИГ. 7C представляет собой структуру данных третьей таблицы, хранящейся в блоке хранения.
ПОДРОБНОЕ ОПИСАНИЕ ПРИМЕРОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
Первый пример осуществления изобретения
[0018] ФИГ. 1 представляет собой схему, показывающую конфигурацию автомобильной системы 1 в соответствии с первым примером осуществления изобретения. Автомобильная система 1 включает в себя множество автомобильных устройств 10 и серверное устройство 12. На ФИГ. 1 показаны три автомобильных устройства 10 из множества автомобильных устройств 10.
[0019] Автомобильное устройство 10 установлено на транспортном средстве 14, которое представляет собой автомобиль. Автомобильное устройство 10 осуществляет беспроводную связь с серверным устройством 12. Стандарт беспроводной связи включает в себя, например, систему мобильной связи третьего поколения (3G), систему мобильной связи четвертого поколения (4G), систему мобильной связи пятого поколения (5G) и Wi-Fi (стандарт IEEE 802.11), но специально не ограничивается ими. Автомобильное устройство 10 может осуществлять беспроводную связь с серверным устройством 12 через базовую станцию (не показана). Серверное устройство 12 установлено в центре обработки данных, например, и функционирует как устройство обработки информации, которое обрабатывает информацию, переданную из множества автомобильных устройств 10.
[0020] ФИГ. 2 представляет собой схему, показывающую конфигурации автомобильного устройства 10 и серверного устройства 12, представленных на ФИГ. 1. Автомобильное устройство 10 включает в себя коммуникационный блок 20, блок 22 обработки информации, блок 24 хранения, блок 26 воспроизведения изображений, датчик 28 направления, блок 30 приема данных посредством GPS и навигационный блок 32. Блок 22 обработки информации включает в себя блок 40 сбора данных о транспортном средстве, блок 42 получения логики распознавания изображений (получающий блок автомобильного устройства), блок 44 распознавания изображений, выводящий блок 46 и уведомляющий блок 48.
[0021] Серверное устройство 12 включает в себя коммуникационный блок 60, блок 62 обработки данных и блок 64 хранения. Блок 62 обработки данных включает в себя блок 70 сбора коллективных данных, настроечный блок 72, определяющий блок 74, распределяющий блок 76, блок 78 сбора информации об объекте и выводящий блок 80.
[0022] Далее описание будет дано в порядке (1) процесса распределения логики распознавания изображений, (2) процесса распознавания изображений и (3) процесса получения информации об объекте.
(1) Процесс распределения логики распознавания изображений
[0023] Сначала будет описано автомобильное устройство 10. Блок 40 сбора данных о транспортном средстве периодически получает информацию о рассматриваемом транспортном средстве. Информация о рассматриваемом транспортном средстве включает в себя, например, информацию о местоположении рассматриваемого транспортного средства и информацию о направления движения, указывающую направление движения рассматриваемого транспортного средства.
[0024] Блок 40 сбора данных о транспортном средстве получает информацию о местоположении от, например, блока 30 приема данных посредством GPS. Блок 40 сбора данных о транспортном средстве получает информацию о направлении от, например, блока 30 приема данных посредством GPS или датчика 28 направления. Момент получения может быть приложен к информации о местоположении и информации о направлении движения, или момент времени, когда серверное устройство 12 получило информацию о местоположении и информацию о направлении движения, можно рассматривать как момент получения. Частота, с которой блок 40 сбора данных о транспортном средстве получает информацию о рассматриваемом транспортном средстве, может быть соответствующим образом определена посредством проведения экспериментов или подобных процедур. Частота, с которой блок 40 сбора данных о транспортном средстве получает информацию о рассматриваемом транспортном средстве, может отличаться для каждого типа информации.
[0025] Блок 40 сбора данных о транспортном средстве передает информацию о местоположении и информацию о назначенном маршруте в коммуникационный блок 20. Блок 40 сбора данных о транспортном средстве передает информацию о местоположении и информацию о направлении движения в выводящий блок 46. Информация о местоположении и информация о направлении движения, передаваемые на выводящий блок 46, используются в (2) процессе распознавания изображений, который описывается далее.
[0026] Коммуникационный блок 20 связывается с серверным устройством 12. Коммуникационный блок 20 может быть сконфигурирован таким образом, чтобы осуществлять связь с серверным устройством 12 через сеть связи общего пользования (3G, 4G, 5G, Wi-Fi и иные подобные сети связи), используемую в мобильном телефоне. Коммуникационный блок 20 периодически передает информацию о местоположении и информацию о назначенном маршруте, полученный блоком 40 сбора данных о транспортном средстве, на серверное устройство 12. Такая информация прилагается к идентификационной информации для идентификации транспортного средства 14 в качестве источника передачи информации. Частота передачи информации может быть соответствующим образом определена посредством проведения экспериментов или иным подобным образом.
[0027] Далее будет описано серверное устройство 12. Блок 64 хранения хранит множество логик (алгоритмов) распознавания изображений. Каждая из логик распознавания изображений сконфигурирована для распознавания изображений заранее определенного объекта и оптимизирована таким образом, чтобы повысить точность распознавания объекта. Логика распознавания изображений может быть построена с использованием хорошо известных методов. Примером логики распознавания изображений является модель нейронной сети. Одним из примеров модели нейронной сети является структура данных, включающая в себя ввод данных, вывод данных, сетевую структуру и весовое значение многоуровневой нейронной сети. В этом случае весовое значение сети должным образом округляется так, чтобы желаемый объект может быть распознан соответствующим образом. Отснятое изображение вводится в нейронную сеть с использованием этапа вычленения количества признаков. Другим примером логики распознавания изображений является программа, выполняемая универсальным процессором, в котором установлен алгоритм распознавания изображений.
[0028] Объект представляет собой объект, который может быть отображен блоком 26 воспроизведения изображений, установленным на транспортном средстве 14, и который, как ожидается, будет распознан блоком 44 распознавания изображений с использованием логики распознавания изображений. Объект включает в себя, например, различные цветы, такие как цветок одуванчика и подсолнечника, неисправные транспортные средства, падающие на дорогу предметы, выбоины на дороге, затопленные дороги, обледенелые дороги, дороги с убранным снегом, людей, человека с зонтиком и т. п., но специально не ограничивается ими. Если объект является цветком, логика распознавания изображений может быть настроена таким образом, чтобы распознавать, что цветут несколько цветков.
[0029] Регион (понятие, включающее в себя широкую область, такую как западное побережье, восточное побережье или регион восточного моря, муниципалитет, такой как штат, город или тому подобное образование, заранее определенная дорога, такая как автомагистраль национального значения № 1, и тому подобное) связан с каждой логикой распознавания изображений. Период (понятие, включающее в себя дату и время начала, дату и время окончания и т.д.) может быть связан с каждой логикой распознавания изображений. Дата окончания срока действия (время вступления в силу или даты вступления в силу) может быть связана с каждой логикой распознавания изображений. Приоритет (понятие, включающее в себя приоритет, касающийся скорости обработки или точности обработки), может быть связан с каждой логикой распознавания изображений.
[0030] Например, многочисленные наборы регионов и периодов, в которых цветки одуванчика могут цвести на большой территории, связаны с логикой распознавания изображений для цветов одуванчика. Регионами и периодами могут быть, например, регион A1 и период с 1 марта по 20 марта, регион A2 и период с 10 марта по 30 марта, регион A3 и период с 20 марта по 10 апреля, и так далее. Сходным образом, многочисленные наборы регионов и периодов связаны с логикой распознавания изображений для других цветов.
[0031] Зоны (регионы) вдоль скоростных автомагистралей, автомагистралей национального значения и т.д. связаны с логикой распознавания изображений неисправных транспортных средств. Зоны вдоль скоростных автомагистралей, автомагистралей национального значения и т.д. связаны с логикой распознавания изображений предметов, упавших на дорогу. Зоны, где с большой долей вероятности на дороге будут формироваться вмятины, связаны с логикой распознавания изображений вмятин на дороге.
[0032] Регионы и периоды, когда дороги могут покрыться льдом, связаны с логикой распознавания изображений обледенелых дорог. Регионы и периоды, когда может накапливаться снег, связаны с логикой распознавания изображений дорог с убранным снегом.
[0033] Коммуникационный блок 60 осуществляет беспроводную связь с коммуникационными блоками 20 из множества автомобильных устройств 10. Коммуникационный блок 60 получает информацию о местоположении и информацию о назначенном маршруте множества транспортных средств 14 от коммуникационных блоков 20 множества автомобильных устройств 10. Коммуникационный блок 60 выводит информацию о местоположении и информацию о назначенном маршруте множества транспортных средств 14 в определяющий блок 74.
[0034] На основании информации, полученной от множества транспортных средств 14, определяющий блок 74 периодически с учетом логики распознавания изображений, хранящейся в блоке 64 хранения, определяет одно или несколько транспортных средств 14, которым должны быть распределены логики распознавания изображений. Максимальное количество транспортных средств 14, которым распределяются логики распознавания изображений, может быть определено заранее.
[0035] Определяющий блок 74 определяет транспортное средство 14 на основе информации, относящейся к логике распознавания изображений. Более конкретно, определяющий блок 74 определяет транспортное средство 14, используя регион, связанный с логикой распознавания изображений, и период, связанный с логикой распознавания изображений.
[0036] Будет описано определение транспортного средства 14 с использованием региона, связанного с логикой распознавания изображений. Например, на основе информации о назначенном маршруте множества транспортных средств 14, определяющий блок 74 определяет одно или несколько транспортных средств 14, потенциально передвигающихся в регионе, связанном с логикой распознавания изображений. Определяющий блок 74 определяет транспортное средство 14 с назначенным маршрутом, проезжающее через регион, относящийся к логике распознавания изображений, в качестве транспортного средства 14, потенциально передвигающегося в регионе.
[0037] В качестве другого примера, определяющий блок 74 может определить транспортное средство без использования информации о назначенном маршруте. Выражаясь конкретнее, определяющий блок 74 определяет регион частого передвижения каждого транспортного средства 14 на основании исторической статистики информации о местоположении каждого транспортного средства 14 и определяет транспортное средство 14 с регионом частого передвижения, пересекающимся с регионом, связанным с логикой распознавания изображений, в качестве транспортного средства 14, потенциально передвигающегося в регионе, связанном с логикой распознавания изображений. Это связано с тем, что регион частых передвижений каждого транспортного средства 14 должен находиться вблизи дома, места проживания или маршрута регулярных поездок, а также с тем, что возможность передвижения по региону частых передвижений в будущем высока. Конкретный способ определения транспортного средства, часто передвигающегося через целевой регион, может быть сконфигурирован таким образом, чтобы определить, например, транспортное средство, для которого количество раз передвижения в регионе, связанном с логикой распознавания изображений, в течение последних N дней (N – натуральное число) равно или превышает заданное пороговое значение (более 80% от N и т.д.).
[0038] В качестве дополнительного примера определяющий блок 74 может предварительно сохранить транспортное средство, соответствующее региону, связанному с логикой распознавания изображений. Например, когда регион, связанный с логикой распознавания изображений, определен как «23 административный район города Токио», транспортные средства с автомобильными номерными знаками Синагавы, Неримы, Сугинами, Сетагая и Адачи, могут быть определены как транспортные средства, потенциально передвигающиеся в регионе, связанном с логикой распознавания изображений.
[0039] Определяющий блок 74 может выбрать либо процесс определения транспортного средства с использованием информации о назначенном маршруте, либо процесс определения транспортного средства без использования информации о назначенном маршруте, либо может выбрать оба процесса определения транспортного средства для определения транспортных средств. Кроме того, множество транспортных средств, полученное путем сокращения множества транспортных средств 14, определенного вышеуказанным способом, может быть использовано в качестве окончательно определенных транспортных средств 14.
[0040] Когда период связан с логикой распознавания изображений, определяющий блок 74 определяет одно или несколько транспортных средств 14, потенциально передвигающихся в течение периода в регионе, связанном с логикой распознавания изображений. Определяющий блок 74 определяет транспортное средство 14, имеющее возможность передвижения в регионе, связанном с логикой распознавания изображений, и имеющее предполагаемые дату и время передвижения в регионе, которые включены в период, относящийся к логике распознавания изображений, в качестве транспортного средства 14, потенциально передвигающегося по региону в течение периода.
[0041] Определяющий блок 74 хранит информацию для идентификации определенного транспортного средства 14 в блоке 64 хранения, связанном с информацией логики распознавания изображений. На основании информации, хранящейся в блоке 64 хранения, определяющий блок 74 может определять транспортное средство 14, которому должна быть распределена логика распознавания изображений, чтобы логика распознавания изображений не была распределена транспортному средству 14, находящемуся вне пределов возможностей обработки транспортного средства 14. Верхним пределом возможностей обработки транспортного средства 14 может быть, например, количество (максимальное предельное количество) логик распознавания изображений, которые распределяются транспортному средству 14 и являются действующими. Максимальным предельным количеством является, например, одна, но может быть две или более логик в соответствии с возможностью обработки блока 44 распознавания изображений. В соответствии с другим вариантом, максимальное предельное количество может быть, например, количеством запросов на обработку логики распознавания изображений у блока 44 распознавания изображений, и в конкретном случае ограничено размером нейронной сети. Определяющий блок 74 может быть назначен заранее, чтобы не определять транспортное средство 14, в котором количество запросов на обработку превышает максимальноный предельный уровень возможностей обработки блока 44 распознавания изображений транспортного средства 14.
[0042] Блок 70 сбора коллективных данных периодически получает коллективные данные с другого серверного устройства (не показано) через Интернет или подобную сеть и выводит полученные коллективные данные в определяющий блок 74. Коллективные данные могут включать в себя любую информацию о движении транспорта, информацию о развлечениях, информацию о чрезвычайных происшествиях, информацию о строительных работах и метеорологическую сводку. Коллективные данные – это данные, которые представляют событие, происходящее в определенный период, день и время в будущем в определенном регионе, или событие, которое в настоящее время происходит в определенном регионе. Например, метеорологическая сводка включает в себя информацию о погоде из множества регионов на текущий дату и время, и информацию о прогнозе погоды из множества регионов на период после текущей даты и времени.
[0043] Определяющий блок 74 может распределять логику распознавания изображений, выбранную на основе события, связанного с коллективными данными, транспортному средству 14, выбранному на основе региона и периода, связанных с коллективными данными. Например, когда коллективные данные представляют собой метеорологическую сводку, определяющий блок 74 может определить транспортное средство 14 таким образом, чтобы, исходя из метеорологической сводки о том, что в течение периода A будет сильный дождь в регионе B, логика распознавания изображений затопленных дорог распределялась транспортным средствам, передвигающимся в регионе В в течение периода А. Определяющий блок 74 может определить транспортное средство 14 таким образом, чтобы, исходя из метеорологической сводки о том, что температура будет ниже точки замерзания в регионе D в течение периода C, логика распознавания изображений обледенелой дороги распределялась транспортным средствам, передвигающимся в регионе D в течение периода C.
[0044] Распределяющий блок 76 считывает информацию для идентификации одного или нескольких транспортных средств 14, определенных определяющим блоком 74, и логику распознавания изображений из блока 64 хранения, и выводит их в коммуникационный блок 60. Коммуникационный блок 60 передает логику распознавания изображений одному или нескольким транспортным средствам 14, определенным определяющим блоком 74. Это соответствует тому факту, что распределяющий блок 76 распределяет логику распознавания изображений одному или несколькими транспортным средствам 14, определенным определяющим блоком 74. Такое распределение выполняется для каждой логики распознавания изображений. Идентификационная информация для идентификации транспортного средства 14 в качестве адресата передачи данных прилагается к логике распознавания изображений.
(2) Процесс распознавания изображений
[0045] Далее будет описано автомобильное устройство 10. Коммуникационный блок 20 получает логику распознавания изображений, переданную с серверного устройства 12 на рассматриваемое транспортное средство. Блок 42 получения логики распознавания изображений получает логику распознавания изображений от коммуникационного блока 20. Это соответствует тому факту, что блок 42 получения логики распознавания изображений получает логику распознавания изображений для распознавания изображений заранее определенного объекта с серверного устройства 12. Блок 42 получения логики распознавания изображений инициирует хранение полученной логики распознавания изображений блоком 24 хранения.
[0046] В дополнение к логике распознавания изображений, полученной блоком 42 получения логики распознавания изображений, блок 24 хранения может заранее сохранить логику распознавания изображений для находящихся впереди транспортного средства и пешехода. Блок хранения 24 может заранее сохранить логику распознавания изображений для распознавания светофоров, дорожных полос, дорожных знаков и т.д. Как будет описано далее, блок 24 хранения хранит логику распознавания изображений, полученную блоком 42 получения логики распознавания изображений, в течение определенного периода.
[0047] При выполнении распознавания изображения находящихся впереди транспортного средства и пешехода блок 44 распознавания изображений загружает логику распознавания изображений, полученную блоком 42 получения логики распознавания изображений, и выполняет логику распознавания изображений для распознавания изображений объекта на отснятом изображении. Логика распознавания загруженного изображения позволяет блоку 44 распознавания изображений распознавать наличие или отсутствие объекта на отснятом изображении, количество объектов на отснятом изображении, область расположения объекта на отснятом изображении и т.д. Они в общем называются результатами распознавания изображений. В соответствии с типом логики распознавания изображений, блок 44 распознавания изображений может быть специально выделенным процессором, который исполняет нейронную сеть, или стандартным многоцелевым процессором, который загружает и исполняет инструкцию с сокращенным набором команд (RISC) или инструкцию с полным набором команд (CISC).
[0048] Блок 44 распознавания изображений снабжен данными об отснятом вне транспортного средства изображении транспортного средства 14, отснятого блоком 26 воспроизведения изображений, включающим в себя автомобильную камеру или подобное устройство. Отснятое изображение представляет собой, например, изображение того, что находится перед транспортным средством 14. Время воспроизведения изображения прикрепляется к каждой группе данных отснятого изображения.
[0049] Блок 44 распознавания изображений распознает находящихся впереди транспортное средство и пешехода на отснятом изображении с использованием хранящейся в блоке 24 хранения логики распознавания изображений для распознавания находящегося впереди транспортного средства/пешехода. Для распознавания изображений могут использоваться хорошо известные методы. Результаты распознавания изображений, находящихся впереди автомобиля и пешехода используются, например, для хорошо известной функции предотвращения столкновений, автоматического вождения и т.п.
[0050] Блок 44 распознавания изображений может параллельно исполнять множество логик распознавания изображений. Кроме того, приоритеты обработки логик распознавания изображений, исполняемых параллельно, могут быть одинаковыми или могут отличаться. Обработка может выполняться на основе приоритета, связанного с логикой распознавания изображений. Например, частота распознавания изображений на единицу времени логики распознавания изображений для распознавания находящегося впереди транспортного средства и/или пешехода может быть выше частоты распознавания изображений на единицу времени в других логиках распознавания изображений. Когда получена логика распознавания изображений, имеющая более высокий приоритет по сравнению с загруженной логикой распознавания изображения, блок 44 распознавания изображений может отключить загруженный блок распознавания изображения 44 и, альтернативно, может загрузить блок 44 распознавания изображений с полученной логикой распознавания изображения, имеющей более высокий приоритет.
[0051] Когда объект распознается блоком 44 распознавания изображений, выводящий блок 46 выводит информацию об объекте на основе информации о местоположении и информации о направлении движения, которая принимается блоком 40 сбора данных о транспортном средстве, и результата распознавания изображений, полученного блоком 44 распознавания изображений. Информация об объекте включает в себя, например, точку формирования изображения, направление движения объекта в точке формирования изображения и область объекта. Точка формирования изображения включает в себя широту и долготу. Точка формирования изображения представляет собой местоположение транспортного средства 14 во время формирования изображения объекта. Другими словами, информация об объекте включает в себя информацию о местоположении транспортного средства 14 во время отображения объекта. Расположение транспортного средства 14 во время отображения объекта может быть в значительной степени определено на основе информации о местоположении, соответствующей времени формирования изображения группы данных отснятого изображения, на котором распознан объект. Направление объекта в точке формирования изображения представлено, например, углом направления и может быть определено на основе направления движения транспортного средства 14 во время формирования изображения объекта и местоположения объекта на отснятом изображении. Область объекта может быть получена на основании результата распознавания изображений с использованием хорошо известных методов.
[0052] Уведомляющий блок 48 выводит информацию об объекте, полученную выводящим блоком 46, на коммуникационный блок 20. Коммуникационный блок 20 передает информацию об объекте серверному устройству 12. Это соответствует тому факту, что уведомляющий блок 48 сообщает информацию об объекте серверному устройству 12 через коммуникационный блок 20. Время, в течение которого уведомляющий блок 48 сообщает информацию об объекте, специально не ограничено и может быть, например, временем, когда выключен вспомогательный переключатель транспортного средства 14. Время, в течение которого уведомляющий блок 48 сообщает информацию об объекте, может варьироваться в зависимости от объекта. Например, когда объект представляет собой цветок или тому подобный объект, нет необходимости ускорять уведомление. Поэтому, время уведомления – это время, когда выключен вспомогательный переключатель транспортного средства 14. Когда объект представляет собой неисправный автомобиль, упавший на дорогу объект, вмятину на дороге, затопленную дорогу и т.п., предпочтительно, направить уведомление раньше. Поэтому время уведомления может быть временем, когда выводится информация об объекте.
[0053] ФИГ. 3 представляет собой схему, поясняющую ситуацию, когда транспортное средство 14, оборудованное автомобильным устройством 10 согласно ФИГ. 1, распознает изображение объекта. На ФИГ. 3 транспортное средство 14а передвигается с севера на юг по дороге R1, а транспортное средство 14b передвигается с юга на север по дороге R1. На западной стороне дороги R1 есть регион 100, в котором цветущие цветы одуванчика распределены по группам. Логика распознавания изображений цветов одуванчика распределяется транспортному средству 14а и транспортному средству 14b соответственно. Транспортное средство 14а и транспортное средство 14b передвигаются, периодически проводя распознавание изображений цветов одуванчика.
[0054] Местоположение транспортного средства 14a, когда цветы одуванчика в регионе 100 распознаются для изображения, является местоположением P1. Выводящий блок 46 автомобильного устройства 10 транспортного средства 14а выводит точку формирования изображения в качестве местоположения P1 и определяет направление цветов одуванчика в точке формирования изображения как юго-западное направление.
[0055] Местоположение транспортного средства 14b, когда цветы одуванчика в регионе 100 распознаются для изображения, является местоположением P2. Выводящий блок 46 автомобильного устройства 10 транспортного средства 14b выводит точку формирования изображения в качестве местоположения P2 и определяет направление цветов одуванчика в точке формирования изображения как северо-западное направление.
(3) Процесс получения информации об объекте
[0056] Как видно из ФИГ. 2, коммуникационный блок 60 серверного устройства 12 получает информацию об объекте от каждого транспортного средства 14, которому была распределена логика распознавания изображений. Блок 78 сбора информации об объекте получает информацию об объекте, полученную коммуникационным блоком 60. Это соответствует тому факту, что блок 78 сбора информации об объекте получает от каждого транспортного средства 14, которому была распределена логика распознавания изображений, информацию об объекте, распознанную посредством исполнения логики распознавания изображений в изображении, отснятом транспортным средством 14 снаружи этого транспортного средства.
[0057] Выводящий блок 80 выводит информацию о местоположении объекта на основе точки формирования изображения и направления объекта в точке формирования изображения, включенной в информацию о полученном объекте. Информация о местоположении объекта включает в себя широту и долготу. Также выводящий блок 80 выводит диапазон существования объекта, основанный на области объекта, включенной в информацию о полученном объекте.
[0058] В примере на ФИГ. 3 местоположение объекта находится на юго-западе от местоположения P1 и на северо-западе от местоположения P2. Следовательно, делается вывод о том, что местоположение объекта находится примерно на западной стороне от местоположения между местоположением P1 и местоположением P2.
[0059] Распределяющий блок 76 распределяет полученную информацию о местоположении объекта, название объекта и диапазон существования объекта множеству транспортных средств 14 через коммуникационный блок 60.
[0060] Будет описано удаление логики распознавания изображений. Удаление осуществляется на основании команды, получаемой от распределяющего блока 76, определения транспортного средства 14 или из обоих источников. Далее будет описано удаление, основанное на команде, полученной от распределяющего блока 76. Когда удовлетворено условие завершения приема информации на объекте, распределяющий блок 76 может распределять команду удаления логики распознавания изображений транспортному средству 14, которому была распределена логика распознавания изображений. Когда удовлетворено условие завершения приема информации, обрабатывающий блок 62 удаляет информацию для идентификации определенного транспортного средства 14, которая хранится в блоке 64 хранения. Будет описано удаление, основанное на определении, полученном от транспортного средства 14. Если существует дата истечения срока действия, связанная с логикой распознавания изображений, логика распознавания изображений удаляется, когда текущее время выходит за пределы даты истечения срока действия. Если существует период, связанный с логикой распознавания изображений, логика распознавания изображений удаляется, когда текущее время выходит за пределы этого периода.
[0061] В результате выполнения удаления логики распознавания изображений логика распознавания изображений может быть повторно распределена транспортному средству 14. Условием прекращения получения является, например, то, что текущая дата и время выходят за пределы периода, связанного с логикой распознавания изображений, или что определенный период после распределения логики распознавания изображений истек. В случае логики распознавания изображений цветов условие прекращения получения может заключаться в том, что пропорциональная доля цветов в распознанной области изображения превышает заранее заданную пропорциональную долю. Определенный период и предварительно заранее заданная пропорциональная доля могут быть соответствующим образом определены посредством экспериментов или подобных процедур. Исполнение логики распознавания изображений может быть просто приостановлено без ее удаления как объекта данных. Например, приостановленная логика распознавания изображений выгружается из блока 44 распознавания изображений, в результате чего ресурсы блока 44 распознавания изображений высвобождаются соответствующим образом. Приостановленная логика распознавания изображений может быть повторно активирована и загружена в блок 44 распознавания изображений.
[0062] Далее будет описано автомобильное устройство 10. Коммуникационный блок 20 получает распределенную информацию о местоположении объекта, названии объекта и диапазоне существования объекта. На основе информации, полученной коммуникационным блоком 20, навигационный блок 32 отображает информацию об объекте путем наложения информации об объекте на карту и уведомляет водителя и пассажиров о местоположении, названии и диапазоне существования объекта. Информация об объекте может отображаться с помощью иконки или может отображаться с помощью иконки и символа. Навигационный блок 32 может полностью нарисовать диапазон существования объекта на карте. Когда местоположение рассматриваемого транспортного средства близко к местоположению объекта, навигационный блок 32 может уведомить водителя и пассажиров о местоположении, названии и диапазоне существования объекта голосовым сообщением.
[0063] Кроме того, коммуникационный блок 20 получает команду удаления логики распознавания изображений, распределенной от серверного устройства 12. Блок 42 получения логики распознавания изображений получает команду удаления логики распознавания изображений, полученной от коммуникационного блока 20. Когда блок 42 получения логики распознавания изображений получает команду удаления логики распознавания изображений, блок обработки 22 удаляет логику распознавания изображений, которая хранится в блоке 24 хранения. В результате блок 44 распознавания изображений прекращает распознавание изображений, выполняемое этой логикой распознавания изображений.
[0064] В серверном устройстве 12, когда блок 78 сбора информации об объекте не получает информацию об объекте от каждого транспортного средства 14 в течение заранее заданного периода времени после получения информации об объекте от каждого транспортного средства 14, которому была распределена логика распознавания изображений, распределяющий блок 76 распределяет команду прекращения получения информации об объекте множеству транспортных средств 14 через коммуникационный блок 60. Заранее заданный период может быть соответствующим образом определен посредством экспериментов или подобных процедур. Навигационный блок 32 автомобильного устройства 10 прекращает сообщать водителю и пассажирам информацию об объекте, когда коммуникационный блок 20 получает команду прекращения сообщения информации об объекте.
[0065] Эта конфигурация может быть реализована центральным процессорном устройством, памятью или другой большой интегральной схемой произвольно выбранного компьютера с точки зрения аппаратного обеспечения и может быть реализована программой, загруженной в память или подобный сегмент с точки зрения программного обеспечения. ФИГ. 2 демонстрирует функциональные блоки, реализуемые при взаимодействии аппаратного и программного обеспечения. Поэтому специалисты в данной области поймут, что эти функциональные блоки могут быть реализованы в различных формах посредством только аппаратного обеспечения, посредством только программного обеспечения или посредством комбинации аппаратного и программного обеспечения.
[0066] Далее будет описано общее функционирование автомобильной системы 1, имеющей описанную выше конфигурацию. ФИГ. 4 представляет собой блок-схему последовательности операций, показывающую процесс распределения логики распознавания изображений в серверном устройстве 12, показанном на ФИГ. 1. Процесс, показанный на ФИГ. 4, реализуется в связи с каждой логикой распознавания изображений, имеющейся на серверном устройстве 12. Определяющий блок 74 получает информацию от множества транспортных средств 14 (этап S10) и определяет транспортное средство 14, которому должна быть распределена логика распознавания изображений, на основе полученной информации (этап S12). Распределяющий блок 76 распределяет логику распознавания изображений указанному транспортному средству 14 (этап S14).
[0067] ФИГ. 5 представляет собой блок-схему последовательности операций, показывающую процесс распознавания изображений в автомобильном устройстве 10, показанном на ФИГ. 1. Блок 42 получения логики распознавания изображений получает логику распознавания изображений от серверного устройства 12 (этап S20), а блок 44 распознавания изображений распознает объект на отснятом изображении с использованием полученной логики распознавания изображения (этап S22). Если объект не распознан («Нет» на этапе S24), процесс возвращается на этап S22. Если объект распознан («Да» на этапе S24), выводящий блок 46 выводит информацию об объекте на основе результата распознавания изображений (этап S26), а уведомляющий блок 48 сообщает серверному устройству 12 о выведенной информации об объекте (этап S28).
[0068] ФИГ. 6 представляет собой блок-схему последовательности операций, показывающую процесс получения информации об объекте в серверном устройстве 12, показанном на ФИГ. 1. Процесс, показанный на ФИГ. 6 выполняется после процесса, показанного на ФИГ. 4. Блок 78 сбора информации об объекте получает информацию об объекте от каждого транспортного средства 14, которому была распределена логика распознавания изображений (этап S40), выводящий блок 80 выводит информацию о местоположении объекта (этап S42), а распределяющий блок 76 распределяет полученную информацию о местоположении объекта множеству транспортных средств 14 (этап S44).
[0069] В соответствии с приведенным выше описанием, согласно настоящему примеру осуществления изобретения, логика распознавания изображений распределяется определенному транспортному средству 14, а информация, относящаяся к объекту, распознанному на отснятом изображении посредством выполнения логики распознавания изображений, получается от каждого транспортного средства 14. Таким образом, можно экономически эффективно собирать информацию о различных объектах в разных местах без предварительного включения логики распознавания изображений, определенной для каждого множества объектов, в транспортное средство 14.
[0070] Кроме того, определяющий блок 74 определяет транспортное средство 14 по возможности на основе информации, относящейся к логике распознавания изображений. Поэтому логика распознавания изображений может быть выборочно распределена транспортному средству 14, которое имеет возможность распознавать изображение объекта. Таким образом, можно эффективно собирать информацию об объекте без потери ресурсов распознавания изображений, имеющихся у транспортного средства 14, которое не имеет возможности распознавать изображение объекта.
[0071] Кроме того, определяющий блок 74 определяет транспортное средство 14, по возможности используя регион, связанный с логикой распознавания изображений, и период, связанный с логикой распознавания изображений. Поэтому логика распознавания изображений может быть выборочно распределена транспортному средству 14, которое имеет больше возможности распознавать изображение объекта. Таким образом, даже в случае установления периода существования объекта можно эффективно собирать информацию об объекте без потери ресурсов распознавания изображений, имеющихся у транспортного средства 14, которое не имеет возможности распознавать изображение объекта.
[0072] Кроме того, информация о местоположении объекта выводится на основе информации о местоположении транспортного средства 14, когда появляется изображение объекта, и выведенная информация о местоположении объекта распределяется множеству транспортных средств 14. Поэтому водители и пассажиры множества транспортных средств 14 могут быть уведомлены об информации о различных объектах, находящихся в разных местах. Следовательно, можно повысить удобство водителя и пассажиров транспортного средства 14.
[0073] Более того, когда удовлетворяется условие завершения приема информации об объекте, команда удаления логики распознавания изображений распределяется транспортному средству 14, которому была распределена логика распознавания изображений. Поэтому можно эффективно использовать ресурсы распознавания изображений транспортного средства 14.
Второй пример осуществления изобретения
[0074] Второй пример осуществления изобретения отличается от первого примера осуществления изобретения тем, что серверное устройство 12 распределяет логику распознавания изображений, соответствующую типу процессора, представляющего собой блок 44 распознавания изображений автомобильного устройства 10. Далее в основном будут описаны отличия от первого примера осуществления изобретения.
[0075] Процессоры, представляющие собой блоки 44 распознавания изображений в автомобильных устройствах 10 транспортного средства из множества транспортных средств 14, могут быть двух или более типов. Поэтому могут присутствовать два или более типов процессоров блоков 44 распознавания изображений множества транспортных средств 14, определенных определяющим блоком 74. Блок 64 хранения серверного устройства 12 хранит множество логик распознавания изображений, которые могут выполняться блоками 44 распознавания изображений различных типов процессоров для распознавания изображений типового объекта. Для соответствующих объектов блок 64 хранения хранит множество логик распознавания изображений, соответствующих такому же множеству типов процессоров. Кроме того, блок 64 хранения заранее сохраняет первую таблицу и вторую таблицу, которые будут описаны ниже.
[0076] ФИГ. 7А представляет собой схему, демонстрирующую структуру данных первой таблицы, которая хранится в блоке 64 хранения серверного устройства 12 в соответствии со вторым примером осуществления изобретения. Первая таблица показывает взаимосвязь между идентификационной информацией транспортного средства 14 и типом процессора блока 44 распознавания изображений транспортного средства 14.
[0077] Идентификационная информация «Vehicle001» (Транспортное средство001) транспортного средства 14 относится к типу «A» процессора блока 44 распознавания изображений транспортного средства 14. Идентификационная информация «Vehicle002» (Транспортное средство002) транспортного средства 14 относится к типу «В» процессора блока 44 распознавания изображений транспортного средства 14.
[0078] Хотя это не показано, идентификационная информация всех транспортных средств 14 автомобильной системы 1 и типов процессоров соответствующих транспортных средств 14 регистрируется в первой таблице. Когда к автомобильной системе 1 добавляется новое транспортное средство 14, идентификационная информация и подобные данные нового транспортного средства 14 регистрируются в первой таблице.
[0079] ФИГ. 7В представляет собой схему, демонстрирующую структуру данных второй таблицы, которая хранится в блоке 64 хранения в соответствии со вторым примером осуществления изобретения. Вторая таблица показывает взаимосвязь между идентификационной информацией логики распознавания изображений и типом процессора, способным исполнять логику распознавания изображений.
[0080] Идентификационная информация «Data001-A» (Данные001-А) логики распознавания изображений связана с типом «А» процессора, способным исполнять логику распознавания изображений. Идентификационная информация «Data001-B» (Данные001-B) логики распознавания изображений связана с типом «В» процессора, способным исполнять логику распознавания изображений. Логика распознавания изображений «Данные001-A» и логика распознавания изображений «Данные001-B» сконфигурированы для распознавания изображения типового объекта.
[0081] Идентификационная информация «Data002-A» (Данные002-А) логики распознавания изображений связана с типом «А» процессора, способным исполнять логику распознавания изображений. Идентификационная информация «Data002-B» (Данные002-B) логики распознавания изображений связана с типом «В» процессора, способным исполнять логику распознавания изображений. Логика распознавания изображений «Data002-A» и логика распознавания изображений «Data002-B» сконфигурированы для распознавания изображений типового объекта, отличного от объекта, распознанного логикой распознавания изображений «Data001-A».
[0082] В этом примере логика распознавания изображений, имеющая общую часть, такую как «Data001» в первой половине идентификационной информации, сконфигурирована для распознавания изображения типового объекта. Логики распознавания изображений, которые различаются по первой половине идентификационной информации, сконфигурированы для распознавания изображений разнородных объектов.
[0083] Хотя это не показано, идентификационная информация всех логик распознавания изображений, хранящихся в блоке 64 хранения, и типы процессоров, способных исполнять соответствующие логики распознавания изображений, регистрируются во второй таблице.
[0084] ФИГ. 7С представляет собой схему, демонстрирующую структуру данных третьей таблицы, которая хранится в блоке 64 хранения в соответствии со вторым вариантом осуществления. Третья таблица показывает отношение идентификационной информации транспортного средства 14, определенной определяющим блоком 74, и идентификационной информации логики распознавания изображений, которая должна быть распределена транспортному средству 14 посредством распределяющего блока 76.
[0085] Так же, как и в первом примере осуществления изобретения, определяющий блок 74 определяет одно или несколько транспортных средств 14, которым должна быть распределена логика распознавания изображений для распознавания изображения заранее определенного объекта. Здесь описывается пример, в котором определяющий блок 74 определяет транспортные средства 14 с идентификационной информацией «Vehicle001» и идентификационной информацией «Vehicle002» в качестве транспортных средств 14, которым должна быть распределена логика распознавания изображений с «Data001» в первой половине идентификационной информации.
[0086] На основании первой таблицы и второй таблицы блока 64 хранения определяющий блок 74 связывает идентификационную информацию каждого из определенных транспортных средств 14, используя множество логик распознавания изображений, хранящихся в блоке 64 хранения, с идентификационной информацией логики распознавания изображений, исполняемой блоком распознавания изображения 44 каждого транспортного средства 14, и сохраняет результаты такого связывания в блоке 64 хранения в качестве третьей таблицы.
[0087] В примере, представленном на ФИГ. 7C, логика распознавания изображений идентификационной информации «Data001-A», исполняемая процессором типа «A» транспортного средства 14, связана с идентификационной информацией «Vehicle001» транспортного средства 14. Логика распознавания изображений идентификационной информации «Data001-B», исполняемая процессором типа «B» транспортного средства 14, связана с идентификационной информацией «Vehicle002» транспортного средства 14.
[0088] На основании третьей таблицы блока 64 хранения, распределяющий блок 76 распределяет каждому транспортному средству 14, определенному определяющим блоком 74, логику распознавания изображений, исполняемую блоком 44 распознавания изображений соответствующего транспортного средства 14. В этом примере блок распределения 76 распределяет логику распознавания изображения, имеющую идентификационную информацию «Data001-A» транспортному средству 14, имеющему идентификационную информацию «Vehicle 001». Распределяющий блок 76 распределяет логику распознавания изображений, имеющую идентификационную информацию «Data 001-B» транспортному средству 14, имеющему идентификационную информацию «Vehicle002». В результате этого транспортное средство 14, имеющее идентификационную информацию «Vehicle001» и транспортное средство 14, имеющее идентификационную информацию «Vehicle002», осуществляет распознавание изображения типового объекта.
[0089] Хотя это не показано, когда указано множество транспортных средств 14, имеющих процессор одного и того же типа, распределяющий блок 76 распределяет множеству определенных транспортных средств 14 одну и ту же логику распознавания изображений, исполняемую блоком 44 распознавания изображений множества транспортных средств 14.
[0090] Согласно настоящему примеру осуществления изобретения логика распознавания изображений, исполняемая блоками 44 распознавания изображений транспортных средств 14, распространяется на транспортные средства 14, определенные определяющим блоком 74. Поэтому представляется возможным получить информацию об объекте от каждого транспортного средства 14, даже если процессоры блоков 44 распознавания изображений множества транспортных средств 14 представлены двумя или более типами.
[0091] Изобретение описано выше на основе примеров осуществления изобретения. Примеры осуществления изобретения представляют собой лишь примеры. Специалисты в данной области техники должны понимать, что возможны различные модификации в сочетании с соответствующими компонентами или соответствующими процессами обработки, и что такие модификации также входят в объем изобретения.