ТРАНСПОРТНОЕ СРЕДСТВО И СПОСОБ ДЛЯ ИСПОЛЬЗОВАНИЯ В НЕМ ДЛЯ ВЫЯВЛЕНИЯ УГРОЗЫ В ОЖИДАНИИ ОТКРЫВАНИЯ ДВЕРИ ТРАНСПОРТНОГО СРЕДСТВА
VEHICLE AND METHOD FOR USE THEREIN TO DETECT A THREAT IN ANTICIPATION OF OPENING A VEHICLE DOOR

Область техники, к которой относится изобретение
Это изобретение в целом относится к области техники безопасности транспортных средств, а конкретнее, к выявлению угроз в ожидании открывания дверей транспортного средства.
ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
Моторные транспортные средства (легковые автомобили, грузовые автомобили, и т. д.) часто ставятся на стоянку параллельно на краю проезжей части дорог, которая несет смешанное движение. Смешанное движение включает в себя моторные транспортные средства, мотоциклы, велосипедистов, пешеходов, скейтбордистов, и т. д. Некоторые типы участников движения на проезжей части дороги являются менее заметными и способны относительно быстро менять направление и скорость. Например, велосипедисты и скейтбордисты могут производить частые изменения скорости и направления. Кроме того, многие типы участников движения не подчиняются правилам дорожного движения. Например, мотоциклисты и скейтбордисты часто переезжают между пешеходными дорожками и прилегающими проезжими частями дорог для удовлетворения своих собственных потребностей, обеспечивая незначительно или совсем не обеспечивая заблаговременное предупреждение или принятие во внимание в отношении остальных.
После того как водитель становится на стоянку параллельно на проезжей части дороги (например, на улице возле бордюрного камня), водитель или другие занимающие места люди могут контролировать зеркала заднего вида и/или выглядывать из окон транспортного средства, чтобы проверять наличие какого-нибудь приближающегося участника движения перед выходом из транспортного средства. Если приближающихся участников движения нет на стороне занимающего место человека в транспортном средстве, занимающий место человек в транспортном средстве может открывать дверь для выхода из транспортного средства. Однако, вследствие меньшего размера некоторых участников движения, занимающий место человек может не видеть приближающегося участника движения. Кроме того, вследствие способности некоторых участников движения быстро менять направление и скорость, а также их пренебрежение правилами дорожного движения, приближающиеся участники движения могут появляться в промежутке между моментами времени, когда занимающий место человек проверяет наличие участников движения и начинает открывать дверь. В любом из этих сценариев, занимающий место человек в транспортном средстве может открывать дверь транспортного средства, создавая угрозу для приближающихся участников движения. Если приближающимся участником движения является пешеход, мотоциклист или скейтбордист, может происходить физическая травма.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Заявлен способ для использования в транспортном средстве, содержащий этапы, на которых:
определяют, что приближающийся участник движения должен пройти через пространство, занятое дверью транспортного средства, когда дверь открыта;
принимают классификацию участника движения для приближающегося участника движения из нейронной сети; и
определяют, что дверь представляет собой угрозу приближающемуся участнику движения, по меньшей мере на основании классификации участника движения, прохождения приближающимся участником движения через определенное пространство и конфигурации транспортного средства.
В заявленном способе определение, что приближающийся участник движения должен пройти через пространство, используемое для двери транспортного средства, когда дверь открыта, содержит этап, на котором определяют, что приближающийся участник движения должен пройти через пространство, используемое для двери транспортного средства, на основании фильтрованных данных с датчиков с одного или более датчиков, установленных снаружи на транспортном средстве.
В заявленном способе прием классификации участника движения для приближающегося участника движения содержит этап, на котором принимают указание, что приближающийся участник движения классифицирован в качестве одного из: идущего пешехода, велосипедиста, скейтбордиста, кресла-каталки или катающегося на роликовых коньках.
Причем заявленный способ дополнительно содержит этап, на котором  выводят сигнал в кабине транспортного средства для указания угрозы.
В заявленном способе вывод сигнала в кабине транспортного средства содержит этап, на котором выводят один из: слышимого сигнала, визуального сигнала или тактильного сигнала.
Заявленный способ дополнительно содержит этап, на котором предотвращают открывание двери до тех пор, пока приближающийся участник движения не минует транспортное средство.
Заявлен способ для использования в транспортном средстве для выявления угрозы в ожидании открывания двери транспортного средства, содержащий этапы, на которых:
определяют, что путь приближающегося участника движения вероятно должен побуждать приближающегося участника движения проходить через определенное пространство, которое должно быть занято дверью, когда дверь открыта, в том числе:
используют один или более датчиков, установленных в транспортном средстве для отслеживания зоны поблизости от транспортного средства на наличие приближающегося участника движения; и
фильтруют данные с одного или более датчиков на разнородной вычислительной платформе в транспортном средстве для определения, что приближающийся участник движения имеет скорость и направление, указывающие прохождение приближающимся участником движения через определенное пространство;
выдают фильтрованные данные для приближающегося участника движения в качестве входных данных в нейронную сеть;
принимают классификацию участника движения для приближающегося участника движения из нейронной сети; и
определяют, представляет ли собой дверь угрозу приближающемуся участнику движения, по меньшей мере на основании классификации участника движения, прохождения приближающимся участником движения через определенное пространство и конфигурации транспортного средства.
В заявленном способе транспортное средство имеет множество дверей, которые открываются сбоку от транспортного средства.
Причем в заявленном способе используется один или более датчиков, установленных на транспортное средство для отслеживания зоны поблизости от транспортного средства на наличие приближающегося участника движения, при этом используют множество датчиков, установленных на транспортное средство для отслеживания зоны, множество датчиков включают в себя: по меньшей мере одну камеру, по меньшей мере один датчик с лазерным локатором и по меньшей мере один акустический обнаружитель объектов.
В заявленном способе фильтрация данных с одного или более датчиков на разнородной вычислительной платформе, содержит этап, на котором фильтруют данные с множества датчиков на разнородной вычислительной платформе, разнородная вычислительная платформа включает в себя: по меньшей мере один центральный блок обработки (ЦПУ), по меньшей мере один блок графической обработки (GPU) и по меньшей мере одну программируемую пользователем вентильную матрицу (FPGA) в транспортном средстве.
В заявленном способе фильтрация данных с одного или более датчиков, содержит этап, на котором определяют оптический поток приближающегося участника движения.
В заявленном способе прием классификации участника движения для приближающегося участника движения из нейронной сети состоит в том, что принимают указание, что приближающийся участник движения классифицирован в качестве одного из: идущего пешехода, велосипедиста, скейтбордиста, кресла-каталки или катающегося на роликовых коньках.
В заявленном способе определение, представляет ли собой дверь угрозу приближающемуся участнику движения, содержит этап, на котором выявляют, что дверная ручка в кабине транспортного средства была приведена в действие.
В заявленном способе определение, представляет ли собой дверь угрозу приближающемуся участнику движения, содержит этап, на котором определяют, что дверь представляет собой угрозу приближающемуся участнику движения.
Причем способ дополнительно содержащий этап, на котором выводят сигнал в кабине транспортного средства для указания возможного столкновения между приближающимся участником движения и открывающейся дверью.
В заявленном способе вывод сигнала в кабине транспортного средства содержит этап, на котором выводят один из: слышимого сигнала, визуального сигнала или тактильного сигнала.
Причем способ дополнительно содержащий этап, на котором предотвращают открывание двери до тех пор, пока приближающийся участник движения не минует транспортное средство.
Заявлено транспортное средство, содержащее:
один или более установленных снаружи датчиков для отслеживания зоны поблизости от транспортного средства;
один или более процессоров;
системную память, присоединенную к одному или более процессоров, системная память хранит команды, которые являются исполняемыми одним или более процессоров;
при этом один или более процессоров выполнены с возможностью исполнять команды, хранимые в системной памяти, чтобы реагировать на физическую угрозу для занимающих места людей транспортного средства, причем команды включают в себя следующее:
определять, что путь приближающегося участника движения вероятно должен побуждать приближающегося участника движения проходить через определенное пространство, которое должно быть занято дверью, когда дверь открыта, в том числе:
использовать один или более датчиков для отслеживания зоны поблизости от транспортного средства на наличие приближающегося участника движения; и
фильтровать данные с одного или более датчиков на разнородной вычислительной платформе в транспортном средстве для определения, что приближающийся участник движения имеет скорость и направление, указывающие прохождение приближающимся участником движения через определенное пространство;
выдавать фильтрованные данные для приближающегося участника движения в качестве входных данных в нейронную сеть;
принимать классификацию участника движения для приближающегося участника движения из нейронной сети; и
определять, представляет ли собой дверь угрозу приближающемуся участнику движения, по меньшей мере на основании классификации участника движения, прохождения приближающимся участником движения через определенное пространство и конфигурации транспортного средства.
Причем в заявленном транспортном средстве один или более установленных снаружи датчиков включает в себя одно или более из: камеры, датчика с лазерным локатором, датчика с радиолокатором и ультразвукового датчика.
Причем в заявленном транспортном средстве один или более процессоров выполнены с возможностью исполнять команды для определения, представляет ли собой дверь угрозу приближающемуся участнику движения, содержит один или более процессоров, выполненных с возможностью исполнять команды для определения, что дверь представляет собой угрозу приближающемуся участнику движения; и
дополнительно содержит один или более процессоров, выполненных с возможностью исполнять команды, чтобы:
выдавать сигнал в кабине транспортного средства, указывающий возможность столкновения между приближающимся участником движения и дверью; и
предотвращать открывание двери до тех пор, пока приближающийся участник движения не проходит транспортное средство.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Конкретные признаки, аспекты и преимущества настоящего изобретения станут лучше понятны в отношении нижеследующего описания и прилагаемых чертежей, где:
фиг. 1 иллюстрирует примерную структурную схему вычислительного устройства;
фиг. 2 иллюстрирует примерную среду, которая содействует выявлению угроз в ожидании открывания дверей транспортного средства;
фиг. 3 иллюстрирует блок-схему последовательности операций примерного способа для выявления угроз в ожидании открывания дверей транспортного средства;
фиг. 4А-4С иллюстрируют пример приближающегося участника движения, вызывающего угрозу открыванием двери.
ПОДРОБНОЕ ОПИСАНИЕ
Настоящее изобретение распространяется на способы, системы и компьютерные программные продукты для выявления угроз в ожидании открывания дверей транспортного средства. Датчики транспортного средства (например, камеры заднего вида) могут использоваться для выявления приближающихся пешеходов, велосипедистов, скейтбордистов, катающихся на роликовых коньках, кресел-каталок и других разновидностей участников движения, приближающихся сбоку от транспортного средства. Предупреждение может выдаваться в кабине транспортного средства, чтобы предупреждать занимающих места людей в транспортном средстве о приближающемся участнике движения. В одном из аспектов, транспортное средство предотвращает открывание двери, если открывание двери вероятно вызывало бы аварийное столкновение.
Данные с датчиков (например, изображение с камеры заднего вида) подаются в нейронную сеть. Нейронная сеть классифицирует разновидность приближающегося участника движения (например, велосипедиста, скейтбордиста, и т. д.). Интересующие области в данных с датчиков могут выявляться с использованием оптического потока или посредством постоянных областей в данных с датчиков, основанных на геометрии транспортного средства. Когда приближающийся участник движения выявлен, транспортное средство может выдавать слышимое предупреждение и предотвращать открывание дверей.
Датчики могут непрерывно отслеживать заднюю сторону транспортного средства и подавать данные с датчиков в нейронную сеть. Нейронная сеть может обрабатывать данные с датчиков на регулярной основе для выявления приближающегося участника движения, который вызывал бы аварийное столкновение, если открыта дверь. Для определения, находится ли человек внутри транспортного средства, может выявляться брелок для ключей, и/или датчики веса или тепла могут быть встроены в сиденья. Если транспортное средство занято, и нейронная сеть выявляет приближающегося участника движения, тревожная сигнализация может звучать в кабине транспортного средства. В одном из аспектов, тревожная сигнализация звучит, когда занимающий место человек пытается открыть дверь. Попытка открыть дверь может выявляться с использованием основанного на полном сопротивлении датчика.
Аспекты изобретения могут быть реализованы в многообразии разных типов вычислительных устройств. Фиг. 1 иллюстрирует примерную структурную схему вычислительного устройства 100. Вычислительное устройство 100 может использоваться для выполнения различных процедур, таких как раскрытые в материалах настоящей заявки. Вычислительное устройство 100 может функционировать в качестве сервера, клиента или любой другой вычислительной сущности. Вычислительное устройство 100 может выполнять различные функции связи и передачи данных, как описано в материалах настоящей заявки, и может выполнять одну или более прикладных программ, таких как прикладные программы, описанные в материалах настоящей заявки. Вычислительное устройство 100 может быть любым из широкого многообразия вычислительных устройств, таких как мобильный телефон или другое мобильное устройство, настольный компьютер, блокнотный компьютер, серверный компьютер, карманный компьютер, планшетный компьютер, и тому подобное.
Вычислительное устройство 100 включает в себя один или более процессоров 102, одно или более устройств 104 памяти, один или более интерфейсов 106, одно или более запоминающих устройств 108 большой емкости, одно или более устройств 110 ввода/вывода (I/O) и устройство 130 отображения, все из которых присоединены к шине 112. Процессор(ы) 102 включает в себя один или более процессоров или контроллеров, которые выполняют команды, хранимые в устройстве(ах) 104 памяти и/или запоминающем устройстве(ах) 108 большой емкости. Процессор(ы) 102 также может включать в себя различные типы компьютерных запоминающих носителей, такие как сверхоперативная память.
Устройство(а) 104 памяти включает в себя различные компьютерные запоминающие носители, такие как энергозависимая память (например, оперативное запоминающее устройство 114 (ОЗУ, RAM)) и/или энергонезависимая память (например, постоянное запоминающее устройство 116 (ПЗУ, ROM)). Устройство(а) 104 памяти также может включать в себя перезаписываемое ПЗУ, такое как флэш-память.
Запоминающее устройство(а) 108 большой емкости включает в себя различные компьютерные запоминающие носители, такие как магнитные ленты, магнитные диски, оптические диски, твердотельная память (например, флэш-память), и так далее. Как изображено на фиг. 1, конкретным запоминающим устройством большой емкости является накопитель 124 на жестком магнитном диске. Различные приводы также могут быть включены в запоминающее устройство(а) 108 большой емкости, чтобы давать возможность считывания с и/или записи на различные машинно-читаемые носители. Запоминающее устройство(а) 108 большой емкости включает в себя съемные носители 126 и/или несъемные носители.
Устройство(а) 110 ввода/вывода включает в себя различные устройства, которые предоставляют данным и/или другой информации возможность вводиться в или извлекаться из вычислительного устройства 100. Примерное устройство(а) 110 ввода/вывода включает в себя устройства управления курсором, клавиатуры, кнопочные панели, сканеры штрих-кодов, микрофоны, мониторы или другие устройства отображения, громкоговорители, принтеры, платы сетевого интерфейса, модемы, камеры, объективы, радиолокаторы, ПЗС (приборы с зарядовой связью, CCD) или другие устройства захвата изображений, и тому подобное.
Устройство 130 отображения включает в себя любой тип устройства, способного отображать информацию одному или более пользователей вычислительного устройства 100. Примеры устройства 130 отображения включают в себя монитор, дисплейный терминал, проекционное видеоустройство, и тому подобное.
Интерфейс(ы) 106 включает в себя различные интерфейсы, которые предоставляют вычислительному устройству 100 возможность взаимодействовать с другими системами, устройствами или вычислительными средами, а также людьми. Примерный интерфейс(ы) 106 может включать в себя любое количество разных сетевых интерфейсов 120, таких как интерфейсы в персональные сети (PAN), локальные сети (LAN), глобальные сети (WAN), беспроводные сети (например, сети связи через поле в ближней зоне (NFC), Bluetooth, Wi-Fi, и т. д.) и сеть Интернет. Другие интерфейсы включают в себя пользовательский интерфейс 118 и интерфейс 122 периферийных устройств.
Шина 112 предоставляет процессору(ам) 102, устройству(ам) 104 памяти, интерфейсу(ам) 106, запоминающему устройству(ам) 108 большой емкости и устройству(ам) 110 вода/вывода возможность поддерживать связь друг с другом, а также с другими устройствами или компонентами, присоединенными к шине 112. Шина 112 представляет собой один или более из нескольких типов шинных структур, таких как системная шина, шина PCI (соединения периферийных компонентов), шина стандарта IEEE 1394 (Института инженеров по электротехнике и электронике), шина USB (универсальной последовательной шины), и так далее.
Фиг. 2 иллюстрирует примерную среду 200, которая содействует выявлению угроз в ожидании открывания дверей транспортного средства. Среда 200 включает в себя транспортное средство 201, например, такое как легковой автомобиль, грузовой автомобиль или автобус. Транспортное средство 201 может содержать в себе водителя (не показан) и возможно одного или более других занимающих места людей (не показаны). Транспортное средство 201 может ставиться на стоянку параллельно на проезжей части дороги и может включать в себя множество дверей с боковым открыванием (например, две двери или четыре двери). Среда 200 также включает в себя приближающегося участника 221 движения, например, такого как велосипедист, скейтбордист, катающийся на роликовых коньках, и т. д.
Транспортное средство 201 включает в себя внешние датчики 202, фильтр 207, нейронную сеть 208, устройства 209 вывода, модуль 211 выявления угроз и компоненты 213 транспортного средства. Внешние датчики 202 установлены снаружи на транспортном средстве 201. Внешние датчики 202 включают в себя камеру(ы) 203, датчик(и) 204 с радиолокатором и ультразвуковой датчик(и) 206. Внешние датчики 202 также могут включать в себя другие типы датчиков (не показаны), например, такие как акустические датчики, датчики с лазерным локатором и электромагнитные датчики. Вообще, внешние датчики 202 могут отслеживать движение поблизости от транспортного средства 201. Внешние датчики 202 могут выводить данные с датчиков, указывающие положение и оптический поток (то есть, направление и скорость) отслеживаемого участника движения. По данным с датчиков, транспортное средство 201 может определять, являлось ли бы открывание двери угрозой для приближающегося участника движения.
Компоненты 213 транспортного средства включают в себя сиденья 241 и двери 242. Компоненты 213 транспортного средства также могут включать в себя другие компоненты (не показаны) транспортного средства, например, такие как фары, задние фонари, гудок, автоматическая система кондиционирования воздуха, и т. д.
Устройства 209 вывода могут включать в себя один или более громкоговорителей и одно или более устройств отображения.
Фильтр 207 (например, фильтр Калмана, фракционный фильтр, и т. д.) может осуществлять доступ к данным с датчиков, выведенным внешними датчиками 202. Фильтр 207 может формулировать фильтрованные данные с датчиков, сохраняя данные с датчиков для приближающегося участника движения, который имеет путь, вероятно проходящий через пространство рядом с по меньшей мере одной из дверей 242. Фильтр 207 также может формулировать фильтрованные данные с датчиков, отфильтровывая данные с датчиков для приближающегося участника движения, который имеет путь, маловероятно проходящий через пространство рядом с какой-нибудь из дверей 242. Данные с датчиков для участника движения, маловероятно проходящего через пространство рядом с какой-нибудь из дверей 242, могут игнорироваться. Данные с датчиков для участника движения, вероятно проходящего через пространство рядом с по меньшей мере одной из дверей 242 могут отправляться в модуль 208 нейронной сети.
Модуль 208 нейронной сети может принимать фильтрованные данные с датчиков для приближающегося участника движения, вероятно проходящего через пространство рядом с одной из дверей 242. Модуль 208 нейронной сети может обрабатывать данные с датчиков для приближающегося участника движения, чтобы точнее определять вероятный путь приближающегося участника движения. Модуль 208 нейронной сети также может классифицировать приближающегося участника движения по типу участника движения, например, такой как, велосипедист, скейтбордист, катающийся на роликовых коньках, и т. д. В качестве альтернативы, модуль 208 нейронной сети может рассчитывать вероятность того, что приближающийся участник движения является участникам движения конкретного типа.
Модуль 208 нейронной сети может включать в себя нейронную сеть, снабженную архитектурой в соответствии с многослойной (или «глубинной») моделью. Модель многослойной нейронной сети может включать в себя входной слой, множество скрытых слоев и выходной слой. Модель многослойной нейронной сети также может включать в себя слой потерь. Для классификации данных с датчиков (например, изображения), значения в данных с датчиков (например, значения пикселей) назначаются входным узлам, а затем, подаются через множество скрытых слоев нейронной сети. Множество скрытых слоев может выполнять некоторое количество нелинейных преобразований. В конце преобразований, выходной узел дает значение, которое соответствует классу (например, пешеходу, велосипедисту, скейтбордисту, катающемуся на роликовых коньках, и т. д.), логически выведенному нейронной сетью.
Нейронная сеть может быть обучена проводить различие между желательными классами, например, такими как между пешеходами, велосипедистами, скейтбордистами, катающимися на роликовых коньках, и т. д. Нейронная сеть может быть обучена выявлять и отслеживать путь приближающегося участника движения, для того чтобы определять вероятность того, что открытая дверь является угрозой. Нейронная сеть также может быть обучена выявлять, приближаются ли многочисленные объекты движения к транспортному средству 201, и проводить различие между разными объектами движения.
Классификации участника движения (и/или вероятности классификации участника движения) для приближающегося участника движения могут представляться на устройстве отображения из устройств 209 вывода. Даже когда приближающийся участник движения маловероятно должен проследовать рядом с дверью транспортного средства, занимающие места люди в транспортном средстве могут пожелать быть осведомленными о приближающемся участнике движения. Классификации участника движения для приближающегося участника движения (и/или вероятности классификации участника движения) также могут отправляться в модуль 211 выявления угроз. На основании классификации участника движения (и/или вероятности классификации участника движения) для приближающегося участника движения и конфигурации компонентов 213 транспортного средства, модуль 211 выявления угроз может побуждать транспортное средство 201 реагировать определенным образом.
Например, когда приближающийся участник движения вероятно должен проследовать рядом с одной из дверей 242, и сиденье 241 рядом с дверью занято, модуль 211 выявления угроз может выводить слышимое предупреждение в кабине транспортного средства 201. Модуль 211 выявления угроз также может менять конфигурацию компонентов 213 транспортного средства. Например, модуль 211 выявления угроз может вызывать вибрацию сидений 241 и/или предотвращать открывание одной из дверей 242 до тех пор, пока приближающийся участник движения не минует дверь.
Компоненты транспортного средства 201 могут быть присоединены друг к другу через (или быть частью) сеть, например, такую как PAN (персональная сеть), LAN (локальная сеть), WAN (глобальная сеть), шина локальной сети контроллеров (CAN) и даже Интернет. Соответственно, компоненты транспортного средства 201, а также любые другие присоединенные компьютерные системы и их компоненты, могут создавать связанные с сообщением данные и обмениваться связанными с сообщением данными (например, полезной нагрузкой связи через поле в ближней зоне (NFC), пакетами Bluetooth, дейтаграммами межсетевого протокола (IP) и других высокоуровневых протоколов, которые используют дейтаграммы IP, таких как протокол управления передачей (TCP), протокол передачи гипертекстовых файлов (HTTP), простой протокол пересылки электронной почты (SMTP), и т. д.) по сети.
Транспортное средство 201 может включать в себя разнородную вычислительную платформу, имеющую многообразие разных типов и количеств процессоров. Например, разнородная вычислительная платформа может включать в себя по меньшей мере одно центральный блок обработки (ЦПУ, CPU), по меньшей мере один блок графической обработки (GPU) и по меньшей мере одну программируемую пользователем вентильную матрицу (FPGA). Аспекты изобретения могут быть реализованы на разных типах и количествах процессоров.
Фиг. 3 иллюстрирует блок-схему последовательности операций примерного способа 300 для выявления угроз в ожидании открывания дверей транспортного средства. Способ 300 будет описан в отношении компонентов и данных среды 200.
Способ 300 включает в себя определение, что путь приближающегося участника движения вероятно должен побуждать приближающегося участника движения проходить через определенное пространство, которое должно заниматься дверью, когда дверь открыта (301). Например, транспортное средство 201 может определять, что приближающийся участник 221 движения вероятно должен проходить через определенное пространство 236 (пространство, в которое открывается одна из дверей 242).
Определение, что путь приближающегося участника движения вероятно должен побуждать приближающегося участника движения проходить через определенное пространство, включает в себя использование одного или более датчиков, установленных на транспортное средство для отслеживания зоны поблизости от транспортного средства на наличие приближающегося участника движения (302). Например, внешние датчики 202 могут отслеживать зону 231 на наличие приближающегося участника движения. В одном аспекте, зона 231 является зоной позади транспортного средства 201. По мере того как зона 231 отслеживается, внешние датчики 202 могут формировать данные 222 с датчиков, по считыванию объектов в зоне 231. Данные 222 с датчиков могут включать в себя оптический поток (то есть, скорость и направление) приближающегося участника 221 движения (также как и оптический поток любого другого участника движения в зоне 231).
Определение, что путь приближающегося участника движения вероятно должен побуждать приближающегося участника движения проходить через определенное пространство, включает в себя фильтрацию данных с одного или более датчиков на разнородной вычислительной платформе в транспортном средстве для определения, что приближающийся участник движения имеет скорость и направление, указывающие прохождение приближающимся участником движения через определенное пространство (303). Например, фильтр 207 может фильтровать данные 222 с датчиков в фильтрованные данные 223 с датчиков. Фильтрованные данные 223 с датчиков включают в себя данные с датчиков для приближающегося участника движения, имеющего оптический поток (например, скорость и направление), указывающий прохождение приближающимся участником движения через определенное пространство 236. Например, фильтрованные данные 223 с датчиков могут включать в себя скорость и направление приближающегося участника 221 движения. Скорость и направление приближающегося участника 221 движения могут указывать, что путь приближающегося участника 221 движения вероятно должен пройти через определенное пространство 236.
Способ 300 включает в себя предоставление фильтрованных данных для приближающегося участника движения в качестве входных данных в нейронную сеть (304). Например, фильтр 207 может выдавать фильтрованные данные 223 с датчиков в качестве входных данных в модуль 208 нейронной сети. Модуль 208 нейронной сети может обрабатывать фильтрованные данные 223 с датчиков, чтобы логически выводить классификацию 224 участника движения (например, идущего пешехода, велосипедиста, скейтбордиста, катающегося на роликовых коньках, и т. д.) для приближающегося участника 221 движения. Модуль 208 нейронной сети также может обрабатывать фильтрованные данные 223 с датчиков, чтобы логически выводить классификации участника движения для других участников движения, приближающихся к транспортному средству 201. Способ 300 включает в себя прием классификации участника движения для приближающегося участника движения из нейронной сети (305). Например, модуль 211 выявления угроз может принимать классификацию 224 участника движения из нейронной сети 208.
Способ 300 включает в себя определение, представляет ли собой дверь угрозу для приближающегося участника движения, по меньшей мере на основании классификации участника движения, прохождения приближающимся участником движения через определенное пространство и конфигурации транспортного средства (306). Например, модуль выявления угроз может определять, представляет ли собой дверь 242 угрозу для приближающегося участника 221 движения, по меньшей мере на основании классификации 224 участника 221 движения, прохождения приближающимся участником 221 движения через определенное пространство 236 и конфигурации компонентов 213 транспортного средства. Модуль 211 выявления угроз может осуществлять доступ к конфигурации 233 компонентов для определения конфигурации компонентов 213 транспортного средства. Конфигурация компонентов 213 транспортного средства может учитывать, занято или нет сиденье 241, ближайшее к определенному пространству 236, была ли приведена в действие дверная ручка двери 242, ближайшая к определенному пространству 236, и т. д. Конфигурация компонентов 213 транспортного средства также может учитывать, находится или нет дверь 242, ближайшая к определенному месту 236, в процессе открывания.
На основании классификации 224 участника движения, модуль 211 выявления угроз может определять, что угрозы нет. Например, классификация 224 участников движения может указывать, что приближающийся участник 221 движения является идущим пешеходом. По существу, занимающий место человек в транспортном средстве может иметь время, чтобы безопасного открыть дверь 242, не создавая угрозу для идущего пешехода.
На основании конфигурации 233 компонентов, модуль 211 выявления угроз может определять, что угрозы нет. Например, конфигурация 233 компонентов может указывать, что такое сиденье 241, ближайшее к определенному пространству 236, не занято. По существу, модуль 211 выявления угроз определяет, что вероятность открывания соответствующей двери 242 в определенное пространство 236 очень низка. Таким образом, даже если приближающийся участник 221 движения перемещается с большей величиной скорости, приближающийся участник 221 движения вероятно должен проехать транспортное средство 201 без аварийного столкновения.
На основании классификации 224 участника движения, конфигурации транспортного средства и прохождения приближающимся участником 221 движения через определенное пространство 236, модуль выявления угроз может определять, что дверь 242 не представляет собой угрозы относительно приближающегося участника 221 движения. Например, если сиденье 241, ближайшее к определенному пространству 236, занято, есть какой-то шанс, что занимающий место человек мог бы открыть дверь 242, ближайшую к определенному пространству 236, в то время как приближающийся участник 221 движения проходит через определенное пространство 236. Открывание двери 242, в то время как приближающийся участник 221 движения проходит через определенное пространство 236, могло бы вызвать столкновение между приближающимся участником 221 движения и дверью 242, приводя к травме человека.
Когда дверь 242 представляет собой угрозу, модуль 211 выявления угроз может отправлять сигнал 232 угрозы на устройства 209 вывода, например, такие как один или более громкоговорителей и устройство отображения. Устройство отображения может указывать угрозу на экране в кабине транспортного средства 201. Сигнал 232 угрозы может включать в себя слышимое предупреждение. Слышимое предупреждение может выводиться на одном или более громкоговорителе, так чтобы занимающие места люди, не смотрящие на устройство отображения, становились осведомленными о прохождении приближающимся участником 221 движения через определенное пространство 236. Предупреждение 232 об угрозе также может предусматривать тактильный сигнал, например, заставляющий вибрировать сиденье 241 занимающего места человека.
Когда дверь 242 представляет собой угрозу, модуль 211 выявления угроз также может отправлять изменение 234 конфигурации на компоненты 213 транспортного средства. Изменение 234 конфигурации может предотвращать открывание двери, ближайшей к определенному пространству 236 (или всех дверей на этой стороне транспортного средства 201) до тех пор, пока приближающийся участник 221 движения не минует безопасно транспортное средство 221.
фиг. 4А-4С иллюстрируют пример приближающегося участника движения, вызывающего угрозу открыванием двери. Фиг. 4А включает в себя припаркованное транспортное средство 401 и велосипедиста 402. На фиг. 4А, поставленное на стоянку транспортное средство 401 поставлено на стоянку рядом с бордюрным камнем 411 проезжей части 413 дороги. Поставленное на стоянку транспортное средство 401 могло быть недавно поставлено на стоянку и все еще содержать в себе одного или более занимающих места людей. Один или более установленных снаружи датчиков (например, одна или более камер) на поставленном на стоянку транспортном средстве 401 может отслеживать зону 404 на наличие приближающегося участника движения. Водитель поставленного на стоянку транспортного средства 401 мог проверить наличие приближающегося участника движения и заметить, что велосипедист 402 находился на тротуаре 412. По существу, водитель предполагал, что было безопасно открывать дверь 403 в определенное пространство 406. Однако, непосредственно после того, как водитель замечает велосипедиста 402, велосипедист 402 может изменить путь на направление 414.
С обращением к фиг. 4В, поскольку велосипедист 402 следует в направлении 416, велосипедист 402 перемещается в зону 404. Один или более датчиков, отслеживающих зону 404, могут выявлять велосипедиста 402 в зоне 404. Датчики могут отправлять данные с датчиков в нейронную сеть в транспортном средстве 401. Нейронная сеть может классифицировать велосипедиста 402 как велосипедиста. Один или более датчиков могут отслеживать оптический поток велосипедиста 402 через зону 404 для определения, что велосипедист 402 в данный момент следует в направлении 416. На основании следования велосипедистом 402 в направлении 416, один или более датчиков может определять, что есть какая-то вероятность прохождения велосипедистом 402 через определенное пространство 406. Однако, водитель транспортного средства 401 может не быть осведомлен об изменении направления велосипедистом 402.
Чтобы избегать угроз велосипедисту 402, поставленное на стоянку транспортное средство 401 может выводить слышимый сигнал в кабине транспортного средства 401. Слышимый сигнал может уведомлять водителя, что открывание двери 402 в определенное пространство 406 может создавать угрозу. Поставленное на стоянку транспортное средство 401 также может предотвращать открывание двери 403 до тех пор, пока велосипедист 402 не минует поставленное на стоянку транспортное средство 401.
С обращением к фиг. 4С, велосипедист 402 переходит на направление 418. Велосипедист 402 проезжает через определенное пространство 406. Однако, потенциальная угроза избегается вследствие того, что поставленное на стоянку транспортное средство предупреждает водителя и/или предотвращает открывание двери 402 в определенное пространство 406 до тех пор, пока велосипедист 402 не проходит через определенное пространство 406.
В одном аспекте, один или более процессоров выполнены с возможностью выполнять команды (например, машинно-читаемые команды, машинно-исполняемые команды, и т. д.) для выполнения любых из множества описанных операций. Один или более процессоров могут осуществлять доступ к информации из системной памяти и/или сохранять информацию в системной памяти. Один или более процессоров могут преобразовывать информацию между разными форматами, например, такими как данные с датчиков, фильтрованные данные с датчиков, классификации участника движения, конфигурации компонентов, изменения конфигурации, и т. д.
Системная память может быть присоединена к одному или более процессоров и может хранить команды (например, машинно-читаемые команды, машинно-исполняемые команды, и т. д.), исполняемые одним или более процессорами. Системная память также может быть выполнена с возможностью хранить какие-нибудь из множества других типов данных, сформированных описанными компонентами, например, таких как данные с датчиков, фильтрованные данные с датчиков, классификации участника движения, конфигурации компонентов, изменения конфигурации, и т. д.
В вышеприведенном изобретении была сделана ссылка на прилагаемые чертежи, которые формируют его часть, и на которых, в качестве иллюстрации, показаны конкретные реализации, в которых изобретение может быть осуществлено на практике. Понятно, что могут использоваться другие реализации, и структурные изменения могут быть произведены, не выходя из объема настоящего изобретения. Ссылки в описании изобретения на «один из вариантов осуществления», «вариант осуществления», «примерный вариант осуществления», и т. д., указывают, что описанный вариант осуществления может включать в себя конкретные признак, конструкцию или характеристику, но каждый вариант осуществления не обязательно может включать в себя конкретные признак, конструкцию или характеристику. Более того, такие фразы не обязательно являются указывающими ссылкой на один и тот же вариант осуществления. Кроме того, когда конкретный признак, конструкция или характеристика описаны в связи с вариантом осуществления, предполагается, что он находится в пределах познаний специалиста в данной области техники для осуществления такого признака, конструкции или характеристики в связи с другими вариантами осуществления, описанными или не описанными в прямой форме.
Реализации систем, устройств и способов, раскрытых в материалах настоящей заявки, могут содержать или использовать компьютер специального назначения или общего применения, включающий в себя компьютерные аппаратные средства, например, такие как один или более процессоров и системная память, как обсуждено в материалах настоящей заявки. Реализации в пределах объема настоящего изобретения также могут включать в себя физические и другие машинно-читаемые носители для переноса или хранения машинно-исполняемых команд и/или структур данных. Такие машиночитаемые носители могут быть любыми имеющимися в распоряжении носителями, к которым может осуществляться доступ компьютерной системой общего применения или специального назначения. Машинно-читаемые носители, которые хранят машинно-исполняемые команды, являются компьютерными запоминающими носителями (устройствами). Машинно-читаемые носители, которые переносят машинно-исполняемые команды, являются средой передачи данных. Таким образом, в качестве примера, а не ограничения, реализации изобретения могут содержать по меньшей мере две отчетливо разных разновидности машинно-читаемых носителей: компьютерные запоминающие носители (устройства) и среду передачи данных.
Компьютерные запоминающие носители (устройства) включают в себя ОЗУ (оперативное запоминающее устройство, RAM), ПЗУ (постоянное запоминающее устройство, ROM), ЭСППЗУ (электрически стираемое программируемое ПЗУ, EEPROM), CD-ROM (ПЗУ на компакт-диске), твердотельные накопители («SSD») (например, на основе ОЗУ), флэш-память, память на фазовых переходах («PCM»), другие типы памяти, другое оптическое дисковое запоминающее устройство, магнитное дисковое запоминающее устройство или другие магнитные устройства хранения данных, либо любой другой носитель, который может использоваться для хранения требуемого средства управляющей программы в форме машинно-исполняемых команд или структур данных, и к которым может осуществляться доступ компьютером общего применения или специального назначения.
Реализация устройств, систем и способов, раскрытых в материалах настоящей заявки, может поддерживать связь через компьютерную сеть. «Сеть» определена в качестве одного или более каналов передачи данных, которые делают возможной транспортировку электронных данных между компьютерными системами и/или модулями, и/или другими электронными устройствами. Когда информация переносится или поставляется через сеть или другое соединение связи (проводное, беспроводное, либо комбинацию проводного или беспроводного) в компьютер, компьютер, по сути, рассматривает соединение в качестве среды передачи. Среда передачи данных может включать в себя сеть и/или каналы передачи данных, которые могут использоваться для переноса требуемого средства управляющей программы в форме машинно-читаемых команд или структур данных, и к которым может осуществляться доступ компьютером общего применения или специального назначения. Комбинации приведенного выше также должны быть включены в объем машинно-читаемых носителей.
Машинно-исполняемые команды, например, содержат команды и данные, которые, когда выполняются на процессоре, побуждают компьютер общего применения, компьютер специального назначения или устройство обработки специального назначения выполнять определенную функцию или группу функций. Машинно-исполняемые команды, например, могут быть двоичным кодом, командами промежуточного формата, такими как на языке ассемблера, или даже исходным кодом. Хотя предмет изобретения был описан на языке, специфичном структурным признакам и/или действиям обобщенных способов, должно быть понятно, что предмет изобретения, определенный в прилагаемой формуле изобретения, не обязательно ограничен описанными признаками или действиями, описанными выше. Скорее, описанные признаки и действия раскрыты в качестве примерных форм реализации формулы изобретения.
Специалисты в данной области техники будут принимать во внимание, что изобретение может быть осуществлено на практике в сетевых вычислительных средах с другими типами конфигураций компьютерных систем, включая встроенный компьютер или другой компьютер транспортного средства, персональные компьютеры, настольные компьютеры, дорожные компьютеры, процессоры сообщений, карманные устройства, многопроцессорные системы, основанную на микропроцессорах или программируемую бытовую электронику, сетевые ПК (персональные компьютеры), миникомпьютеры, универсальные компьютеры, мобильные телефоны, PDA (персональные цифровые секретари), планшеты, пейджеры, маршрутизаторы, коммутаторы, различные запоминающие устройства, и тому подобное. Изобретение также может быть осуществлено на практике в средах распределенной системы, где локальные и удаленные компьютерные системы, которые связаны (проводными каналами передачи данных, беспроводными каналами передачи данных или комбинацией проводных и беспроводных каналов передачи данных) через сеть, те и другие выполняют задания. В среде распределенной системы, программные модули могут быть расположены как в локальном, так и в удаленном запоминающих устройствах памяти.
Кроме того, где уместно, функции, описанные в материалах настоящей заявки, могут выполняться в одном или более из: аппаратных средств, программного обеспечения, встроенных программ, цифровых компонентов или аналоговых компонентов. Например, одна или более специализированных интегральных схем (ASIC) могут быть запрограммированы выполнять одну или более из систем и процедур, описанных в материалах настоящей заявки. Определенные термины используются на всем протяжении описания и формулы изобретения для указания ссылкой на конкретные компоненты системы. Как будет принимать во внимание специалист в данной области техники, компоненты могут указываться ссылкой разными наименованиями. Данный документ не подразумевает, что следует проводить различие между компонентами, которые отличаются по наименованию, но не по функции.
Следует отметить, что варианты осуществления датчиков, обсужденные выше, могут содержать компьютерные аппаратные средства, программное обеспечение, встроенные программы или любую их комбинацию для выполнения по меньшей мере части своих функций. Например, датчик может включать в себя машинный код, выполненный с возможностью выполняться на одном или более процессоров, и может включать в себя аппаратные логические/электрические схемы, управляемые машинным кодом. Эти примерные устройства предусмотрены в материалах настоящей заявки в целях иллюстрации и не подразумеваются ограничивающими. Варианты осуществления настоящего изобретения могут быть реализованы в дополнительных типах устройств, как было бы известно специалистам в данной области(ях) техники.
По меньшей мере некоторые варианты осуществления изобретения были направлены на компьютерные программные продукты, содержащие такую логику (например, в форме программного обеспечения), хранимую на любом используемом компьютером носителе. Такое программное обеспечение, когда выполняется в одном или более устройств обработки данных, побуждает устройства действовать, как описано в материалах настоящей заявки.
Несмотря на то, что выше были описаны варианты осуществления настоящего изобретения, должно быть понятно, что они были представлены только в качестве примера, а не ограничения. Специалистам в данной области техники будет очевидно, что различные изменения по форме и содержанию могут быть произведены в нем, не выходя из сущности и объема изобретения. Так, широту и объем настоящего изобретения не следует ограничивать никакими из вышеописанных вариантов осуществления, но следует определять только в соответствии с нижеследующей формулой изобретения и ее эквивалентами. Вышеизложенное описание было представлено в целях иллюстрации и описания. Оно не подразумевается исчерпывающим или ограничивающим изобретение точной раскрытой формой. Многие модификации и варианты возможны в свете вышеприведенной доктрины. Кроме того, следует обратить внимание, что любые или все из вышеупомянутых альтернативных реализаций могут использоваться в любой комбинации, требуемой для формирования дополнительных смешанных реализаций изобретения.