СИСТЕМА РАСПОЗНАВАНИЯ И АНАЛИЗА ДОРОЖНОЙ СЦЕНЫ

Полезная модель относится к области компьютерного зрения, в частности, к системе распознавания и анализа дорожной сцены.
Современный мир компьютерных систем широко использует технологии машинного, или компьютерного, зрения. В частности, популярность приобретают решения, предназначенные для автомобилей, снижающие вероятность аварий и упрощающие процесс управления транспортным средством.
Основной операцией в работе этих систем является распознавание дорожной разметки, поскольку существует тенденция к учащению случаев выезда водителей за разметку, что приводит к возникновению дорожно-транспортных происшествий.
Система помощи движению по полосе (другие наименования: помощник движения по полосе, ассистент удержания полосы движения) помогает водителю придерживаться выбранной полосы движения и тем самым предотвращать аварийные ситуации.
Система эффективна при движении по автомагистралям и обустроенным федеральным дорогам, то есть там, где имеется качественная дорожная разметка. Различают два вида систем помощи движению по полосе: пассивные и активные.
Пассивная система предупреждает водителя об отклонении от выбранной полосы движения, а активная система, наряду с предупреждением, производит корректирующее вмешательство в работу рулевого управления.
В процессе функционирования активной системы помощи движению по полосе реализуются следующие основные функции:
- распознавание траектории (полосы) движения;
- визуальное информирование о работе системы;
- корректировка работы рулевого управления;
- предупреждение водителя.
Известны технические решения, которые могли бы быть использованы для построения системы анализа дорожной обстановки и выработки сигналов управления транспортным средством (1, 2, 3).
Первое из известных технических решений содержит одну или нескольких видеокамер, размещенных на транспортном средстве с возможностью обзора мест расположения знаков на дороге, блок автоматического распознавания дорожных знаков, связанный с системой обнаружения дорожных знаков и сигналов светофора, блоки управления и памяти, а также видеопроектор, и/или дисплей, и/или аудиоустройство, предназначенное для отображения информации о дорожном знаке или сигнале светофора с момента обнаружения до момента выхода дорожного знака или сигнала светофора из зоны действия устройства [1].
При движении транспортного средства видеокамера или видеокамеры сканируют верхнюю и боковую части дороги, где обычно размещаются дорожные знаки и светофоры. Изображение, получаемое с помощью видеокамеры, обрабатывается в блоке автоматического распознавания дорожных знаков и сигналов светофора.
При попадании в поле зрения видеокамер дорожных знаков или светофора блок автоматического распознавания дорожных знаков и сигналов светофора выдает соответствующий кодовый сигнал о нем в блок информирования водителя, который выдает соответствующее сообщение о дорожном знаке или сигнале светофора на видеоустройство и/или на аудиоустройство.
Недостаток этого технического решения заключается в низком быстродействии системы, обусловленной тем, что реакция водителя транспортного средства на поступившие сообщения о состоянии дорожной обстановки требует дополнительного времени для принятия решения.
Известна и другая система, содержащая размещенные на транспортном средстве блок автоматического распознавания дорожных знаков и сигналов светофора, связанный с системой обнаружения дорожных знаков и сигналов светофора, блоки управления и памяти, а также видеопроектор, и/или дисплей, и/или аудиоустройство, предназначенное для отображения информации о дорожном знаке или сигнале светофора с момента обнаружения до момента выхода дорожного знака или сигнала светофора из зоны действия [2].
Согласно изобретению система обнаружения дорожных знаков и сигналов светофора для автоматической передачи в салон транспортного средства выполнена в виде радио или сенсорного передатчика, предназначенного для установки на светофорах и дорожных знаках и транслирования направленных на движущийся перед дорожным знаком или светофором транспортный поток ограниченных по зоне действия кодовых сигналов и установленного на транспортном средстве приемного устройства, связанного с подключенным к блоку управления блоком автоматического распознавания дорожных знаков и сигналов светофоров и предназначенного для приема сигналов от передатчика.
Его недостаток заключается в невысоком быстродействии системы, обусловленном тем, что выполнение процедуры анализа ситуации в зоне наблюдения дорожных знаков реализуется через поиск признаков дорожных знаков и их последующего распознавания, что неизбежно приводит к неоправданным затратам времени и невозможности принятия решений в реальном масштабе времени.
Известно и другое техническое решение поставленной задачи, содержащее средство обнаружения бокового объекта, средство управления для приведения в действие управления сдерживанием перемещения в сторону, средство определения начала вхождения в соседнюю полосу движения, средство подавления приведения в действие для подавления приведения в действие управления сдерживанием перемещения в сторону. Перемещение в сторону сопровождается изменением поперечного положения транспортного средства относительно дорожной полосы. [3].
Последнее из перечисленных выше технических решений наиболее близко к описываемому.
Недостаток этого технического решения состоит в невысокой надежности, обусловленной тем, что в сложных погодных условиях первая и вторая цифровые фотокамеры также физически не смогут решить поставленную перед ним задачу по идентификации состояния дорожной среды.
Цель полезной модели - повышение надежности системы путем идентификации положения транспортного средства относительно линий разметки дорожной сцены и предупреждения водителя о кризисных ситуациях.
Поставленная цель достигается тем, что в известную систему, содержащую модуль визуального представления дорожной сцены, первый и второй информационные выходы которого соединены с первыми вторым информационными входами модуля интеграции выходных сигналов, первый информационный выход которого является первым информационным выходом системы, предназначенным для выдачи данных дорожной сцены на экран дисплея водителя транспортного средства, второй информационный выход модуля интеграции выходных сигналов является вторым информационным выходом системы, предназначенным для выдачи изображения линий разметки дорожной сцены на экран дисплея водителя транспортного средства, первый и второй управляющие выходы модуля интеграции выходных сигналов являются управляющими выходами системы, предназначенными для выдачи сигналов на вход системы управления приводом рулевого механизма, модуль представления текущего положения транспортного средства, первый и второй информационные входы которого являются и первым и вторым информационными входами системы, предназначенными для приема кодов с соответствующих датчиков углового положения левого и правого передних колес транспортного средства, третий и четвертый информационные входы модуля представления текущего положения транспортного средства являются третьим и четвертым информационными входами системы соответственно, предназначенными для приема координат точки позиционирования транспортного средства на дорожной сцене, а управляющий вход модуля представления текущего положения транспортного средства является управляющим входом системы, предназначенным для получения сигналов запроса водителя, первый модуль селекции сигналов изменения направления движения транспортного средства, тактирующий вход которого соединен с первым тактирующим выходом модуля визуального представления дорожной сцены, первый сигнальный вход первого модуля селекции сигналов изменения направления движения транспортного средства является первым сигнальным входом системы, предназначенным для приема данных о положении рукоятки поворота при ее установке в левое положение, второй сигнальный вход первого модуля селекции сигналов изменения направления движения автомобиля является вторым сигнальным входом системы, предназначенным для приема данных о положении рукоятки поворота при ее установке в правое положение, второй модуль селекции сигналов изменения направления движения транспортного средства, тактирующий вход которого соединен с вторым тактирующим выходом модуля визуального представления дорожной сцены, первый сигнальный вход второго модуля селекции сигналов изменения направления движения транспортного средства подключен к второму сигнальному входу системы, а второй сигнальный вход второго модуля селекции сигналов изменения направления движения транспортного средства соединен с первым сигнальным входом системы, при этом управляющие выходы первого и второго модулей селекции сигналов изменения направления движения транспортного средства подключены к первому и второму управляющим входам модуля интеграции выходных сигналов и к первому и второму управляющим входам модуля представления текущего положения транспортного средства соответственно, синхронизирующий выход первого модуля селекции сигналов изменения направления движения транспортного средства соединен с установочным входом второго модуля селекции сигналов изменения направления движения транспортного средства и с одним синхронизирующим входом модуля представления текущего положения транспортного средства, а синхронизирующий выход второго модуля селекции сигналов изменения направления движения транспортного средства подключен к установочному входу первого модуля селекции сигналов изменения направления движения транспортного средства и к другому синхронизирующему входу модуля представления текущего положения транспортного средства, введены модуль определения величины сигнала коррекции положения транспортного средства, информационный вход которого соединен с первым информационным выходом модуля представления текущего положения транспортного средства, первый и второй синхронизирующие входы модуля определения величины сигнала коррекции положения транспортного средства, подключены к синхронизирующим выходам первого и второго модулей селекции сигналов изменения направления движения транспортного средства соответственно, а информационный выход модуля определения величины сигнала коррекции положения транспортного средства соединен с третьим информационным входом модуля интеграции выходных сигналов, модуль идентификации текущих участков разметки дорожной сцены, информационные входы которого подключены к второму и к третьему информационным выходам модуля представления текущего положения транспортного средства соответственно, а синхронизирующий вход модуля идентификации текущих участков разметки дорожной сцены соединен с синхронизирующим выходом модуля представления текущего положения транспортного средства, модуль памяти, адресный вход которого подключен к адресному выходу модуля идентификации текущих участков разметки дорожной сцены, первый синхронизирующий выход которого соединен с входом считывания модуля памяти, а информационный выход модуля памяти подключен к четвертому информационному входу модуля интеграции выходных сигналов, модуль фиксации границ текущих участков дорожной сцены, информационный вход которого соединен информационным выходом модуля идентификации текущих участков разметки дорожной сцены, синхронизирующий вход подключен к второму синхронизирующему выходу модуля идентификации текущих участков разметки дорожной сцены, тактирующий вход является тактирующим входом системы, предназначенным для получения сигналов с датчика измерения пройденного транспортным средством пути, а выход модуля фиксации границ текущих участков дорожной сцены является сигнальным выходом системы, предназначенным для выдачи сигналов предупреждения водителю транспортного средства, при этом второй синхронизирующий выход модуля фиксации границ текущих участков дорожной сцены подключен к синхронизирующему входу модуля интеграции выходных сигналов.
Сущность изобретения поясняется чертежами, где на фиг. 1 представлена структурная схема системы, на фиг. 2 - структурная схема модуля 2 визуального представления дорожной сцены, на фиг. 3 - структурная схема первого модуля селекции сигналов изменения направления движения транспортного средства, на фиг. 4 - структурная схема второго модуля селекции сигналов изменения направления движения транспортного средства, на фиг. 5 - структурная схема модуля представления текущего положения транспортного средства, на фиг. 6 - структурная схема модуля выбора величины сигнала управления, на фиг. 7 - структурная схема модуль идентификации текущего участка разметки дорожной сцены, на фиг. 8 - структурная схема модуля фиксации границ текущих участков дорожной сцены, на фиг. 9 - структурная схема модуля интеграции выходных сигналов.
Система (фиг. 1) содержит модуль 1 визуального представления дорожной сцены, первый 2 и второй 3 модули селекции сигналов изменения направления движения транспортного средства, модуль 4 представления текущего положения транспортного средства, модуль 5 определения величины сигнала управления, модуль 6 идентификации текущего участка разметки дорожной сцены, модуль 7 памяти, модуль 8 фиксации границ текущих участков дорожной сцены, и модуль 9 интеграции выходных сигналов.
На чертеже показаны первый 11, второй 12, третий 13, и четвертый 14 информационные входы системы, первый 15 и второй 16 сигнальные входы системы, на которые поступают сигналы с датчиков положения рукоятки переключателя поворота, управляющий 17 и тактирующий 18 входы, а также первый 19 и второй 20 информационные выходы системы, первый 21 и второй 22 управляющие и сигнальный 23 выходы системы.
Модуль 1 (фиг. 2) визуального представления дорожной сцены содержит первую 25 и вторую 26 видеокамеры, первый 27 и второй 28 детекторы изображения дорожной разметки. На чертеже показаны информационные 29, 30 и синхронизирующие 31, 32 выходы модуля. Видеокамеры 25, 26 установлены на транспортном средстве таким образом, что в поле зрения видеокамеры 25 попадает линия разметки дорожной сцены с левой стороны движения, а в поле зрения видеокамеры 26 попадает линия разметки полосы с правой стороны движения.
Модуль 2 (фиг. 3) селекции сигналов изменения направления движения транспортного средства содержит триггеры 35, 36, элемент 37 ИЛИ, элементы 38, 39 И. На чертеже показаны тактирующий 40, первый 41 и второй 42 сигнальные и установочный 43 входы, а также управляющий 44 и синхронизирующий 45 выходы.
Модуль 3 (фиг. 4) селекции сигналов изменения направления движения транспортного средства содержит триггеры 46, 47, элемент 48 ИЛИ, элементы 49, 50 И. На чертеже показаны тактирующий 51, первый 52 и второй 53 сигнальные и установочный 54 входы системы, а также управляющий 55 и синхронизирующий 56 выходы.
Модуль 4 (фиг. 5) представления текущего положения транспортного средства содержит регистры 60-63, триггер 64, группы 65 - 68 элементов И, группу 69 элементов ИЛИ, и элемент 70 задержки. На чертеже показаны первый 11, второй 12, третий 13 и четвертый 14 информационные входы, управляющий 17 вход, первый 71 и второй 72 разрешающие входы, первый 73 и второй 74 сигнальные входы, а также первый 75, второй 76, третий 77 информационные и синхронизирующий 78 выходы.
На информационные входы 11, 12 поступают данные об угловом положении левого переднего и правого переднего колес транспортного средства, а на информационные входы 13, 14 поступают координаты X, У точки позиционирования транспортного средства, получаемые с выхода навигатора (на чертеже не показан).
Модуль 5 (фиг.6) определения величины сигнала коррекции положения транспортного средства содержит дешифратор 80, постоянное запоминающее устройство 81, регистр 82, элементы 83-85 И, элемент 86 ИЛИ, первый 87 и второй 88 элементы задержки. На чертеже также показаны информационный 89, первый 90 и второй 91 синхронизирующие входы, а также информационный 92 выход.
Модуль 6 (фиг. 7) идентификации текущих участков разметки дорожной сцены содержит дешифратор 93, постоянное запоминающее устройство 94, регистр 95, элементы 96-98 И, элементы 99-101. На чертеже показаны первый 102 и второй 103 информационные, и синхронизирующий входы 104, а также первый 105 и второй 106 информационные, первый 107 и второй 108 синхронизирующие выходы.
Модуль 7 (фиг. 1) памяти выполнен в виде оперативного запоминающего устройства, имеющего адресный 133 и считывающий 134 входы, а также информационный 135 выход.
Модуль 8 (фиг. 8) фиксации границ текущих участков дорожной сцены содержит регистр 110, компаратор 111, счетчик 112, триггер 113, элемент 114 И, элемент 115 задержки. На чертеже показаны информационный 116, синхронизирующий 117 и управляющий 118 входы, а также сигнальный 23 выход.
Модуль 9 (фиг. 9) интеграции выходных сигналов содержит регистр 120, цифроаналоговые 121-122 преобразователи, и группы 123 - 125 элементов И. На чертеже также показаны первый 126, второй 127, третий 128, четвертый 129 информационные, первый 130 и второй 131 управляющие, и синхронизирующий 132 входы, а также первый 19 и второй 20 информационные, первый 21 и второй 22 управляющие выходы.
Система работает следующим образом.
Данные с информационного выхода 140 видеокамеры 25 (фиг. 2) поступают на информационный вход 144 блока 27, где происходит распознавание дорожной разметки и принятие решения о том, пересекается разметка или нет. С этой целью в блоке 27 реализуется следующая последовательность операций [4]:
- получение данных с видеокамеры;
- разбивка видеопотока на кадры;
- удаление эффекта перспективы с применением метода обратного отображения перспективы;
- усиление границ с помощью фильтра Гаусса;
- векторизация данных преобразованием Хафа;
- нанесение линий на исходное изображение;
- вывод результата на экран.
С выхода 29 модуля 1 обработанная информация в виде кодов линий разметки, нанесенных на исходное изображение, поступает на вход 126 модуля 9, проходит элементы 125 И группы и через выход 19 модуля 9 выдается далее на экран дисплея.
В том случае, если транспортное средство начинает пересекать разметку, то на выходе 31 модуля 1 появляется сигнальный импульс, который через вход 40 модуля 2 поступает на один вход элементов 38 и 39 И, которые управляются триггером 35.
В том случае, если транспортное средство начинает пересекать разметку, а указатель поворота не включен, то триггер 35 будет находиться в исходном состоянии, при котором высоким потенциалом с инверсного выхода триггера 35 элемент 39 И будет открыт, а элемент 38 И низким потенциалом с прямого выхода триггера 35 будет закрыт.
Сигнальный импульс с входа 40 модуля 2, во-первых, проходит через открытый элемент 39 И на выход 45 модуля 2, а, во-вторых, поступает на прямой вход триггера 36 и устанавливает его в единичное состояние, при котором триггер 36 с прямого выхода выдает на выход 44 высокий потенциал, поступающий через вход 71 модуля 4 на одни входы элементов 65 И группы, и открывает их по одному входу.
Кроме того, высокий потенциал с выхода 44 модуля 2 через вход 130 модуля 9 также поступает на одни входы элементов 123 И группы, открывая их по одному входу.
Параллельно с этим, сигнальный импульс пересечения линий разметки с выхода 45 модуля 2 поступает на синхронизирующий вход 72 модуля 4, в результате чего с входа 11 в регистр 60 модуля 4 заносится код угла поворота соответствующего переднего колеса с датчика углового положения (на чертеже не показан).
Данный код с выхода регистра 60 проходит открытые элементы 65 И группы, затем элементы 69 ИЛИ группы и с выхода 75 модуля 4 поступает через вход 89 модуля 5 на вход дешифратора 80, который расшифровывает поступивший код и на одном из своих выходов формирует высокий потенциал, открывающий по одному входу один из элементов 83-85 И, например, элемент 85 И.
Параллельно с этим, синхронизирующий импульс с входа 90 модуля 5 проходит элемент 86 ИЛИ, задерживается элементом 87 задержки на время срабатывания регистра 60 и дешифратора 80, и с выхода элемента 87 задержки поступает на другой элемента 85 И, откуда поступает на вход фиксированной ячейки памяти блока 81, в которой содержится код амплитуды сигнала, необходимого для управления приводом для возвращении транспортного средства на заданную полосу движения. Этот код считывается на информационный регистра 82.
Параллельно с этим, синхронизирующий импульс с выхода элемента 87 модуля 5 задерживается элементом 88 на время считывания кода из блока 81 памяти, и поступает на синхронизирующий вход регистра 82, занося в него считанный код.
С выхода регистра 82 считанный код амплитуды сигнала через выход 92 модуля 5 подается на вход 128 модуля 9, и далее через элементы 123 И группы поступает на вход цифроаналогового преобразователя 121, с выхода которого поступает на выход 21 системы и далее на вход системы управления приводом рулевого механизма, который возвращает передние колеса автомобиля в исходное состояние.
В том случае, если транспортное средство начинает пересекать разметку, и при этом указатель поворота будет включен, то в этом случае с входа 15 системы от датчика указателя поворота на вход 41 модуля 2 поступает сигнал, который устанавливает триггер 35 в единичное состояние, при котором высоким потенциалом с прямого выхода триггера 35 элемент 38 И будет открыт, а элемент 39 И низким потенциалом с инверсного выхода триггера 35 будет закрыт.
В этом случае сигнальный импульс с входа 40 модуля 2 проходит через открытый элемент 38 И, затем элемент 37 ИЛИ, и поступает на установочный вход триггера 35 и устанавливает его в исходное состояние.
Кроме того, импульс с входа 15 системы поступает на вход 53 модуля 3, и далее проходит через элемент 48 ИЛИ на установочный вход триггера 46, также устанавливая его в исходное состояние.
Аналогичным образом система работает при обработке данных, поступающих с выхода второй 26 видеокамеры.
Параллельно с этим процессом, через информационные 13 и 14 входы системы поступают координаты X, У точки позиционирования транспортного средства соответственно, которые выдаются на информационные входы соответствующих регистров 62 и 63 модуля 4.
При необходимости уточнения положения транспортного средства относительно линий дорожной разметки водитель транспортного средства выдает управляющий сигнал, поступающий через вход 17 системы на единичный вход триггера 64 модуля 4, который переходит в единичное состояние, при котором высокий потенциал с его прямого выхода открывает по одному входу элементы И групп 67, 68, которые подключают выходы регистров 62 и 63 через выходы 76 и 77 модуля 4 и через входы 102, 103 модуля 6 ко входам дешифратора 93.
Дешифратор 93 по кодам координат определяет идентификационный номер участка дорожного движения и высоким потенциалом открывает соответствующий ему элемент 96-98 И. Одновременно с этим, синхронизирующий импульс с входа 17, задержанный элементом 70 задержки на время срабатывания триггера 64 и дешифратора 93, во-первых, поступает на установочный вход триггера 64 и возвращает его в исходное состояние, а, во-вторых, с выхода 78 модуля 4 поступает на вход 104 модуля 6 и далее проходит через открытый дешифратором 93 соответствующий элемент 96-98 И, и затем поступает на вход соответствующей фиксированной ячейки памяти ПЗУ 94 и считывает ее содержимое на информационный вход регистра 95.
Одновременно с этим, синхронизирующий импульс с входа 104 модуля 6 задерживается элементом 99 на время считывания данных из ПЗУ 94, и поступает на синхронизирующий вход регистра 95, занося в него входные данные кодограммы.
Структура считанной кодограммы имеет следующий вид:
Адрес изображения дорожной разметки на данном участке с выхода 105 модуля 6 поступает на адресный вход 133 блока 7 памяти, на вход 134 считывания которого поступает синхронизирующий импульс с выхода 107 модуля 3.
В результате этого с выхода 135 блока 7 памяти через вход 129 модуля 9 на информационный вход регистра 120 модуля 9 поступает оцифрованное изображение линий разметки дорожной сцены, которое синхронизирующим импульсом с входа 132 модуля 9 заносится в регистр 120 и далее с выхода 20 системы выдается на экран дисплея.
Параллельно с этим, код количественного значения длины участка с отображаемым изображением линий дорожной разметки с выхода 106 модуля 6 через информационный вход 116 модуля 8 поступает на информационный вход регистра 110, в который заносится синхронизирующим импульсом, поступающим с входа 117.
Кроме того, синхронизирующий импульс с входа 117 модуля 8 поступает на прямой вход триггера 113 и устанавливает его в единичное состояние, при котором высоким потенциалом с прямого выхода триггера 113 будет открыт элемент 114 И, на другой вход 118 которого с входа 18 системы поступают импульсы с датчика измерения пройденного транспортным средством пути (на чертеже не показан).
По мере движения транспортного средства импульсы с датчика пройденного пути через элемент 114 ИЛИ поступают на счетный вход счетчика 112, который фиксирует в каждый момент времени перемещение транспортного средства по выбранному маршруту. Показания счетчика 112 поступают на один информационный вход компаратора 111, на другой информационный вход которого поступают показания регистра 110.
Параллельно с поступлением на счетный вход счетчика 112 синхронизирующий импульс с выхода элемента 114 И задерживается элементом 115 на время срабатывания счетчика 112, а затем поступает на синхронизирующий вход компаратора 111. С приходом данного синхронизирующего импульса компаратор 111 сравнивает нарастающие показания счетчика 112 с показаниями регистра 110, и как только транспортное средство проедет заданный участок, показания счетчика 112 станут равны показаниям регистра 110 и на выходе компаратора 111 появляется сигнал, который, во-первых, с выхода 23 системы выдается на табло предупреждения водителя, а, во-вторых, он поступает на установочный вход триггера 113, возвращая его в исходное состояние.
Таким образом, введение новых модулей и новых конструктивных связей позволило существенно повысить надежность системы путем идентификации положения транспортного средства относительно линий разметки дорожной сцены и предупреждения водителя о кризисных ситуациях.
Источники информации, принятые во внимание при составлении описания заявки:
1. Патент РФ №2268499, 2003 г.
2. Патент РФ №2369905, 2008 г.
3. Патент РФ №2520855, 2010 г. (прототип).
4. Конушин А., Киншаков В., Крылов А. Алгоритмы детектирования разметки и дефектов дорожного покрытия. - М.: Изд-во МГУ, 2009