СИСТЕМА ЗАДНЕГО ОБЗОРА ДЛЯ ТРАНСПОРТНОГО СРЕДСТВА

Область техники, к которой относится полезная модель
Полезная модель относится, в основном, к системам видеоконтроля для водителя, в частности, к системе камеры заднего вида, использующей наружную камеру с широким полем обзора вместе с внутренней камерой и дисплеем, передающим водителю контекстную информацию.
Уровень техники
Стандартные видеоустройства, позволяющие водителю контролировать области сзади и по бокам от транспортного средства, включают в себя установленные снаружи зеркала бокового обзора и установленное внутри салона зеркало заднего вида. Пример такого устройства раскрыт в патенте США 5,289,321, опубл. 22.02.1994, который может быть выбран в качестве ближайшего аналога полезной модели. Расположение и формы зеркала были изменены таким образом, чтобы свести количество слепых зон к минимуму. Из-за множества компромиссов между полем обзора, местами установки, а также помехами, создаваемыми другими сплошными элементами конструкции транспортного средства, слепые зоны все же могут остаться. Например, тенденция к увеличению размера подголовника привела к созданию дополнительных помех для обзора через зеркало заднего вида, расположенное по центру. Обзор через зеркало заднего вида может также быть загорожен из-за различных переменных факторов в салоне, например, при наличии пассажиров на заднем сиденье и груза, а также из-за сильного света фар других транспортных средств. Кроме того, размер транспортного средства и/или особенности конструкции могут приводить к тому, что области окон, через которые зеркало заднего вида позволяет контролировать ситуацию снаружи, являются относительно небольшими. Вне зависимости от размера окна, обзор через зеркало заднего вида может быть затруднен из-за накопления пыли, инея или снега на заднем стекле.
Для устранения указанных проблем транспортное средство оборудуют видеокамерами заднего вида с дисплеем, передающим видеоизображение в режиме реального времени на переднюю панель или приборную панель. Как правило, изображение с видеокамеры заднего вида на видеоэкране зеркально отражено в горизонтальной плоскости, чтобы водитель мог видеть зеркальное изображение (т.е., поскольку водитель смотрит в направлении, противоположном направлению камеры, изображение зеркально отражается таким образом, чтобы левая и правая стороны изображении соответствовали левой и правой сторонам от водителя). Экран дисплея заднего вида активируется при включении передачи заднего хода, чтобы водитель знал о наличии каких-либо объектов на траектории движения назад, и, как правило, отключается при движении вперед, так как в этом случае видеоданные могут отвлекать или запутывать водителя, создавая возможные проблемы при объединении изображения камеры заднего вида с мысленной системой координат.
Раскрытие полезной модели
Техническим результатом полезной модели является улучшение обзора пространства вокруг транспортного средства и улучшение ориентирования водителя для интерпретации выводимого изображения. Это достигается путем установки вместо зеркала заднего вида дисплея и/или использования на изображении зрительных ориентиров.
Таким образом, предложена система заднего обзора для транспортного средства, которая включает в себя видеодисплей, установленный в зоне видимости водителя, внешний датчик изображений для фиксации первого изображения, направленного наружу от транспортного средства, с первым полем обзора, внутренний датчик изображений для фиксации второго изображения, направленного внутрь транспортного средства, со вторым полем обзора, а также устройство объединения изображений, выполненное с возможностью объединять первое и второе изображения в соответствии с предварительно заданной настройкой выравнивания первого и второго полей обзора, причем при выводе на видеодисплей второе изображение приглушено, чтобы выделить первое изображение.
Видеодисплей может быть установлен в верхней центральной точке переднего ветрового стекла, соответствующей стандартному расположению зеркала заднего вида.
Датчик изображений может быть встроен в видео дисплей.
Видео дисплей может представлять собой жидкокристаллический дисплей.
Устройство объединения изображений может содержать приложение дополненной реальности.
Первое и второе изображения могут состоять из соответствующих пикселей, а приглушение второго изображения выполнено за счет меньшей интенсивности сигнала пикселей второго изображения на объединенном изображении.
Первое и второе изображения могут состоять из соответствующих пикселей, а приглушение второго изображения выполнено за счет меньшей насыщенности сигнала пикселей второго изображения.
Система может быть выполнена с возможностью регулировки степени приглушения второго изображения.
Приглушение второго изображения может быть обеспечено за счет выполнения частей второго изображения прозрачными.
Устройство объединения изображений может быть выполнено с возможностью идентифицировать во втором изображении выбранные объекты, а прозрачным выполнено все пространство второго изображения за исключением идентифицированных объектов.
Первое и второе поля обзора зафиксированы.
Первое поле обзора может являться регулируемым по направлению относительно транспортного средства, причем первое поле обзора задает видимую область для передачи на видеодисплей, а второе поле обзора наложено на первое поле обзора для объединения второго изображения с первым изображением.
Система может дополнительно включать в себя совокупность внешних датчиков изображений, обеспечивающих суммарную зону обзора и пользовательский человеко-машинный интерфейс для выбора первого поля обзора в рамках суммарной зоны.
Система может дополнительно включать в себя совокупность внешних датчиков изображений, обеспечивающих суммарную зону обзора и автоматический селектор поля обзора для определения первого поля обзора в рамках суммарной зоны в соответствии с характером движения транспортного средства.
Устройство объединения изображений может быть выполнено с возможностью изменять первое или второе изображение или объединенное изображение в целях кодирования информации об объекте, обнаруженном на одном из изображений.
Устройство объединения изображений может быть выполнено с возможностью накладывать на объединенное изображение контрольную метку, определяющую положение.
Краткое описание чертежей
На Фиг. 1 представлена область обзора для водителя в направлении переднего ветрового стекла и зеркала заднего вида.
На Фиг. 2 представлено изображение, которое водитель видит в зеркале заднего вида.
Фиг. 3 представляет собой изображение в режиме реального времени, фиксируемое внешней камерой, направленной назад.
На Фиг. 4 показано объединение изображений от внутренней и внешней камер.
Фиг. 5 представляет собой блок-схему, описывающую предпочтительный вариант устройства согласно полезной модели.
На Фиг. 6 показаны некоторые возможные места установки камеры на транспортном средстве, используемой в соответствии с полезной моделью.
Фиг. 7 представляет собой изображение в режиме реального времени, фиксируемое внешней камерой, направленной в сторону.
Фиг. 8 изображает объединенную зону видимости для внутренней камеры и нескольких внешних камер.
Фиг. 9 изображает выбранное поле обзора внутри объединенной зоны видимости, отображаемое водителю.
Осуществление полезной модели
В первом варианте осуществления полезной модели стандартное (с относительно узким углом) зеркало заднего вида заменено жидкокристаллическим экраном, отображающим вид назад с углом 180° или более с камер(ы), направленных назад и/или вбок. Может быть получен достаточно широкий обзор, за счет чего можно исключить необходимость установки боковых зеркал на дверях. Например, шарнирно установленный плоский экран может иметь такие же размеры, форму, расположение, как и стандартное зеркало заднего вида, и передавать с камеры изображение сзади и/или сбоку транспортного средства в режиме реального времени. Данный подход позволяет получить обзор без помех, создаваемых пассажирами на заднем сиденье, подголовниками или стойками. В холодных климатических условиях линзу камеры можно гораздо быстрее очистить от грязи/инея, чем со всего заднего стекла. Кроме того, изобретение позволяет ослабить конструкционные ограничения, которые влияют на обзор назад/ухудшение видимости при использовании системы зеркал.
Помимо беспрепятственного обзора с наружных камер заднего вида, изобретение дает водителю ориентир относительно транспортного средства, выводя на экран задние подголовники, задние стойки и/или пассажиров, находящихся в поле обзора внутренней камеры. В варианте с прозрачным наложением или затенением изображений подголовников, стоек и пассажиров, получаемых от внутренней камеры, направленной назад, на изображение с наружной камеры, чтобы создать эффект «прозрачности», используется технология дополненной реальности.
Внешний и внутренний датчики изображения могут включать в себя стандартные камеры дневного наблюдения, камеры ночного наблюдения, датчики обнаружения объектов в слепых зонах, датчики обнаружения движения в поперечном направлении, а также комбинации указанных устройств. Одна или несколько таких камер может дополнительно иметь регулируемое фокусное расстояние (при цифровой обработке видимых или прозрачных изображений), управляемое водителем или автоматической системой. Когда для получения более широкой зоны обзора используют несколько внешних камер, отдельные изображения повторно обрабатываются, что позволяет органично объединить виды сбоку и сзади. При наличии прицепа для получения вида сзади без помех на задней части прицепа может быть установлена дополнительная камера.
Видеодисплей предпочтительно может представлять собой один или более жидкокристаллических экранов и светодиодных панелей или аналогичное пиксельное устройство (устройства), устанавливаемое на месте зеркала заднего вида или в других соответствующих местах обзора. В качестве альтернативы для проецирования изображения на переднее стекло или на отражатель, установленный в положение, аналогичное положению зеркала заднего вида, может быть использована панель отображения показаний приборов на переднем ветровом стекле.
Внутренний датчик изображения или камеру предпочтительно устанавливают на дисплей заднего вида в пассажирском салоне или рядом с ним, для создания изображения пассажиров на заднем сиденье, подголовников, стоек, которое должно быть использовано в качестве системы ориентиров. Прозрачное внутреннее изображение накладывается на изображение заднего вида. Таким образом, водителю отображается изображение, полученное с помощью технологии дополненной реальности, которое аналогично виду, получаемому с помощью стандартного зеркала заднего вида, при этом водитель может видеть сквозь объекты внутри салона транспортного средства, которые в противном случае создавали бы помехи обзору области снаружи, при этом сохраняется восприятие внутренних объектов, что упрощает определение расстояния и ориентации в пространстве.
На Фиг. 1 представлено стандартное зеркало 10 заднего вида, устанавливаемое с помощью штанги 11 на потолок 12 салона в верхней центральной области ветрового стекла 13. Водитель видит дорогу 14 перед собой непосредственно через ветровое стекло 13 и видит в зеркале 10 изображение 15 объектов, расположенных сзади транспортного средства. Фиг. 2 представляет собой стандартное изображение 15, видимое в зеркале заднего вида, включающее изображение буксируемого транспортного средства 16, видимое в заднее окно 17. Также видны стойки 18 и пассажиры 19, сидящие на заднем сиденье, которые загораживают часть области заднего вида для водителя.
Фиг. 3 представляет собой изображение 20 от камеры заднего вида, устанавливаемой снаружи транспортного средства, которая позволяет получить в режиме реального времени четкое и неограниченное изображение области позади транспортного средства. Изображение 20 зеркально отражено в горизонтальной плоскости, что позволяет получить изображение, соответствующее виду в зеркале, который видел бы водитель. Широкая зона обзора может быть достигнута за счет использования нескольких датчиков изображения и/или широкоугольных объективов. Все или часть полученных изображений могут быть воспроизведены на дисплее (например, по выбору водителя).
Как описано выше, при воспроизведении изображения с Фиг. 3 отсутствует автоматическая система ориентиров, изначально получаемая водителем при использовании зеркала заднего вида. Изобретение позволяет создать такую систему ориентиров путем использования технологии объединения изображений, как показано на Фиг. 4. В этой технологии в дополнение к внешнему изображению 20, получаемому от одного или более датчиков изображения, одновременно получают изображение 21 внутри транспортного средства с помощью внутреннего датчика изображения, предпочтительно устанавливаемого на стандартном месте расположения зеркала заднего вида или рядом с ним. Объекты, присутствующие на внутреннем изображении 21, включают в себя заднее окно 22, стойки 23, панель 24 крыши кузова, пассажира 19, а также заднее сиденье и подголовники 25. Внутренним датчиком изображений также могут быть обнаружены другие внутренние объекты, такие как пассажиры на заднем сиденье или подголовники (не показаны), и внешние объекты, такие как багажник транспортного средства, дорожное полотно или расположенные рядом транспортные средства (не показаны). Как описано выше, некоторые обнаруженные объекты при необходимости могут быть удалены из внутреннего изображения транспортного средства за счет кадрирования. При подготовке к объединению с зеркально отраженными в горизонтальной плоскости задними видами внешней камеры, внутреннее изображение 21 зеркально отражают в горизонтальной плоскости.
Перед наложением на внешнее изображение 20 внутреннее изображение 21 дополнительно изменяется за счет приглушения таким образом, чтобы выделить внешнее изображение на объединенном изображении, выводимом на видеодисплей. В частности, каждое изображение 20 и 21 состоит из соответствующих пикселей. В процессе объединения, по крайней мере, некоторые пиксели внутреннего изображения 21 соотносятся и добавляются к его соответствующим пикселям внешнего изображения 20. Приглушение может включать в себя снижение интенсивности каждого пикселя во внутреннем изображении перед добавлением каждого пикселя к соответствующим пикселям внешнего изображения. В другом варианте для приглушения внутреннего изображения на окончательном объединенном изображении 26 может быть уменьшена цветовая насыщенность каждого пикселя внутреннего изображения.
Степень приглушения или создания прозрачного внутреннего изображения может быть фиксированной или настраиваемой. В одном из вариантов она может быть отрегулирована вручную водителем с помощью HMI-интерфейса, например, кнопок управления, сенсорного экрана или устройства речевого управления. Таким образом, водитель может сделать изображение пассажира более или менее прозрачным в соответствии с текущими условиями или, например, при необходимости следить за ребенком, сидящем в транспортном средстве. В качестве альтернативы степень приглушения может быть регулироваться автоматически, например: 1) внутреннее изображение или его часть может быть сделано менее прозрачным при обнаружении сигнала (например, с помощью микрофона) о том, что пассажир на заднем сиденье начинает говорить, или 2) внутреннее изображение может быть сделано более прозрачным при обнаружении предупредительного сигнала или сделано менее прозрачным относительно внешнего объекта, например, другого транспортного средства, расположенного на пути движения.
Кроме приглушения внутреннего изображения, процесс наложения внутреннего изображения на внешнее изображение включает в себя процесс регистрации, в ходе которого для обеспечения совмещения полей обзора внешнего и внутреннего датчиков изображения совмещаются в соответствии с предварительно определенной настройкой выравнивания. Таким образом, наложенное изображение 27, появляющееся на объединенном изображении 26, будет иметь правильное расположение на внешнем изображении 20, при котором объект, например, автомобиль 28, на внешнем изображении будет расположен относительно заднего окна 22 в том же месте, что и при использовании стандартного зеркала заднего вида. При условии, что внутреннее изображение 21 включает в себя объект, видимый сзади транспортного средства, приглушенная проекция объекта также будет помещена на объединенное изображение, чтобы соответствовать виду объекта на внешнем изображении. Видя относительное положение объектов на изображении с внешней камеры и учитывая линию взгляда, определенную добавлением объектов с внутреннего изображения, водитель лучше понимает положение своего транспортного средства относительно всех объектов, увиденных на объединенном изображении.
На Фиг. 5 показан предпочтительный вариант реализации устройства, соответствующего предложенному решению. Система 30 заднего обзора включает в себя один или несколько внешних датчиков изображения или камер 31, а также внутренний датчик изображения или камеру 32, каждая из которых соединена с модулем 33 объединения изображений. Модуль 33 предпочтительно может включать в себя микроконтроллер, выполненный таким образом, чтобы на нем можно было запускать приложение дополненной реальности такого типа, которое может быть модифицировано с помощью общедоступных инструментов, например, свободного программного обеспечения ARToolKit или ATOMIC Authoring Tool, а также VYZAR, предоставляемого компанией Limitless Computing, Inc. Модуль 33 соединен с видео дисплеем 34 через систему 35 электрического распределения и электронного управления транспортного средства. Видеодисплей 34 может представлять собой светодиодный дисплей, расположенный, например, в месте установки стандартного зеркала заднего вида. Могут быть использованы другие типы дисплея, такие как жидкокристаллический или проекционный дисплей, и/или другие места установки, например, приборная панель, другие места на переднем ветровом стекле или боковом зеркале. Модуль 33 объединения изображений и/или система 35 электронного управления могут взаимодействовать с пользователем или водителем 36 с помощью сенсорного экрана HMI-интерфейса 37 и/или управляемых пользователем переключателей 38 для выбора и/или регулировки различных параметров или функций системы заднего вида. Для того чтобы активировать или деактивировать некоторые настройки или функции в зависимости от того, движется ли транспортное средство, в систему управления также может входить замок 39 зажигания транспортного средства.
Модуль 30 объединения изображений может выполнять множество функций, в частности, вычисления, управление изображениями, включая зеркальное отражение изображения в горизонтальной плоскости, регистрацию изображений для совмещения полей обзора, управление значениями пикселей изображения для приглушения внутреннего изображения, обнаружение объекта для его удаления или выделения на изображении, а также соединение изображений от отдельных камер с разными полями обзора в общую зону видимости.
При кадрировании изображения, как указано выше, модуль 33 объединения изображений идентифицирует выделенные объекты во внутреннем изображении, затем делает прозрачными все сегменты внутреннего изображения, не содержащие идентифицированных объектов. Выбранные объекты предпочтительно могут представлять собой элементы конструкции транспортного средства, например, стойки и подголовники, а также пассажиров на заднем сиденье, которые остаются видимыми, чтобы водитель мог поддерживать с ними визуальный контакт.
На Фиг. 6 показаны различные варианты установки камеры в транспортном средстве 45. Видеодисплей 46 установлен в верхней центральной точке переднего ветрового стекла 47, соответствующей месту расположения стандартного зеркала заднего вида. Внутренний датчик 48 изображения конструктивно может быть встроен в видеодисплей 46, может быть размещен на нем или рядом с ним, чтобы фиксировать изображения внутри транспортного средства в соответствии с внутренним полем обзора 50. Чем ближе место расположения датчика 48 к месту расположения стандартного зеркала заднего вида, тем лучше система ориентиров, которая будет создана для водителя, хотя также могут быть использованы и другие места расположения, например, консоль над ветровым стеклом или задняя сторона подголовника переднего сиденья.
Первый внешний датчик 51 изображения установлен в центральном заднем положении на транспортном средстве 45, чтобы фиксировать наружное поле обзора 52. Для увеличения суммарного охвата зоны видимости в задних углах могут быть установлены дополнительные внешние датчики 53 и 54 транспортного средства 46, которые фиксируют отдельные внешние изображения, соответствующие полям обзора 55 и 56. Боковой наружный обзор может быть увеличен при использовании бокового зеркала или установленных на дверях внешних датчиков 57 и 58 с соответствующими полями обзора 60 и 61. На Фиг. 7 показано поле обзора, которое в большей степени направлено вбок, получаемое от установленного на боковой стороне внешнего датчика изображения, формирующего внешнее изображение 62. Внешнее изображение 62 может быть совмещено с другими наружными видами от других датчиков изображения с помощью, например, модуля объединения изображений.
На Фиг. 8 показан вариант реализации, в котором размещенное по центру внешнее поле 65 обзора соответствует размещенной по центру камере, и в котором области 66 и 67 соответствуют левому и правому полям обзора с размещенных в задних углах внешних датчиков. Датчики могут быть размещены таким образом, чтобы обеспечить перекрывание полей обзора в областях 68 и 69. Обозначенный пунктиром блок 70 показывает область, где поле обзора для устанавливаемого внутри салона датчика изображения совмещено с полями 65-67 обзора с учетом конкретного расположения внутреннего датчика изображения. В случае если внутренний датчик изображения смонтирован на поворотном дисплее (как регулируемое зеркало заднего вида) так, что его направление наблюдения изменяется, могут быть предусмотрены другие способы определения соответствующего расположения внутреннего поля обзора 70 относительно полей 65-67 обзора внешних датчиков.
В простейшем варианте реализации все датчики изображения могут быть фиксированными, при этом изображение с каждого из них будет всегда находиться в одном и том же положении на дисплее. В других вариантах отображаемая информация может быть панорамирована или масштабирована для отслеживания интересующих зон. Таким образом, для воспроизведения на видеодисплее, как показано на Фиг. 9, может быть определена видимая область 71 внутри доступной объединенной зоны видимости всех датчиков изображения. Выбранная часть 71 может быть указана водителем с помощью HMI-интерфейса с Фиг. 5 или может быть автоматически определена контроллером в системе заднего обзора или другой системе электронного управления транспортного средства в соответствии с текущей дорожной ситуацией. Выбранные виды и соответствующие условия движения могут включать в себя: 1) вид по центру при движении задним ходом, 2) вид, направленный вправо или влево, при определении возможности перестроения в другой ряд, 3) изменение ширины (то есть, увеличение) вида, при котором угловое поле обзора уменьшается по мере увеличения скорости движения вперед.
В процессе регистрации могут быть зафиксированы поля обзора внешнего датчика изображения и внутреннего датчика изображения. В этом случае регистрация или предварительно заданная настройка совмещения изображений может включать в себя стандартный способ сопоставления, хранящийся в модуле 33 объединения изображений. В случае с выбираемым или регулируемым полем обзора желаемого визуального изображения с внешних датчиков изображения, поле обзора для внутреннего датчика изображения соответствующим образом сопоставляется с желаемой областью для объединения внутреннего и внешнего изображения.
Модуль 33 объединения изображений может быть также выполнен с возможностью выполнять наложение на объединенное изображение контрольных меток расположения. Таким образом, как показано на Фиг. 9, метка 72 сопоставляется с участком на объединенном изображении, который соответствует участку, расположенному на фиксированном расстоянии от центра транспортного средства. Это позволяет обеспечить более точную систему ориентиров для водителя.
Система заднего обзора, описанная выше, для получения дополнительных преимуществ может быть объединена с другими системами транспортного средства. Например, может быть установлена система оповещения об опасности столкновения, которая обнаруживает другие транспортные средства, находящиеся на траектории движения транспортного средства с установленной системой, за счет контроля скорости и траектории движения находящихся рядом транспортных средств. Транспортное средство, с которым может произойти столкновение, будет выделено на объединенном изображении. Предупреждение может быть выдано водителю также с помощью звукового сигнала.
Другой системой, которая может быть установлена вместе с системой заднего вида, является система перестроения в другой ряд, использующая принцип регулирования «да-нет». Когда водитель начинает производить перестроение в другой ряд, процессор обработки изображений проверяет изображения с внешних камер, чтобы определить, свободен ли участок дороги, на который будет производиться перестроение, от других транспортных средств (включая траекторию движения транспортных средств, приближающихся к участку дороги). Если входные данные от водителя (угол поворота рулевого колеса, скорость рыскания, скорость транспортного средства и т.д.) рассчитаны так, что транспортное средство перестраивается на участок дороги, который предположительно не будет свободен, могут быть включены различные устройства обратной связи для водителя, например, выделение на дисплее транспортного средства, потенциально мешающего перестроению в другой ряд (например, за счет отображения его контура, предупреждающей стрелки или мигающего изображения).
Изобретение предпочтительно включает в себя функцию уменьшения яркости света. При движении в ночное время вместо затемнения всего изображения в определенной зоне ослепляющий свет фар может быть обнаружен и «ослаблен», а остальная часть изображения будет оставаться видимой настолько, насколько возможно. Также могут быть использованы другие функции процессора обработки изображений на основании локальных помех, например, корректировка искажения изображения из-за капель дождя.
Движение в ночное время также может включать в себя функцию ночного наблюдения. Камеры ночного наблюдения (например, инфракрасные) могут быть использованы для получения изображения лучшего качества по сравнению с изображением, полученным от камер дневного наблюдения, либо они могут быть использованы вместе с камерами дневного наблюдения для повышения качества изображения. Таким образом, внешнее изображение может само быть сборным изображением, использующим наложение изображений от нескольких датчиков, например, камеры дневного наблюдения, тепловизора и/или инфракрасной камеры в целях увеличения видимости пространства снаружи.
Кроме того, может быть предусмотрена функция быстрой очистки для удаления влаги, снега и инея с объектива внешней камеры. Благодаря меньшей поверхности очистки или размораживания, задний обзор может быть восстановлен очень быстро. Механизмы очистки объективов могут включать в себя омыватели, миниатюрные дворники, нагревательные элементы. Кроме того, камера (камеры) может быть установлена в местах, где аэродинамические системы транспортного средства естественным образом обеспечивают чистоту объективов.
Несмотря на то, что полезная модель была описана в качестве замены для водительского зеркала заднего вида, она также может быть использована вместе с системами наружного обзора для других пассажиров транспортного средства, например, пассажира на заднем сиденье. Наружный обзор для пассажира на заднем сиденье может быть выполнен с помощью камер, направленных вперед, или камер, направленных назад (при этом внутреннее изображение предпочтительно должно быть направлено в этом же направлении).