УСТРОЙСТВО ВЫЧИСЛЕНИЯ СОБСТВЕННОГО ПОЛОЖЕНИЯ И СПОСОБ ВЫЧИСЛЕНИЯ СОБСТВЕННОГО ПОЛОЖЕНИЯ
DEVICE FOR CALCULATION OF OWN POSITION AND METHOD OF CALCULATION OF OWN STATUS

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0001] Настоящее изобретение относится к устройству вычисления собственного положения и к способу вычисления собственного положения.
УРОВЕНЬ ТЕХНИКИ
[0002] Известен способ, в котором: камеры, установленные в транспортном средстве, захватывают и получают изображения окружения транспортного средства; и величина перемещения транспортного средства получается на основе изменений в изображениях (см. патентную литературу 1). Патентная литература 1 нацелена на получение величины перемещения транспортного средства точно, даже если транспортное средство перемещается незначительно на медленной скорости. С этой целью, обнаруживается характеристическая точка из каждого изображения, получается положение характеристической точки, и затем, величина перемещения транспортного средства получается из направления и расстояния перемещения (величины перемещения) характеристической точки.
[0003] В дополнение, известен способ выполнения трехмерного измерения с использованием лазерного светового проектора для проецирования лазерного света в решеточной структуре (структурированного светового пучка) (см. патентную литературу 2). Согласно патентной литературе 2, изображение области проецируемого структурированного светового пучка захватывается с помощью камеры; структурированный световой пучок извлекается из захваченного изображения; и поведение транспортного средства получается из положений структурированного светового пучка.
СПИСОК ССЫЛОЧНЫХ МАТЕРИАЛОВ
ПАТЕНТНАЯ ЛИТЕРАТУРА
[0004] Патентная литература 1: Публикация японской патентной заявки, номер 2008-175717
Патентная литература 2: Публикация японской патентной заявки, номер 2007-278951
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0005] В случае, когда, однако, используется способ, описанный в патентной литературе 1, для обнаружения характеристической точки на поверхности дороги в той же области, что и область проецируемого структурированного светового пучка, описанного в патентной литературе 2, является трудным различать между структурированным световым пучком и характеристической точкой. С другой стороны, в случае обнаружения характеристической точки на поверхности дороги в области вдали от области, куда проецируемый структурированный световой пучок проецируется, ошибка в вычислении величины перемещения характеристической точки становится более большой.
[0006] С учетом вышеописанных проблем, задача настоящего изобретения состоит в том, чтобы обеспечить устройство вычисления собственного положения и способ вычисления собственного положения, которые способны легко идентифицировать характеристические точки при различении между характеристическими точками и структурированным световым пучком, и тем самым способны точно вычислять собственное положение транспортного средства.
[0007] Устройство вычисления собственного положения первого аспекта настоящего изобретения проецирует структурированный световой пучок на поверхность дороги около транспортного средства; захватывает и, таким образом, получает изображение поверхности дороги около транспортного средства, охватывающее область, куда проецируемый структурированный световой пучок проецируется; вычисляет угол ориентации транспортного средства по отношению к поверхности дороги из формы структурированного светового пучка на полученном изображении; обнаруживает множество характеристических точек на поверхности дороги из полученного изображения; вычисляет величину изменения в ориентации транспортного средства на основе временных изменений в множестве обнаруженных характеристических точек на поверхности дороги; и вычисляет текущее положение и текущий угол ориентации транспортного средства посредством добавления величины изменения в ориентации к начальному положению и начальному углу ориентации транспортного средства по отношению к поверхности дороги. Проецирование структурированного светового пучка достигается посредством избирательного проецирования структурированного светового пучка на конкретную область проецирования структурированного светового пучка из множества областей проецирования структурированного светового пучка в зависимости от того, как характеристические точки на поверхности дороги обнаруживаются посредством средства обнаружения характеристических точек.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0008] [Фиг. 1] Фиг. 1 является блок-схемой, показывающей полную конфигурацию устройства вычисления собственного положения первого варианта осуществления.
[Фиг. 2] Фиг. 2 является внешним видом, показывающим пример того, как световой проектор и камера установлены в транспортном средстве.
[Фиг. 3] Фиг. 3(a) является диаграммой, показывающей то, как положение областей световых пятен на поверхности дороги вычисляется с использованием светового проектора и камеры. Фиг. 3(b) является диаграммой, показывающей то, как направление перемещения камеры получается из временных изменений в характеристической точке, которая обнаруживается вне области проецируемого структурированного светового пучка.
[Фиг. 4] Фиг. 4 является диаграммой, показывающей изображение структурированного светового пучка, которое получается посредством применения обработки преобразования в двоичную форму к изображению, полученному с помощью камеры. Фиг. 4(a) является диаграммой, показывающей весь структурированный световой пучок. Фиг. 4(b) является увеличенной диаграммой, показывающей одно световое пятно. Фиг. 4(c) является диаграммой, показывающей положение центра масс световых пятен.
[Фиг. 5] Фиг. 5 является схематической диаграммой для описания способа вычисления величин изменений в расстоянии и угле ориентации.
[Фиг. 6] Фиг. 6 является диаграммой, показывающей характеристические точки, обнаруженные на изображении. Фиг. 6(a) является диаграммой, показывающей первый кадр (изображение), полученный в момент времени t. Фиг. 6(b) является диаграммой, показывающей второй кадр, полученный в момент времени t+Δt.
[Фиг. 7] Фиг. 7(a) является диаграммой, показывающей изображение, полученное посредством камеры. Фиг. 7(b) является диаграммой, показывающей изображение структурированного светового пучка, которое получается посредством применения обработки преобразования в двоичную форму к изображению, полученному посредством камеры. Фиг. 7(c) является диаграммой, показывающей результат обнаружения характеристических точек.
[Фиг. 8] Фиг. 8 является схематической диаграммой, показывающей пример областей проецирования структурированного светового пучка, разделенных в вертикальном направлении и направлении слева направо.
[Фиг. 9] Фиг. 9(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 9(b) является схематической диаграммой, показывающей пример выбранной области проецирования структурированного светового пучка.
[Фиг. 10] Фиг. 10(a) является графиком, показывающим то, как выбранная область проецирования структурированного светового пучка изменяется от одной к другой с течением времени. Фиг. 10(b) является графиком, показывающим временное изменение в количестве характеристических точек, обнаруженных из каждой области проецирования структурированного светового пучка.
[Фиг. 11] Фиг. 11 является блок-схемой последовательности операций для описания примера способа вычисления собственного положения первого варианта осуществления.
[Фиг. 12] Фиг. 12 является блок-схемой последовательности операций, показывающей подробности этапа S01.
[Фиг. 13] Фиг. 13(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 13(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.
[Фиг. 14] Фиг. 14(a) является графиком, показывающим то, как флаг светового проецирования для каждой области проецирования структурированного светового пучка изменяется с течением времени. Фиг. 14(b) является графиком, показывающим временное изменение в количестве характеристических точек, обнаруженных из каждой области проецирования структурированного светового пучка.
[Фиг. 15] Фиг. 15 является схематической диаграммой, показывающей пример областей проецирования структурированного светового пучка, расположенных чередующимся образом одна после другой как продольные полосы.
[Фиг. 16] Фиг. 16(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 16(b) является схематической диаграммой, показывающей пример выбранного набора областей проецирования структурированного светового пучка.
[Фиг. 17] Фиг. 17(a) является графиком, показывающим то, как выбранный набор областей проецирования структурированного светового пучка изменяется от одной к другой с течением времени. Фиг. 17(b) является графиком, показывающим временное изменение в количестве характеристических точек, обнаруженных из каждого набора областей проецирования структурированного светового пучка.
[Фиг. 18] Фиг. 18 является схематической диаграммой, показывающей пример двух областей проецирования структурированного светового пучка, разделенных в направлении слева направо.
[Фиг. 19] Фиг. 19(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 19(b) является схематической диаграммой, показывающей пример выбранной области проецирования структурированного светового пучка.
[Фиг. 20] Фиг. 20 является схематической диаграммой, показывающей пример областей проецируемых световых пятен.
[Фиг. 21] Фиг. 21(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 21(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.
[Фиг. 22] Фиг. 22(a) является графиком, показывающим то, как флаг светового проецирования для каждого светового пятна изменяется с течением времени. Фиг. 22(b) является графиком, показывающим то, как результат определения того, существует ли или нет характеристическая точка в положении каждого светового пятна, изменяется с течением времени.
[Фиг. 23] Фиг. 23 является блок-схемой, показывающей полную конфигурацию устройства вычисления собственного положения второго варианта осуществления.
[Фиг. 24] Фиг. 24(a) является схематической диаграммой, показывающей пример обнаруженных характеристических точек. Фиг. 24(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.
[Фиг. 25] Фиг. 25(a) является графиком, показывающим то, как флаг светового проецирования для каждого светового пятна изменяется с течением времени. Фиг. 25(b) является графиком, показывающим то, как результат оценки того, существует ли или нет характеристическая точка в положении каждого светового пятна, изменяется с течением времени.
[Фиг. 26] Фиг. 26 является блок-схемой последовательности операций, показывающей пример подробностей этапа S01 второго варианта осуществления.
[Фиг. 27] Фиг. 27 является схематической диаграммой, показывающей пример четырех областей проецирования структурированного светового пучка, разделенных в направлении ширины транспортного средства.
[Фиг. 28] Фиг. 28(a) является схематической диаграммой, показывающей способ установки областей предсказания увеличения/уменьшения характеристических точек, и пример обнаруженных характеристических точек. Фиг. 28(b) является схематической диаграммой, показывающей пример выбранных областей проецирования структурированного светового пучка.
[Фиг. 29] Фиг. 29(a) является графиком, показывающим то, как флаг светового проецирования для каждого светового пятна изменяется с течением времени. Фиг. 29(b) является графиком, показывающим то, как результат определения того, существуют ли или нет характеристические точки в каждой области предсказания увеличения/уменьшения характеристических точек, изменяется с течением времени.
[Фиг. 30] Фиг. 30 показывает пример блок-схемы последовательности операций, чтобы следовать, когда определяется, вычислять ли угол и ориентацию по отношению к поверхности дороги.
ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0009] Как показано на чертежах, ниже будут обеспечиваться описания для первого и второго вариантов осуществления, к которым настоящее изобретение применимо.
[0010] [ПЕРВЫЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ]
[АППАРАТНАЯ КОНФИГУРАЦИЯ]
Сначала, как показано на фиг. 1, описания будут обеспечиваться для аппаратной конфигурации устройства вычисления собственного положения первого варианта осуществления. Устройство вычисления собственного положения включает в себя световой проектор 11, камеру 12 и блок 13 управления двигателем (ECU). Световой проектор 11 установлен в транспортном средстве, и проецирует структурированный световой пучок на поверхность дороги около транспортного средства. Камера 12 установлена в транспортном средстве, и является примером блока захвата изображений, выполненного с возможностью захватывать и, таким образом, получать изображения поверхности дороги около транспортного средства, включая сюда область проецируемого структурированного светового пучка. ECU 13 является примером контроллера, выполненного с возможностью управлять световым проектором 11, и выполнять последовательность циклов обработки информации для вычисления собственного положения транспортного средства из изображений, полученных с помощью камеры 12.
[0011] Камера 12 является цифровой камерой с использованием твердотельного датчика изображений, такого как CCD и CMOS, и получает пригодные для обработки цифровые изображения. То, что захватывает камера 12, является поверхностью дороги около транспортного средства. Поверхность дороги около транспортного средства включает в себя поверхности дороги спереди, сзади, сбоку, и под транспортным средством. Как показано на фиг. 2, камера 12 может быть установлена во фронтальной секции транспортного средства 10, более конкретно над фронтальным бампером, например. Высота и направление, в котором устанавливается камера 12, регулируются таким способом, который обеспечивает возможность камере 12 захватывать изображения характеристических точек (текстуры) на поверхности 31 дороги впереди транспортного средства 10 и структурированного светового пучка 32b, проецируемого из светового проектора 11. Фокус и диафрагма объектива камеры 12 также регулируются автоматически. Камера 12 многократно захватывает изображения с предварительно определенными временными интервалами, и тем самым получает последовательность групп изображений (кадров). Каждый раз, когда камера 12 захватывает изображение, данные изображения, полученные с помощью камеры 12, передаются в ECU 13, и сохраняются в памяти, включенной в ECU 13.
[0012] Как показано на фиг. 2, световой проектор 11 проецирует структурированный световой пучок 32b, имеющий предварительно определенную форму, включая сюда квадратную или прямоугольную решеточную форму, на поверхность 31 дороги в пределах диапазона захвата изображений камеры 12. Камера 12 захватывает изображения структурированного светового пучка, проецируемого на поверхность 31 дороги. Световой проектор 11 включает в себя лазерный указатель и дифракционную решетку, например. Дифракционная решетка дифрагирует лазерный луч, проецируемый из указателя. Тем самым, как показано на фиг. 2 по 4, световой проектор 11 генерирует структурированный световой пучок (32b, 32a), который включает в себя множество световых пятен, расположенных в решеточной или матричной структуре. В примерах, показанных на фиг. 3 и 4, световой проектор 11 генерирует структурированный световой пучок 32a, включающий в себя 5×7 световых пятен.
[0013] Возвращаясь к фиг. 1, ECU 13 включает в себя CPU, память, и микроконтроллер, включающий в себя секцию ввода-вывода. Посредством исполнения предварительно установленных компьютерных программ, ECU 13 формирует множество информационных процессоров, которые функционируют как устройство вычисления собственного положения. Для каждого изображения (кадра), ECU 13 многократно выполняет последовательность циклов обработки информации для вычисления собственного положения транспортного средства из изображений, полученных с помощью камеры 12. В этой связи, ECU 13 также может использоваться в качестве ECU для управления другими системами транспортного средства 10.
[0014] В этом отношении, множество информационных процессоров включают в себя средство 21 извлечения структурированного светового пучка, средство 22 вычисления угла ориентации, средство обнаружения 23 характеристических точек, средство 24 вычисления величины изменения ориентации, средство 25 вычисления собственного положения, и контроллер 26 структурированного светового пучка.
[0015] Средство 21 извлечения структурированного светового пучка считывает изображение, полученное с помощью камеры 12, из памяти, и извлекает положение структурированного светового пучка из этого изображения. Например, как показано на фиг. 3(a), световой проектор 11 проецирует структурированный световой пучок 32a, который включает в себя множество световых пятен, расположенных в матричной структуре, на поверхность 31 дороги, в то время как камера 12 обнаруживает структурированный световой пучок 32a, отраженный от поверхности 31 дороги. Средство 21 извлечения структурированного светового пучка применяет обработку преобразования в двоичную форму к изображению, полученному с помощью камеры 12, итем самым извлекает только изображение световых пятен Sp, как показано на фиг. 4(a) и 4(b). После этого, как показано на фиг. 4(c), средство 21 извлечения структурированного светового пучка извлекает положение структурированного светового пучка 32a посредством вычисления положения центра масс He каждого светового пятна Sp, то есть, можно сказать, координат (Uj, Vj) каждого светового пятна Sp на изображении. Координаты выражаются с использованием числа, назначенного соответствующему пикселю в датчике изображений камеры 12. В случае, когда структурированный световой пучок включает в себя 5×7 световых пятен Sp, "j" является целым числом, не меньшим, чем 1, но не большим, чем 35. Память хранит координаты (Uj, Vj) светового пятна Sp на изображении как данные о положении структурированного светового пучка 32a.
[0016] Средство 22 вычисления угла ориентации считывает данные о положении структурированного светового пучка 32a из памяти, и вычисляет расстояние и угол ориентации транспортного средства 10 по отношению к поверхности 31 дороги из положения структурированного светового пучка 32a на изображении, полученном с помощью камеры 12. Например, как показано на фиг. 3(a), с использованием тригонометрического принципа измерения, средство 22 вычисления угла ориентации вычисляет положение каждой области светового пятна на поверхности 31 дороги, как положение области светового пятна по отношению к камере 12, из базовой длины Lb между световым проектором 11 и камерой 12, также как координат (Uj, Vj) каждого светового пятна на изображении. После этого, средство 22 вычисления угла ориентации вычисляет уравнение плоскости поверхности 31 дороги, на которую структурированный световой пучок 32a проецируется, то есть, можно сказать, расстояние и угол ориентации (вектор нормали) камеры 12 по отношению к поверхности 31 дороги, из положения каждого светового пятна по отношению к камере 12.
[0017] Следует отметить, что в варианте осуществления, расстояние и угол ориентации камеры 12 по отношению к поверхности 31 дороги вычисляются в качестве примера расстояния и угла ориентации транспортного средства 10 по отношению к поверхности 31 дороги, так как положение установки камеры 12 в транспортном средстве 10 и угол для камеры 12 для захвата изображений являются уже известными. Другими словами, расстояние между поверхностью 31 дороги и транспортным средством 10, также как угол ориентации транспортного средства 10 по отношению к поверхности 31 дороги могут получаться посредством вычисления расстояния и угла ориентации камеры 12 по отношению к поверхности 31 дороги.
[0018] Выражаясь более конкретно, так как камера 12 и световой проектор 11 фиксированы на транспортном средстве 10, направление, в котором проецируется структурированный световой пучок 32a и расстояние (базовая длина Lb) между камерой 12 и световым проектором 11 являются уже известными. По этой причине, с использованием тригонометрического принципа измерения, средство 22 вычисления угла ориентации способно получать положение каждой области светового пятна на поверхности 31 дороги, как положение (Xj, Yj, Zj) каждого светового пятна по отношению к камере 12, из координат (Uj, Vj) каждого светового пятна на изображении. В дальнейшем, расстояние и угол ориентации камеры 12 по отношению к поверхности 31 дороги будут сокращаться как "расстояние и угол ориентации". Расстояние и угол ориентации, вычисленные посредством средства 22 вычисления угла ориентации, сохраняются в памяти.
[0019] Следует отметить, что описания обеспечиваются для варианта осуществления, в котором расстояние и угол ориентации вычисляются в каждом цикле обработки информации.
[0020] Дополнительно, во многих случаях, положение (Xj, Yj, Zj) каждого светового пятна по отношению к камере 12 не лежит на одной и той же плоскости. Это из-за того, что относительное положение каждого светового пятна изменяется согласно неравномерности асфальта поверхности 31 дороги. По этой причине, может использоваться способ наименьших квадратов, чтобы получать уравнение плоскости, которое минимизирует сумму квадратов разности расстояния каждого светового пятна. Данные о таким образом вычисленных расстоянии и угле ориентации используются средством 25 вычисления собственного положения, показанным на фиг. 1.
[0021] Средство обнаружения 23 характеристических точек считывает изображение, полученное с помощью камеры 12, из памяти, и обнаруживает характеристические точки на поверхности 31 дороги из изображения, считанного из памяти. Чтобы обнаруживать характеристические точки на поверхности 31 дороги, средство обнаружения 23 характеристических точек может использовать способ, описанный в "D. G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Int. J. Comput. Vis., vol. 60, no. 2, pp. 91-110, Nov. 200". В ином случае, средство обнаружения 23 характеристических точек может использовать способ, описанный в "Kanazawa Yasushi, Kanatani Kenichi, "Detection of Feature Points for Computer Vision", IEICE Journal, vol. 87, no. 12, pp. 1043-1048, Dec. 2004".
[0022] Выражаясь более конкретно, например, средство обнаружения 23 характеристических точек использует оператор Харриса или оператор SUSAN, так как в качестве характеристических точек обнаруживаются те точки, как, например, вершины объекта, значения освещенности которых в значительной степени отличаются от значений освещенности окрестностей упомянутых точек. Вместо этого, однако, средство обнаружения 23 характеристических точек может использовать величину признаков SIFT (преобразования масштабно инвариантных признаков), чтобы точки около которых значения освещенности изменяются с некоторой регулярностью, обнаруживались в качестве характеристических точек. После обнаружения характеристических точек, средство обнаружения 23 характеристических точек подсчитывает полное количество N характеристических точек, обнаруженных из одного изображения, и назначает идентификационные номера (i (1≤i≤N)) соответствующим характеристическим точкам. Положение (Ui, Vi) каждой характеристической точки на изображении сохраняются в памяти внутри ECU 13. Фиг. 6(a) и 6(b), каждая показывает примеры характеристических точек Te, которые обнаружены из изображения, захваченного с помощью камеры 12. Дополнительно, на фиг. 6(a) и 6(b), направления изменений, и величины изменений в, характеристических точек Te выражены с помощью векторов Dte, соответственно.
[0023] Следует отметить, что настоящий вариант осуществления трактует частицы асфальтовой смеси с размером частицы не меньше, чем 1 см, но не больше, чем 2 см в качестве характеристических точек на поверхности 31 дороги. Камера 12 использует режим разрешения VGA (приблизительно 300 тысяч пикселей), чтобы обнаруживать характеристические точки. В дополнение, расстояние от камеры 12 до поверхности 31 дороги равно приблизительно 70 см. Более того, направление, в котором камера 12 захватывает изображения, наклонено на приблизительно 45 градусов к поверхности 31 дороги от горизонтальной плоскости. Кроме того, значение освещенности каждого изображения, захваченного с помощью камеры 12 и после этого посланного в ECU 13, находится в пределах диапазона от 0 до 255 (0: самый темный, 255: самый яркий).
[0024] Средство 24 вычисления величины изменения ориентации считывает, из памяти, позиционные координаты (Ui, Vi) каждой из множества характеристических точек на изображении, включенных в предыдущий кадр изображения (в момент времени t), который находится среди кадров изображений, захваченных в каждом конкретном цикле обработки информации. Дополнительно, средство 24 вычисления величины изменения ориентации считывает, из памяти, позиционные координаты (Ui, Vi) каждой из множества характеристических точек на изображении, включенных в текущий кадр (в момент времени t+Δt). После этого, на основе временных изменений в положениях множества характеристических точек, средство 24 вычисления величины изменения ориентации получает величину изменения в ориентации транспортного средства. В этом отношении, величина изменения в ориентации транспортного средства включает в себя как "величины изменений в расстоянии и угле ориентации" транспортного средства по отношению к поверхности дороги, так и "величину перемещения транспортного средства" на поверхности дороги. Ниже будут обеспечиваться описания для того, как вычисляются "величины изменений в расстоянии и угле ориентации" и "величина перемещения транспортного средства".
[0025] Величины изменений в расстоянии и угле ориентации могут получаться следующим образом, например. Фиг. 6(a) показывает пример первого кадра (изображения) 38 (на фиг. 5), захваченного в момент времени t. Предположим случай, где, как показано на фиг. 5 и 6(a), относительное положение (Xi, Yi, Zi) каждой из трех характеристических точек Te1, Te2, Te3 вычислены на первом кадре 38, например. В этом случае, плоскость G (см. фиг. 6(a)), идентифицированная посредством характеристических точек Te1, Te2, Te3, может рассматриваться как поверхность дороги. Соответственно, средство 24 вычисления величины изменения ориентации способно получать расстояние и угол ориентации (вектор нормали) камеры 12 по отношению к поверхности дороги (плоскости G), из относительного положения (Xi, Yi, Zi) каждой из характеристических точек. Дополнительно, из уже известной модели камеры, средство 24 вычисления величины изменения ориентации способно получать расстояние l1 между характеристическими точками Te1, Te2, расстояние l2 между характеристическими точками Te2, Te3 и расстояние l3 между характеристическими точками Te3, Te1, также как угол между прямой линией, соединяющей характеристические точки Te1, Te2, и прямой линией, соединяющей характеристические точки Te2, Te3, угол между прямой линией, соединяющей характеристические точки Te2, Te3, и прямой линией, соединяющей характеристические точки Te3, Te1, и угол между прямой линией, соединяющей характеристические точки Te3, Te1, и прямой линией, соединяющей характеристические точки Te1, Te2. Камера 12 на фиг. 5 показывает, где камера располагается, когда камера захватывает первый кадр.
[0026] Следует отметить, что на фиг. 5, трехмерные координаты (Xi, Yi, Zi) относительного положения каждой характеристической точки по отношению к камере 12 установлены таким образом, что: ось Z совпадает с направлением, в котором камера 12 захватывает изображение; и оси X и Y, ортогональные друг к другу в плоскости, включающей в себя камеру 12, являются линиями, нормальными к направлению, в котором камера 12 захватывает изображение. Между тем, координаты на изображении 38 установлены так, что: ось V совпадает с горизонтальным направлением; и ось U совпадает с вертикальным направлением.
[0027] Фиг. 6(b) показывает второй кадр 38', полученный в момент времени (t+Δt), где продолжительность Δt прошла от момента времени t. Камера 12' на фиг. 5 показывает, где камера располагается, когда камера захватывает второй кадр 38'. Как показано на фиг. 5 и 6(b), камера 12' захватывает изображение, включающее в себя характеристические точки Te1, Te2, Te3, в качестве второго кадра 38', и средство обнаружения 23 характеристических точек обнаруживает характеристические точки Te1, Te2, Te3 из изображения. В этом случае, средство 24 вычисления величины изменения ориентации способно вычислять величину ΔL перемещения камеры 12 в интервале времени Δt из: относительного положения (Xi, Yi, Zi) каждой из характеристических точек Te1, Te2, Te3 в момент времени t; положения P1(Ui, Vi) каждой характеристической точки на втором кадре 38'; и модели камеры для камеры 12. Соответственно, средство 24 вычисления величины изменения ориентации способно вычислять величину перемещения транспортного средства. Дополнительно, средство 24 вычисления величины изменения ориентации также способно вычислять величины изменений в расстоянии и угле ориентации. Например, средство 24 вычисления величины изменения ориентации способно вычислять величину (ΔL) перемещения камеры 12 (транспортного средства) и величины изменений в расстоянии и угле ориентации камеры 12 (транспортного средства) посредством решения следующей системы совместных уравнений (1) по (4). В этой связи, уравнение (1), упомянутое ниже, основывается на идеальной камере с точечной диафрагмой, свободной от деформации и оптического осевого рассогласования, которая моделируется в соответствии с камерой 12, где λi и f обозначают константу и фокусную длину. Параметры модели камеры могут калиброваться заранее.
[0028] [Уравнение (1)]
(1)
[0029] [Уравнение (2)]
(2)
[0030] [Уравнение (3)]
(3)
[0031] [Уравнение (4)]
(4)
[0032] Следует отметить, что вместо использования всех характеристических точек, чьи относительные положения вычисляются в изображениях, обнаруженных в момент времени t и момент времени t+Δt, средство 24 вычисления величины изменения ориентации может выбирать оптимальные характеристические точки на основе позиционных соотношений среди характеристических точек. Примером способа выбора, применимого для этой цели, является эпиполярная геометрия (геометрия эпиполярных линий, описанная в R. I. Hartley, "A linear method for reconstruction from lines and points", Proc. 5th International Conference on Computer Vision, Cambridge, Massachusetts, pp. 882-887 (1995)).
[0033] Если как в этом случае, характеристические точки Te1, Te2, Te3, относительные положения, которых на изображении 38 кадра вычислены в момент времени t, также обнаруживаются посредством средства обнаружения 23 характеристических точек из изображения 38' кадра в момент времени t+Δt, средство 24 вычисления величины изменения ориентации способно вычислять "величину изменения в угле ориентации транспортного средства" из временных изменений в относительных положениях (Xi, Yi, Zi) соответствующих характеристических точек на поверхности дороги и временных изменений положений (Ui, Vi) соответствующих характеристических точек на изображении. Дополнительно, средство 24 вычисления величины изменения ориентации способно вычислять величину перемещения транспортного средства.
[0034] Выражаясь более конкретно, если три или более характеристических точек, каждая в соответствии между предыдущим и текущим кадрами, могут обнаруживаться непрерывно из упомянутых двух кадров, продолжение обработки (операции интегрирования) добавления величин изменений в расстоянии и угле ориентации, делает возможным непрерывно обновлять расстояние и угол ориентации без использования структурированного светового пучка 32a. Тем не менее, расстояние и угол ориентации, вычисленные с использованием структурированного светового пучка 32a, или предварительно определенные начальные положение и угол ориентации, могут использоваться для первого цикла обработки информации. Другими словами, расстояние и угол ориентации, которые являются начальными точками операции интегрирования, могут вычисляться с использованием структурированного светового пучка 32a, или могут устанавливаться на предварительно определенные начальные значения. Является желательным, чтобы предварительно определенное начальное положение и предварительно определенный начальный угол ориентации были расстоянием и углом ориентации, определенными с, по меньшей мере, пассажирами и полезной нагрузкой рассматриваемого транспортного средства 10. Например, расстояние и угол ориентации, вычисленные с использованием структурированного светового пучка 32a, который проецируется, пока переключатель зажигания транспортного средства 10 включен и когда положение переключения перемещено из положения парковки в другое положение, могут использоваться в качестве предварительно определенного начального положения и предварительно определенного начального угла ориентации. Тем самым, является возможным получать расстояние и угол ориентации, которые не затрагиваются кренением или галопированием транспортного средства 10 вследствие поворота, ускорения или замедления транспортного средства 10.
[0035] Следует отметить, что ассоциирование характеристических точек в текущем кадре с характеристическими точками в предыдущем кадре может достигаться, например, посредством: сохранения изображения малой области около каждой обнаруженной характеристической точки в памяти; и для каждой характеристической точки, осуществления определения из сходства в информации освещенности и сходства в информации цвета. Выражаясь более конкретно, ECU 13 хранит изображение 5(горизонтальных)×5(вертикальных) пикселей около каждой обнаруженной характеристической точки в памяти. Если, например, различие в информации освещенности среди 20 или более пикселей равно или меньше, чем 1%, средство 24 вычисления величины изменения ориентации определяет, что рассматриваемые характеристические точки находятся в соответствии между текущим и предыдущим кадрами. После этого, величина изменения в ориентации, полученная посредством предшествующей обработки, используется средством 25 вычисления собственного положения в следующем этапе обработки, чтобы вычислять собственное положение транспортного средства 10.
[0036] Средство 25 вычисления собственного положения вычисляет текущие расстояние и угол ориентации транспортного средства 10 из "величин изменений в расстоянии и угле ориентации", вычисленных посредством средства 24 вычисления величины изменения ориентации. В дополнение, средство 25 вычисления собственного положения вычисляет собственное положение транспортного средства 10 из "величины перемещения транспортного средства", вычисленной посредством средства 24 вычисления величины изменения ориентации.
[0037] Описания будут обеспечиваться в отношении того, как выполняются вышеупомянутые вычисления в конкретном случае, когда расстояние и угол ориентации, вычисленные посредством средства 22 вычисления угла ориентации (то есть, можно сказать, расстояние и угол ориентации, вычисленные с использованием структурированного светового пучка), установлены как начальные точки вычислений. В этом случае, средство 25 вычисления собственного положения обновляет расстояние и угол ориентации с использованием наиболее последних числовых значений посредством последовательного добавления (выполнения операции интегрирования над) величин изменений в расстоянии и угле ориентации, вычисленных для каждого кадра посредством средства 24 вычисления величины изменения ориентации, к начальным точкам, то есть, можно сказать, расстоянию и углу ориентации, вычисленным посредством средства 22 вычисления угла ориентации. В дополнение, средство 25 вычисления собственного положения вычисляет собственное положение транспортного средства посредством: установки положения транспортного средства, которое получается, когда средство 22 вычисления угла ориентации вычисляет расстояние и угол ориентации, в качестве начальной точки (начального положения транспортного средства); и посредством последовательного добавления (выполнения операции интегрирования над) величины перемещения транспортного средства к начальному положению транспортного средства. Например, посредством установки начальной точки (начального положения транспортного средства), которая соответствует положению транспортного средства на карте, средство 25 вычисления собственного положения способно последовательно вычислять текущее собственное положение транспортного средства на карте.
[0038] Тем самым средство 24 вычисления величины изменения ориентации способно вычислять собственное положение транспортного средства посредством получения величины (ΔL) перемещения камеры 12 в течение продолжительности Δt. В дополнение, средство 24 вычисления величины изменения ориентации способно вычислять величины изменений в расстоянии и угле ориентации в одно и то же время. По этим причинам, с помощью учитываемых величин изменений в расстоянии и угле ориентации транспортного средства, средство 24 вычисления величины изменения ориентации способно точно вычислять величину (ΔL) перемещения в шести степенях свободы (перемещение вперед/назад, перемещение влево/вправо, перемещение вверх/вниз, рыскание, галопирование и кренение). Другими словами, ошибка в оценке величины (ΔL) перемещения может минимизироваться, даже если расстояние и угол ориентации изменяются из-за кренения или галопирования вследствие поворота, ускорения или замедления транспортного средства 10.
[0039] В настоящем варианте осуществления, величина (ΔL) перемещения камеры 12 вычисляется посредством: вычисления величин изменений в расстоянии и угле ориентации; и обновления расстояния и угла ориентации. Вместо этого, однако, величина (ΔL) перемещения камеры 12 может вычисляться посредством: вычисления величины изменения только в угле ориентации камеры 12 по отношению к поверхности 31 дороги; и обновления только угла ориентации камеры 12. В этом случае, можно предполагать, что расстояние между поверхностью 31 дороги и камерой 12 остается постоянным. Это делает возможным уменьшать рабочую нагрузку на ECU 13 при минимизации ошибки в оценке величины (ΔL) перемещения с помощью учитываемой величины изменения в угле ориентации, и увеличивать скорость работы блока ECU 13.
[0040] Контроллер 26 структурированного светового пучка управляет проецированием структурированного светового пучка 32a посредством светового проектора 11. Например, после того, как переключатель зажигания транспортного средства 10 включается, как только устройство вычисления собственного положения становится активированным, контроллер 26 структурированного светового пучка начинает проецировать структурированный световой пучок 32a. После этого, до тех пор, когда устройство вычисления собственного положения остановит свою работу, контроллер 26 структурированного светового пучка продолжает проецирование структурированного светового пучка 32a. В ином случае, контроллер 26 структурированного светового пучка может чередующимся образом включать и выключать световое проецирование с предварительно определенными интервалами.
[0041] В случае, когда проецируется структурированный световой пучок 32a, включающий в себя 5×7 световых пятен Sp, посредством камеры 12 получается изображение, как показано на фиг. 7(a). Применяя обработку преобразования в двоичную форму к изображению, средство 21 извлечения структурированного светового пучка может извлекать структурированный световой пучок (световые пятна) Sp, как показано на фиг. 7(b). Между тем, средство обнаружения 23 характеристических точек имеет затруднение в обнаружении характеристических точек на поверхности 31 дороги из той же области, что и область проецируемого структурированного светового пучка Sp, так как, как показано на фиг. 7(c), является трудным идентифицировать характеристические точки на поверхности 31 дороги по отношению к структурированному световому пучку Sp. В отличие от этого, когда характеристические точки на поверхности дороги 31 обнаруживаются посредством средства обнаружения 23 характеристических точек из области вдали от области проецируемого структурированного светового пучка 32a, ошибки в вычисления величин перемещений характеристических точек становятся более большими.
[0042] С учетом этого, вариант осуществления сконфигурирован так, что в зависимости от того, как характеристические точки на поверхности дороги обнаруживаются посредством средства обнаружения 23 характеристических точек, контроллер 26 структурированного светового пучка избирательно проецирует структурированный световой пучок на конкретную одну из множества областей проецирования структурированного светового пучка.
[0043] Например, как показано на фиг. 8, контроллер 26 структурированного светового пучка устанавливает множество (четыре) областей A по D проецирования структурированного светового пучка внутри области 30 захвата изображений. На фиг. 8, стрелка 41 обозначает направление перемещения транспортного средства, в то время как стрелка 42, указанная в направлении, противоположном направлению стрелки 41, обозначает направление перемещения характеристических точек. Области A по D проецирования структурированного светового пучка являются четырьмя частями, на которые разделяется область 30 захвата изображений в направлении 41 перемещения транспортного средства (в вертикальном направлении) и в направлении ширины транспортного средства, ортогональном к направлению 41 перемещения транспортного средства (в направлении слева направо), и располагаются в прямоугольной структуре. В этой связи, количество областей проецирования структурированного светового пучка является множественным, и никакое другое ограничение не накладывается на количество областей. Две или три области проецирования структурированного светового пучка могут там устанавливаться. В ином случае, пять или более областей проецирования структурированного светового пучка могут там устанавливаться.
[0044] Предположим случай, где, как показано на фиг. 9(a), характеристические точки Te обнаруживаются посредством средства обнаружения 23 характеристических точек. Для каждой из областей A по D проецирования структурированного светового пучка, контроллер 26 структурированного светового пучка подсчитывает количество характеристических точек Te, обнаруженных там. Между тем, для каждой из областей A по D проецирования структурированного светового пучка, контроллер 26 структурированного светового пучка может подсчитывать количество характеристических точек, попадающих в пределы области. В ином случае, для каждой из областей A по D проецирования структурированного светового пучка, контроллер 26 структурированного светового пучка может подсчитывать количество обнаруженных характеристических точек посредством включения туда: характеристических точек, попадающих в пределы области; и характеристических точек Te, лежащих на границах области, с их частями, принадлежащими области.
[0045] В случае, показанном на фиг. 9(a), подсчитанное количество характеристических точек, обнаруженных как попадающие в пределы области A проецирования структурированного светового пучка, равняется единице; области B, четырем; области C, четырем; и области D, трем. Контроллер 26 структурированного светового пучка вызывает избирательное проецирование светового пучка на область A проецирования структурированного светового пучка, где количество характеристических точек является наименьшим среди областей A по D проецирования структурированного светового пучка, как показано на фиг. 9(b).
[0046] Фиг. 10(a) показывает то, как выбранная область проецирования структурированного светового пучка изменяется от одной к другой с течением времени. Для каждой из областей A по D проецирования структурированного светового пучка, фиг. 10(b) показывает временное изменение в количестве характеристических точек, обнаруженных там. Моменты t0 по t7 времени представляют моменты времени, в которые выполняются соответствующие циклы обработки информации. В момент t0 времени, когда контроллер 26 структурированного светового пучка подсчитывает количество характеристических точек Te, обнаруженных посредством средства обнаружения 23 характеристических точек, количество обнаруженных характеристических точек является наименьшим в области A проецирования структурированного светового пучка, как показано на фиг. 10(b). Таким образом, как показано на фиг. 10(a), в момент t1 времени следующего цикла обработки информации, контроллер 26 структурированного светового пучка вызывает избирательное проецирование светового пучка на область A проецирования структурированного светового пучка, где количество характеристических точек является наименьшим в момент t0 времени предыдущего цикла обработки информации.
[0047] Аналогично, в моменты t1 по t6 времени, контроллер 26 структурированного светового пучка подсчитывает количество характеристических точек. Таким образом, в момент t2 по t7 времени соответствующих следующих циклов обработки информации, контроллер 26 структурированного светового пучка вызывает избирательное проецирование светового пучка на область проецирования структурированного светового пучка, где количество характеристических точек является наименьшим в момент t1 по t6 времени предыдущих циклов обработки информации.
[0048] [ЦИКЛ ОБРАБОТКИ ИНФОРМАЦИИ]
Далее, как показано на фиг. 11, описания будут обеспечиваться для цикла обработки информации, подлежащего многократному выполнению блоком ECU 13. Цикл обработки информации является примером способа вычисления собственного положения для вычисления собственного положения транспортного средства 10 из изображения 38, полученного с помощью камеры 12.
[0049] Цикл обработки информации, показанный в блок-схеме последовательности операций из фиг. 11, начинается в то же время, когда устройство вычисления собственного положения становится активированным после того, как переключатель зажигания транспортного средства 10 включается, и многократно выполняется до тех пор, когда устройство вычисления собственного положения остановит свою работу.
[0050] На этапе S01 из фиг. 11, контроллер 26 структурированного светового пучка управляет световым проектором 11, чтобы обеспечивать, чтобы световой проектор 11 проецировал структурированный световой пучок 32a на поверхность 31 дороги. С использованием блок-схемы последовательности операций из фиг. 11, описания будут обеспечиваться для случая, когда структурированный световой пучок 32a проецируется непрерывно. Отметим, что подробности этапа S01 будут описываться ниже.
[0051] Переходя на этап S03, ECU 13 управляет камерой 12, чтобы получить изображение 38 посредством обеспечения съемки камерой 12 поверхности 31 дороги около транспортного средства 10, включая сюда область проецируемого структурированного светового пучка 32a. ECU 13 сохраняет данные об изображении, полученном с помощью камеры 12, в памяти.
[0052] Следует отметить, что ECU 13 способен автоматически управлять диафрагмой камеры 12. ECU 13 может быть выполнен с возможностью выполнять управление по обратной связи диафрагмой камеры 12 таким способом, который обеспечивает, чтобы значение яркости следующего изображения становилось равным срединному значению между максимальным и минимальным значениями в соответствии с усреднением яркости изображения 38, полученного в предыдущем цикле обработки информации. В ином случае, в качестве значения яркости области проецируемого структурированного светового пучка 32a, ECU 13 может получать среднее значение яркости ранее полученного изображения 38 из области вне части, из которой извлекается структурированный световой пучок 32a.
[0053] Переходя на этап S05, сначала, средство 21 извлечения структурированного светового пучка считывает изображение 38, полученное с помощью камеры 12, из памяти, и извлекает положение структурированного светового пучка 32a из изображения 38, как показано на фиг. 4(c). Средство 21 извлечения структурированного светового пучка сохраняет координаты (Uj, Vj) каждого светового пятна Sp на изображении, которые вычисляются как данные о положении структурированного светового пучка 32a, в памяти.
[0054] Дополнительно, на этапе S05, средство 22 вычисления угла ориентации считывает данные о положении структурированного светового пучка 32a из памяти, вычисляет расстояние и угол ориентации транспортного средства 10 по отношению к поверхности 31 дороги из положения структурированного светового пучка 32a, и сохраняет таким образом вычисленные расстояние и угол ориентации в памяти.
[0055] Переходя на этап S07, ECU 13 обнаруживает характеристические точки Te из изображения 38, извлекает характеристические точки Te, каждая в соответствии между предыдущим и текущим циклами обработки информации, из обнаруженных характеристических точек Te, и вычисляет величины изменений в расстоянии и угле ориентации из положений (Ui, Vi) соответствующих извлеченных характеристических точек Te на изображении. В дополнение, ECU 13 вычисляет величину перемещения транспортного средства.
[0056] Выражаясь более конкретно, сначала, средство обнаружения 23 характеристических точек считывает изображение 38 области 30 захвата изображений, соответствующей фиг. 8, которое получается с помощью камеры 12, из памяти, обнаруживает характеристические точки Te на поверхности 31 дороги из изображения 38, и сохраняет положения (Ui, Vi) соответствующих характеристических точек Te на изображении в памяти.
[0057] Средство 24 вычисления величины изменения ориентации считывает положения (Ui, Vi) соответствующих характеристических точек Te на изображении из памяти, и вычисляет положения (Xi, Yi, Zi) соответствующих характеристических точек Te по отношению к камере 12 из расстояния и угла ориентации, также как положений (Ui, Vi) соответствующих характеристических точек Te на изображении, которые вычислены посредством средства 22 вычисления угла ориентации. В этой связи, средство 24 вычисления величины изменения ориентации использует расстояние и угол ориентации, которые установлены на этапе S09 в предыдущем цикле обработки информации. После этого, средство 24 вычисления величины изменения ориентации сохраняет положения (Xi, Yi, Zi) соответствующих характеристических точек Te по отношению к камере 12 в памяти.
[0058] После этого, средство 24 вычисления величины изменения ориентации считывает положения (Ui, Vi) соответствующих характеристических точек Te на изображении, и относительные положения (Xi, Yi, Zi) соответствующих характеристических точек Te, вычисленные на этапе S07 в предыдущем цикле обработки информации, из памяти. Средство 24 вычисления величины изменения ориентации вычисляет величины изменений в расстоянии и угле ориентации с использованием: относительных положений (Xi, Yi, Zi) соответствующих характеристических точек Te, каждая в соответствии между предыдущим и текущим циклами обработки информации; и положений (Ui, Vi) соответственных таким образом соответствующих характеристических точек Te на изображении. Дополнительно, средство 24 вычисления величины изменения ориентации вычисляет величину перемещения транспортного средства из предыдущих относительных положений (Xi, Yi, Zi) соответствующих характеристических точек Te и текущих относительных положений (Xi, Yi, Zi) соответствующих характеристических точек Te, и сохраняет результирующую величину перемещения транспортного средства в памяти. "Величины изменений в расстоянии и угле ориентации" и "величина перемещения транспортного средства", которые вычисляются на этапе S07, используются для обработки на этапе S11.
[0059] Переходя на этап S09, где в первом цикле обработки информации, ECU 13 устанавливает начальные точки операций интегрирования для вычисления собственного положения посредством использования расстояния и угла ориентации, вычисленных с использованием структурированного светового пучка 32a, или посредством использования предварительно определенного начального положения и предварительно определенного начального угла ориентации. В последующих циклах обработки информации, если три или более характеристических точек, ассоциированные между предыдущим и текущим кадрами, могут непрерывно обнаруживаться, продолжение обработок (обработок интегрирования) добавления величин изменений в расстоянии и угле ориентации делает возможным непрерывно обновлять расстояние и угол ориентации без использования структурированного светового пучка 32a.
[0060] Переходя на этап S11, средство 25 вычисления собственного положения вычисляет собственное положение транспортного средства 10 из: начальных точек операции интегрирования, установленных на этапе S09; и величин изменений в расстоянии и угле ориентации транспортного средства 10, вычисленных в обработке на этапе S07.
[0061] Таким образом, устройство вычисления собственного положения варианта осуществления способно вычислять собственное положение транспортного средства 10 посредством многократного выполнения предшествующей последовательности циклов обработки информации для интегрирования величины перемещения транспортного средства 10.
[0062] [ОБРАБОТКА НА ЭТАПЕ S01]
Далее, как показано на блок-схеме последовательности операций на фиг. 12, описания будут обеспечиваться для подробной процедуры для этапа S01 из фиг. 11. Как показано на фиг. 12, на этапе S101, контроллер 26 структурированного светового пучка считывает из памяти положения соответствующих характеристических точек Te, обнаруженных в предыдущем цикле обработки информации посредством средства обнаружения 23 характеристических точек, и подсчитывает количество характеристических точек, обнаруженных в каждой области проецирования структурированного светового пучка в предыдущем цикле обработки информации. На этапе S102, световой проектор 11 избирательно проецирует световой пучок на область проецирования структурированного светового пучка, где количество обнаруженных характеристических точек является наименьшим среди множества областей проецирования структурированного светового пучка.
[0063] [ПЕРВАЯ МОДИФИКАЦИЯ]
Далее, в качестве первой модификации, будет описываться другой пример того, как проецируется структурированный световой пучок. Световой проектор 11 может быть выполнен с возможностью избирательно проецировать световой пучок на множество (например, две) областей проецирования структурированного светового пучка, где количество характеристических точек меньше, чем в других, вместо одной области проецирования структурированного светового пучка, где количество характеристических точек является наименьшим среди областей проецирования структурированного светового пучка. Например, в случае, показанном на фиг. 13(a), подсчитанное количество характеристических точек, обнаруженных как попадающие в пределы области A проецирования структурированного светового пучка, равняется единице; области B, четырем; области C, четырем; и области D, трем. Световой проектор 11 избирательно проецирует световой пучок на упомянутые две области A, D проецирования структурированного светового пучка, где количество характеристических точек меньше, чем в других, как показано на фиг. 13(b).
[0064] Фиг. 14(a) показывает то, как флаги светового проецирования для соответствующих областей проецирования структурированного светового пучка изменяются со временем. Для каждой из областей A по D проецирования структурированного светового пучка, фиг. 14(b) показывает количество характеристических точек, обнаруженных там. Для каждой из областей A по D проецирования структурированного светового пучка, флаг светового проецирования устанавливается на "1", когда световой пучок проецируется на область, и устанавливается на "0", когда никакой световой пучок не проецируется на область. Моменты t0 по t7 времени представляют моменты времени, в которые выполняются соответствующие циклы обработки информации. В момент t0 времени, когда контроллер 26 структурированного светового пучка подсчитывает количество характеристических точек, обнаруженных в каждой из областей A по D проецирования структурированного светового пучка, количество обнаруженных характеристических точек является более малым в областях A, D проецирования структурированного светового пучка, чем в других областях проецирования структурированного светового пучка, как показано на фиг. 14(b). Таким образом, как показано на фиг. 14(a), в момент t1 времени следующего цикла обработки информации, световой проектор 11 избирательно проецирует световой пучок на упомянутые две области A, D проецирования структурированного светового пучка, где количество характеристических точек в момент t0 времени предыдущего цикла обработки информации является более малым, чем в других.
[0065] Аналогично, в моменты t1 по t6 времени, для каждой из областей A по D проецирования структурированного светового пучка, контроллер 26 структурированного светового пучка подсчитывает количество характеристических точек, обнаруженных там. Таким образом, в момент t2 по t7 времени соответствующих следующих циклов обработки информации, световой проектор 11 избирательно проецирует световой пучок на две области проецирования структурированного светового пучка, где количество характеристических точек в моменты t1 по t6 времени предыдущих циклов обработки информации меньше, чем в других.
[0066] Следует отметить, что конфигурация осуществлена таким образом, что: никакое ограничение не накладывается на количество областей проецирования структурированного светового пучка, подлежащих выбору из областей A по D проецирования структурированного светового пучка; и световой проектор 11 избирательно проецирует световой пучок на любые области проецирования структурированного светового пучка среди областей A по D проецирования структурированного светового пучка, где количество характеристических точек Te равняется или меньше, чем предварительно определенное пороговое значение.
[0067] [ВТОРАЯ МОДИФИКАЦИЯ]
Далее, в качестве второй модификации, будет описываться другой пример того, как проецируется структурированный световой пучок. Как показано на фиг. 15, контроллер 26 структурированного светового пучка может быть выполнен с возможностью устанавливать группы областей A и B проецирования структурированного светового пучка, каждая является разделенной областью в форме продольных полос, простирающейся в направлении 42 перемещения характеристических точек, и располагать группы областей A и B чередующимся образом. Каждая из групп областей A и B проецирования структурированного светового пучка включает в себя две области проецирования структурированного светового пучка, и области A и B проецирования структурированного светового пучка чередующимся образом расположены в направлении ширины транспортного средства. В один момент времени выбираются либо области A проецирования структурированного светового пучка, либо области B проецирования структурированного светового пучка. В этой связи, никакое конкретное ограничение не накладывается на количество областей A проецирования структурированного светового пучка или количество областей B проецирования структурированного светового пучка. Каждая из групп областей A и B проецирования структурированного светового пучка может включать в себя три или более областей проецирования структурированного светового пучка.
[0068] Как показано на фиг. 16(a), контроллер 26 структурированного светового пучка подсчитывает полное количество характеристических точек, обнаруженных в упомянутых двух областях A проецирования структурированного светового пучка, и полное количество характеристических точек, обнаруженных в упомянутых двух областях B проецирования структурированного светового пучка. Полное подсчитанное количество характеристических точек, обнаруженных как попадающие в пределы областей A проецирования структурированного светового пучка, равняется четырем, и полное подсчитанное количество характеристических точек, обнаруженных как попадающие в пределы областей B проецирования структурированного светового пучка, равняется десяти. Таким образом, как показано на фиг. 16(b), световой проектор 11 избирательно проецирует световой пучок на области A проецирования структурированного светового пучка, где полное количество характеристических точек меньше, чем в других.
[0069] Фиг. 17(a) показывает временное изменение в области проецирования структурированного светового пучка между областями A и B проецирования структурированного светового пучка. Фиг. 17(b) показывает количества характеристических точек, обнаруженных в областях A и B проецирования структурированного светового пучка. Моменты t0 по t7 времени представляют моменты времени, в которые выполняются соответствующие циклы обработки информации. В момент t0 времени, когда контроллер 26 структурированного светового пучка подсчитывает количества характеристических точек, обнаруженных в областях A и B проецирования структурированного светового пучка, количество характеристических точек, обнаруженных в областях A проецирования структурированного светового пучка, меньше, чем количество характеристических точек в областях B, как показано на фиг. 17(b). Таким образом, в момент t1 времени следующего цикла обработки информации, световой проектор 11 избирательно проецирует световой пучок на области A проецирования структурированного светового пучка, где количество характеристических точек меньше в момент t0 времени предыдущего цикла обработки информации, как показано на фиг. 17(a). Аналогично, в моменты t2 по t7 времени, световой проектор 11 избирательно проецирует световой пучок либо на области A проецирования структурированного светового пучка, либо на области B проецирования структурированного светового пучка, где количество характеристических точек меньше в моменты t1 по t6 времени предыдущих циклов обработки информации, соответственно.
[0070] [ТРЕТЬЯ МОДИФИКАЦИЯ]
Далее, в качестве третьей модификации, будет описываться другой пример того, как проецируется структурированный световой пучок. Как показано на фиг. 18, контроллер 26 структурированного светового пучка может быть выполнен с возможностью устанавливать две области A, B проецирования структурированного светового пучка, разделенные в направлении ширины транспортного средства (слева направо).
[0071] Как показано на фиг. 19(a), подсчитанное количество характеристических точек, обнаруженных как попадающие в пределы области A проецирования структурированного светового пучка, равняется трем; и области B, семи. Как показано на фиг. 19(b), световой проектор 11 избирательно проецирует световой пучок на область A проецирования структурированного светового пучка, где количество характеристических точек меньше, чем количество характеристических точек в других. В этом случае, также, как показано на фиг. 17(a) и 17(b), в моменты t1 по t7 времени, световой проектор 11 избирательно проецирует световой пучок либо на область A проецирования структурированного светового пучка, либо на область B проецирования структурированного светового пучка, где количество характеристических точек меньше в моменты t0 по t6 времени предыдущих циклов обработки информации, соответственно.
[0072] [ЧЕТВЕРТАЯ МОДИФИКАЦИЯ]
Далее, в качестве четвертой модификации, будет описываться случай установки положений, на которые проецируется структурированный световой пучок, в зависимости от того, где обнаруживаются характеристические точки Te. Как показано на фиг. 20, контроллер 26 структурированного светового пучка устанавливает m×n световых пятен Smn (5×5 световых пятен S11, S12, ..., S55, в этом случае) в качестве множества областей проецирования структурированного светового пучка. Дополнительно, как показано на фиг. 21(a), средство обнаружения 23 характеристических точек обнаруживает положения характеристических точек Te.
[0073] Контроллер 26 структурированного светового пучка определяет, совпадают ли или нет положения характеристических точек Te, обнаруженные посредством средства обнаружения 23 характеристических точек, с положениями (областями проецирования светового пучка) световых пятен S11, S12, ..., S55. Так как это определение должно осуществляться в предыдущем цикле обработки информации, характеристические точки Te в момент времени текущего цикла обработки информации более вероятно переместятся из положения, где они были обнаружены. С учетом этого, контроллер 26 структурированного светового пучка может быть выполнен с возможностью определять, совпадают ли или нет положения характеристических точек Te с более широкими областями, включающими в себя области проецирования структурированного светового пучка световых пятен S11, S12, ..., S55. В этой связи, положения, на которые выключенные световые пятна, проецировались бы в ином случае, могут получаться посредством оценки из расстояния и угла ориентации камеры 12 по отношению к поверхности дороги также как положений других световых пятен. Как показано на фиг. 21(b), световой проектор 11 выключает световые пятна на положениях, определенных как совпадающие с характеристическими точками Te, и избирательно проецирует световые пятна на положения, определенные как не совпадающие с характеристическими точками Te.
[0074] Фиг. 22(a) показывает то, как флаги светового проецирования для соответствующих световых пятен S11, S12, ..., S55 изменяются с течением времени. Фиг. 22(b) показывает то, как результаты определения того, совпадают ли или нет характеристические точки Te с положениями световых пятен S11, S12, ..., S55, изменяются с течением времени. Моменты t0 по t7 времени представляют моменты времени, в которые выполняются соответствующие циклы обработки информации. Как показано на фиг. 22(b), в момент t0 времени, контроллер 26 структурированного светового пучка определяет, например, что никакая характеристическая точка Te не совпадает с каким-либо из положений световых пятен S11, S55, но что характеристическая точка Te совпадает с положением светового пятна S12. Как показано на фиг. 22(a), в момент t1 времени следующего цикла обработки информации, световой проектор 11 выключает световое пятно S12 на положении, определенном как совпадающее с характеристической точкой Te в предыдущем цикле информации, и избирательно включает световые пятна S11, S55 на положениях, определенных как не совпадающие с характеристическими точками Te в предыдущем цикле информации. Аналогично, в моменты t2 по t7 времени, световой проектор 11 выключает световые пятна на положениях, определенных как совпадающие с характеристическими точками Te в моменты t1 по t6 времени предыдущих циклов информации, и избирательно включает световые пятна на положениях, определенных как не совпадающие с характеристическими точками Te в моменты t1 по t6 времени предыдущих циклов информации.
[0075] [ЭФФЕКТЫ ПЕРВОГО ВАРИАНТА ОСУЩЕСТВЛЕНИЯ]
Согласно первому варианту осуществления, в зависимости от того, как обнаруживаются характеристические точки Te, структурированный световой пучок избирательно проецируется на конкретную область A проецирования структурированного светового пучка из множества областей A по D проецирования структурированного светового пучка, как показано на фиг. 9(a) и 9(b). Тем самым, структурированный световой пучок не проецируется на области, где количество характеристических точек Te больше, чем в области A проецирования структурированного светового пучка. Это делает возможным легко идентифицировать характеристические точки Te при различении между характеристическими точками Te и структурированным световым пучком. Соответственно, собственное положение транспортного средства 10 может вычисляться точно.
[0076] Дополнительно, как показано на фиг. 15, множество областей A, B проецирования структурированного светового пучка разделяются как альтернативным образом выбираемые области в форме продольных полос, простирающейся в направлении перемещения характеристических точек Te. Световой проектор 11 проецирует световой пучок либо на множество областей A проецирования структурированного светового пучка, либо на множество областей B проецирования структурированного светового пучка, где количество обнаруженных характеристических точек Te меньше, чем в других. Это делает возможным избирательно проецировать структурированный световой пучок с использованием этого более простого механизма.
[0077] Более того, как показано на фиг. 18, множество областей A, B проецирования структурированного светового пучка являются двумя областями, разделенными в направлении ширины транспортного средства (направлении слева направо). Световой проектор 11 проецирует световой пучок либо на область A проецирования структурированного светового пучка, либо на область B проецирования структурированного светового пучка, где количество обнаруженных характеристических точек Te меньше, чем в других. Это делает возможным избирательно проецировать структурированный световой пучок с использованием этого более простого механизма.
[0078] Кроме того, как показано на фиг. 21(b), положения областей S11, S12, ..., S55 проецирования структурированного светового пучка (световых пятен) устанавливаются в зависимости от того, где обнаруживаются характеристические точки Te. Это делает возможным легко идентифицировать характеристические точки Te при различении между характеристическими точками Te и структурированным световым пучком, даже в случае, когда области проецирования структурированного светового пучка являются сравнительно малыми как эта.
[0079] (ВТОРОЙ ВАРИАНТ ОСУЩЕСТВЛЕНИЯ)
[АППАРАТНАЯ КОНФИГУРАЦИЯ]
Устройство вычисления собственного положения второго варианта осуществления отличается от устройства вычисления собственного положения первого варианта осуществления в том, что, как показано на фиг. 23, устройство вычисления собственного положения второго варианта осуществления включает в себя средство обнаружения 14 поведения транспортного средства в дополнение к конфигурации устройства вычисления собственного положения первого варианта осуществления. Датчик скорости колес, выполненный с возможностью обнаруживать скорость транспортного средства, и датчик угловой скорости рысканья, выполненный с возможностью обнаруживать скорость транспортного средства в боковом направлении, могут использоваться в качестве средства обнаружения 14 поведения транспортного средства. Другая конфигурация устройства вычисления собственного положения второго варианта осуществления является, по существу, такой же как конфигурация устройства вычисления собственного положения первого варианта осуществления. По этой причине, дублирующие описания будут пропущены.
[0080] Контроллер 26 структурированного светового пучка оценивает направления и величины перемещений характеристических точек Te, и устанавливает положение структурированного светового пучка в зависимости от оцененных направлений и величин перемещений характеристических точек Te. Направления и величины перемещений характеристических точек Te могут оцениваться из величин перемещений транспортного средства, которые получаются в двух циклах обработки информации, или предыдущем и текущем циклах обработки информации. В ином случае, направления и величины перемещений характеристических точек Te могут оцениваться из скорости транспортного средства и угловой скорости рысканья, которые получаются посредством средства обнаружения 14 поведения транспортного средства.
[0081] Фиг. 24(a) показывает характеристические точки Te, обнаруженные в одном цикле обработки информации ранее. На фиг. 24(a), оцененное направление и величина перемещения каждой характеристической точки Te представлены посредством соответствующего вектора Dte. Для каждой характеристической точки Te, контроллер 26 структурированного светового пучка оценивает положение характеристической точки Te в текущем цикле обработки информации из оцененного направления и величины перемещения характеристической точки Te, и оценивает, совпадает ли или нет положение характеристической точки Te с соответствующим одним из световых пятен S11, S12, ..., S55. Как показано на фиг. 24(b), контроллер 26 структурированного светового пучка выключает световые пятна на положениях, оцененных как совпадающие с характеристическими точками Te в текущем цикле обработки информации, и избирательно включает световые пятна на положениях, оцененных как не совпадающие с характеристическими точками Te в текущем цикле обработки информации.
[0082] Фиг. 25(a) показывает то, как флаги светового проецирования для соответствующих световых пятен S11, S12, ..., S55 изменяются с течением времени. Фиг. 25(b) показывает то, как результаты оценки того, будут ли или нет характеристические точки Te существовать в положениях соответствующих световых пятен S11, S12, ..., S55, изменяются с течением времени. Моменты t0 по t7 времени представляют моменты времени, в которые выполняются соответствующие циклы обработки информации. Как показано на фиг. 25(b), в момент t0 времени, контроллер 26 структурированного светового пучка оценивает, что никакая характеристическая точка Te не будет существовать в каком-либо из положений световых пятен S11, S55 в момент времени t следующего цикла обработки информации, и что характеристическая точка Te будет существовать в положении светового пятна S12 в момент времени t следующего цикла обработки информации. Как показано на фиг. 25(b), в момент t1 времени следующего текущего цикла, световой проектор 11 выключает световые пятна S11, S55 на положениях, где характеристические точки Te оцениваются как существующие, и избирательно включает световое пятно S12 на положении, где никакие характеристические точки Te не оцениваются как существующие. Аналогично, в моменты t1 по t6 времени, следующий световой проектор 11 оценивает, будут ли или нет характеристические точки Te существовать в положениях световых пятен в моменты t2 по t7 времени следующих циклов обработки информации. Таким образом, в моменты t2 по t7 времени следующих циклов обработки информации, световой проектор 11 выключает световые пятна на положениях, где характеристические точки Te оцениваются как существующие, и избирательно включает световые пятна на положениях, где никакие характеристические точки Te не оцениваются как существующие.
[0083] Далее, как показано на фиг. 26, описания будут обеспечиваться для подробностей этапа S01 способа вычисления собственного положения второго варианта осуществления. На этапе S201, средство обнаружения 14 поведения транспортного средства обнаруживает скорость транспортного средства и угловую скорость рысканья. На этапе S202, на основе скорости транспортного средства и угловой скорости рысканья, обнаруженных посредством средства обнаружения 14 поведения транспортного средства, контроллер 26 структурированного светового пучка оценивает величины и направления перемещений характеристических точек Te, обнаруженных в предыдущем цикле обработки информации, и дополнительно оценивает положения характеристических точек Te в текущем цикле обработки информации. На этапе S203, контроллер 26 структурированного светового пучка определяет, совпадают ли или нет оцененные положения характеристических точек Te с положениями световых пятен S11, S12, ..., S55. Как результаты определений, сделанных посредством контроллера 26 структурированного светового пучка, световой проектор 11 выключает световые пятна на положениях, определенных как совпадающие с оцененными положениями характеристических точек Te, и проецирует световые пятна только на положения, определенные как не совпадающие с оцененными положениями характеристических точек Te.
[0084] [МОДИФИКАЦИЯ]
Далее, описания будут обеспечиваться для модификации случая, когда положения структурированного светового пучка устанавливаются в зависимости от направлений перемещения характеристических точек Te. Как показано на фиг. 27, контроллер 26 структурированного светового пучка устанавливает четыре области A, B, C, D проецирования структурированного светового пучка, которые разделены в направлении ширины транспортного средства (направлении слева направо) и каждая простирается в направлении 42 перемещения характеристических точек Te. Как показано посредством направления 42 перемещения характеристических точек Te на фиг. 27, характеристические точки Te появляются на изображениях, полученных посредством камеры 12, и после этого перемещаются из изображений при перемещении главным образом в одном направлении. С учетом этого, области предсказания увеличения/уменьшения характеристических точек обеспечиваются в части области захвата изображений, из которой характеристические точки Te появляются на изображениях; определяется в предыдущем цикле обработки информации, существуют ли или нет характеристические точки Te в областях предсказания увеличения/уменьшения характеристических точек; итем самым световой пучок избирательно проецируется на области проецирования структурированного светового пучка, где ожидается, что количество характеристических точек Te уменьшится в текущем цикле обработки информации.
[0085] Например, как показано на фиг. 28(a), контроллер 26 структурированного светового пучка устанавливает области a по d предсказания увеличения/уменьшения характеристических точек в верхней части области 30 захвата изображений. Области a по d предсказания увеличения/уменьшения характеристических точек соответственно соответствуют областям A по D проецирования структурированного светового пучка, и располагаются в таких же положениях в направлении ширины транспортного средства, что и области A по D проецирования структурированного светового пучка. Контроллер 26 структурированного светового пучка определяет, существуют ли или нет характеристические точки Te в каждой из областей a по d предсказания увеличения/уменьшения характеристических точек, и определяет, что никакие характеристические точки Te не существуют в какой-либо из областей a, c предсказания увеличения/уменьшения характеристических точек. Как показано на фиг. 28(b), световой проектор 11 избирательно проецирует световой пучок на области A, C проецирования структурированного светового пучка, расположенные в тех же столбцах, что и области a, c предсказания увеличения/уменьшения характеристических точек. В этой связи, контроллер 26 структурированного светового пучка может быть выполнен с возможностью подсчитывать количество характеристических точек Te для каждой из областей a по d предсказания увеличения/уменьшения характеристических точек вместо определения того, существуют ли или нет характеристические точки Te в каждой из областей a по d предсказания увеличения/уменьшения характеристических точек, и, таким образом, проецировать световой пучок на области, где количество характеристических точек Te меньше, чем в других.
[0086] Фиг. 29(a) показывает то, как флаги светового проецирования для соответствующих областей A по D проецирования структурированного светового пучка изменяются с течением времени. Фиг. 29(b) показывает то, как результат определения того, существуют ли или нет характеристические точки Te в каждой из областей предсказания увеличения/уменьшения характеристических точек, изменяется с течением времени. Моменты t0 по t7 времени представляют моменты времени, в которые выполняются соответствующие циклы обработки информации. Как показано на фиг. 29(b), в момент t0 времени, контроллер 26 структурированного светового пучка определяет, что никакие характеристические точки Te не существуют в каких-либо из областей a, d предсказания увеличения/уменьшения характеристических точек, и что характеристические точки Te существуют в областях b, c предсказания увеличения/уменьшения характеристических точек. Как показано на фиг. 29(a), в момент t1 времени следующего цикла обработки информации, световой проектор 11 избирательно проецирует световой пучок на области A, D проецирования структурированного светового пучка, расположенные в том же столбце, что и области a, d предсказания увеличения/уменьшения характеристических точек, где никакие характеристические точки Te не определяются как существующие в предыдущем цикле информации. Аналогично, в моменты t2 по t7 времени, контроллер 26 структурированного светового пучка вызывает избирательное проецирование светового пучка на области проецирования структурированного светового пучка, соответствующие областям предсказания увеличения/уменьшения характеристических точек, где никакие характеристические точки Te не определяются как существующие в моменты t1 по t6 времени предыдущих циклов информации.
[0087] [ЭФФЕКТ ВТОРОГО ВАРИАНТА ОСУЩЕСТВЛЕНИЯ]
Согласно второму варианту осуществления, в зависимости от того, как характеристические точки Te обнаруживаются, световой пучок избирательно проецируется на конкретные области проецирования структурированного светового пучка (световые пятна) из множества областей S11, S12, ..., S55 проецирования структурированного светового пучка. Это делает возможным легко идентифицировать характеристические точки Te при различении между характеристическими точками Te и световыми пятнами S11, S12, ..., S55. Соответственно, собственное положение транспортного средства 10 может вычисляться точно.
[0088] Дополнительно, текущие положения характеристических точек Te оцениваются на основе направлений перемещения характеристических точек Te, и устанавливаются положения областей S11, S12, ..., S55 проецирования структурированного светового пучка (световых пятен). Это делает возможным дополнительно уменьшать количество совпадений между световыми пятнами S11, S12, ..., S55 и характеристическими точками Te в текущем цикле обработки информации.
[0089] (ДРУГИЕ ВАРИАНТЫ ОСУЩЕСТВЛЕНИЯ)
Хотя содержание настоящего изобретения было описано на основе первого и второго вариантов осуществления, настоящее изобретение не ограничено тем, что было описано выше. Должно быть ясным специалистам в данной области техники, что настоящее изобретение может различным образом модифицироваться и улучшаться.
[0090] Как показано на фиг. 30, описания будут обеспечиваться для примера, в котором обработка на этапе S05 вычисления расстояния и угла ориентации по отношению к поверхности дороги из структурированного светового пучка выполняется, только когда необходимо. На этапе S301 из фиг. 30, ECU 13 определяет, выполнить ли обработку на этапе S05, или вычислить ли расстояние и угол ориентации по отношению к поверхности дороги. Если выполняется обработка на этапе S05 вычисления расстояния и угла ориентации по отношению к поверхности дороги из положения структурированного светового пучка, поток переходит на этап S301, где контроллер 26 структурированного светового пучка подсчитывает количество характеристических точек Te, обнаруженных в каждой области проецирования структурированного светового пучка в предыдущем цикле обработки информации. Впоследствии, на этапе S302, световой проектор 11 избирательно проецирует структурированный световой пучок на, например, область проецирования структурированного светового пучка, где количество обнаруженных характеристических точек Te является наименьшим. После этого, поток переходит на этап S03 на фиг. 11. С другой стороны, если обработка на этапе S05 вычисления расстояния и угла ориентации по отношению к поверхности дороги из положения структурированного светового пучка не выполняется, поток переходит на этап S304, где световой проектор 11 выключает структурированный световой пучок. Впоследствии, на этапе S305, камера 12 получает изображение. После этого, поток переходит на процедуру на этапе S07 из фиг. 11.
[0091] СПИСОК ССЫЛОЧНЫХ ПОЗИЦИЙ
10 транспортное средство
11 световой проектор
12 камера (блок захвата изображений)
13 ECU
21 средство извлечения структурированного светового пучка
22 средство вычисления угла ориентации
23 средство обнаружения характеристических точек
24 средство вычисления величины изменения ориентации
25 средство вычисления собственного положения
26 контроллер структурированного светового пучка
31 поверхность дороги
32a, 32b структурированный световой пучок
A, B, C, D, S11 по S55 область проецирования структурированного светового пучка
Te характеристическая точка