(57)【要約】本願は車載カメラの姿勢推定方法、装置およびシステムならびに電子機器を提供する。該方法は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。さらに、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うための区画線検出モジュールなどを含む。
2020533667.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラで取得した車両走行路面のビデオストリームに基づき、前記路面の区画線検出を行うことと、
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づき、前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法。
【請求項２】
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる請求項１に記載の方法。
【請求項３】
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定することを含む請求項１または２に記載の方法。
【請求項４】
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記地平線情報に基づき、前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報に基づき、前記車両のウェイポイント情報を取得することと、
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得することと、を含む請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得する前記ステップは、
前記ウェイポイント情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得することを含む請求項４に記載の方法。
【請求項６】
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得することを含む請求項６に記載の方法。
【請求項８】
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得する前記ステップは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づき、地平線情報を取得することと、を含む請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る前記ステップは、
前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、を含む請求項８に記載の方法。
【請求項１０】
前記区画線の視覚交点に基づき、地平線情報を取得する前記ステップは、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得することと、
前記交点確率マップに基づき、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得することと、を含む請求項８または９に記載の方法。
【請求項１１】
前記地平線情報に基づいて前記車両のウェイポイント情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの消失点に基づき、前記車両のウェイポイント情報を取得することを含む請求項４に記載の方法。
【請求項１２】
前記方法は、さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと、を含む請求項１１に記載の方法。
【請求項１３】
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示すことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得することと、を含む請求項１１に記載の方法。
【請求項１４】
前記方法は、さらに、
前記姿勢情報に基づいて前記車載カメラに対して目盛定めを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること、を含む請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置。
【請求項１６】
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる請求項１５に記載の装置。
【請求項１７】
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記姿勢情報取得モジュールは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するための回転角度取得ユニットを含む請求項１５または１６に記載の装置。
【請求項１８】
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記装置は、さらに、
前記地平線情報に基づいて前記車両のウェイポイント情報を取得するためのウェイポイント情報取得モジュールを含み、
前記姿勢情報取得モジュールは、
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む請求項１５から１７のいずれか一項に記載の装置。
【請求項１９】
前記水平偏角取得ユニットは、前記ウェイポイント情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するように構成される請求項１８に記載の装置。
【請求項２０】
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む請求項１５から１９のいずれか一項に記載の装置。
【請求項２１】
前記姿勢情報取得モジュールは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニットを含む請求項２０に記載の装置。
【請求項２２】
前記地平線情報取得モジュールは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニットと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニットと、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニットと、を含む請求項１５から２１のいずれか一項に記載の装置。
【請求項２３】
前記区画線情報取得ユニットは具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる請求項２２に記載の装置。
【請求項２４】
前記地平線情報取得ユニットは具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる請求項２２または２３に記載の装置。
【請求項２５】
前記ウェイポイント情報取得モジュールは具体的に、前記地平線情報および前記車載カメラの消失点に基づき、前記車両のウェイポイント情報を取得するために用いられる請求項１８に記載の装置。
【請求項２６】
さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュールを含む請求項２５に記載の装置。
【請求項２７】
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュールを含む請求項２５に記載の装置。
【請求項２８】
さらに、
前記姿勢情報に基づいて前記車載カメラに対して目盛定めを行うためのカメラ目盛定めモジュール、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュールを含む請求項１５から２７のいずれか一項に記載の装置。
【請求項２９】
プログラム命令を記憶するためのメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、請求項１から１４のいずれか一項に記載の方法のステップを実行するためのプロセッサと、を含む電子機器。
【請求項３０】
請求項１から１４のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
【請求項３１】
車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される請求項１５から２８のいずれか一項に記載の車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システム。
【請求項３２】
コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記請求項１から１４のいずれか一項に記載の車載カメラの姿勢推定方法におけるステップを実現するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は２０１８年０８月２４日に出願された、出願番号が２０１８１０９７３９２０．Ｘである中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
【０００２】
本願はインテリジェント運転技術分野に関し、特に車載カメラの姿勢推定方法、装置およびシステムならびに電子機器に関する。
【背景技術】
【０００３】
先進運転支援システム（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｔ  Ｓｙｓｔｅｍ、ＡＤＡＳ）または無人運転システムなどのインテリジェント運転システムは、車両（自動車、電気自動車、鉄道列車など）に取り付けられた様々なセンサを利用して、車両走行中に周囲の環境を随時感知し、それにより運転者の車両操縦を支援して運転者に可能な危険を早期に警告し、走行過程での運転者の安全および運転心地を向上させる。
【０００４】
ＡＤＡＳにおいて、車載カメラが主なセンサとして、それが取得するデータが特に重要である。通常、車載カメラは特定の姿勢で動作し、それが取得するデータはいずれも該特定の姿勢でのデータであり、かつ車両走行中に車載カメラが震えたり、車載カメラのメンテナンス時に車載カメラが取り外されたりする可能性があることにより、車載カメラの姿勢は変化し得る。
【発明の概要】
【課題を解決するための手段】
【０００５】
本願の実施例は車載カメラの姿勢推定およびその用途の技術的解決手段を提供する。
【０００６】
第一態様で、本願の実施例は、
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うことと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法を提供する。
【０００７】
第二態様で、本願の実施例はさらに、
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置を提供する。
【０００８】
第三態様で、本願の実施例は、
プログラム命令を記憶するように構成されたメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実行するように構成されたプロセッサと、を含む電子機器を提供する。
【０００９】
第四態様で、本願の実施例は、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体を提供する。
【００１０】
第五態様で、本願の実施例は、車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される上記第二態様のいずれかの実行可能な実施形態における車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システムを提供する。
【００１１】
第六態様で、本願の実施例はさらに、コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記第一態様のいずれかの実行可能な実施形態における方法のステップを実現するコンピュータプログラム製品を提供する。
【００１２】
本願の実施例が提供する車載カメラの姿勢推定方法および装置は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願の実施例が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
【図面の簡単な説明】
【００１３】
【図１】本願の実施例１が提供する車載カメラの姿勢推定方法のフローチャートである。
【図２】本願の実施例が適する応用シーンの例である。
【図３】本願の実施例における車載カメラが撮影した画像の模式図１である。
【図４】本願の実施例における車載カメラが撮影した画像の模式図２である。
【図５】本願の実施例２が提供する車載カメラの姿勢推定方法のフローチャートである。
【図６】本願の実施例３が提供する車載カメラの姿勢推定方法のフローチャートである。
【図７】本願の実施例が提供する車載カメラのピッチ角推定の原理模式図である。
【図８】本願の実施例が提供する車載カメラの水平偏角推定の原理模式図である。
【図９】本願の実施例が提供する車載カメラの姿勢推定装置の構成模式図である。
【図１０】本願の実施例が提供する姿勢情報取得モジュールの構成模式図である。
【図１１】本願の実施例が提供する電子機器の実体のブロック図である。
【図１２】本願の実施例が提供する車載カメラの姿勢推定システムのアーキテクチャ模式図である。
【発明を実施するための形態】
【００１４】
本願の実施例または従来技術における技術的解決手段をより明確に説明するために、以下に実施例または従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本願の実施例の一例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到し得る。
【００１５】
本願の実施例の目的、技術的解決手段および利点をより明確にするために、以下に本願の実施例における図面と関連付けて、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の実施例の一部に過ぎず、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本願の保護範囲に属する。
【００１６】
本願の実施例に係る車載カメラの姿勢推定方法の実行主体は端末機器またはサーバなどの電子機器としてもよく、そのうち、端末機器はユーザ機器（Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ハンドヘルド機器、計算機器、車載カメラ、カメラ以外の他の車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態では、前記姿勢推定方法はプロセッサによってメモリに記憶されたコンピュータ読み取り可能命令を呼び出すように実現できる。
【００１７】
図１は本願の実施例１が提供する車載カメラの姿勢推定方法のフローチャートである。本実施例では、車載カメラが撮影した画像の区画線検出を行い、区画線検出結果に基づいて画像内の区画線情報を特定し、さらに各画像内の区画線情報に基づいてカメラの姿勢を取得し、それは計算量が少なくかつカメラの位置に対する要求を低下させる。
【００１８】
図１に示すように、本願の実施例が提供する車載カメラの姿勢推定方法は、以下のステップを含む。
【００１９】
Ｓ１０１において、車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行う。
【００２０】
例示的に、本実施例は路面情報を撮影可能な車載カメラが取り付けられた車両に用いられる。図２は本願の実施例が適する応用シーンの例であり、図２に示すように、車両が道路を走行する時、車両の前面に設置された車載カメラは路面を撮影でき、車載カメラで取得した車両走行路面のビデオストリームには、少なくとも１フレームの画像が含まれる。例示的に、本願の各実施例において車載カメラは車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる。
【００２１】
いくつかの実施例では、本願の各実施例における路面は構造化道路である。構造化道路とは一般的に高速道路、都市の幹線道路などの構造化程度が高い道路であり、このような道路は区画線などの道路標示線を有し、道路の背景環境が比較的単純であり、道路の幾何学的特徴も比較的明瞭である。非構造化道路とは一般的に都市の幹線道路以外の道路、田舎の街道などの構造化程度が低い道路であり、このような道路は区画線および／または明晰な道路境界がなく、また影および水溜まりなどの影響をも受けており、道路領域および非道路領域は区別しにくい。本願の実施例に提供される技術的解決手段が構造化道路に適用され、車載カメラの姿勢推定効果が高く、結果が正確である。
【００２２】
いくつかの実施例では、該車載カメラの姿勢を推定してから、車載機器の測位、ナビゲーション、道路シーンの復元など様々な応用シーンに用いることができる。
【００２３】
いくつかの実施例では、車両が構造化道路を走行しているかどうかと特定するプロセスは具体的に、
車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、ビデオストリームに少なくとも二つの区画線を含む画像が存在する場合、車両が構造化道路を走行していると特定することと、を含んでもよい。
【００２４】
例示的に、車両が路面を走行しておりかつ車載カメラを起動して撮影し始める時、カメラが撮影した画像における路面の区画線検出を行い、あるフレームの画像に少なくとも二つの区画線が含まれていると検出した場合、車両が構造化道路を走行していると特定できる。いくつかの実施例では、あるフレームの画像に車両に隣接する少なくとも二つの区画線が含まれていると検出した場合、車両が構造化道路を走行していると特定するようにしてもよい。
【００２５】
例示的に、区画線検出結果は区画線情報を含んでもよい。
【００２６】
いくつかの実施例では、上記区画線情報は車両左右側の二つの区画線の情報または路面上の任意の二つの区画線の情報であってもよい。該二つの区画線は直線区画線であってもよいし、湾曲区画線であってもよく、本開示の実施例はこれを限定しない。
【００２７】
上記区画線情報は区画線関数で表すことができ、区画線情報の取得プロセスは下記実施例において説明する。
【００２８】
Ｓ１０２において、区画線の検出結果に基づいて車両走行路面の地平線情報を取得する。
【００２９】
例示的に、地平線情報は車載カメラが撮影した画像における地平線関数であってもよい。
【００３０】
いくつかの実施例では、地平線情報を取得する実行可能な一方法は以下を含む。
【００３１】
Ｓ１１において、区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る。
【００３２】
例示的に、車載カメラで取得したビデオストリームにおける少なくとも２フレームの画像の各々について、画像における少なくとも二つの区画線の対応する区画線関数を取得する。図３は本願の実施例における車載カメラが撮影した画像の模式図１である。図４は本願の実施例における車載カメラが撮影した画像の模式図２である。図３および図４に示すように、特徴抽出などのアルゴリズムによって画像を検出し、画像における区画線を取得することができ、区画線は一般的に図３に示すような直線および図４に示すような曲線である。例示的に、画像の左上隅を座標原点とすれば、区画線の画像における区画線関数をフィッティングして得ることができる。
【００３３】
いくつかの実施例では、画像における少なくとも二つの区画線の対応する区画線関数を取得するステップは、具体的に以下を含む。
【００３４】
Ｓ１１１において、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得する。
【００３５】
例示的に、区画線は連続的である場合があり、通常直線、曲線であるなどの特性を考慮すると、画像分割アルゴリズム、特徴抽出アルゴリズム、畳み込みニューラルネットワークアルゴリズムなどを採用して、画像における車線を検出し、検出結果に基づいて画像において区画線に属する区画線画素点をマークすることができる。
【００３６】
Ｓ１１２において、区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る。
【００３７】
例示的に、画像中の区画線に属する区画線画素点を特定してから、ＯｐｅｎＣＶを利用して画像中の車線画素点の曲線関数フィッティング処理を行えば、画像中の全ての区画線の関数を得ることができる。例示的に、直線区画線については、区画線関数は通常一次関数である。
【００３８】
Ｓ１２において、少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得する。
【００３９】
例示的に、透視の原理によって、区画線は地平線で交差するため、各区画線関数の視覚交点は地平線に落ちる。各区画線関数によって画像における視覚交点の座標を取得できる。例示的に、区画線が曲線である場合、区画線関数が画像画素座標範囲内にある点を区画線関数の視覚交点とする。
【００４０】
Ｓ１３において、区画線の視覚交点に基づき、地平線情報を取得する。
【００４１】
例示的に、区画線の視覚交点が地平線にあることを考慮すると、取得した各フレームの画像における視覚交点に基づき、地平線関数を取得することができる。
【００４２】
例示的に、本実施例のもとに、上記Ｓ１０２での地平線情報取得の後に、車載カメラの姿勢推定はさらに以下を含む。
【００４３】
Ｓ１０２１において、地平線情報および車載カメラの消失点に基づき、車両のウェイポイント情報を取得する。
【００４４】
例示的に、ウェイポイント情報はウェイポイント関数であってもよい。消失点は車載カメラの画角に伴って移動し、車載カメラの消失点とは車載カメラが撮影したウェイポイントの路面消失点をいう。透視の原理によって、車両の走行ウェイポイントが地平線と垂直であり、かつ車載カメラの画像における消失点が車両の走行ウェイポイントにあるため、取得した地平線関数および画像消失点に基づき、車両の走行ウェイポイントの関数を取得することができる。
【００４５】
Ｓ１０３において、地平線情報に基づいて車載カメラの姿勢情報を取得する。
【００４６】
例示的に、車載カメラの姿勢情報は、車載カメラの回転角度、ピッチ角および水平偏角の少なくとも一つを含む。
【００４７】
例示的に、車載カメラの姿勢の変化に伴い、車載カメラが撮影した画像における地平線およびウェイポイントが異なるようになるため、取得した地平線情報およびウェイポイント情報に基づいて車載カメラの姿勢を取得することができる。
【００４８】
例示的に、具体的には地平線の傾斜度情報に基づいて車載カメラの回転角度を特定できる。ウェイポイント情報に基づき、車載カメラの水平偏角を取得する。地平線情報に基づいて前記車載カメラのピッチ角を取得する。
【００４９】
本願の実施例が提供する車載カメラの姿勢推定方法は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
【００５０】
例示的に、上記実施例に係る解決手段はインテリジェント運転シーン、例えば運転支援または自動運転シーンにおいて用いることができ、正確な車載カメラの姿勢をリアルタイムに取得することで、運転支援または自動運転の安全性を向上させることができる。例示的に、カメラの姿勢情報を取得してから、さらに車載カメラの姿勢情報に基づいて車両の測位、ナビゲーション、シーンの復元などを行うことができる。
【００５１】
例示的に、上記実施例のもとに、本願の実施例はさらに車載カメラの姿勢推定方法を提供する。図５は本願の実施例２が提供する車載カメラの姿勢推定方法のフローチャートである。本実施例では区画線の視覚交点に基づいて地平線情報を取得するプロセスを詳しく説明する。図５に示すように、区画線の視覚交点に基づいて地平線情報を取得するステップは、以下を含む。
【００５２】
Ｓ５０１において、ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得する。
【００５３】
例示的に、ビデオストリームに含まれる複数フレームの画像のうちのＮフレームについて、各フレームの画像における視覚交点の画素座標を統計し、Ｎフレームの画像における視覚交点の画素座標に基づき、交点確率マップを得る。交点確率マップにおける各画素点の値はＮフレームの画像における視覚交点が該画素点にある画像の数とする。ここで、Ｎは１よりも大きい正整数である。
【００５４】
Ｓ５０２において、交点確率マップに基づき、地平線に属する視覚交点を取得する。
【００５５】
例示的に、交点確率マップを取得してから、密度に基づくクラスタリングアルゴリズムを採用して、外れ値を除去し、交点確率マップにおいて地平線に属する視覚交点を特定する。
【００５６】
Ｓ５０３において、取得した地平線に属する視覚交点に基づき、地平線情報を取得する。
【００５７】
例示的に、地平点に属する視覚交点を取得してから、各視覚交点の座標に基づいて一次関数である地平線関数を構築することができる。例示的に、可能な一実施形態では、画像の左上隅を座標原点とすれば、地平線関数はＹ＝１００とすることができる。このとき、画像の地平線は水平線である。
【００５８】
例示的に、本実施例は透視の原理に基づき、各区画線の視覚交点が地平線にあることを考慮した上で、各画像における区画線の視覚交点に基づいて地平線情報を特定することができ、それは地平線情報の取得方式を簡略化し、車載カメラの姿勢推定の計算量を低減する。
【００５９】
いくつかの実施例では、上記いずれかの実施例のもとに、消失点の取得方式は例示的に、取得した地平線に属する視覚交点を平均化処理し、車載カメラの消失点を取得するようにしてもよい。
【００６０】
例示的に、透視の原理によって、消失点が地平線にあることを考慮し、地平線に属する視覚交点の座標に基づき、各視覚交点の縦横座標についてそれぞれ平均値を取れば、消失点の縦横座標を特定し、それにより消失点を得ることができる。
【００６１】
上記いずれかの実施例のもとに、消失点の取得方式は例示的に、図６に示すようにしてもよい。消失点の取得プロセスは以下を含む。
【００６２】
Ｓ６０１において、ビデオストリームに含まれる複数フレームの画像のうちの少なくとも２フレームの画像に基づき、その各画素点の値が各画素の区画線に属する確率を示す区画線の確率画像を取得する。
【００６３】
例示的に、可能な一実施形態では、Ｎフレームの画像について、直線区画線の数が湾曲区画線の数よりも大幅に多いことを考慮すると、統計によって直線区画線の確率画像を得ることができる。確率画像における各画素点の値は各画素点が区画線に属する確率を示す。いくつかの実施例では、確率画像における画素点の値はまたＮフレームの画像において該画素点が区画線に属する回数を示すこともできる。
【００６４】
Ｓ６０２において、確率画像に基づいて少なくとも二つの区画線の区画線情報を取得する。
【００６５】
例示的に、確率画像において区画線に属する画素点を特定し、区画線に属する画素点に基づいて、区画線の関数をフィッティングして得ることができる。
【００６６】
Ｓ６０３において、少なくとも二つの区画線の区画線情報に基づいて車載カメラの消失点を取得する。
【００６７】
例示的に、透視の原理によって、各区画線の関数の視覚交点を消失点として取得する。
【００６８】
例示的に、本実施例は透視の原理に基づき、区画線の視覚交点が消失点であることを考慮した上で、複数フレームの画像に基づいて確率画像を統計して得て、さらに区画線関数を特定し、それにより区画線の視覚交点に基づいて消失点を取得し、それは消失点の取得方式を簡略化し、車載カメラの姿勢推定の計算量を低減する。
【００６９】
いくつかの実施例では、上記いずれかの実施例のもとに、地平線関数に基づいて車載カメラのピッチ角を取得するステップは、具体的に、
地平線情報および車載カメラの焦点距離に基づき、車載カメラのピッチ角を取得することを含む。
【００７０】
例示的に、車載カメラの主光軸が画像にマッピングした画素点から地平線関数までの距離および車載カメラの焦点距離に基づき、車載カメラのピッチ角を取得する。
【００７１】
例示的に、車載カメラの主光軸が画像にマッピングした画素点から地平線関数までの距離Ｄ１を取得し、
【数１】
2020533667.tif 000003
【００７２】
によって車載カメラのピッチ角を取得する。
【００７３】
ここで、ｆは車載カメラの焦点距離であり、ＰＭは車載カメラで取得した画像の内部パラメータであり、内部パラメータの単位は画素／ミリメートルであり、撮像素子において１ミリメートル当たり撮像可能な画素数を示す。
【００７４】
図７は本願の実施例が提供する車載カメラのピッチ角推定の原理模式図である。図７は車両が路面を走行する側面図である。図７に示すように、ＢＥは車両が走行する路面であり、ＢＤは地面と垂直であり、ＡＤは地面と平行であり、ＡＤが存在する点線はカメラと同じ高さの地面平行線を表す。ＭＡはｆ、即ち車載カメラの焦点距離である。ＭＮはカメラ内の撮像素子のサイズである。Θは車載カメラのピッチ角であり、ｔａｎθ＝ＭＮ／ｆである。同時に、車載カメラの主光軸が画像にマッピングした画素点は点Ｐであり、ＰＱは車載カメラの主光軸が画像にマッピングした画素点から地平線関数までの距離Ｄ１であり、Ｄ１の単位は画素であり、ＭＮ＝ＰＱ／ＰＭである。
【００７５】
例示的に、ウェイポイント情報に基づき、車載カメラの水平偏角を取得するステップは、
ウェイポイント情報および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得することを含む。
【００７６】
例示的に、車載カメラの主光軸が画像にマッピングした画素点からウェイポイント関数までの距離および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得する。
【００７７】
例示的に、車載カメラの主光軸が画像にマッピングした画素点からウェイポイント関数までの距離Ｄ２を取得し、
【数２】
2020533667.tif 000004
【００７８】
によって車載カメラの水平偏角を取得する。
【００７９】
例示的に、図８は本願の実施例が提供する車載カメラの水平偏角推定方法の原理模式図である。図８は車両が路面を走行する平面図である。図８に示すように、ψは車載カメラの水平偏角であり、ＧＡＣは車両の走行方向であり、ｔａｎψ＝ＧＨ／ｆである。ここで、ＧＨはカメラ内の撮像素子のサイズであり、ＧＨ＝ＣＤ／ＰＭである。車載カメラの主光軸が画像にマッピングした画素点は点Ｄであり、ＣＤは車載カメラの主光軸が画像にマッピングした画素点からウェイポイント関数までの距離Ｄ２である。ｆは車載カメラの焦点距離である。
【００８０】
例示的に、地平線情報に基づいて車載カメラの姿勢情報を取得するステップは、
地平線の傾斜度情報に基づいて車載カメラの回転角度を特定することを含む。
【００８１】
例示的に、地平線関数は画像において一次関数であり、車載カメラが回転していない時、地平線関数は水平の直線である。車載カメラが回転したら、地平線関数の傾斜度は車載カメラの回転角度を示すことができる。
【００８２】
本願の実施例の別の一態様はさらに、車載カメラの姿勢推定装置を提供し、図９は本願の実施例が提供する車載カメラの姿勢推定装置の構成模式図である。図９に示すように、車載カメラの姿勢推定装置は、
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュール９０１と、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュール９０２と、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュール９０３と、を含む。
【００８３】
本願の実施例が提供する車載カメラの姿勢推定方法および装置は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願の実施例が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
【００８４】
いくつかの実施例では、前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる。
【００８５】
本願の各実施例における路面は構造化道路である。構造化道路とは一般的に高速道路、都市の幹線道路などの構造化程度が高い道路をいい、このような道路は区画線などの道路標示線を有し、道路の背景環境が比較的単純であり、道路の幾何学的特徴も比較的明瞭である。非構造化道路とは一般的に都市の幹線道路以外の道路、田舎の街道などの構造化程度が低い道路をいい、このような道路は区画線および／または明晰な道路境界がなく、また影および水溜まりなどの影響をも受けており、道路領域および非道路領域は区別しにくい。本願の実施例が提供する技術的解決手段を構造化道路に用いれば、車載カメラの姿勢推定効果が高く、結果が正確である。
【００８６】
いくつかの実施例では、前記車載カメラの姿勢情報は前記車載カメラの回転角度を含む。
【００８７】
例示的に、図９および図１０に示すように、姿勢情報取得モジュール９０３はさらに、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するように構成された回転角度取得ユニット１００１を含んでもよい。
【００８８】
いくつかの実施例では、前記車載カメラの姿勢情報はさらに前記車載カメラの水平偏角を含む。
【００８９】
図９に示すように、車載カメラの姿勢推定装置はさらに、前記地平線情報に基づいて前記車両のウェイポイント情報を取得するためのウェイポイント情報取得モジュール９０４を含む。
【００９０】
いくつかの実施例では、図９および図１０に示すように、前記姿勢情報取得モジュール９０３は、
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニット１００２を含む。
【００９１】
いくつかの実施例では、前記水平偏角取得ユニット１００２は具体的に、前記ウェイポイント情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するために用いられる。
【００９２】
いくつかの実施例では、前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む。
【００９３】
いくつかの実施例では、図９および図１０に示すように、前記姿勢情報取得モジュール９０３は、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニット１００３を含む。
【００９４】
いくつかの実施例では、図９に示すように、前記地平線情報取得モジュール９０２は、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニット９０２１と、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニット９０２２と、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニット９０２３と、を含む。
【００９５】
いくつかの実施例では、前記区画線情報取得ユニット９０２１は具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる。
【００９６】
いくつかの実施例では、前記地平線情報取得ユニット９０２３は具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる。
【００９７】
透視の原理によって、区画線は地平線で交差するため、各区画線関数の視覚交点は地平線に落ちる。各区画線関数によって画像における視覚交点の座標を取得できる。例示的に、区画線が曲線である場合、区画線関数が画像画素座標範囲内にある点を区画線関数の視覚交点とする。
【００９８】
いくつかの実施例では、図９に示すように、車載カメラの姿勢推定装置はさらに、前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュール９０５を含む。
【００９９】
いくつかの実施例では、図９に示すように、車載カメラの姿勢推定装置はさらに、前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュール９０５を含む。
【０１００】
例示的に、図９に示すように、車載カメラの姿勢推定装置はさらに、
前記姿勢情報に基づいて前記車載カメラに対して目盛定めを行うためのカメラ目盛定めモジュール９０６を含む。
【０１０１】
例示的に、図９に示すように、車載カメラの姿勢推定装置はさらに、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュール９０７を含む。
【０１０２】
図１１は本願の実施例が提供する電子機器の実体のブロック図であり、図１１に示すように、該電子機器は、
プログラム命令を記憶するためのメモリ１１０１と、
前記メモリ内のプログラム命令を呼び出して実行し、上記方法の実施例に記載の方法のステップを実行するためのプロセッサ１１０２と、を含む。
【０１０３】
図１２は本願の実施例が提供する車載カメラの姿勢推定システムのアーキテクチャ模式図であり、該システムは車両に用いられ、図１２に示すように、該システムは、車両に取り付けられたカメラ１２０１、およびカメラ１２０１と接続される上記車載カメラの姿勢推定装置１２０２を含む。
【０１０４】
本願の実施例はさらに、上記方法の実施例に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体を提供する。
【０１０５】
本願の実施例はさらに、コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記方法の実施例に記載の方法のステップを実現するコンピュータプログラム製品を提供する。
【０１０６】
なお、本願の実施例が提供するいずれかの車載カメラの姿勢推定装置、車載カメラの姿勢推定システム、電子機器内の各部材、モジュールまたはユニットの動作プロセス、設置方式および技術的効果などの説明は、本開示の上記方法の実施例の対応する記載を参照すればよいことを理解すべきであり、紙数に限りがあるので、ここでは詳細な説明を省略する。
【０１０７】
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解できる。前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能である。該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
【０１０８】
最後に、説明すべきは、以上の各実施例は本願の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照しながら本願を詳細に説明したが、当業者であれば、前記各実施例に記載の技術的解決手段に対する修正、またはその一部もしくは全ての技術的特徴に対する置換が可能であることは、当然理解されるものであり、これらの修正または置換は、該当する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではないということである。
【図１】
2020533667.tif 000005
【図２】
2020533667.tif 000006
【図３】
2020533667.tif 000007
【図４】
2020533667.tif 000008
【図５】
2020533667.tif 000009
【図６】
2020533667.tif 000010
【図７】
2020533667.tif 000011
【図８】
2020533667.tif 000012
【図９】
2020533667.tif 000013
【図１０】
2020533667.tif 000014
【図１１】
2020533667.tif 000015
【図１２】
2020533667.tif 000016
【手続補正書】
【提出日】令和2年2月20日(2020.2.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車載カメラで取得した車両走行路面のビデオストリームに基づき、前記路面の区画線検出を行うことと、
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づき、前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法。
【請求項２】
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる請求項１に記載の方法。
【請求項３】
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定することを含む請求項１または２に記載の方法。
【請求項４】
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記地平線情報に基づき、前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報に基づき、前記車両のウェイポイント情報を取得することと、
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得することと、を含む請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得する前記ステップは、
前記ウェイポイント情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得することを含む請求項４に記載の方法。
【請求項６】
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得することを含む請求項６に記載の方法。
【請求項８】
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得する前記ステップは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づき、地平線情報を取得することと、を含む請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る前記ステップは、
前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、を含む請求項８に記載の方法。
【請求項１０】
前記区画線の視覚交点に基づき、地平線情報を取得する前記ステップは、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得することと、
前記交点確率マップに基づき、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得することと、を含む請求項８または９に記載の方法。
【請求項１１】
前記地平線情報に基づいて前記車両のウェイポイント情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの消失点に基づき、前記車両のウェイポイント情報を取得することを含む請求項４に記載の方法。
【請求項１２】
前記方法は、さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと、を含む請求項１１に記載の方法。
【請求項１３】
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示すことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得することと、を含む請求項１１に記載の方法。
【請求項１４】
前記方法は、さらに、
前記姿勢情報に基づいて前記車載カメラに対して目盛定めを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること、を含む請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置。
【請求項１６】
プログラム命令を記憶するためのメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、請求項１から１４のいずれか一項に記載の方法のステップを実行するためのプロセッサと、を含む電子機器。
【請求項１７】
請求項１から１４のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
【請求項１８】
車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される請求項１５に記載の車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システム。
【請求項１９】
コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記請求項１から１４のいずれか一項に記載の車載カメラの姿勢推定方法におけるステップを実現するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本願の実施例が提供する車載カメラの姿勢推定方法および装置は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願の実施例が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
例えば、本願は以下の項目を提供する。
（項目１）
車載カメラで取得した車両走行路面のビデオストリームに基づき、前記路面の区画線検出を行うことと、
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づき、前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法。
（項目２）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１に記載の方法。
（項目３）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定することを含む項目１または２に記載の方法。
（項目４）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記地平線情報に基づき、前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報に基づき、前記車両のウェイポイント情報を取得することと、
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得することと、を含む項目１から３のいずれか一項に記載の方法。
（項目５）
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得する前記ステップは、
前記ウェイポイント情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得することを含む項目４に記載の方法。
（項目６）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１から５のいずれか一項に記載の方法。
（項目７）
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得することを含む項目６に記載の方法。
（項目８）
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得する前記ステップは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づき、地平線情報を取得することと、を含む項目１から７のいずれか一項に記載の方法。
（項目９）
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る前記ステップは、
前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、を含む項目８に記載の方法。
（項目１０）
前記区画線の視覚交点に基づき、地平線情報を取得する前記ステップは、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得することと、
前記交点確率マップに基づき、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得することと、を含む項目８または９に記載の方法。
（項目１１）
前記地平線情報に基づいて前記車両のウェイポイント情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの消失点に基づき、前記車両のウェイポイント情報を取得することを含む項目４に記載の方法。
（項目１２）
前記方法は、さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと、を含む項目１１に記載の方法。
（項目１３）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示すことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得することと、を含む項目１１に記載の方法。
（項目１４）
前記方法は、さらに、
前記姿勢情報に基づいて前記車載カメラに対して目盛定めを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること、を含む項目１から１３のいずれか一項に記載の方法。
（項目１５）
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置。
（項目１６）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１５に記載の装置。
（項目１７）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記姿勢情報取得モジュールは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するための回転角度取得ユニットを含む項目１５または１６に記載の装置。
（項目１８）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記装置は、さらに、
前記地平線情報に基づいて前記車両のウェイポイント情報を取得するためのウェイポイント情報取得モジュールを含み、
前記姿勢情報取得モジュールは、
前記ウェイポイント情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む項目１５から１７のいずれか一項に記載の装置。
（項目１９）
前記水平偏角取得ユニットは、前記ウェイポイント情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するように構成される項目１８に記載の装置。
（項目２０）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１５から１９のいずれか一項に記載の装置。
（項目２１）
前記姿勢情報取得モジュールは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニットを含む項目２０に記載の装置。
（項目２２）
前記地平線情報取得モジュールは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニットと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニットと、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニットと、を含む項目１５から２１のいずれか一項に記載の装置。
（項目２３）
前記区画線情報取得ユニットは具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる項目２２に記載の装置。
（項目２４）
前記地平線情報取得ユニットは具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる項目２２または２３に記載の装置。
（項目２５）
前記ウェイポイント情報取得モジュールは具体的に、前記地平線情報および前記車載カメラの消失点に基づき、前記車両のウェイポイント情報を取得するために用いられる項目１８に記載の装置。
（項目２６）
さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２７）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２８）
さらに、
前記姿勢情報に基づいて前記車載カメラに対して目盛定めを行うためのカメラ目盛定めモジュール、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュールを含む項目１５から２７のいずれか一項に記載の装置。
（項目２９）
プログラム命令を記憶するためのメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、項目１から１４のいずれか一項に記載の方法のステップを実行するためのプロセッサと、を含む電子機器。
（項目３０）
項目１から１４のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
（項目３１）
車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される項目１５から２８のいずれか一項に記載の車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システム。
（項目３２）
コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記項目１から１４のいずれか一項に記載の車載カメラの姿勢推定方法におけるステップを実現するコンピュータプログラム製品。
【国際調査報告】
2020533667.tif 000017
2020533667.tif 000018
2020533667.tif 000019
2020533667.tif 000020
2020533667.tif 000021