(57)【要約】  本発明は、周辺画像内の、特に車両におけるサラウンドビューカメラの周辺画像内の光源の位置座標と種類を推定する装置並びに方法に関する。尚、光源１２０，１２５，１２８の種類は、点光源乃至平行光源であることができる。本発明は、以下の：ａ）カメラ２００によって周辺画像３００として周辺部１００を捕捉するステップと、ｂ）周辺画像３００における高い明度の領域３１０、即ち、それらの明度が、予め定められた閾値を超えているピクセルの集合を割り出すステップと、ｃ）高い明度の領域３１０に基づいた光源１２０，１２５，１２８の位置座標３３５を第一算出方法の内の一つに基づいて割出すステップと、ｄ）周辺画像３００上のオブジェクト１５０、特に車両の陰３５０から光源の種類１２０，１２５，１２８を割り出すステップと、を有している。
2021525912.tif 000002
【特許請求の範囲】
【請求項１】
光源（１２０，１２５，１２８）の種類が、点光源乃至平行光源であることができ、以下の：
ａ）カメラ（２００）によって周辺画像（３００）として周辺部（１００）を捕捉するステップと、
ｂ）周辺画像（３００）における高い明度の領域（３１０）、即ち、それらの明度が、予め定められた閾値を超えているピクセルの集合を割り出すステップと、
ｃ）高い明度の領域（３１０）に基づいた光源（１２０，１２５，１２８）の位置座標（３３５）を第一算出方法の内の一つに基づいて割出すステップと、
ｄ）周辺画像（３００）上のオブジェクト（１５０）、特に車両の陰（３５０）から光源の種類（１２０，１２５，１２８）を割り出すステップと、
を有していることを特徴とする周辺画像（３００）内の光源（１２０，１２５，１２８）の位置座標と種類を推定する方法。
【請求項２】
以下の：
ｅ）平滑化するフィルタ、特に、カルマンフィルタを、光源（１２０，１２５，１２８）の位置座標に用いる付加的なステップを有していることを特徴とする請求項１に記載の方法。
【請求項３】
カメラ（２００）が、複数のカメラから構成されている、特に好ましくは、サラウンドビューカメラであることを特徴とする請求項１又は２に記載の方法。
【請求項４】
ステップｂ），ｃ），ｄ）乃至ｅ）が、複数回実施され、複数の光源（１２０，１２５，１２８）に対して用いられることを特徴とする請求項１〜３のうちいずれか１項に記載の方法。
【請求項５】
周辺画像の高い明度の領域（３１０）が、白飛びしていることを特徴とする請求項１〜４のいずれか１項に記載の方法。
【請求項６】
ステップｃ）が、以下の部分ステップ：
ｃ１）高い明度の領域（３１０）の縁にある三つのピクセル（３３１，３３２，３３３）を選択するステップと、
ｃ２）三つのピクセル（３３１，３３２，３３３）の内それぞれ二つのピクセル（３３１，３３２，３３３）を一本の第一（３４１）及び一本の第二直線（３４２）によってつなぐステップと、
ｃ３）第一（３４１）及び第二直線（３４２）の中点を通る第一（３４６）及び第二法線（３４７）を形成するステップと、
ｃ４）第一（３４６）及び第二法線（３４７）の交点（３３５）から光源（１２０，１２５，１２８）の位置座標（３３５）を割り出すステップと、
を有していることを特徴とする請求項１〜５のいずれか１項に記載の方法。
【請求項７】
ステップｄ）が、以下の部分ステップ：
ｄ１）オブジェクト（１５０）の陰（３５０）の縁（３５１，３５２，３５５，３５６）と光源（１２０，１２５，１２８）の位置座標（３３５）から陰（３５０）を光源（１２０，１２５，１２８）に帰属させるステップと、
ｄ２）陰（３５０）の縁（３５１，３５２，３５５，３５６）の平行度から、光源（１２０，１２５，１２８）の種類、即ち、縁（３５５，３５６）が平行であることから平行光源であること、縁（３５５，３５６）が平行で無いことから点光源であることを割り出すステップと、
を有していることを特徴とする請求項１〜６のいずれか１項に記載の方法。
【請求項８】
請求項１〜７のいずれか１項に記載のカメラ（２００）に接続され、請求項１〜７のいずれか１項に記載の方法を実施できるように構成されている制御装置（４００）。
【請求項９】
制御装置（４００）上において実施された場合、制御装置（４００）に対して、請求項１〜７のいずれか１項に記載の方法を実施するように命令するプログラム・エレメント。
【請求項１０】
請求項９に記載のプログラム・エレメントが保存されていることを特徴とするコンピュータによって読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺画像内の、特に車両におけるサラウンドビューカメラの周辺画像内の光源の位置座標と種類を推定する装置並びに方法に関する。更に本発明は、プログラム・エレメント、並びに、コンピュータによって読み取り自在な媒体に関する。
【背景技術】
【０００２】
周辺画像内の光源の位置座標を推定するための方法は、例えば、所謂「拡張現実（“ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ”）」のアプリケーションにおいて、周辺の可能な限り現実的な画像を作成するために用いられる。最近では、この方法は、陸上用車両において、ドライバーに、その中に拡張現実のエレメントが映し出される周辺部の高速且つ直感的な画像を伝達するために用いられている。これには−車両が高速で走っている場合でも−リアルタムに算出される周辺部の写真現実的画像が必要とされる。ここでは、周辺画像内の光源の位置座標と種類が重要な役割を果たす。位置座標とは、ここでは、各々の光源の位置の二次元乃至三次元モデルであると解釈できる。幾つかの実施例においては、該位置座標は、各々の光源の方向であると解釈される。光源の種類は、点光源や平行光源として解釈される。平行光源（“ｄｉｒｅｃｔｉｏｎａｌ  ｉｌｌｕｍｉｎａｔｉｏｎ  ｓｏｕｒｃｅｓ”）とは、典型的には、例えば、太陽など、非常に遠くにある光源である。点光源（“ｐｏｉｎｔ  ｉｌｌｕｍｉｎａｔｉｏｎ  ｓｏｕｒｃｅｓ”）とは、例えば、街路灯など、近くに配置された光源である。
【０００３】
従来の技術の方法では、この計算に、非常に高い計算能力が必要とされている。更に、多くの方法では、主光源として評価された唯一つの光源のみを考慮することが出来る。また、多くの方法は、一つの、或いは、複数の光源の位置座標を推測するために基準オブジェクトを必要としている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
これらの背景に基づき、本発明の課題は、従来の技術の欠点を少なくとも部分的に解消することである。
【課題を解決するための手段】
【０００５】
上記目的は、独立特許請求項に記載されている対象によって達成される。本発明の発展形態は、従属請求項ならびに以下の明細書によって示される。
【０００６】
本発明は、周辺画像内の光源の位置座標と種類を推定する方法を包含しているが、該光源の種類は、点光源乃至平行光源のいずれであっても良い。該方法は、以下のステップを包含している：
ａ）カメラによって周辺画像として周辺部を捕捉するステップ。該周辺画像は、幾つかの実施形態では−特に動いている陸上用車両では−規則的な時間的間隔をおいて、撮影される。それぞれの撮影の間に、該車両は、動いている。幾つかの実施形態では、これは、拡張現実の算出された画像が、適切な方法によって、特に好ましくは、車両の速度を考慮した上で、インポートされることによって考慮される。記載されている方法は、各々の周辺画像に適応される。該周辺画像は、例えば、制御装置、乃至、計算機のメインメモリに一時保存される。幾つかの実施形態では、該計算機は、車両内部に設置されている、乃至、概車両と接続されている。
ｂ）周辺画像における高い明度の領域、即ち、それらの明度が、予め定められた閾値を超えているピクセルの集合を割り出すステップ。この際、予め定められた閾値は、定数乃至変数であることができる。ある実施形態では、該閾値は、周辺画像の総合明度乃至最高明度から割り出される。特に、日没以降に撮影された周辺画像が、この様なケースに当てはまる。
【０００７】
続いて、該捕捉された周辺画像は、ピクセルの集合が、関連しているか、或いは、関連していないものであるのかが、分析される。該ピクセルの集合が、関連しているものである場合、これは、明度が高い（関連した）面であると解釈される。該ピクセルの集合が、関連していないものである場合は、捕捉された周辺画像が、複数の独立した光源を有していると解釈される。この様なケースでは、以下のステップが、各々の光源一つ一つに対して実施される。幾つかの実施形態では、関連していないピクセル間の最少間隔が予め定義されており、この最少間隔を超えてからのみ、関連しないピクセルを、複数の独立した光源のものであるとみなされる。
ｃ）高い明度の領域に基づいた光源の位置座標を第一算出方法の内の一つに基づいて割出すステップ。尚、該高い明度の領域は、予め定められた明度の閾値によって定まる縁を有している。幾つかの実施形態では、縁は、該閾値を超えるピクセルと、該閾値を下回っている隣接するピクセルによって定めることができる。幾つかの実施形態では、該縁は、平滑にすることもできる。
【０００８】
高い明度の領域の縁を算出した後、第一計算方法によれば、高い明度の領域の中心が割り出される。その際、該第一計算方法は、例えば、各々の高い明度の領域の幾何学的重心を割り出すことができる、或いは、各々の領域の中心を算出するための割線方法乃至他の方法を採用することもできる。該中心乃至重心は、光源の位置座標であると見ることができる。
ｄ）周辺画像上のオブジェクト、特に車両の陰から光源の種類を割り出すステップ。各々の光源の位置座標の算出後は、周辺画像の陰が、分析される。その際、カメラは、影を落とすオブジェクトに配置されていても良い。該オブジェクトは、特に、車両であることができる。この際、各々の光源に陰が帰属される。続いて、影の形状から、例えば、その縁の平行度から、光源の種類を割り出すことができる。
【０００９】
この様な算出のやり方は、この様に得られた結果、即ち、各々の光源の位置座標だけでなくその種類に関しても知ることができることにより、拡張現実の画像の特にリアルなモデル化が可能になることから特に有利である。この方法によれば、唯一のメイン光源だけでなく、複数の光源を考慮できるため、更に有利である。特に、この方法では、必ずしも全方向性の周辺画像をベースとする必要も無い。加えて、これらの結果は、少ない計算負荷−即ち、短い計算時間、乃至、速度の遅いプロセッサ−によって得ることができる。更に、周辺部の煩雑なモデル化、及び／或いは、既知のオブジェクトのデータベースの使用も必要なくなる。
【００１０】
ある実施形態では、本発明は、付加的に以下のステップも有してしている：
ｅ）平滑化するフィルタ、特に、カルマンフィルタを、光源の位置座標に用いるステップ。
【００１１】
これは、これまでの方法ステップにおけるエラーを内包する推定を、少なくとも部分的に補正することにおいて、特に有利である。このステップは、更には、カメラが、動いている車両に、乃至、その内部に配置されることにより、周辺画像の（例えば、時間的な）シーケンスがある場合、有利に使用することができる要するに、該方法の更なる長所は、静的でないシーンでも計算できると言うことにある。
【００１２】
ある実施形態では、該カメラは、複数のカメラから構成されている、特に好ましくは、サラウンドビューカメラである。例えば、ある実施形態では、四台のカメラが、車両に乃至その内部に配置されている。その配置では、各方向（左、右、前、後）にそれぞれ一台のカメラを設けることができる。該カメラは、その際、必ずしも正確に９０度ずらされている必要は無い。この実施形態は、光源の位置座標を三次元の座標において算出できる長所を有している。加えて、該カメラは、それらが重なり合っている領域において、各々他のカメラの周辺画像の修正のために用いられることができる。
【００１３】
ある実施形態では、ステップｂ），ｃ），ｄ）乃至ｅ）は、複数回実施されることができる。ある実施形態では、これらのステップは、複数の光源に対して用いられることができる。
【００１４】
ある実施形態では、周辺画像の高い明度の領域は、白飛び（明るさが飽和）している。「白飛び」する値とは、用いられているカラースケールにおける最も高い明度値、即ち、例えば、純粋なグレースケールでは、十六進方法の「ＦＦ」、ＲＧＢスケールでは、「ＦＦＦＦＦＦ」で表される値である。これらの値は、従来の技術の多くのアルゴリズムでは、そのアルゴリズムに問題を生じさせる、及び／或いは、長い計算時間の要因となり得るため、避けられている。本件発明では、「白飛び」の値を用いることにより、計算を簡略化できる−即ち、更に加速できる。
【００１５】
ある実施形態では、ステップｃ）は、以下の部分ステップを有している：
ｃ１）高い明度の領域の縁にある三つのピクセルを選択するステップ；
ｃ２）三つのピクセルの内それぞれ二つのピクセルを一本の第一及び一本の第二直線によってつなぐステップ；
ｃ３）第一及び第二直線の中点を通る第一及び第二法線を形成するステップ；
ｃ４）第一及び第二法線の交点から光源の位置座標を割り出すステップ。
【００１６】
ある実施形態では、ステップｃ）は、以下の部分ステップを有している：
ｄ１）オブジェクトの陰の縁と光源の位置座標から陰を光源に帰属させるステップ。
ｄ２）陰の縁の平行度から、光源の種類、即ち、縁が平行であることから平行光源であること、縁が平行で無いことから点光源であることを割り出すステップ。
【００１７】
本発明は、カメラとつながれ、上記方法を実施できるように設定された制御装置も包含している。該制御装置は、該一台の乃至複数のカメラと同様、車両に、或いは、車内に配置されることができる。計算能力の一部は、外部に、例えば、外部のサーバに委託する事も可能である。
【００１８】
本発明は、上記の制御装置上で実施され、該制御装置に上記の方法の実施を命令するプログラム・エレメントも包含している。
【００１９】
更に本発明は、コンピュータによって読み取り自在な、それに上記のプログラム・エレメントが保存されている媒体も包含している。
【００２０】
本発明を、以下、明確さを高めるためのみであって、限定することは目的としていない実施形態の例に係る図面に基づいて説明する。
【図面の簡単な説明】
【００２１】
【図１ａ】模式的に、上記の方法を応用することができる起こり得るシナリオを示す。
【図１ｂ】模式的に、周辺画像から一つの光源の位置座標を算出する例を示す。
【図１ｃ】模式的に、一つの光源の種類を算出する例を示す。
【図２】サラウンドビューカメラによって撮影された周辺画像の例を示す。
【図３】一つの光源の位置座標と種類を算出する方法の例を示す。
【発明を実施するための形態】
【００２２】
図１ａは、模式的に、上記の方法を応用することができる起こり得るシナリオの概要を示している。ここでは、周辺１００は、三つの光源１２０，１２５，１２８を有している。ここでは、光源１２０は、太陽、即ち、平行光源を示し、光源１２５と１２８は、点光源を示している。加えて、該周辺１００は、それに四台のカメラ２００が配置されている車両１５０も有している。更に、車両１５０内には、カメラと接続４２０を介して接続されている制御装置４００も配置されている。該車両１５０は、第一光源１２０からの陰３５０を落としている。第二光源１２５と１２８からの陰は、ここでは、描写されていない。
【００２３】
図１ｂは、四台のカメラ２００によって撮影された周辺画像３００から光源の位置座標を算出する例を示している。該カメラ２００は、通常、周辺画像３００内には写っていない；明確にするためだけに、ここでは、付加的に描かれている。位置座標を算出する一つのやり方が、第一光源１２０を例に示されている。第一光源１２０の高い明度の領域３１０は、その値として「白飛び」を有している。高い明度の領域３１０の縁３３０から、三つのピクセル３３１，３３２，３３３を選択し、各々二つを直線３４１，３４２によって結ぶ。該直線３４１，３４２の中点に垂線を下ろした、乃至、法線３４６，３４７を作図した。該法線３４６と３４７の交点３３５は、高い明度の領域３１０の算出された中心３３５である。ここで、二台のカメラ２００が、第一光源１２０を捕捉していることは、好ましく利用できる。なぜならば、これにより、第一光源１２０の三次元的位置座標を割り出すことができるからである。
【００２４】
この方法は、第二光源１２５と１２８にも応用することができる。これにより、図１ｂの周辺画像３００からは、光源１２０，１２５，１２８の位置座標が算出される。
【００２５】
図１ｃは、周辺画像３００から一つの光源の種類を算出する例を示している。その際先ず、陰３５０が、その中心３３５が既に求められている第一光源１２０に帰属される。該陰３５０は、縁３５１，３５２を有している。ここでは、該縁３５１，３５２が、平行であることは、明らかである。よって、この計算から、第一光源１２０が、平行光源であることが解る。
【００２６】
第二光源１２５−第二光源１２８も同様である−による陰は、有意に異なる縁３５５，３５６を有している。これらの縁３５５，３５６は、平行ではなく、且つ、これらの縁３５５，３５６は、第二光源１２５に帰属され得るため、第二光源１２５は、点光源であると識別できる。同様に第二光源１２８も、点光源であると識別できる（陰は図示されていない）。
【００２７】
図２は、サラウンドビューカメラによって撮影された周辺画像３００の例を示している。ここでは、一つの第一光源１２０と一つの第二光源１２５が、明確に示されている。該第一光源１２０は、明度値「白飛び」を有している。更に、該第一光源１２０によって形成された高い明度の領域は、第一計算方法を実施するに当たって必ずしも円形である必要は無いことも示されている。加えて、周辺画像３００には、車両１５０も示されている。該車両１５０は、第一光源１２０による陰３５０を落としている。該陰３５０は、縁３５１、３５２を有している。ここでは、該縁３５１，３５２が、平行であることは、明らかである。よって、この計算からは、該光源の位置座標だけでなく、第一光源１２０が、平行光源であることも解る。
【００２８】
第二光源１２５による陰は、縁３５５，３５６を有している。これらの縁３５５，３５６は、平行ではなく、且つ、これらの縁３５５，３５６は、第二光源１２５に帰属され得るため、第二光源１２５は、点光源であると識別できる。
【００２９】
図３は、一つの光源の位置座標と種類を算出する方法の例を示している。
【００３０】
第一ステップ５０１では、周辺部１００は、周辺画像３００として捕捉される。これは、カメラ２００によって実施される。これらのカメラ２００は、サラウンドビューカメラとして実施されていても良く、後に一枚の全体周辺画像３００に合成される複数の物質的なカメラ２００を包含していることができる。
【００３１】
第二ステップ５０２では、周辺画像３００の高い明度の領域３１０、即ち、その明度が予め定義されている閾値を超えているピクセルの集合が割り出される。ある実施形態では、周辺画像の高い明度の領域３１０は、白飛びしていてもよい。周辺画像３００内に複数の光源１２０，１２５，１２８が写っている場合は、各々の光源１２０，１２５，１２８に対して高い明度の領域３１０が割り出される。
【００３２】
第三ステップ５０３では、高い明度の領域３１０から、第一計算方法に基づいて、各々の光源１２０，１２５，１２８の位置座標３３５が割り出される。その際、該第一計算方法は、例えば、各々の高い明度の領域の幾何学的重心を割り出すことができる、或いは、各々の領域の中心を算出するための割線方法乃至他の方法を採用することもできる。該中心乃至重心は、光源の位置座標であると見ることができる。
【００３３】
第四ステップ５０４では、車両１５０の陰５０４から、光源１２０，１２５，１２８の種類が割り出される。各々の光源の位置座標が算出された後、周辺画像の陰が、分析される。その際、カメラは、影を落とすオブジェクトに配置されていても良い。該オブジェクトは、特に、車両であることができる。この際、各々の光源１２０，１２５，１２８に陰が帰属される。続いて、影の形状から、例えば、その縁の平行度から、光源の種類を割り出すことができる。
【００３４】
尚、ここで使われている用語「包含する（原文＝“ｕｍｆａｓｓｅｎｄ”）」と「有する（原文＝“ａｕｆｗｅｉｓｅｎｄ”）」は、他のエレメントや他のステップが含まれないと言う意味で使われているのではなく、また、原文における不定冠詞“ｅｉｎｅ”や“ｅｉｎ”（対訳＝「ひとつの」）によって、「複数」が排除されるものではないことを、捕捉として指摘しておく。更に、ひとつの、或いは、上述の実施例への参照と共に記述されている特徴やステップは、他の上述の実施例の他の特徴やステップとの組み合わせで使用されてもよいことも指摘しておく。請求項内の符号は、制限をかけるものではない。
【符号の説明】
【００３５】
１００  周辺部
１２０  第一光源
１２５，１２８  第二光源
１５０  車両
２００  カメラ
３００  周辺画像
３２０，３２２，３２４  高い明度の領域
３３０  高い明度の領域の縁
３３１，３３２，３３３  縁のピクセル
３３５  高い明度の領域の算出された中心
３４１，３４２  直線
３４６，３４７  法線
３５０  第一光源による陰
３５１，３５２  第一光源による陰の縁
３５５，３５６  第二光源による陰の縁
４００  制御装置
４２０  カメラ−制御装置間の接続
５０１〜５０４  方法のステップ
【図１ａ】
2021525912.tif 000003
【図１ｂ】
2021525912.tif 000004
【図１ｃ】
2021525912.tif 000005
【図２】
2021525912.tif 000006
【図３】
2021525912.tif 000007
【国際調査報告】
2021525912.tif 000008
2021525912.tif 000009
2021525912.tif 000010
2021525912.tif 000011