(57)【要約】【課題】歪補正処理の負担を軽減でき、かつ、注目領域の管理が容易な車載カメラを提供することにある。【解決手段】画像切り出し手段２０は、イメージセンサ１０が撮像した歪画像の内、注目領域に相当する部分を切り出す。歪補正手段３０は、画像切り出し手段２０によって切り出された歪画像の注目領域に相当する部分の画像を正画像に補正する。仮想カメラ管理手段４０は、画像切り出し手段２０による切り出し領域の情報と、歪補正手段３０の歪補正パラメータを、注目領域毎に管理する。また、仮想カメラ管理手段４０は、注目領域内の対象物の移動に応じて、注目領域を移動するとともに、移動後の注目領域に対する切り出し領域と、歪補正パラメータを管理する。【選択図】図１
2009081496.tif 000002
【特許請求の範囲】
【請求項１】
レンズと、イメージセンサとを有し、注目領域の正画像を生成する車載カメラであって、
前記イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出す画像切り出し手段と、
この画像切り出し手段によって切り出された歪画像の注目領域に相当する部分の画像を正画像に補正する歪補正手段と、
前記画像切り出し手段による切り出し領域の情報と、前記歪補正手段の歪補正パラメータを、前記注目領域毎に管理する仮想カメラ管理手段とを備えることをことを特徴とする車載カメラ。
【請求項２】
請求項１の車載カメラにおいて、
前記仮想カメラ管理手段は、前記注目領域内の対象物の移動に応じて、前記注目領域を移動するとともに、移動後の注目領域に対する切り出し領域と、歪補正パラメータを管理することを特徴とする車載カメラ。
【請求項３】
請求項２の車載カメラにおいて、
前記仮想カメラ管理手段は、前記イメージセンサの撮像周期と同期して、同一シャッタタイミングに撮像された複数の仮想カメラ画像を生成することを特徴とする車載カメラ。
【請求項４】
請求項２の車載カメラにおいて、
前記仮想カメラ管理手段は、前記イメージセンサの撮像周期に対して、任意のタイミングで仮想カメラ画像を生成することを特徴とする車載カメラ。
【請求項５】
請求項２の車載カメラにおいて、
前記仮想カメラ管理手段は、仮想カメラのパラメータを変更することで任意方向への注目領域の移動および拡大縮小を可能とすることを特徴とする車載カメラ。
【請求項６】
請求項２の車載カメラにおいて、
複数の車載カメラを接続し、注目領域が複数の車載カメラの撮像領域を跨ぐ場合に、跨いだ注目領域に相当する仮想カメラを、前記仮想カメラ管理手段が生成することを特徴とする車載カメラ。
【請求項７】
請求項６の車載カメラにおいて、
所定の対象物を認識する認識手段と、
この認識手段が認識した結果をトラッキングするトラッキング手段と、
前記認識手段による認識結果と、前記トラッキング手段によるトラッキング結果を元に警報情報を生成する警報生成手段と、
を備えることを特徴とする車載カメラ。
【請求項８】
請求項２の車載カメラにおいて、
複数の車載カメラをネットワークで接続し、これらの車載カメラの撮像領域が重複する場合において、各々の車載カメラは重複する撮像領域を仮想カメラとして管理し、重複している注目領域の特徴点を抽出する特徴点抽出手段と、
それぞれの特徴点抽出手段によって抽出されたそれぞれの特徴点に基づいて、複数の車載カメラの相対位置を微調整する微調整パラメータを生成する微調整パラメータ生成手段を備えることを特徴とする車載カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車等の移動体に搭載される車載カメラに係り、特に、広角レンズを用いて、移動体の周囲の状況を認識するのに用いるに好適な車載カメラに関する。
【背景技術】
【０００２】
従来、魚眼レンズ等の超広角レンズを用いた車載カメラでは、一般に、歪んだ画像全体を撮像し、この撮像された画像全体に対して歪補正処理を施し、補正して得られた正画像から注目領域を切り出している。
【０００３】
それに対して、撮像された画像全体の内、特定領域を切り出した上で、歪補正処理を施すことで、補正処理の負荷を低減するものが知られている（例えば、特許文献１，２参照）。
【０００４】
【特許文献１】特開２００５−７９７８４号公報
【特許文献２】特開平７−１９２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ここで、一般的な画角のレンズと組み合わせて使われるのは、イメージセンサが３５万画素程度の低解像度のカメラである。このような低解像度のカメラと超広角レンズを組み合わせると、視野は広くなるが解像度がさらに低下すると言う問題がある。そこで、超広角レンズと、１００万画素以上の高解像度カメラと組み合わせる方式が検討されている。しかしながら、画素数の大きな高解像度カメラを用いると、歪補正処理の負担が増大することになる。
【０００６】
また、車載カメラを、移動体の周囲の状況を認識するための認識装置として用いる場合、認識対象の道路標識や歩行者や他車両等は、自車両の移動に応じてその位置を変えるため、全領域から特定領域を切り出す方式の場合、対象物が存在する注目領域が特定領域から外れ、対象物を認識できなくなるという問題があった。
【０００７】
本発明の目的は、歪補正処理の負担を軽減でき、かつ、注目領域の管理を容易に行える車載カメラを提供することにある。
【課題を解決するための手段】
【０００８】
（１）上記目的を達成するために、本発明は、レンズと、イメージセンサとを有し、注目領域の正画像を生成する車載カメラであって、前記イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出す画像切り出し手段と、この画像切り出し手段によって切り出された歪画像の注目領域に相当する部分の画像を正画像に補正する歪補正手段と、前記画像切り出し手段による切り出し領域の情報と、前記歪補正手段の歪補正パラメータを、前記注目領域毎に管理する仮想カメラ管理手段とを備えるようにしたものである。  
かかる構成により、歪補正処理の負担を軽減でき、かつ、注目領域の管理を容易に行い得るものとなる。
【０００９】
（２）上記（１）において、好ましくは、前記仮想カメラ管理手段は、前記注目領域内の対象物の移動に応じて、前記注目領域を移動するとともに、移動後の注目領域に対する切り出し領域と、歪補正パラメータを管理するようにしたものである。
【００１０】
（３）上記（２）において、好ましくは、前記仮想カメラ管理手段は、前記イメージセンサの撮像周期と同期して、同一シャッタタイミングに撮像された複数の仮想カメラ画像を生成するようにしたものである。
【００１１】
（４）上記（２）において、好ましくは、前記仮想カメラ管理手段は、前記イメージセンサの撮像周期に対して、任意のタイミングで仮想カメラ画像を生成するようにしたものである。
【００１２】
（５）上記（２）において、好ましくは、前記仮想カメラ管理手段は、仮想カメラのパラメータを変更することで任意方向への注目領域の移動および拡大縮小を可能としたものである。
【００１３】
（６）上記（２）において、好ましくは、複数の車載カメラを接続し、注目領域が複数の車載カメラの撮像領域を跨ぐ場合に、跨いだ注目領域に相当する仮想カメラを、前記仮想カメラ管理手段が生成するようにしたものである。
【００１４】
（７）上記（６）において、好ましくは、所定の対象物を認識する認識手段と、この認識手段が認識した結果をトラッキングするトラッキング手段と、前記認識手段による認識結果と、前記トラッキング手段によるトラッキング結果を元に警報情報を生成する警報生成手段とを備えるようにしたものである。
【００１５】
（８）上記（２）において、好ましくは、複数の車載カメラをネットワークで接続し、これらの車載カメラの撮像領域が重複する場合において、各々の車載カメラは重複する撮像領域を仮想カメラとして管理し、重複している注目領域の特徴点を抽出する特徴点抽出手段と、それぞれの特徴点抽出手段によって抽出されたそれぞれの特徴点に基づいて、複数の車載カメラの相対位置を微調整する微調整パラメータを生成する微調整パラメータ生成手段を備えるようにしたものである。
【発明の効果】
【００１６】
本発明によれば、歪補正処理の負担を軽減でき、かつ、注目領域の管理を容易に行えるものとなる。
【発明を実施するための最良の形態】
【００１７】
以下、図１〜図８を用いて、本発明の第１の実施形態による車載カメラの構成及び動作について説明する。  
最初に、図１を用いて、本実施形態による車載カメラの全体構成について説明する。  
図１は、本発明の第１の実施形態による車載カメラの全体構成を示すブロック図である。
【００１８】
車載カメラ１００は、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０より構成される。
【００１９】
レンズ５は、視野角１８０度の魚眼レンズのような超広角レンズである。なお、超広角レンズの一つとして、アナモルフィックレンズを用いることもできる。アナモルフィックレンズは、魚眼レンズのように１８０度の視野角を有するが、魚眼レンズのように全域を均等に撮像するものとは異なり、例えば、視野の左右の領域の解像度を上げるような特性を有するレンズである。例えば、自車両の前方の対象物の認識をする場合、自車両の前方の存在する他車両は、視野の中央で認識できるため、魚眼レンズでも十分である。しかし、前方の左右方向に位置する歩行者や標識を認識するには、前方の視野の内、左右の領域も高い解像度で撮像できることが好ましく、このような場合、アナモルフィックレンズが用いられる。アナモルフィックレンズは、魚眼レンズに比べて、歪分布が非常に複雑であるため、歪補正処理が、魚眼レンズのような均一な歪を有するものよりも、負荷が増大する。なお、以下の説明では、レンズ５として、視野角１８０度の魚眼レンズを例にして説明する。
【００２０】
イメージセンサ１０は、レンズ５によって結像された車両の周囲の画像を電気信号に変換する。イメージセンサ１０としては、従来は３０万画素程度の低解像度のものが用いられているが、ここでは、１００万画素以上の高解像度のものを用いている。例えば、２７０万画素のイメージセンサは、３０万画素のイメージセンサに対して縦横（垂直方向と水平方向）の画素数が、３倍となっている。したがって、２７０万画素のイメージセンサの出力を１／３に間引くことで、３０万画素相当の全領域の画像を得ることができる。一方、全領域の内、例えば、７．５万画素の４つの領域を注目領域として選択すれば、３０万画素分で画像データでありながら、特定の狭い視野角の画像を高解像度で得ることができる。１２０万画素のイメージセンサの場合には、３０万画素のイメージセンサに対して縦横（垂直方向と水平方向）の画素数が２倍となり、１２０万画素のイメージセンサの出力を１／２に間引くことで、３０万画素相当の全領域の画像を得ることができる。
【００２１】
画像切出し手段２０は、仮想カメラ管理手段４０によって制御され、イメージセンサ１０によって撮像された画像の内、特定の領域を注目領域として切り出す。
【００２２】
歪補正手段３０は、仮想カメラ管理手段４０によって制御され、画像切り出し手段２０によって切り出された画像データに歪補正処理を施して、歪の補正された正画像を得る。画像切出し手段２０は、イメージセンサ１０による撮像領域の内、特定の注目領域を切り出すため、歪補正手段３０は、歪画像全体を処理する必要がなくなるため、歪補正手段３０で必要となるメモリ容量や処理負荷を削減することができる。
【００２３】
仮想カメラ管理手段４０は、複数の注目領域に関連する歪画像と正画像の組とそれに付随する歪補正パラメータの情報群である仮想カメラＶＣを複数管理する。
【００２４】
仮想カメラ管理手段４０は、少なくともカメラパラメータＶＣ１と、切り出し領域ＶＣ２と、歪画像パラメータＶＣ３と、歪補正処理パラメータＶＣ４と、バッファＶＣ５を管理する。
【００２５】
ここで、図２〜図５を用いて、本実施形態による車載カメラの動作について説明する。  
図２は、本発明の第１の実施形態による車載カメラの撮像領域の説明図である。図３は、本発明の第１の実施形態による車載カメラにおけるカメラパラメータと切り出し領域の説明図である。図４は、本発明の第１の実施形態による車載カメラによって得られる正画像の説明図である。図５は、本発明の第１の実施形態による車載カメラの撮像タイミングを示すタイミングチャートである。
【００２６】
図２は、イメージセンサ１０による撮像領域ＩＡを示している。イメージセンサ１０は、矩形状であるが、１８０度の視野角の魚眼レンズの視野は、円形となる。したがって、イメージセンサ１０の撮像面においては、中央に円形の画像が結像し、４隅の方向にはケラレが生じる。ここで、撮像領域ＩＡとは、魚眼レンズによって得られた視野内の画像領域を示している。
【００２７】
撮像領域ＩＡの、例えば、画面の左上部には、標識が第１の対象物ＯＢ１として結像している。また、画面の右上部には、歩行者が第２の対象物ＯＢ２として結像している。また、画面の左下部には、バンパーの下に潜り込んだ人が第３の対象物ＯＢ３として結像している。さらに、画面の右下部には、バンパーの下に転がり込んだボールが第４の対象物として結像している。
【００２８】
前述のように、２７０万画素のイメージセンサ１０を用いる場合、イメージセンサの出力から縦横方向にそれぞれ１／３間引くことで、撮像領域ＩＡの全体を３０万画素相当の画質で得ることができる。
【００２９】
仮想カメラ管理手段４０は、撮像領域ＩＡの全体（視野の全域）の中から、認識すべき対象物が存在する領域を注目領域として選択する。例えば、第１の対象物ＯＢ１を含む領域を第１の注目領域ＲＡ１として選択する。同様にして、第２の対象物ＯＢ２を含む領域を第２の注目領域ＲＡ２として選択し、第３の対象物ＯＢ３を含む領域を第３の注目領域ＲＡ３として選択し、第４の対象物ＯＢ４を含む領域を第４の注目領域ＲＡ４として選択する。
【００３０】
図２に示す第１の対象物ＯＢ１の場合、自車両が前方に走行していると、次第に、その位置は、視野の左方向に移動する。このように、対象物の位置が移動した場合、それに応じて、第１の注目領域ＲＡ１を移動する。これは、後述するように、歪画像から正画像を得た後、正画像の中における対象物の位置の変化から、対象物の移動方向を知ることができるので、この移動方向に応じて、注目領域を移動することができる。
【００３１】
また、第１の注目領域ＲＡ１は、図示するように、四角形ではないため、第１の注目領域ＲＡ１を含む矩形の領域を、切り出し領域ＣＡ１として設定する。同様に、第２の注目領域ＲＡ２を含む矩形の領域を、切り出し領域ＣＡ２として設定し、第３の注目領域ＲＡ３を含む矩形の領域を、切り出し領域ＣＡ３として設定し、第４の注目領域ＲＡ４を含む矩形の領域を、切り出し領域ＣＡ４として設定する。
【００３２】
ここで、図３を用いて、第１の注目領域ＲＡ１及び第１の切り出し領域ＣＡ１について説明する。
【００３３】
第１の注目領域ＲＡ１は、第１の対象物ＯＢ１を含む領域である。第１の注目領域ＲＡ１は、高さｈ’で、幅ｗ’の領域である。歪画像パラメータＶＣ３は、所定の画角を取得するために必要な歪画像の領域情報であり、この場合、（ｗ’、ｈ’）となる。この歪画像パラメータは、仮想カメラＶＣのＮｏ．１の歪画像パラメータＶＣ３として記憶される。
【００３４】
また、第１の切り出し領域ＣＡ１は、第１の注目領域ＲＡ１を含む矩形の領域である。第１の切り出し領域ＣＡ１は、位置（ｘ１，ｙ１）を基準位置として、横方向がＨで、縦方向がＶの領域である。切り出し領域ＶＣ２は、注目領域を含む矩形の切り出し領域の情報であり、この場合、（（ｘ１，ｙ１），Ｈ，Ｖ）となる。この切り出し領域のパラメータは、仮想カメラＶＣのＮｏ．１の切り出し領域ＶＣ２として記憶される。図１の画像切り出し手段２０は、切り出し領域ＶＣ２の情報に基づいて、この領域の画像を切り出し処理する。
【００３５】
図３に示す第１の切り出し領域ＣＡ１の画像は、レンズの歪を含んだ歪画像である。歪画像を正画像に変換するには、歪補正手段３０は、仮想カメラＶＣのＮｏ．１の歪補正処理パラメータＶＣ４を用いる。
【００３６】
歪補正処理パラメータＶＣ４は、歪画像パラメータに対応する歪画像の一部分の歪補正処理の実行に必要なパラメータを記憶する。歪補正手段４０が、歪画像のピクセルと正画像のピクセルの対応をマッピングして補正するものであり、その場合、歪補正処理パラメータＶＣ４は、歪画像と正画像の対応テーブルを備えている。なお、テーブルを用いる場合の他に、歪補正手段４０が、高次方程式による方法の場合には、歪補正パラメータＶＣ４は、この高次方程式の係数群を備えている。また、歪補正手段４０が、インタプリタである場合には、歪補正パラメータＶＣ４は、補正方程式に相当する情報を備えている。
【００３７】
図４は、歪補正手段４０によって歪補正処理が施されて得られた正画像を示している。正画像は、位置（ｘ１’，ｙ１）を基準位置として、横方向がｗで、縦方向がｈの領域である。
【００３８】
カメラパラメータＶＣ１は、仮想カメラの所望の画角を示す情報を記憶するものであり、例えば、（（ｘ１’，ｙ１），ｗ，ｈ）が記憶される。
【００３９】
バッファＶＣ５は、注目領域に対応する画像データ，すなわち、図４に示す横ｗで縦ｈの範囲の画像データが記憶される。
【００４０】
次に、図２及び図５を用いて、本発明の第１の実施形態による車載カメラの撮像タイミングについて説明する。
【００４１】
時刻ｔ１において、画像切り出し手段２０は、仮想カメラＶＣのＮｏ．１の切り出し領域ＶＣ２の情報に基づいて、（（ｘ１，ｙ１），Ｈ，Ｖ）の範囲のデータを切り出す。そして、歪補正手段３０は、仮想カメラＶＣのＮｏ．１の歪補正処理パラメータＶＣ４を用いて、画像切り出し手段２０が切り出した画像の歪を補正して、正画像を得ることができる。正画像は、仮想カメラＶＣのＮｏ．１のバッファＶＣ５に記憶される。
【００４２】
次に、時刻ｔ２において、画像切り出し手段２０は、仮想カメラＶＣのＮｏ．２の切り出し領域ＶＣ２の情報に基づいて、図２の切り出し領ＣＡ２の範囲のデータを切り出す。そして、歪補正手段３０は、仮想カメラＶＣのＮｏ．２の歪補正処理パラメータＶＣ４を用いて、画像切り出し手段２０が切り出した画像の歪を補正して、正画像を得ることができる。正画像は、仮想カメラＶＣのＮｏ．２のバッファＶＣ５に記憶される。
【００４３】
以上のように、所定のタイミングで、順次、複数の切り出し領域の画像を切り出した上で、歪補正して、正画像を得るようにしている。
【００４４】
このように、任意のシャッタタイミングで、任意の仮想カメラ一つに相当する画像を撮像することで、撮像のためのバッファメモリを軽減することができる。また、複数の仮想カメラが、それぞれ異なる任意のシャッタタイミングで撮像された正画像を得ることができる。これにより、任意の仮想カメラのみを任意のシャッタタイミングでの画像を取得することができる。任意のシャッタタイミングは、シリアルケーブルで直接設定される場合や、ＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）のようなネットワークに対応したカメラであれば、このネットワーク経由で設定される。
【００４５】
以上のような構成にすることで、複数の注目領域を提供することができる。そして注目領域だけに対して撮像および歪補正処理を限定することができるので、メモリ容量及び処理負荷も軽減することができる。
【００４６】
なお、イメージセンサ１０の種類によっては、CMOSイメージセンサのように画像切出し手段２０に相当処理が可能なイメージセンサも存在する。
【００４７】
次に、図６及び図７を用いて、本実施形態による車載カメラの第２の動作について説明する。  
図６は、本発明の第１の実施形態による車載カメラの第２の切り出し領域の説明図である。図７は、本発明の第１の実施形態による車載カメラの第２の撮像タイミングを示すタイミングチャートである。
【００４８】
図６に示すように、撮像領域ＩＡに対して、複数の注目領域ＲＡ１，ＲＡ２，ＲＡ３，ＲＡ４が接待されている場合、これらの複数の注目領域を同時に含む矩形の領域を、切り出し領域ＣＡとして設定する。
【００４９】
そして、図７に示すように、時刻ｔ１において、画像切り出し手段２０は、切り出し領域ＣＡの範囲のデータを切り出す。そして、歪補正手段３０は、仮想カメラＶＣの歪画像領域ＶＣ３の情報に基づいて、必要な歪補正範囲を設定し、歪補正処理パラメータＶＣ４を用いて、歪画像領域の画像の歪を補正して、正画像を得ることができる。
【００５０】
この例では、複数の仮想カメラが同一シャッタタイミングで撮像した画像を取得することができる。
【００５１】
なお、例えば、歪画像領域ＲＡ１，ＲＡ２を含む領域に第１の切り出し領域を設定し、また、歪画像領域ＲＡ３，ＲＡ４を含む領域に第２の切り出し領域を設定するようにしてもよいものである。
【００５２】
次に、図８を用いて、本実施形態による車載カメラの全体の動作について説明する。  
図８は、本発明の第１の実施形態による車載カメラの全体動作を示すフローチャートである。
【００５３】
本例では、複数の仮想カメラに対する正画像を取得するものであり、撮像期間中の任意の仮想カメラへの画像取得のリクエストをリクエスト・キューで管理している。
【００５４】
ステップＳ１０〜Ｓ９０は、車載カメラ１００の動作である。ステップＳ１００〜Ｓ１３０は、車載カメラ１００を利用する側，例えば、衝突防止制御を実行する車両制御装置の動作である。
【００５５】
最初に、撮像周期か否かを判定する（ステップＳ１０）。撮像周期であれば、撮像を実行する（ステップＳ２０）。次に、仮想カメラ管理手段４０は、歪画像パラメータＶＣ４を呼び出す（ステップＳ３０）。また、仮想カメラ管理手段４０は、歪画像パラメータＶＣ４に相当する歪画像領域ＶＣ３を読み出し、この領域を切り出す（ステップＳ４０）。次に、歪補正手段３０は、切り出した歪画像を歪補正処理パラメータＶＣに応じて歪補正処理を実施する（ステップＳ５０）。そして、歪補正処理して得られた正画像を仮想カメラＶＣのバッファＶＣ５に登録して管理する（ステップＳ６０）。
【００５６】
次に、任意の仮想カメラに対する、仮想カメラを利用する側からのリクエスト・キューをチェックする（ステップＳ７０）。そして、リクエスト・キューにリクエストがあれば相当する仮想カメラを抽出し（ステップＳ８０）、該当する仮想カメラの正画像を仮想カメラを利用する側に提供する（ステップＳ９０）。
【００５７】
一方、仮想カメラを利用する側では、任意の仮想カメラに対するリクエストを生成する（ステップＳ１００）。そして、このリクエストをリクエスト・キューに登録する（ステップＳ１１０）。その後、このリクエストに対応する仮想カメラの正画像のリプライを待つ（ステップＳ１２０）。そして、仮想カメラの正画像を取得する（ステップＳ１３０）。
【００５８】
以上説明したように、本実施形態によれば、撮像領域の全領域から任意の領域を切り出して、歪補正するため、歪補正処理の負担を軽減でき、かつ、仮想カメラによって注目領域を管理するため、注目領域の管理が容易となる。
【００５９】
また、認識対象の道路標識や歩行者や他車両等の位置が変化しても、仮想カメラにおける注目領域を変更することで、対象物を認識できなくなるという事態を回避することができる。
【００６０】
次に、図９〜図１１を用いて、本発明の第２の実施形態による車載カメラの構成及び動作について説明する。  
最初に、図９を用いて、本実施形態による車載カメラの全体構成について説明する。  
図９は、本発明の第２の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。
【００６１】
本実施形態は、仮想カメラのパン・チルト・ズーム等のカメラ操作を実現するものである。車載カメラ１００Ａは、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０とに加えて、カメラ操作変換手段５０を備えている。
【００６２】
カメラ操作変換手段５０は、パン・チルト角やズーム倍率等のカメラ操作指示ＣＯＣ１をカメラパラメータＶＣ１に変換する。例えばパン・チルト角に応じてカメラパラメータＶＣ１の画角情報を更新する。更新に同期して撮像すれば一般のカメラと同様にパン・チルト処理を実現できる。このような変換手段５０を有することで可動機構を導入することなくパン・チルト・ズーム等のカメラ操作を実現することができる。カメラ操作指示ＣＯＣ１は、一般のパン・チルト・ズーム対応のリモート雲母台のように直接シリアルケーブルで送られたり、あるいはＩＥＥＥ１３９４やＥｔｈｅｒｎｅｔ（登録商標）のようなネットワークを経由して指示することで実現できる。
【００６３】
ここで、図１０を用いて、本実施形態による車載カメラにおけるカメラ操作の内容について説明する。  
図１０は、本発明の第２の実施形態による車載カメラにおけるカメラ操作の内容の説明図である。
【００６４】
元の正画像を、中心座標が（ｘ２，ｙ２）で、幅ｗで高さｈの画像とする。ここで、図の横方向（視野の水平方向）をｘ方向とし、図の縦方向（視野の垂直方向）をｙ方向とする。
【００６５】
パン操作の場合、視野を水平方向に移動するため、例えば、パン操作により水平方向に移動した後の正画像は、例えば、座標はｘ座標のみが変わった中心座標が（ｘ３，ｙ２）で、幅ｗで高さｈの画像となる。
【００６６】
車載カメラ１００を利用する側，例えば、衝突防止制御を実行する車両制御装置から、水平座標ｘ２からｘ３へのパン操作の指示があると、仮想カメラ管理手段４０は、中心座標が（ｘ３，ｙ２）で、幅ｗで高さｈの画像がカメラパラメータＶＣ１として記憶する。このカメラパラメータＶＣ１に応じて、歪画像領域ＶＣ３が設定され、歪画像領域ＶＣ３を含むように切り出し領域ＶＣ２が設定される。また、歪画像領域ＶＣ３に対する歪補正パラメータＶＣ４が設定される。これによって、仮想カメラ管理手段４０は、これらのパラメータを用いて、切り出した領域の歪補正をすることで、パン操作後の正画像を得ることができる。
【００６７】
また、チルト操作の場合、視野を垂直方向に移動するため、例えば、パン操作により垂直方向に移動した後の正画像は、例えば、座標はｙ座標のみが変わった中心座標が（ｘ２，ｙ３）で、幅ｗで高さｈの画像となる。
【００６８】
さらに、ズーム操作の場合、視野の中心位置は変わらず、縦横のサイズが変わるため、例えば、中心座標は（ｘ２，ｙ２）で、幅ｗ１で高さｈ１の拡大画像や、幅ｗ２で高さｈ２の縮小画像となる。
【００６９】
次に、図１１を用いて、本実施形態による車載カメラにおけるカメラ操作時の制御内容について説明する。  
図１１は、本発明の第２の実施形態による車載カメラにおけるカメラ操作時の制御内容を示すフローチャートである。
【００７０】
車載カメラ１００は、カメラ操作指示ＣＯＣ１を受信する（ステップＳ２００）。カメラ操作変換手段９０は、カメラ操作指示ＣＯＣ１に応じて、仮想カメラのカメラパラメータＶＣ１と、切り出し領域ＶＣ２と、歪画像パラメータＶＣ３と、歪補正処理パラメータＶＣ４に変換する（ステップＳ２１０）。次に、これらのパラメータ群に従って仮想カメラのパラメータ群を更新する（ステップＳ２２０）。仮想カメラ管理手段４０は、仮想カメラのパラメータに応じて撮像する（ステップＳ２３０）。
【００７１】
以上のように、本実施形態によれば、通常カメラで利用されているパン・チルト・ズームなどの操作を実現できる。なお、従来のように、注目領域を固定した場合には、これらのカメラ操作を実現できないものである。
【００７２】
次に、図１２〜図１５を用いて、本発明の第３の実施形態による車載カメラの構成及び動作について説明する。  
最初に、図１２を用いて、本実施形態による車載カメラの全体構成について説明する。  
図１２は、本発明の第３の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。
【００７３】
本実施形態は、複数の車載カメラ１００Ｃ−１，１００Ｃ−２をネットワークＮＷで接続し、注目領域が複数の車載カメラ１００Ｃ−１，１００Ｃ−２の間を移動する場合に、注目領域が移動することにより、この注目領域が撮像範囲に入る車載カメラが、撮像範囲に入り込んだ注目領域に相当する仮想カメラを自動生成するものである。
【００７４】
車載カメラ１００Ｃ−１は、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０と、ネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−１と、を有する。
【００７５】
車載カメラ１００Ｃ−２も同様に、レンズ５と、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０とネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−２と、を有する。本実施例では車載カメラを二台としているが、三台以上でもよいものである。
【００７６】
ここで、図１３を用いて、本実施形態による複数の車載カメラの相互の関係について説明する。  
図１３は、本発明の第３の実施形態による複数の車載カメラの相互の関係の説明図である。
【００７７】
車両の後方に、第１の車載カメラ１００Ｃ−１が設置され、右側面に第２の車載カメラ１００Ｃ−２が設置され、前方に第３の車載カメラ１００Ｃ−３が設置され、左側面に第４の車載カメラが設置されている。それぞれの車載カメラは、視野角１８０度の魚眼レンズを用いているものとする。
【００７８】
自カメラ情報ＣＩ−１，ＣＩ−２で用いる絶対座標系は、例えば任意の車載カメラの三次元座標と画角を基準とし、この車載カメラとのズレによって表現できる。また、車載カメラが搭載されている移動体の任意点を基準とし、そのズレによっても表現できる。
【００７９】
例えば、第１の車載カメラ１００Ｃ−１を基準とすると、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）とする。画角は、車両の後方を０度とすると、−９０〜＋９０度となる。これは、２７０〜９０度の範囲でもある。
【００８０】
それに対して、第２の車載カメラ１００Ｃ−２の三次元座標は、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）を基準として、（ｘ２，ｙ２，ｚ２）として表される。第１の車載カメラ１００Ｃ−１と、第２の車載カメラ１００Ｃ−２の高さ方向の設置位置が同じであれば、ｚ２＝０となる。また、画角は、０〜１８０度となる。
【００８１】
同様にして、第３の車載カメラ１００Ｃ−３の三次元座標は、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）を基準として、（ｘ３，ｙ３，ｚ３）として表される。また、画角は、９０〜２７０度となる。
【００８２】
第４の車載カメラ１００Ｃ−４の三次元座標は、第１の車載カメラ１００Ｃ−１の三次元座標を（０，０，０）を基準として、（ｘ４，ｙ４，ｚ４）として表される。また、画角は、１８０〜３６０度となる。
【００８３】
ここで、ハッチングを施した領域ＤＡ１，ＤＡ２，ＤＡ３，ＤＡ４では、２つの車載カメラの撮像可能範囲が重複している。例えば、領域ＤＡ１では、第１の車載カメラ１００Ｃ−１と、第２の車載カメラ１００Ｃ−２によって撮像可能である。
【００８４】
次に、図１４及び図１５を用いて、本実施形態による車載カメラの動作について説明する。  
図１４は、本発明の第３の実施形態による車載カメラの動作を示すフローチャートである。図１５は、本発明の第３の実施形態による車載カメラの動作の説明図である。
【００８５】
図１４は、複数の車載カメラをネットワークで接続し、注目領域が複数の載カメラ間を移動する場合に、注目領域が移動してきた車載カメラが移動に相当する仮想カメラを自動生成する例のフローである。本実施例では車載カメラ１００Ｃ−１から車載カメラ１００Ｃ−２に、注目領域が移動した例である。
【００８６】
車載カメラ１００Ｃ−１の仮想カメラ領域判定手段７０は、現注目領域が自車載カメラの撮像可能範囲か否かを判定する（ステップＳ３００）。撮像可能範囲でない領域がある場合には、この注目領域の絶対座標系仮想カメラ情報を生成する（ステップＳ３１０）。車載カメラ１００Ｃ−１は、ネットワーク通信手段６０を経由して、絶対座標系仮想カメラ情報を他の車載カメラ１００Ｃ−２に送信する（ステップＳ３２０）。
【００８７】
車載カメラ１００Ｃ−２は、ネットワーク通信手段６０を経由して、絶対座標系仮想カメラ情報を受信する（ステップＳ３３０）。仮想カメラ領域判定手段７０は、受信した仮想カメラ情報が撮像範囲か否かを判定する（ステップＳ３４０）。撮像可能範囲である領域がある場合には、この仮想カメラ情報に基づいて仮想カメラ生成手段８０が仮想カメラ情報を生成する（ステップＳ３５０）。仮想カメラ管理手段４０に概仮想カメラ情報を登録する（ステップＳ３６０）。
【００８８】
ここで、図１５を用いて、例えば、片側二車線の道路の走行車線を自車両が走行し、他車両が追い越し車線を、後方から追い越して行く場合について説明する。図１５（Ａ）は、自車両の斜め後方を他車両が走行しているとき、車載カメラ１００Ｃ−１が他車両に対して設定した注目領域ＲＡ−１４を示している。他車両が後方から追い越して行くにしたがって、注目領域ＲＡ−１４は、矢印方向に移動し、ついには、撮像可能範囲から外れることになる。
【００８９】
このとき、車載カメラ１００Ｃ−１の仮想カメラ領域判定手段７０は、現注目領域が自車載カメラの撮像可能範囲外として、注目領域の絶対座標系仮想カメラ情報を生成し、車載カメラ１００Ｃ−２に送信する。
【００９０】
一方、車載カメラ１００Ｃ−２は、絶対座標系仮想カメラ情報を受信して、仮想カメラ生成手段８０が仮想カメラ情報を生成する。これによって、図１５（Ｂ）に示すように、車載カメラ１００Ｃ−２が注目領域ＲＡ−１５を生成することで、同一対象物である他車両を継続して、監視することができる。
【００９１】
以上のように、本実施形態によれば、注目領域が複数の車載カメラの間を移動する場合に自動的に各々の車載カメラで仮想カメラを自動生成することが可能となる。また、複数の車載カメラの繋ぎを意識しないで注目領域を自由に設定することが可能となり、シームレスなカメラ操作が可能となる。
【００９２】
次に、図１６を用いて、本発明の第４の実施形態による車載カメラの構成及び動作について説明する。  
図１６は、本発明の第４の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。
【００９３】
本実施形態は、複数台の車載カメラをネットワークＮＷで接続し、認識手段９０で認識した結果を、トラッキング手段１２０でトラッキングし、トラッキング結果を警報発生手段１３０で警報発生に相当するか否かを判断して警報情報を生成するものである。
【００９４】
車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４は、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０と、ネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−１と、認識手段９０と、を有する。ネットワークＮＷには、トラッキング手段１２０と、警報生成手段１３０と、が接続されている。
【００９５】
本例では、図１３にて説明したのと同様に、車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４は、視野角が１８０°以上のレンズを搭載し、それぞれ前、後、左、右に対応するように設置することとしている。これにより全周囲を撮像することが可能となる。
【００９６】
認識手段９０は、例えば、白線、ボッツドット、車両、人、二輪車自転車、その他障害物等の所定の対象物を認識する機能を有する。
【００９７】
トラッキング手段１２０は、認識手段９０の認識結果の状態推移、例えば移動方向や移動速度等を観測追従する機能を有する。
【００９８】
警報生成手段１３０は、認識手段９０の認識結果、トラッキング手段７０の結果を用いて警報情報を生成する。例えば、白線、ボッツドットの認識結果とトラッキング結果を用いて、車線逸脱防止の警報情報の生成が可能である。また、車両、人、二輪車、自転車等の認識結果とトラッキング結果を用いて、側方危険回避の警報情報の生成が可能である。さらに、白線、車両、人、その他障害物の認識結果とトラッキング結果を用いて、パーキングアシストの警報情報の生成が可能である。このような警報情報は、文字通りブザーやランプ等を用いて直接的な警報として利用することも可能である。さらに、例えば、ブレーキのアクチュエータや、パワーステアリングのアクチュエータや、エンジンを制御するコントローラが、ネットワークＮＷに接続されていて警報情報の送受信が可能な場合には、ブレーキやステアリングやエンジンを操作する安全制御にも該警報情報を利用することが可能である。
【００９９】
なお、警報および安全制御におけるトラッキングおよび警報生成方法については本発明で限定されるものではない。
【０１００】
以上のように、本実施形態によれば、複数台の車載カメラの認識手段９０から得られた結果を、ネットワーク経由でトラッキング手段７０と、警報生成手段１３０で、集中的に処理することが可能となる。
【０１０１】
なお、トラッキング手段１２０と、警報生成手段１３０とは、車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４の外部の設けられ、ネットワークで接続されているが、車載カメラ１００Ｄ−１，１００Ｄ−２，１００Ｄ−３，１００Ｄ−４の内部に設けるようにしてもよいものである。
【０１０２】
このように構成することで、複数台の車載カメラがそれぞれで警報情報を発生することが可能となるため、複数台の車載カメラが自立的に処理することが可能となると共に、トラッキング処理や警報情報の生成を集中して処理する必要がなくなる。
【０１０３】
次に、図１７〜図１９を用いて、本発明の第５の実施形態による車載カメラの構成及び動作について説明する。  
図１７は、本発明の第５の実施形態による車載カメラの全体構成を示すブロック図である。なお、図１と同一符号は、同一部分を示している。図１８は、本発明の第５の実施形態による車載カメラの制御内容を示すフローチャートである。図１９は、本発明の第５の実施形態による車載カメラの動作説明図である。
【０１０４】
図１７に示すように、本実施形態では、複数の車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４をネットワークＮＷで接続し、該車載カメラの撮像領域が重複する時に、重複領域にそれぞれの車載カメラが仮想カメラを生成してキャリブレーションするものである。
【０１０５】
車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、イメージセンサ１０と、画像切出し手段２０と、歪補正手段３０と、仮想カメラ管理手段４０と、ネットワーク通信手段６０と、仮想カメラ領域判定手段７０と、仮想カメラ生成手段８０と、絶対座標系における自カメラ情報ＣＩ−１と、認識手段９０と、特徴点抽出手段８５と、座標変換手段９５を有する。
【０１０６】
特徴点抽出手段８５は、認識手段９０の認識結果からキャリブレーションに適切なオブジェクトを画像から抽出する。座標変換手段９５は、抽出されたオブジェクトの座標を概車載カメラ内部の相対的な座標から、絶対座標系に変換する。
【０１０７】
微調整パラメータ生成手段１５０は、ネットワークＮＷに接続し、車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４で抽出されたオブジェクトの絶対座標を比較し、微調整のパラメータを生成する。
【０１０８】
次に、図１８を用いて、本実施形態の動作について説明する。この例では、複数の車載カメラをネットワークで接続し、車載カメラの撮像領域が重複する時のキャリブレーションフローである。
【０１０９】
それぞれの車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、撮像領域の重複する部分に仮想カメラを生成する（ステップＳ１０００）。そして、特徴点抽出手段８５は、仮想カメラの注目領域で特徴点を抽出する（ステップＳ１０１０）。次に、座標変換手段９５は、この特徴点を絶対座標系に変換する（ステップＳ１０２０）。そして、複数台のカメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、それぞれが抽出した特徴点の絶対座標系の情報を微調整パラメータ生成手段１５０に送信する（ステップＳ１０３０）。
【０１１０】
一方、微調整パラメータ生成手段１５０は、撮像領域が重複する複数台の車載カメラから特徴点の絶対座標を受信する（ステップＳ１０４０）。微調整パラメータ生成手段１５０は、複数の特徴点の絶対座標からキャリブレーションのための微調整パラメータを生成する（ステップＳ１０５０）。微調整パラメータの生成は例えば、任意の車載カメラを基準とし、基準とした車載カメラが生成した特徴点の絶対座標を基準として、他の車載カメラが生成した特徴点の絶対座標との差を微調整パラメータとする簡易な方法もある。微調整パラメータ生成手段１５０は、生成した微調整パラメータをそれぞれの車載カメラに送信する（ステップＳ１０６０）。
【０１１１】
それぞれの車載カメラ１００Ｅ−１，１００Ｅ−２，１００Ｅ−３，１００Ｅ−４は、微調整パラメータを受信する（ステップＳ１０７０）。そして、微調整パラメータを受信した車載カメラは自カメラ情報ＣＩ−１を更新する（ステップＳ１０８０）。
【０１１２】
ここで、図１９を用いて、微調整方法の具体例について説明する。車載カメラは、図１３にて説明したように、車両の後方、前方、右方向、左方向の４方向にある。車載カメラ１００Ｅ−１は、図１３の車載カメラ１００Ｃ−１のように、車両後方の視野を有する。車載カメラ１００Ｅ−２は、図１３の車載カメラ１００Ｃ−２のように、車両右方向の視野を有する。
【０１１３】
図１９（Ａ）は、車載カメラ１００Ｅ−１が撮像した画像とし、図１９（Ｂ）は、車載カメラ１００Ｅ−２が撮像した画像とする。図１９（Ａ），（Ｂ）は、例えば、車庫のコーナーＣＮを撮像したものとする。コーナーＣＮを注目領域の特徴点として抽出することができる。そして、例えば、図１９（Ａ）におけるコーナーＣＮの絶対座標を基準として、図１９（Ｂ）におけるコーナーＣＮ’の絶対座標のずれを求めると、微調整パラメータΔＬを求めることができる。なお、図１９に示す例では、垂直方向の位置ずれはないものであるが、垂直方向の位置ずれについても、同様に、微調整することができる。
【０１１４】
以上のように、本実施形態によれあ、撮像領域が重複する複数台の車載カメラを容易にキャリブレーションすることが可能となる。
【０１１５】
以上のように、本発明は、複数の超広角レンズもしくはアナモルフィックレンズによる広視野を仮想的に複数のカメラで撮像できるとともに、複数のカメラでの注目領域の連携を容易に実現できるので、移動体だけでなく、カメラを静的に設置する監視システム、防犯システム等の広視野を利用するアプリケーションで利用することができる。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１の実施形態による車載カメラの全体構成を示すブロック図である。
【図２】本発明の第１の実施形態による車載カメラの撮像領域の説明図である。
【図３】本発明の第１の実施形態による車載カメラにおけるカメラパラメータと切り出し領域の説明図である。
【図４】本発明の第１の実施形態による車載カメラによって得られる正画像の説明図である。
【図５】本発明の第１の実施形態による車載カメラの撮像タイミングを示すタイミングチャートである。
【図６】本発明の第１の実施形態による車載カメラの第２の切り出し領域の説明図である。
【図７】本発明の第１の実施形態による車載カメラの第２の撮像タイミングを示すタイミングチャートである。
【図８】本発明の第１の実施形態による車載カメラの全体動作を示すフローチャートである。
【図９】本発明の第２の実施形態による車載カメラの全体構成を示すブロック図である。
【図１０】本発明の第２の実施形態による車載カメラにおけるカメラ操作の内容の説明図である。
【図１１】本発明の第２の実施形態による車載カメラにおけるカメラ操作時の制御内容を示すフローチャートである。
【図１２】本発明の第３の実施形態による車載カメラの全体構成を示すブロック図である。
【図１３】本発明の第３の実施形態による複数の車載カメラの相互の関係の説明図である。
【図１４】本発明の第３の実施形態による車載カメラの動作を示すフローチャートである。
【図１５】本発明の第３の実施形態による車載カメラの動作の説明図である。
【図１６】本発明の第４の実施形態による車載カメラの全体構成を示すブロック図である。
【図１７】本発明の第５の実施形態による車載カメラの全体構成を示すブロック図である。
【図１８】本発明の第５の実施形態による車載カメラの制御内容を示すフローチャートである。
【図１９】本発明の第５の実施形態による車載カメラの動作説明図である。
【符号の説明】
【０１１７】
５…レンズ
１０…イメージセンサ
２０…画像切出し手段
３０…歪補正手段
４０…仮想カメラ管理手段
５０…カメラ操作変換手段
６０…ネットワーク通信手段
７０…仮想カメラ領域判定手段
８０…仮想カメラ生成手段
８５…特徴点抽出手段
９０…認識手段
９５…座標変換手段
１００…車載カメラ
１２０…トラッキング手段
１３０…警報生成手段
１５０…微調整パラメータ生成手段
ＣＡ…切り出し領域
ＣＩ…絶対座標系における自カメラ情報
ＩＡ…撮像領域
ＲＡ…注目領域
ＶＣ…仮想カメラ
ＶＣ１…カメラパラメータ
ＶＣ３…歪画像パラメータ
ＶＣ４…歪補正処理パラメータ
ＶＣ５…画像バッファ
【図１】
2009081496.tif 000003
【図２】
2009081496.tif 000004
【図３】
2009081496.tif 000005
【図４】
2009081496.tif 000006
【図５】
2009081496.tif 000007
【図６】
2009081496.tif 000008
【図７】
2009081496.tif 000009
【図８】
2009081496.tif 000010
【図９】
2009081496.tif 000011
【図１０】
2009081496.tif 000012
【図１１】
2009081496.tif 000013
【図１２】
2009081496.tif 000014
【図１３】
2009081496.tif 000015
【図１４】
2009081496.tif 000016
【図１５】
2009081496.tif 000017
【図１６】
2009081496.tif 000018
【図１７】
2009081496.tif 000019
【図１８】
2009081496.tif 000020
【図１９】
2009081496.tif 000021