(57)【要約】【課題】車載カメラシステムにおいてローリングシャッタ方式のＣＭＯＳ撮像素子を適用した場合に発生する撮影画像の歪を改善する。【解決手段】自動車の制御コンピュータから自動車の速度情報を取得して、取得した速度情報からローリングシャッタで発生する歪を予測し、その予測結果を用いてＣＭＯＳ撮像素子からの取得画像を補正する手段を設ける。【選択図】  図１
2012222374.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象物から到来する光を結像するレンズと、該結像された光を電気的エネルギーに変換するＣＭＯＳ撮像素子と、該ＣＭＯＳ撮像素子から出力される撮像信号を処理して映像信号を生成するカメラ信号処理手段と、該映像信号に生ずる歪を補正する座標変換処理手段と、を有して構成される車載カメラであって、
該車載カメラの移動速度に応じて、該座標変換手段で行われる補正量を変更する車載カメラ。
【請求項２】
請求項１に記載の車載カメラを利用する車載カメラシステムであって、
該車載カメラで撮影した映像信号を表示する表示処理手段を有する車載カメラシステム。
【請求項３】
請求項１に記載の車載カメラを利用する車載カメラシステムであって、
該車載カメラで撮影した映像信号から特徴量の抽出を行って認識処理を行う画像認識エンジンを有する車載カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラシステムに関する。
【背景技術】
【０００２】
本発明の背景技術として、例えば、特開２００３−２５００８１号公報（特許文献１）がある。該公報には「［課題］被写体の照度が最低照度以下となる夜間等においても明瞭な画像信号を車載モニタに出力することができる車載カメラを提供する。［解決手段］本発明の車載カメラでは、フレーム数を最低被写体照度を確保できるフレーム数に低減補正してＣＣＤ素子の電荷蓄積時間を増大させる機能を有することによって、被写体の照度が最低照度以下となる夜間等において、十分に明るい画像信号を車載モニタに出力することができる。また、フレーム数をリアルタイム性が確保できる範囲に低減補正する機能を有することによって、ギクシャクした感じのない映像が得られる。」と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２５００８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
自動車において運転者が安全の確認を行うことを目的として、固体撮像素子を用いて周囲の状況を撮影するためのカメラが利用されている。従来の車載カメラでは固体撮像装置として特許文献１にあるように感度に優れたＣＣＤ撮像素子を用いることが一般的であった。
【０００５】
ところが、近年ＣＭＯＳ撮像素子の技術が向上したことと、車載カメラの高画素数化への要望が高まったことから、構造的に多くの画素の信号を高速に読み出すことに好適なＣＭＯＳ撮像素子が車載カメラへ適用されるようになってきた。
【０００６】
しかしながら、ＣＭＯＳ撮像素子では多くの場合、感度を優先するローリングシャッタ構造をとっており、高速移動しながら撮影する車載カメラにローリングシャッタ方式のＣＭＯＳ撮像素子を適用すると撮影画像が歪んでしまうという問題がある。  本発明は、車載カメラシステムにおいてローリングシャッタ方式のＣＭＯＳ撮像素子を適用した場合に発生する撮影画像の歪を改善することを課題とする。
【課題を解決するための手段】
【０００７】
上記課題は、特許請求の範囲に記載の発明により解決または改善される。例えば、自動車の制御コンピュータから自動車の速度情報を取得して、取得した速度情報からローリングシャッタで発生する歪を予測し、その予測結果を用いてＣＭＯＳ撮像素子からの取得画像を補正する手段を設ける。
【発明の効果】
【０００８】
本発明によれば、ローリングシャッタ方式のＣＭＯＳ撮像素子を用いた車載カメラシステムにおいて、車の走行による撮像位置の変化により発生する取得画像の歪を改善できる。
【０００９】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】車載カメラのシステム構成図の例（実施例１）である。
【図２】撮影画像で発生する歪の補正の様子を説明する図である。
【図３】車載カメラを車載認識システムに応用した例（実施例２）である。
【発明を実施するための形態】
【００１１】
図１に本発明における車載カメラシステム構成の一例を示す。同図において１０１はレンズ、１０２はＣＭＯＳ撮像素子、１０３はカメラ信号処理手段、１０４は座標変換処理手段、１０５はカメラ制御マイコン、１０６は通信ポート、１０７は映像信号出力端子、１０８は自動車制御マイコン、１０９はセンシング手段群、１１０は表示処理手段を示している。また、破線で囲まれた１１１は本発明における車載カメラを示している。
【００１２】
１０１のレンズは、撮影対象物から到来する光を１０２のＣＭＯＳ撮像素子の撮像面に結像させる。
【００１３】
１０２のＣＭＯＳ撮像素子は、該撮像面上にアレー上に配置された光電変換素子（以降、一般的に表現に倣って画素と称する）で該撮像面上に結像された光を電気的エネルギーに変換する。画素で蓄積される該電気的エネルギーは該画素の露光量に比例し、蓄積された電気的エネルギーは撮像信号としてＣＭＯＳ撮像素子から順次読み出しされ１０３のカメラ信号処理手段に供給される。
【００１４】
１０３のカメラ信号処理手段は、撮像信号に空間フィルタ処理（一般的に２次元）と表示デバイスの特性に合わせるガンマ処理を行って、輝度信号と色差信号（色差信号はカラーカメラの場合）からなる映像信号を生成する。
【００１５】
１０４の座標変換手段は、入力映像信号である輝度信号Ｙｉｎ（ｘ，ｙ）と色差信号Ｃｉｎ（ｘ，ｙ）におけるローリングシャッタ起因の画像歪を補正して、新たな輝度信号Ｙｏｕｔ（ｘ，ｙ）と色差信号Ｃｏｕｔ（ｘ，ｙ）を生成し映像信号として出力する。該輝度信号Ｙｏｕｔ（ｘ，ｙ）と色差信号Ｃｏｕｔ（ｘ，ｙ）は、該輝度信号Ｙｏｕｔ（ｘ，ｙ）と色差信号Ｃｏｕｔ（ｘ，ｙ）の座標（ｘ，ｙ）ごとに指定される参照座標（ｆｘ［ｖ］，ｆｙ［ｖ］）における該輝度信号Ｙｉｎ（ｘ，ｙ）と色差信号Ｃｉｎ（ｘ，ｙ）の値を参照して生成する。このとき参照座標の値は必ずしも整数で有る必要はなく、少数以下の値を有する場合は、該少数以下の値に応じて参照座標近隣の該輝度信号Ｙｉｎ（ｘ，ｙ）と色差信号Ｃｉｎ（ｘ，ｙ）の値から補間信号を生成することで該輝度信号Ｙｏｕｔ（ｘ，ｙ）と色差信号Ｃｏｕｔ（ｘ，ｙ）を取得する。ここで、該参照座標（ｆｘ［ｖ］，ｆｙ［ｖ］）は、一般的にカメラの移動速度を変数とする関数で表されるので、カメラの移動速度に応じて変化する方式をとるものとする。ここで、該参照座標（ｆｘ［ｖ］，ｆｙ［ｖ］）はカメラの移動速度を変数として、リアルタイムで計算することが理想ではあれるが、あらかじめ計算しておいたデータベースを用いて演算処理を簡略化してもよい。
【００１６】
１０５のカメラ制御マイコンは、１０２のＣＭＯＳ撮像素子、１０３のカメラ信号処理手段、１０４の座標変換手段を制御するカメラ制御手段である。カメラ制御マイコンにおける具体的な制御内容としては、Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ制御、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ制御、及び座標変換手段における参照座標制御がある。このうちＡｕｔｏ  Ｅｘｐｏｓｕｒｅ制御は該カメラ信号処理手段から映像信号の輝度レベルを取得して、該ＣＭＯＳ撮像素子の露光時間や映像信号のゲインを調整する。また、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ制御は該カメラ信号処理手段から白の信号成分を取得して白い被写体を白く見せるようにＲＧＢ成分のゲインを調整する。そして、座標変換手段における参照座標制御は、カメラの移動速度に応じて参照座標を変更させる。
【００１７】
１０６の通信ポートは１０８の自動車制御マイコンと通信を行うための通信ポートであり、この通信ポートを経由して、カメラ制御マイコンが自動車制御マイコンから自動車の移動速度情報を取得する。
【００１８】
１０７の映像信号出力端子は、１１１の車載カメラで撮影された映像信号を出力する端子である。該映像信号出力端子には１１０の表示処理手段が接続されており、該表示処理手段には該車載カメラで撮影された映像を表示することが出来る。
【００１９】
また、１０８の自動車制御マイコンは、該自動車制御マイコンに接続された１０９のセンシング手段群を通じて自動車各部の動作状態を検出して、その検出情報を元に自動車の動作を制御する。
【００２０】
図２は、撮影画像で発生する歪の補正の様子を説明する図であり、特に自動車の進行方向を撮影する場合について示すものである。同図において、２０１は撮影開始時の画角、２０２は撮影終了時の画角、２０３は歪補正された画像の例を示している。
【００２１】
ローリングシャッタ方式のＣＭＯＳ撮像素子では、ライン順次で画素が露光されるため、該撮像素子を用いたカメラを移動体に設置して撮像を行った場合、撮影開始時と撮影終了時の画角が変化してしまう。例えば、移動体の進行方向に向けて設置されたカメラでは、あるフレーム画像の撮影初期の段階では図２の２０１の如き画角であったのに対して、該フレーム画像の終了段階では、図２の２０２に示すような画角に変わってしまう。ここで、該フレーム画像が画像上部からライン順次で撮影されるとした場合、撮影映像をそのまま表示処理手段の画面に表示すると、画面下部（露光タイミングの遅い部分）に行くほど画像が拡大されていくような映像が表示されることになる。
【００２２】
そこでかかる問題を解決するにあたり、本発明の車載カメラでは、１０４の座標変換手段を用いて撮影画像に対して、画面下部に行くほど画像を縮小するように座標の変換を行い映像信号として出力する。このとき表示処理手段に表示されるフレーム画像はローリングシャッタ方式に起因する画像の歪が補正された画像となり、凡そ図２の２０３に示すようなものとすることが出来る。
【００２３】
また、進行方向と反対方向に向けて設置されたカメラでは、図２における撮影開始時の画角と撮影終了時の画角関係が逆転して、カメラで撮影されるフレーム画像は画面下部に行くほど縮小される画像になるため、座標変換手段を用いて撮影画像に対して、画面下部に行くほど画像を拡大するように座標の変換を行い映像信号として出力する。
【００２４】
さらに進行方向に対して垂直方向に向けて設置されたカメラでは、画面下部に行くほど進行方向に撮影範囲がずれるので、座標変換手段でそれを補正して映像信号として出力する。
【００２５】
以上によれば、本発明を用いることで、ローリングシャッタ方式のＣＭＯＳ撮像素子を用いた車載カメラシステムにおいて、車の走行による撮像位置の変化により発生する取得画像の歪を改善可能であることが示される。
【００２６】
図３は、本発明の車載カメラを車載認識システムに応用した例である。同図に３０１は画像認識エンジンを示しており、その他、図１と同じ符号をつけたものについては、図１同様である。
【００２７】
一般的な認識エンジンでは、入力画像にフィルタ処理を行って画像の特徴量を抽出して、認識エンジンに格納されたデータベースとのマッチングを行って認識処理を行う。そのため、入力画像に幾何学的な歪が存在する場合、データベースとのマッチング処理がスムーズに行えず、認識の処理に時間が掛かってしまったり、認識制度が低下してしまったりする場合がある。
【００２８】
本発明によれば、カメラで幾何学的な歪が補正されるため、認識処理速度や制度の低下を改善することが可能になる。
【符号の説明】
【００２９】
１０１  レンズ
１０２  ＣＭＯＳ撮像素子
１０３  カメラ信号処理手段
１０４  座標変換処理手段
１０５  カメラ制御マイコン
１０６  通信ポート
１０７  映像信号出力端子
１０８  自動車制御マイコン
１０９  センシング手段群
１１０  表示処理手段
１１１  本発明における車載カメラ
２０１  撮影開始時の画角
２０２  撮影終了時の画角
２０３  歪補正された画像の例
３０１  画像認識エンジン
【図１】
2012222374.tif 000003
【図２】
2012222374.tif 000004
【図３】
2012222374.tif 000005