(57)【要約】本発明の課題は、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することである。本発明において、車両周辺を撮影するカメラ（１）と、カメラ映像を運転者に提示するモニタ（４）と、車両周辺の立体物を検知するセンサ部（３）とを備える車載カメラ装置において、カメラ（１）は、ゲイン及び絞りを自動調整する調整部（１５）と、センサ部（３）の出力を用いて調整基準とする画像領域を決定する基準決定部（１４）とを備える。これにより、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ装置を実現可能となる。【特許請求の範囲】
【請求項１】
レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、
前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、
車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、
前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部と
を備えるカメラ。
【請求項２】
前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を請求項１に記載の備えるカメラ。
【請求項３】
前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項１又は２に記載のカメラ。
【請求項４】
前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項１又は２に記載のカメラ。
【請求項５】
前記調整部は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｉｇｈｔ  Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路を備える請求項１〜４のいずれ１項に記載のカメラ。
【請求項６】
前記ＡＬＣ回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項５に記載のカメラ。
【請求項７】
前記ＡＧＣ回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項５に記載のカメラ。
【請求項８】
車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、
前記カメラは、
ゲイン及び絞りを自動調整する調整部と、
前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、
前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と
を備えるカメラ装置。
【請求項９】
車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、
前記カメラは、
ゲイン及び絞りを自動調整する調整部と、
前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、
前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と
を備えるカメラ装置。
【請求項１０】
前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、
前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、
前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えている請求項８又は９に記載のカメラ装置。
【請求項１１】
前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項８から１０のいずれか１項に記載のカメラ装置。
【請求項１２】
前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項８から１０のいずれか１項に記載のカメラ装置。
【請求項１３】
センサ部は、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いている請求項８から１２のいずれ１項に記載のカメラ装置。
【請求項１４】
車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、
前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、
前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えるカメラ装置。
【請求項１５】
前記センサ部は、前記車両から最も近い立体物を検知する認識部を備える請求項１４に記載のカメラ装置。
【請求項１６】
前記第１カメラは、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備える請求項１４又は１５に記載のカメラ装置。
【請求項１７】
前記調整部は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｉｇｈｔ  Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路を備える請求項８から１６のいずれ１項に記載のカメラ装置。
【請求項１８】
前記ＡＬＣ回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項１７に記載のカメラ装置。
【請求項１９】
前記ＡＧＣ回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項１７に記載のカメラ装置。
【請求項２０】
車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、
前記車両周辺を撮影する工程と、
前記車両周辺の立体物の位置を検出する工程と、
位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、
前記立体物の位置に関する情報から映像を調整する工程と、
前記調整された映像情報に基づき前記モニタに前記映像を表示する工程と
を備えたカメラ装置による映像作成方法。
【請求項２１】
車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、
前記車両周辺を撮影する工程と、
前記車両周辺の立体物の位置を検出する工程と、
位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、
前記立体物の位置に関する情報から映像を調整する工程と、
前記調整された映像情報に基づき前記モニタに前記映像を表示する工程と
を備えたカメラ装置による映像作成方法。
【請求項２２】
前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備える請求項２０又は２１に記載のカメラ装置による映像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、車載用などのカメラ、及びこのカメラで撮影した自動車の周囲の状況を運転の補助情報として運転者に提供することができるカメラ装置に関する。
【背景技術】
【０００２】  従来の車載カメラシステムは、画面内の被写体照度に応じてレンズ絞りを自動調整して入射光量を一定に保つＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｉｇｈｔ  Ｃｏｎｔｒｏｌ）回路（例えば、非特許文献１参照）や、入力信号のレベルに応じてゲインを制御して出力信号のレベルを一定に保つＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路を組み込むことにより、車両周囲の環境が変動した場合でも、良好な映像を運転者に知らせている。【０００３】  また、車載用の２個のカメラを用いた（２眼式の）ステレオカメラをプレビューセンサとして用いた車両運転監視システムも提案されている（例えば、特許文献１及び２参照）。【０００４】  しかしながら、従来の車載カメラシステムは、画面全体、あるいは、予め定められた画面領域において良好な映像を提供することを目的としている。このため、運転者にとって必要な領域の安全運転などを実現する上で必要となる情報が、必ずしも良好な映像として提示されるわけではない、という問題があった。【０００５】  また、特許文献１に記載の（２眼式の）ステレオカメラ装置は、温度対策に関して工夫を施した構成のものであり、２眼式カメラをうまく利用し、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。一方、特許文献２に記載のものは、（２眼式の）ステレオカメラを利用して車両運転監視システムを構築するものであるが、同様に、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。【０００６】  本発明は、上記事情に鑑みてなされたもので、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することを目的とする。
【非特許文献１】竹村  裕夫著「ＣＣＤカメラ技術入門」、コロナ社、１９９８年８月２０日、１６４〜１６５頁）
【特許文献１】特開２００１−８８６０９号公報
【特許文献２】特開２００４−１７３１９５号公報
【発明の開示】
【０００７】  第１に、本発明のカメラは、レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、立体物を良好な映像として提供可能となる。
【０００８】  第２に、本発明は、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
【０００９】  第３に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
【００１０】  第４に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
【００１１】  第５に、本発明は、前記調整部が、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｉｇｈｔ  Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路を備えることを特徴としている。
【００１２】  第６に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
【００１３】  第７に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
【００１４】  また、第８に、本発明のカメラ装置は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供できる。
【００１５】  また、第９に、本発明は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供でき、かつ、検知した立体物をグラフィックにより強調表示することで、運転者に注意を喚起できる。
【００１６】  第１０に、本発明は、前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えていることを特徴としている。この構成により、センサ部、基準決定部はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできるため、後述するロバスト性が向上するという効果を有する。
【００１７】  第１１に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも運転者にとって重要度の高いと予想される自車両の最も近くに位置する立体物を良好な映像として提供できる。
【００１８】  第１２に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも、運転者にとって重要度が高いと予想される車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
【００１９】  第１３に、本発明は、センサ部が、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いていることを特徴としている。
【００２０】  また、第１４に、本発明のカメラ装置は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えることを特徴としている。
【００２１】  第１５に、本発明は、前記センサ部が、前記車両から最も近い立体物を検知する認識部を備えることを特徴としている。
【００２２】  第１６に、本発明は、前記第１カメラが、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
【００２３】  第１７に、本発明は、前記調整部が、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｉｇｈｔ  Ｃｏｎｔｒｏｌ）回路及び／又はＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路を備えることを特徴としている。
【００２４】  第１８に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
【００２５】  第１９に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
【００２６】  また、第２０に、本発明のカメラ装置による映像作成方法は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
【００２７】  第２１に、本発明は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
【００２８】  第２２に、本発明は、前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備えることを特徴としている。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態に係るカメラの構成を示す概略図
【図２】本発明の第２の実施形態に係るカメラ装置の全体構成を示す概略図
【図３】本発明の第２の実施形態に係るカメラ装置の構成を示すブロック図
【図４】（Ａ）本発明の第２〜第４の実施形態に係る基準決定部での領域分割例（Ｂ）カメラ装置のモニタ表示例（Ｃ）本発明の第２の実施形態におけるモニタへの表示例（Ｄ）本発明の第２の実施形態におけるモニタへの表示例
【図５】本発明の第２の実施形態に係るカメラ装置による映像作成方法を示すフローチャート
【図６】本発明の第３の実施形態に係るカメラ装置の構成を示すブロック図
【図７】本発明の第４の実施形態に係るカメラ装置の構成を示すブロック図
【符号の説明】
【００３０】  １  カメラ（第１カメラ）
１０  ハウジング
１０Ａ  センサ入力端子１０Ａ
１０Ｂ  映像出力端子１０Ｂ
２  カメラ
１１、５１  レンズ
１２、５２  絞り
１３  光電変換部
１４  基準決定部
１５  調整部
１６、５４  映像生成部
２１  グラフィック部
３  センサ部
３１  センサヘッド
３２  センサ処理部
４  モニタ
５  第２カメラ（センサ部）
６  認識部（センサ部）
７  センサ部
Ｃ  車両（車体）
Ｍ  人物（立体物）
【発明を実施するための最良の形態】
【００３１】  以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る車載用のカメラを示すものであり、このカメラは、自車両（以下、「車体」とよぶ）の周辺、例えば後方又は側方などを撮像するものであり、レンズ１１と、絞り１２と、光電変換部１３と、基準決定部１４と、調整部１５と、映像生成部１６とを備えている。【００３２】  このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される（規準となるべき）撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。また、この基準決定部１４は、車体周辺の立体物を検知するカメラ外部に設けた図示外のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定するものであり、センサ部との接続を行うためにハウジング１０にセンサ入力端子１０Ａを設けている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。映像生成部１６は、調整部１５から入力する信号をモニタで表示する信号形式へと変換するものであり、カメラ１外部の図示外のモニタとの接続のためにハウジング１０に映像出力端子１０Ｂを設けている。【００３３】  次に、本実施形態のカメラ１の動作を説明する。
カメラ１は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、図示外のモニタへ映像信号を出力する。ここで、モニタの画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、以下のような調整処理がなされる。【００３４】  レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、図示外のセンサ部（このセンサは、センサ入力端子１０Ａを介してカメラ１内の基準決定部１４に接続させているものとする）から入力される立体物の位置情報により調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号を、図示外のモニタ（このモニタは、映像出力端子１０Ｂを介してカメラ１内の映像生成部１６に接続させているものとする）で表示できる信号形式へと変換する。【００３５】  従って、モニタには、センサ部で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。なお、本実施形態では、グラフィック部を設けていないが、図６に示すように、センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を設けた構成であってもよい。【００３６】  ［第２の実施形態］
図２は、本発明の第２の実施形態に係る車載カメラ装置を示すものであり、この車載カメラ装置は、車体Ｃに、この車体Ｃの後方を撮像する単一のカメラ１と、立体物を検知するセンサ部３と、カメラ１の出力映像を表示するモニタ４とを搭載している。【００３７】  カメラ１には、図３に示すように、第１の実施形態と同様のものが用いられており、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている。このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される（規準となるべき）撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。【００３８】  センサ部３は、超音波センサにより車体Ｃ近傍の後方の路面上等に位置する立体物（例えば、歩行者Ｍや電柱など）を検知するものであり、図３に示すように、センサヘッド３１と、センサ処理部３２とを備えている。このうち、センサヘッド３１は、超音波を送受信し、その受信結果をセンサ処理部３２へ出力する。一方、センサ処理部３２は、センサヘッド３１からの出力信号を処理して立体物の有無やその位置などを検知するためのものであり、出力が基準決定部１４の入力に接続されている。【００３９】  以上のように構成された車載カメラ装置について、図３を用いて各部の動作を説明する。
Ｉ．まず、カメラ１の動作を説明する。
カメラ１は、第１の実施形態と同様に、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、図２に示すように、車体Ｃ近くの後方に立体物として人物Ｍが存在する場合、センサ部３により人物Ｍが検知される。そして、カメラ１で撮影した映像情報などに関する信号についての出力は、図４（Ｃ）に示すように、人物Ｍがモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。【００４０】  ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、図４（Ｂ）に示すように、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、第１の実施形態と同様に、以下のような調整処理がなされる。なお、図４のモニタ表示例中の縦横格子状の点線は、領域分割結果をわかりやすく明示しているだけであり、実際のモニタ４には表示されない。【００４１】  レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、センサ部３から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部３で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。【００４２】  ＩＩ．次に、基準決定部１４の動作について、詳細に説明する。
基準決定部１４では、例えば、図４（Ａ）に示すように、画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておく。ここで、センサ部３により立体物が検知されると、その位置がセンサ部３から通知され、基準決定部１４はセンサ部３が検知した立体物が表示される領域を算出する。このとき、センサ部３の検知エリアと、カメラ１の撮影範囲とは予め対応付けることにより、基準決定部１４は、センサ部３のセンサ処理部３２で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部３が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。なお、図４（Ａ）では、斜線で塗り潰された領域が、調整基準範囲となる。【００４３】  センサ部３により複数の立体物が検知された場合は、車体Ｃに最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知する。或いは、車体Ｃから一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知する。なお、センサ部３により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。【００４４】  ＩＩＩ．次に、調整部１５の動作について、詳細に説明する。
この調整部１５では、基準決定部１４と同様に、画面全体を図４に点線で示すような複数の領域に予め分割しておく。ここで、調整部１５は、光電変換部１３からの出力信号のうち、基準決定部１４から通知された調整基準範囲内にある信号の大きさのみを測定し、絞り１２の絞り量を制御する。つまり、信号値が大きい場合には絞りを閉めて光量を制限し、信号値が小さい場合には絞りを開いて光量を増やす。なお、光電変換部１３の出力信号の大きさによって絞りを制御する回路は、ＡＬＣ（Ａｕｔｏｍａｔｉｃ  Ｌｉｇｈｔ  Ｃｏｎｔｒｏｌ）回路として広く知られている。
また、調整部１５では、基準決定部１４から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する。なお、このようなゲイン調整回路はＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）回路として広く知られている。【００４５】  ＩＶ．次に、センサ部３の動作について、詳細に説明する。
センサ部３としては、例えば、前述したように超音波センサが使用可能であり、カメラ１の撮影範囲内の立体物を検知するように設置される。センサ部３に超音波センサを用いる場合、センサ部３は、超音波を出力したり受信したりするセンサヘッド３１と、受信した超音波を解析して立体物の位置を検知するセンサ処理部３２とを備える。このうち、センサ処理部３２は、検知した立体物の位置を基準決定部１４へと出力する。このとき、センサ部３での立体物検知は、基準決定部１４で分割された領域と対応がつけられる程度の分解能でよいため、予め、検知範囲を複数の領域に分割しておいても良い。【００４６】  次に、本実施形態のカメラ装置を用いた映像の作成方法について、図５を参照しながら説明する。
この映像の作成方法では、カメラ１を用いて車両周辺を撮影するとともに（第１ステップＳ１）、センサ部３のセンサ処理部３２が車両の位置を検出する（第２ステップＳ２）。次に、基準決定部１４はセンサ部３のセンサ処理部３２から出力される立体物の位置に関するデータを入力すると、このデータから、その立体物が表示される領域を算出する（第３ステップＳ３）。また、調整部１５では、その立体物の位置に関するデータから、絞り１２の絞り量を制御する。つまり、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号値が大きい場合には絞りを閉めて光量を制限し、入力信号値が小さい場合には絞りを開いて光量を増やす（第４ステップＳ４）。また、第４ステップＳ４では、調整部１５では、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号の出力レベルが一定に保たれるように、ゲインも調整する。これにより、センサ部３が検知した立体物を良好な映像としてモニタ４に表示する（第５ステップＳ５）。【００４７】  従って、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞りやゲインについての調整量の算出基準となる映像範囲を決定する基準決定部１４と、基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５とを設けることにより、センサ部３が検知した立体物を良好な映像として提供できる（図４（Ｃ）参照）。【００４８】  また、カメラ１で撮影された映像は基準決定部１４で決定される調整基準とする画像領域の最小単位となる複数の領域に予め分割することにより、センサ部３、基準決定部１４はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできる。このように、領域ごとに立体物を検知することにより、例えば、長音波センサで立体物の一部からの反射が弱かったり、ノイズの影響があったりして、立体物の一部が検出されない場合でも、立体物全体を検出できる確立が高くなり、ロバスト性（ｒｏｂｕｓｔｎｅｓｓ）が向上するという効果を有する。また、領域が予め決定されているため、領域分割処理が不要となり、処理が容易になる。【００４９】  また、基準決定部１４で、車体Ｃの最も近くに検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される車体Ｃの最も近くに位置する立体物を良好な映像として提供できる。また、車体Ｃから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される自車両から一定の距離以内に存在する立体物を良好な映像として提供できる。【００５０】  ［第３の実施形態］
以下、本発明に係る第３の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第１の実施形態と異なり、図６に示すように、グラフィック部２１をさらに設けたカメラ２を搭載したことである。即ち、このカメラ２は、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５、映像生成部１６及びグラフィック部２１から構成される。
このグラフィック部２１は、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力するようになっている。【００５１】  以上のように構成された車載カメラ装置の動作について、図６を用いて説明する。
Ｉ．まず、カメラ２の動作を説明する。
カメラ２は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
その結果、レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。即ち、調整部１５は、光電変換部１３から入力する信号と、基準決定部１４から入力する調整基準範囲とに基づいて、絞り１２の調整量を制御して光電変換部１３へ入射する光量を制御する。一方、基準決定部１４は、センサ部３から入力する立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。従って、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へと出力する。他方、グラフィック部２１は、前述したように、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力する。【００５２】  次に、映像生成部１６は、グラフィック部２１から入力されるグラフィック情報にしたがって、調整部１５から入力される信号にグラフィック部２１から入力されるグラフィックスなどに関する信号を重畳し、モニタ４で表示する信号形式へと変換する。これにより、モニタ４は、映像生成部１６から入力される映像を表示して、運転者に提供する。このときの表示例を、図４（Ｄ）に示す。【００５３】  ＩＩ．次に、グラフィックス部２１の動作について、詳細に説明する。
グラフィックス部２１では、基準決定部１４と同様に、画面全体を予め複数の領域に分割しておく。ここで、センサ部３で立体物が検知されると、その位置に関する情報がセンサ部３からグラフィックス部２１へ出力される。すると、グラフィックス部２１は、センサ部３が検知した立体物が表示される領域を算出し、その領域の境界をグラフィックスとして表示するためのグラフィックス情報を映像生成部１６へ出力する。ここで、境界をグラフィックス表示する領域は、例えば、基準決定部１４で調整基準範囲と決定された領域とする。なお、立体物の距離に応じて境界のグラフィックス表示の色を変えても良い。また、境界は、調整基準範囲以外である場合でも、調整基準範囲から一定の距離内に位置する場合には、立体物の写る領域の境界をグラフィックス表示しても良い。【００５４】  このように、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞り１２やゲインの調整量算出の基準となる映像範囲を決定する基準決定部１４と、この基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５と、グラフィックス部２１とを設けることにより、センサ部３が検知した立体物を良好な映像として表示し、かつ、グラフィックスにより立体物の位置を明示できる。また、調整基準範囲外で検出された立体物の写る境界をグラフィックス表示することにより、必ずしも良好な画像としてモニタ５に表示されない可能性のある調整基準範囲外の領域に写る立体物の位置を明示することもできる。【００５５】  なお、この第２の実施形態では、グラフィックス部２１は、領域の境界をグラフィックスとして表示しているが、例えば領域全体を半透明な色で塗り潰しても良い。
また、上記の第１、第２の実施形態では、センサ部３として超音波センサを使用しているが、本発明では、レーザーレーダーセンサ、ミリ波レーダーセンサ、後述のステレオカメラセンサ等の他の各種のセンサをセンサ部として使用しても良い。さらに、後退駐車時の後方確認では超音波センサを使用する一方、通常走行時の後側方の確認ではミリ波レーダーセンサを使用するなど、目的に応じてセンサ部３を切換えてもよい。【００５６】  ［第４の実施形態］
以下、本発明に係る第４の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第２の実施形態と異なり、図７に示すように、カメラ１（これを、第１カメラ１とよぶ）の他にもう１台のカメラ５（これを、第２カメラ５とよぶ）を設置するとともに認識部６を設け、これら２台からなる第１、第２カメラ１、５及び認識部６が車両周辺の立体物までの距離を検知するセンサ部７を構成している。【００５７】  従って、本実施形態では、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている第１カメラ１において、第１カメラからの映像を認識部６へ送るために、映像生成部１６は、出力が、モニタ４の入力だけでなく認識部６の入力にも接続されている。【００５８】  第２カメラ５には、レンズ５１、絞り５２、光電変換部５３及び映像生成部５４を備えている。このうち、レンズ５１は、第１カメラ１の設置位置とは異なる位置から車両周辺の所望の画像を撮影するために入射光を光電変換部５３に結像させるものであり、第１の実施形態と同様に、光電変換部５３には電荷結合素子（ＣＣＤ）などが用いられている。また、光電変換部５３の出力は、映像生成部５４の入力に接続されている。また、映像生成部５４の出力は、認識部６の入力に接続されており、この映像生成部５４で生成された第２カメラ５の映像が認識部６に取り込まれる。【００５９】  認識部６は、対象物の検出やその対象物の位置を検出するためのものであり、前述したように、第１、第２カメラ１、５とともにセンサ部７を構成する。本実施形態の認識部６は、第１カメラ１の映像生成部１６から送出される第１映像と第２カメラ５から送出される第２映像とを用いて、車両周辺の立体物（例えば、カメラの最も近くに検知された立体物である、例えば歩行者や電柱など）を検出するとともに、その対象物とこの車両との間の距離を算出する。【００６０】  即ち、認識部６では、第１、第２カメラ１、５で捉えた双方の映像内において、同一の映像生成対象である各立体物に対する視差を算出し、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、この車両から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力するようになっている。【００６１】  なお、認識部６は、出力が基準決定部１４の入力に接続されており、その位置情報を基準決定部１４へ出力する。このため、基準決定部１４は、その位置情報に基づき、運転者にとって安全な運転などを行う上で重要度が高いと予想される（規準となるべき）撮像領域を決定する。つまり、本実施形態では、例えばこの車両から最も近い立体物が中央に収まるように、画像領域を決定する。【００６２】  以上のように構成された車載カメラ装置について、動作を説明する。
初めに、センサ部７を構成する第１、第２カメラ１、５から取り込んだ映像は、それぞれ、光電変換部１３、５３で電気信号に変換され、映像信号として映像生成部１６、５４に出力される。一方、この映像信号を入力する認識部では、双方の映像信号から同一対象物を検知する。特に本実施形態では、車体から最も近い立体物を検知するとともに、その立体物に対する第１、第２カメラ１、５の視差から立体物までの距離を算出する。【００６３】  このようにして、センサ部７は、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、車体から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力する。【００６４】  次に、第１カメラ１は、センサ部７から入力される前述した立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、車体近くの後方に立体物として人物が存在する場合、センサ部７により人物が検知される。そして、第１カメラ１で撮影した映像情報などに関する信号についての出力は、その人物がモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。【００６５】  なお、ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物などが良好な映像として表示されない場合もある。このような場合には、以下のような調整処理がなされる。【００６６】  レンズ１１から取り込まれた光線は、第１の実施形態で説明したように、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、センサ部７から基準決定部１４を介して入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。【００６７】  ここで、基準決定部１４は、センサ部７から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部７で検出された自車両に最も近い立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。【００６８】  基準決定部１４では、前述したように、例えば画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておくので、センサ部７により立体物が検知されると、その位置がセンサ部７から通知される。これにより、基準決定部１４は、センサ部７が検知した立体物が表示される領域を算出する。このとき、センサ部７の検知エリアと、第１カメラ１の撮影範囲とは予め対応付けておくことにより、基準決定部１４は、センサ部７の認識部６で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部７が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。
なお、カメラ２にも基準決定部を設けることにより、一旦検出した立体物を安定して検出することができる。【００６９】  なお、本実施形態でも、センサ部７により複数の立体物が検知された場合は、前述したように、車体に最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知するが、車体から一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知するようにしてもよい。なお、センサ部７により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。【００７０】  以上、本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。例えば、上記の第１〜第３の実施形態では、基準決定部１４は、調整基準領域の区別はしていないが、車両からの距離に応じて複数のレベルに分けて出力する一方、調整部１５では、各調整基準領域のレベルに応じて各領域の光電変換部１３からの信号に重み付けをして、絞り及びゲインを調整しても良い。【００７１】  本出願は、２００４年９月１０日出願の日本特許出願（特願２００４−２６４２６０）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００７２】  本発明のカメラ装置は、車両周辺を撮影するカメラと、カメラ映像を運転者に提示するモニタと、車両周辺の立体物を検知するセンサ部とを備えるカメラ装置において、カメラは、ゲイン及び絞りを自動調整する調整部と、センサ部の出力を用いて調整基準とする画像領域を決定する基準決定部とを備えることにより、センサ部が検知した車両周辺の立体物を良好な映像として運転者に提供できる効果を有し、運転席からの後方確認などが難しいミニバンなどの大型乗用車や大型トラックなどに対する安全対策用の車載カメラ装置等として有用である。
【図１】
2006028180.tif 000002
【図２】
2006028180.tif 000003
【図３】
2006028180.tif 000004
【図４】
2006028180.tif 000005
【図５】
2006028180.tif 000006
【図６】
2006028180.tif 000007
【図７】
2006028180.tif 000008
【手続補正書】
【提出日】平成18年8月11日(2006.8.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、
前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、
車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、
前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部と
を備えるカメラ。
【請求項２】
前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を請求項１に記載の備えるカメラ。
【請求項３】
前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項１又は２に記載のカメラ。
【請求項４】
前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項１又は２に記載のカメラ。
【請求項５】
前記調整部は、ＡＬＣ（Automatic Light Control）回路及び／又はＡＧＣ（Automatic Gain Control）回路を備える請求項１〜４のいずれ１項に記載のカメラ。
【請求項６】
前記ＡＬＣ回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項５に記載のカメラ。
【請求項７】
前記ＡＧＣ回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項５に記載のカメラ。
【請求項８】
車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、
前記カメラは、
ゲイン及び絞りを自動調整する調整部と、
前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、
前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と
を備えるカメラ装置。
【請求項９】
車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、
前記カメラは、
ゲイン及び絞りを自動調整する調整部と、
前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、
前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部と
を備えるカメラ装置。
【請求項１０】
前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、
前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、
前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えている請求項８又は９に記載のカメラ装置。
【請求項１１】
前記基準決定部は、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項８から１０のいずれか１項に記載のカメラ装置。
【請求項１２】
前記基準決定部は、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有する請求項８から１０のいずれか１項に記載のカメラ装置。
【請求項１３】
センサ部は、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いている請求項８から１２のいずれ１項に記載のカメラ装置。
【請求項１４】
車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、
前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、
前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えるカメラ装置。
【請求項１５】
前記センサ部は、前記車両から最も近い立体物を検知する認識部を備える請求項１４に記載のカメラ装置。
【請求項１６】
前記第１カメラは、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備える請求項１４又は１５に記載のカメラ装置。
【請求項１７】
前記調整部は、ＡＬＣ（Automatic Light Control）回路及び／又はＡＧＣ（Automatic Gain Control）回路を備える請求項８から１６のいずれ１項に記載のカメラ装置。
【請求項１８】
前記ＡＬＣ回路は、前記レンズ絞りを自動調整して入射光量を一定に保つ請求項１７に記載のカメラ装置。
【請求項１９】
前記ＡＧＣ回路は、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する請求項１７に記載のカメラ装置。
【請求項２０】
車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、
前記車両周辺を撮影する工程と、
前記車両周辺の立体物の位置を検出する工程と、
位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、
前記立体物の位置に関する情報から映像を調整する工程と、
前記調整された映像情報に基づき前記モニタに前記映像を表示する工程と
を備えたカメラ装置による映像作成方法。
【請求項２１】
車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、
前記車両周辺を撮影する工程と、
前記車両周辺の立体物の位置を検出する工程と、
位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、
前記立体物の位置に関する情報から映像を調整する工程と、
前記調整された映像情報に基づき前記モニタに前記映像を表示する工程と
を備えたカメラ装置による映像作成方法。
【請求項２２】
前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備える請求項２０又は２１に記載のカメラ装置による映像作成方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用などのカメラ、及びこのカメラで撮影した自動車の周囲の状況を運転の補助情報として運転者に提供することができるカメラ装置に関する。
【背景技術】
【０００２】
従来の車載カメラシステムは、画面内の被写体照度に応じてレンズ絞りを自動調整して入射光量を一定に保つＡＬＣ（Automatic Light Control）回路（例えば、非特許文献１参照）や、入力信号のレベルに応じてゲインを制御して出力信号のレベルを一定に保つＡＧＣ（Automatic Gain Control）回路を組み込むことにより、車両周囲の環境が変動した場合でも、良好な映像を運転者に知らせている。
【０００３】
また、車載用の２個のカメラを用いた(２眼式の)ステレオカメラをプレビューセンサとして用いた車両運転監視システムも提案されている（例えば、特許文献１及び２参照）。
【０００４】
しかしながら、従来の車載カメラシステムは、画面全体、あるいは、予め定められた画面領域において良好な映像を提供することを目的としている。このため、運転者にとって必要な領域の安全運転などを実現する上で必要となる情報が、必ずしも良好な映像として提示されるわけではない、という問題があった。
【０００５】
また、特許文献１に記載の(２眼式の)ステレオカメラ装置は、温度対策に関して工夫を施した構成のものであり、２眼式カメラをうまく利用し、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。一方、特許文献２に記載のものは、(２眼式の)ステレオカメラを利用して車両運転監視システムを構築するものであるが、同様に、安全運転上必要となる情報を、運転者にとって必要な映像領域において良好な映像で提供するものではない。
【０００６】
本発明は、上記事情に鑑みてなされたもので、運転者にとって必要度が高いと予測される車両周囲に存在する立体物についての情報を良好な映像として提供できるカメラ及びカメラ装置を提供することを目的とする。
【非特許文献１】竹村  裕夫著「ＣＣＤカメラ技術入門」、コロナ社、１９９８年８月２０日、１６４〜１６５頁）
【特許文献１】特開２００１−８８６０９号公報
【特許文献２】特開２００４−１７３１９５号公報
【発明の開示】
【０００７】
第１に、本発明のカメラは、レンズ、絞り、前記レンズ及び前記絞りを透過した後の光を受ける光電変換部を備え、車両周辺を撮影するカメラであって、前記光電変換部及び前記絞りの駆動手段に接続され、ゲイン及び絞りを自動調整する調整部と、車両周辺の立体物を検知するカメラ装置外部のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号をモニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、立体物を良好な映像として提供可能となる。
【０００８】
第２に、本発明は、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
【０００９】
第３に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
【００１０】
第４に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。
【００１１】
第５に、本発明は、前記調整部が、ＡＬＣ（Automatic Light Control）回路及び／又はＡＧＣ（Automatic Gain Control）回路を備えることを特徴としている。
【００１２】
第６に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
【００１３】
第７に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
【００１４】
また、第８に、本発明のカメラ装置は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供できる。
【００１５】
また、第９に、本発明は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタと、前記映像内の、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部とを備えるカメラ装置において、前記カメラは、ゲイン及び絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えることを特徴としている。この構成により、センサ部が検知した立体物を良好な映像として提供でき、かつ、検知した立体物をグラフィックにより強調表示することで、運転者に注意を喚起できる。
【００１６】
第１０に、本発明は、前記カメラで撮影された映像は、前記基準決定部で決定される調整基準とすべき画像領域の最小単位となる複数の領域に予め分割されており、前記センサ部は、前記分割された領域が撮像する範囲毎に立体物を検知するように構成されているとともに、前記調整部は、前記領域の少なくとも一つを調整基準の画像領域とする手段を備えていることを特徴としている。この構成により、センサ部、基準決定部はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできるため、後述するロバスト性が向上するという効果を有する。
【００１７】
第１１に、本発明は、前記基準決定部が、前記カメラの最も近くに検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも運転者にとって重要度の高いと予想される自車両の最も近くに位置する立体物を良好な映像として提供できる。
【００１８】
第１２に、本発明は、前記基準決定部が、前記カメラから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する機能を有することを特徴としている。この構成により、複数の立体物が存在した場合でも、運転者にとって重要度が高いと予想される車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
【００１９】
第１３に、本発明は、センサ部が、超音波センサ、レーザーレーダーセンサ、ミリ波レーダーセンサのいずれかを用いていることを特徴としている。
【００２０】
また、第１４に、本発明のカメラ装置は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置において、前記第１カメラは、レンズ及び絞りと、ゲイン及び前記絞りを自動調整する調整部と、前記センサ部の出力を用いて調整基準とすべき画像領域を決定する基準決定部と、前記調整部から入力される信号を前記モニタで表示する信号形式へと変換する映像生成部とを備えるとともに、前記第２カメラは、少なくとも、レンズ及び絞りと、映像生成部とを備えることを特徴としている。
【００２１】
第１５に、本発明は、前記センサ部が、前記車両から最も近い立体物を検知する認識部を備えることを特徴としている。
【００２２】
第１６に、本発明は、前記第１カメラが、前記センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を備えることを特徴としている。
【００２３】
第１７に、本発明は、前記調整部が、ＡＬＣ（Automatic Light Control）回路及び／又はＡＧＣ（Automatic Gain Control）回路を備えることを特徴としている。
【００２４】
第１８に、本発明は、前記ＡＬＣ回路が、前記レンズ絞りを自動調整して入射光量を一定に保つことを特徴としている。
【００２５】
第１９に、本発明は、前記ＡＧＣ回路が、前記基準決定部から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整することを特徴としている。
【００２６】
また、第２０に、本発明のカメラ装置による映像作成方法は、車両周辺を撮影するカメラと、前記車両周辺の立体物を検知するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
【００２７】
第２１に、本発明は、車両周辺を撮影する第１カメラと、前記第１カメラ及びこれとは別に設けた第２カメラにより前記車両から前記車両周辺の各立体物までの距離を検出するセンサ部と、前記カメラの映像を運転者に提示するモニタとを備えるカメラ装置による映像作成方法であって、前記車両周辺を撮影する工程と、前記車両周辺の立体物の位置を検出する工程と、位置検出工程で得られた前記立体物の位置に関する情報から、その立体物が表示される領域を算出する工程と、前記立体物の位置に関する情報から映像を調整する工程と、前記調整された映像情報に基づき前記モニタに前記映像を表示する工程とを備えたことを特徴としている。
【００２８】
第２２に、本発明は、前記映像内の前記立体物が存在する領域に、グラフィックを重畳するグラフィック工程を備えることを特徴としている。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。
[第１の実施形態]
図１は、本発明の第１の実施形態に係る車載用のカメラを示すものであり、このカメラは、自車両（以下、「車体」とよぶ）の周辺、例えば後方又は側方などを撮像するものであり、レンズ１１と、絞り１２と、光電変換部１３と、基準決定部１４と、調整部１５と、映像生成部１６とを備えている。
【００３０】
このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される(規準となるべき)撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。また、この基準決定部１４は、車体周辺の立体物を検知するカメラ外部に設けた図示外のセンサ部からの出力を用いて、調整基準とすべき画像領域を決定するものであり、センサ部との接続を行うためにハウジング１０にセンサ入力端子１０Ａを設けている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。映像生成部１６は、調整部１５から入力する信号をモニタで表示する信号形式へと変換するものであり、カメラ１外部の図示外のモニタとの接続のためにハウジング１０に映像出力端子１０Ｂを設けている。
【００３１】
次に、本実施形態のカメラ１の動作を説明する。
カメラ１は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、図示外のモニタへ映像信号を出力する。ここで、モニタの画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、以下のような調整処理がなされる。
【００３２】
レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、図示外のセンサ部（このセンサは、センサ入力端子１０Ａを介してカメラ１内の基準決定部１４に接続させているものとする）から入力される立体物の位置情報により調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号を、図示外のモニタ（このモニタは、映像出力端子１０Ｂを介してカメラ１内の映像生成部１６に接続させているものとする）で表示できる信号形式へと変換する。
【００３３】
従って、モニタには、センサ部で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。なお、本実施形態では、グラフィック部を設けていないが、図６に示すように、センサ部で検知した立体物が存在する領域にグラフィックを重畳するグラフィック部を設けた構成であってもよい。
【００３４】
[第２の実施形態]
図２は、本発明の第２の実施形態に係る車載カメラ装置を示すものであり、この車載カメラ装置は、車体Ｃに、この車体Ｃの後方を撮像する単一のカメラ１と、立体物を検知するセンサ部３と、カメラ１の出力映像を表示するモニタ４とを搭載している。
【００３５】
カメラ１には、図３に示すように、第１の実施形態と同様のものが用いられており、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている。このうち、レンズ１１は、車両周辺の所望の画像を撮影するために入射光を光電変換部１３に結像させるものであり、光電変換部１３には電荷結合素子（ＣＣＤ）などが用いられている。基準決定部１４は、運転者にとって安全な運転などを行う上で重要度が高いと予想される(規準となるべき)撮像領域を決定するためのものであり、入力がセンサ処理部３２の出力に接続されている。調整部１５は、絞り及びゲインを調整するものであり、入力が基準決定部１４の出力に接続されているとともに、出力が絞り１２に付設した図示外の（しぼり駆動手段に備える）モータに接続されている。また、この調整部１５は、光電変換部１３にも接続されているほかに、出力が映像生成部１６の入力にも接続されている。
【００３６】
センサ部３は、超音波センサにより車体Ｃ近傍の後方の路面上等に位置する立体物（例えば、歩行者Ｍや電柱など）を検知するものであり、図３に示すように、センサヘッド３１と、センサ処理部３２とを備えている。このうち、センサヘッド３１は、超音波を送受信し、その受信結果をセンサ処理部３２へ出力する。一方、センサ処理部３２は、センサヘッド３１からの出力信号を処理して立体物の有無やその位置などを検知するためのものであり、出力が基準決定部１４の入力に接続されている。
【００３７】
以上のように構成された車載カメラ装置について、図３を用いて各部の動作を説明する。
Ｉ．まず、カメラ１の動作を説明する。
カメラ１は、第１の実施形態と同様に、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、図２に示すように、車体Ｃ近くの後方に立体物として人物Ｍが存在する場合、センサ部３により人物Ｍが検知される。そして、カメラ１で撮影した映像情報などに関する信号についての出力は、図４（Ｃ）に示すように、人物Ｍがモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。
【００３８】
ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、図４（Ｂ）に示すように、必ずしも人物が良好に表示されない映像となる場合もある。このような場合には、第１の実施形態と同様に、以下のような調整処理がなされる。なお、図４のモニタ表示例中の縦横格子状の点線は、領域分割結果をわかりやすく明示しているだけであり、実際のモニタ４には表示されない。
【００３９】
レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、基準決定部１４から入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
ここで、基準決定部１４は、センサ部３から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部３で検知された立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。
【００４０】
II．次に、基準決定部１４の動作について、詳細に説明する。
基準決定部１４では、例えば、図４（Ａ）に示すように、画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておく。ここで、センサ部３により立体物が検知されると、その位置がセンサ部３から通知され、基準決定部１４はセンサ部３が検知した立体物が表示される領域を算出する。このとき、センサ部３の検知エリアと、カメラ１の撮影範囲とは予め対応付けることにより、基準決定部１４は、センサ部３のセンサ処理部３２で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部３が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。なお、図４（Ａ）では、斜線で塗り潰された領域が、調整基準範囲となる。
【００４１】
センサ部３により複数の立体物が検知された場合は、車体Ｃに最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知する。或いは、車体Ｃから一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知する。なお、センサ部３により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。
【００４２】
III．次に、調整部１５の動作について、詳細に説明する。
この調整部１５では、基準決定部１４と同様に、画面全体を図４に点線で示すような複数の領域に予め分割しておく。ここで、調整部１５は、光電変換部１３からの出力信号のうち、基準決定部１４から通知された調整基準範囲内にある信号の大きさのみを測定し、絞り１２の絞り量を制御する。つまり、信号値が大きい場合には絞りを閉めて光量を制限し、信号値が小さい場合には絞りを開いて光量を増やす。なお、光電変換部１３の出力信号の大きさによって絞りを制御する回路は、ＡＬＣ（Automatic Light Control）回路として広く知られている。
また、調整部１５では、基準決定部１４から通知された調整基準範囲内にある信号の出力レベルが一定に保たれるように、ゲインを調整する。なお、このようなゲイン調整回路はＡＧＣ（Automatic Gain Control）回路として広く知られている。
【００４３】
IV.次に、センサ部３の動作について、詳細に説明する。
センサ部３としては、例えば、前述したように超音波センサが使用可能であり、カメラ１の撮影範囲内の立体物を検知するように設置される。センサ部３に超音波センサを用いる場合、センサ部３は、超音波を出力したり受信したりするセンサヘッド３１と、受信した超音波を解析して立体物の位置を検知するセンサ処理部３２とを備える。このうち、センサ処理部３２は、検知した立体物の位置を基準決定部１４へと出力する。このとき、センサ部３での立体物検知は、基準決定部１４で分割された領域と対応がつけられる程度の分解能でよいため、予め、検知範囲を複数の領域に分割しておいても良い。
【００４４】
次に、本実施形態のカメラ装置を用いた映像の作成方法について、図５を参照しながら説明する。
この映像の作成方法では、カメラ１を用いて車両周辺を撮影するとともに（第１ステップＳ１）、センサ部３のセンサ処理部３２が車両の位置を検出する（第２ステップＳ２）。次に、基準決定部１４はセンサ部３のセンサ処理部３２から出力される立体物の位置に関するデータを入力すると、このデータから、その立体物が表示される領域を算出する（第３ステップＳ３）。また、調整部１５では、その立体物の位置に関するデータから、絞り１２の絞り量を制御する。つまり、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号値が大きい場合には絞りを閉めて光量を制限し、入力信号値が小さい場合には絞りを開いて光量を増やす（第４ステップＳ４）。また、第４ステップＳ４では、調整部１５では、基準決定部１４から通知された調整基準範囲内において、光電変換部１３からの入力信号の出力レベルが一定に保たれるように、ゲインも調整する。これにより、センサ部３が検知した立体物を良好な映像としてモニタ４に表示する（第５ステップＳ５）。
【００４５】
従って、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞りやゲインについての調整量の算出基準となる映像範囲を決定する基準決定部１４と、基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５とを設けることにより、センサ部３が検知した立体物を良好な映像として提供できる（図４（Ｃ）参照）。
【００４６】
また、カメラ１で撮影された映像は基準決定部１４で決定される調整基準とする画像領域の最小単位となる複数の領域に予め分割することにより、センサ部３、基準決定部１４はそれぞれ領域毎に立体物の有無を検知したり、基準範囲とするか否かを判定したりできる。このように、領域ごとに立体物を検知することにより、例えば、長音波センサで立体物の一部からの反射が弱かったり、ノイズの影響があったりして、立体物の一部が検出されない場合でも、立体物全体を検出できる確立が高くなり、ロバスト性（robustness）が向上するという効果を有する。また、領域が予め決定されているため、領域分割処理が不要となり、処理が容易になる。
【００４７】
また、基準決定部１４で、車体Ｃの最も近くに検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される車体Ｃの最も近くに位置する立体物を良好な映像として提供できる。また、車体Ｃから一定の距離内に検知された立体物が写っている領域を調整基準領域として決定する処理構成とすることにより、複数の立体物が存在した場合でも、運転者にとって重要度の高いと予想される自車両から一定の距離以内に存在する立体物を良好な映像として提供できる。
【００４８】
[第３の実施形態]
以下、本発明に係る第３の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第１、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第１の実施形態と異なり、図６に示すように、グラフィック部２１をさらに設けたカメラ２を搭載したことである。即ち、このカメラ２は、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５、映像生成部１６及びグラフィック部２１から構成される。
このグラフィック部２１は、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力するようになっている。
【００４９】
以上のように構成された車載カメラ装置の動作について、図６を用いて説明する。
Ｉ．まず、カメラ２の動作を説明する。
カメラ２は、センサ部３から入力される立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
その結果、レンズ１１から取り込まれた光線は、絞り１２により光量が制限されて光電変換部１３に結像する。即ち、調整部１５は、光電変換部１３から入力する信号と、基準決定部１４から入力する調整基準範囲とに基づいて、絞り１２の調整量を制御して光電変換部１３へ入射する光量を制御する。一方、基準決定部１４は、センサ部３から入力する立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。従って、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へと出力する。他方、グラフィック部２１は、前述したように、センサ部３から入力される立体物の位置から、重畳すべきグラフィックと表示位置とを決定し、映像生成部１６へと出力する。
【００５０】
次に、映像生成部１６は、グラフィック部２１から入力されるグラフィック情報にしたがって、調整部１５から入力される信号にグラフィック部２１から入力されるグラフィックスなどに関する信号を重畳し、モニタ４で表示する信号形式へと変換する。これにより、モニタ４は、映像生成部１６から入力される映像を表示して、運転者に提供する。このときの表示例を、図４（Ｄ）に示す。
【００５１】
II.次に、グラフィックス部２１の動作について、詳細に説明する。
グラフィックス部２１では、基準決定部１４と同様に、画面全体を予め複数の領域に分割しておく。ここで、センサ部３で立体物が検知されると、その位置に関する情報がセンサ部３からグラフィックス部２１へ出力される。すると、グラフィックス部２１は、センサ部３が検知した立体物が表示される領域を算出し、その領域の境界をグラフィックスとして表示するためのグラフィックス情報を映像生成部１６へ出力する。ここで、境界をグラフィックス表示する領域は、例えば、基準決定部１４で調整基準範囲と決定された領域とする。なお、立体物の距離に応じて境界のグラフィックス表示の色を変えても良い。また、境界は、調整基準範囲以外である場合でも、調整基準範囲から一定の距離内に位置する場合には、立体物の写る領域の境界をグラフィックス表示しても良い。
【００５２】
このように、本実施形態の車載カメラ装置によれば、立体物を検知するセンサ部３と、センサ部３の検知結果を基に絞り１２やゲインの調整量算出の基準となる映像範囲を決定する基準決定部１４と、この基準決定部１４の映像範囲から絞り量やゲインを決定して制御する調整部１５と、グラフィックス部２１とを設けることにより、センサ部３が検知した立体物を良好な映像として表示し、かつ、グラフィックスにより立体物の位置を明示できる。また、調整基準範囲外で検出された立体物の写る境界をグラフィックス表示することにより、必ずしも良好な画像としてモニタ５に表示されない可能性のある調整基準範囲外の領域に写る立体物の位置を明示することもできる。
【００５３】
なお、この第２の実施形態では、グラフィックス部２１は、領域の境界をグラフィックスとして表示しているが、例えば領域全体を半透明な色で塗り潰しても良い。
また、上記の第１、第２の実施形態では、センサ部３として超音波センサを使用しているが、本発明では、レーザーレーダーセンサ、ミリ波レーダーセンサ、後述のステレオカメラセンサ等の他の各種のセンサをセンサ部として使用しても良い。さらに、後退駐車時の後方確認では超音波センサを使用する一方、通常走行時の後側方の確認ではミリ波レーダーセンサを使用するなど、目的に応じてセンサ部３を切換えてもよい。
【００５４】
[第４の実施形態]
以下、本発明に係る第４の実施形態の車載カメラ装置について、図面を用いて説明する。なお、本実施形態において、第２の実施形態と同一部分には同一符号を付して重複説明を避ける。
本実施形態の車載カメラ装置は、第２の実施形態と異なり、図７に示すように、カメラ１（これを、第１カメラ１とよぶ）の他にもう１台のカメラ５（これを、第２カメラ５とよぶ）を設置するとともに認識部６を設け、これら２台からなる第１、第２カメラ１、５及び認識部６が車両周辺の立体物までの距離を検知するセンサ部７を構成している。
【００５５】
従って、本実施形態では、レンズ１１、絞り１２、光電変換部１３、基準決定部１４、調整部１５及び映像生成部１６を備えている第１カメラ１において、第１カメラからの映像を認識部６へ送るために、映像生成部１６は、出力が、モニタ４の入力だけでなく認識部６の入力にも接続されている。
【００５６】
第２カメラ５には、レンズ５１、絞り５２、光電変換部５３及び映像生成部５４を備えている。このうち、レンズ５１は、第１カメラ１の設置位置とは異なる位置から車両周辺の所望の画像を撮影するために入射光を光電変換部５３に結像させるものであり、第１の実施形態と同様に、光電変換部５３には電荷結合素子（ＣＣＤ）などが用いられている。また、光電変換部５３の出力は、映像生成部５４の入力に接続されている。また、映像生成部５４の出力は、認識部６の入力に接続されており、この映像生成部５４で生成された第２カメラ５の映像が認識部６に取り込まれる。
【００５７】
認識部６は、対象物の検出やその対象物の位置を検出するためのものであり、前述したように、第１、第２カメラ１、５とともにセンサ部７を構成する。本実施形態の認識部６は、第１カメラ１の映像生成部１６から送出される第１映像と第２カメラ５から送出される第２映像とを用いて、車両周辺の立体物（例えば、カメラの最も近くに検知された立体物である、例えば歩行者や電柱など）を検出するとともに、その対象物とこの車両との間の距離を算出する。
【００５８】
即ち、認識部６では、第１、第２カメラ１、５で捉えた双方の映像内において、同一の映像生成対象である各立体物に対する視差を算出し、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、この車両から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力するようになっている。
【００５９】
なお、認識部６は、出力が基準決定部１４の入力に接続されており、その位置情報を基準決定部１４へ出力する。このため、基準決定部１４は、その位置情報に基づき、運転者にとって安全な運転などを行う上で重要度が高いと予想される(規準となるべき)撮像領域を決定する。つまり、本実施形態では、例えばこの車両から最も近い立体物が中央に収まるように、画像領域を決定する。
【００６０】
以上のように構成された車載カメラ装置について、動作を説明する。
初めに、センサ部７を構成する第１、第２カメラ１、５から取り込んだ映像は、それぞれ、光電変換部１３、５３で電気信号に変換され、映像信号として映像生成部１６、５４に出力される。一方、この映像信号を入力する認識部では、双方の映像信号から同一対象物を検知する。特に本実施形態では、車体から最も近い立体物を検知するとともに、その立体物に対する第１、第２カメラ１、５の視差から立体物までの距離を算出する。
【００６１】
このようにして、センサ部７は、その視差に基づいて各立体物の位置をそれぞれ算出するとともに、車体から１番近い立体物を判別してその立体物に関する位置情報（例えば、第１カメラの映像での位置座標情報（ｘ，ｙ）など）を基準決定部１４へ出力する。
【００６２】
次に、第１カメラ１は、センサ部７から入力される前述した立体物の位置情報に基づいて、立体物が良好な映像として表示されるように、調整部１５により絞り及びゲインを調整して、モニタ４へ映像信号を出力する。
例えば、車体近くの後方に立体物として人物が存在する場合、センサ部７により人物が検知される。そして、第１カメラ１で撮影した映像情報などに関する信号についての出力は、その人物がモニタ４に良好に表示されるように、調整部１５で絞り及びゲインが調整される。
【００６３】
なお、ここで、モニタ４の画面全体を良好な映像として表示しようと調整した場合、例えば、その場所や環境によっては、必ずしも人物などが良好な映像として表示されない場合もある。このような場合には、以下のような調整処理がなされる。
【００６４】
レンズ１１から取り込まれた光線は、第１の実施形態で説明したように、絞り１２により光量が制限されて光電変換部１３に結像する。一方、調整部１５は、光電変換部１３から入力される信号と、センサ部７から基準決定部１４を介して入力される調整基準範囲に関する信号とに基づいて、絞り１２の調整量を制御し、光電変換部１３へと入射して受光する光量を制御する。
【００６５】
ここで、基準決定部１４は、センサ部７から入力される立体物の位置情報から調整基準範囲を決定し、調整部１５へ出力する。一方、調整部１５は、光電変換部１３から入力される信号のゲインを調整基準範囲に基づいて調整し、映像生成部１６へ出力する。この映像生成部１６は、調整部１５から入力される信号をモニタ４で表示できる信号形式へと変換する。従って、モニタ４には、センサ部７で検出された自車両に最も近い立体物が良好に表示され、運転者に安全運転等を行う上での重要な情報を提供できる。
【００６６】
基準決定部１４では、前述したように、例えば画面全体を縦横格子状に点線で示されるような複数の領域に予め分割しておくので、センサ部７により立体物が検知されると、その位置がセンサ部７から通知される。これにより、基準決定部１４は、センサ部７が検知した立体物が表示される領域を算出する。このとき、センサ部７の検知エリアと、第１カメラ１の撮影範囲とは予め対応付けておくことにより、基準決定部１４は、センサ部７の認識部６で検知した立体物の位置から、その立体物がカメラ１の映像出力のどの領域に表示されるかを算出できる。その結果、基準決定部１４は、センサ部７が検知した立体物が表示される領域を、調整基準範囲として調整部１５に通知する。
なお、カメラ２にも基準決定部を設けることにより、一旦検出した立体物を安定して検出することができる。
【００６７】
なお、本実施形態でも、センサ部７により複数の立体物が検知された場合は、前述したように、車体に最も近い立体物が表示される領域のみを調整範囲として調整部１５に通知するが、車体から一定の距離内に位置する立体物が表示される領域のみを調整範囲として調整部１５に通知するようにしてもよい。なお、センサ部７により立体物が検知されない場合、基準決定部１４は予め定められた領域を調整基準範囲として出力する。
【００６８】
以上、本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。例えば、上記の第１〜第３の実施形態では、基準決定部１４は、調整基準領域の区別はしていないが、車両からの距離に応じて複数のレベルに分けて出力する一方、調整部１５では、各調整基準領域のレベルに応じて各領域の光電変換部１３からの信号に重み付けをして、絞り及びゲインを調整しても良い。
【００６９】
本出願は、２００４年９月１０日出願の日本特許出願（特願２００４−２６４２６０）に基づくものであり、その内容はここに参照として取り込まれる。
【産業上の利用可能性】
【００７０】
本発明のカメラ装置は、車両周辺を撮影するカメラと、カメラ映像を運転者に提示するモニタと、車両周辺の立体物を検知するセンサ部とを備えるカメラ装置において、カメラは、ゲイン及び絞りを自動調整する調整部と、センサ部の出力を用いて調整基準とする画像領域を決定する基準決定部とを備えることにより、センサ部が検知した車両周辺の立体物を良好な映像として運転者に提供できる効果を有し、運転席からの後方確認などが難しいミニバンなどの大型乗用車や大型トラックなどに対する安全対策用の車載カメラ装置等として有用である。
【図面の簡単な説明】
【００７１】
【図１】本発明の第１の実施形態に係るカメラの構成を示す概略図
【図２】本発明の第２の実施形態に係るカメラ装置の全体構成を示す概略図
【図３】本発明の第２の実施形態に係るカメラ装置の構成を示すブロック図
【図４】（Ａ）本発明の第２〜第４の実施形態に係る基準決定部での領域分割例        （Ｂ）カメラ装置のモニタ表示例        （Ｃ）本発明の第２の実施形態におけるモニタへの表示例        （Ｄ）本発明の第２の実施形態におけるモニタへの表示例
【図５】本発明の第２の実施形態に係るカメラ装置による映像作成方法を示すフローチャート
【図６】本発明の第３の実施形態に係るカメラ装置の構成を示すブロック図
【図７】本発明の第４の実施形態に係るカメラ装置の構成を示すブロック図
【符号の説明】
【００７２】
１  カメラ（第１カメラ）
１０  ハウジング
１０Ａ  センサ入力端子１０Ａ
１０Ｂ  映像出力端子１０Ｂ
２  カメラ
１１、５１  レンズ
１２、５２  絞り
１３  光電変換部
１４  基準決定部
１５  調整部
１６、５４  映像生成部
２１  グラフィック部
３  センサ部
３１  センサヘッド
３２  センサ処理部
４  モニタ
５  第２カメラ（センサ部）
６  認識部（センサ部）
７  センサ部
Ｃ  車両（車体）
Ｍ  人物（立体物）
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2006028180.tif 000009
【図２】
2006028180.tif 000010
【図３】
2006028180.tif 000011
【図４】
2006028180.tif 000012
【図５】
2006028180.tif 000013
【図６】
2006028180.tif 000014
【図７】
2006028180.tif 000015
【国際調査報告】
2006028180.tif 000016
2006028180.tif 000017
2006028180.tif 000018
2006028180.tif 000019