(57)【特許請求の範囲】
【請求項１】
外部に配設されるカメラで撮像される画像を取得する画像取得部と、
前記カメラとの間で、前記カメラの設定情報のやり取りを行うもので、前記設定情報の適正値を逐一前記カメラ側に送信し、前記カメラ側から逐一設定状況を受信する設定情報送受信部と、
前記カメラ側の画像安定前に、前記カメラから受信した現在の設定情報に基づいて、前記画像に対する補正の要否を判定する判定部と、
前記判定部で補正が要と判定された場合に、前記画像に対して、所定の補正を行う補正処理部を備える画像取得装置。
【請求項２】
前記カメラの設定情報は、前記画像の出力までに必要なクロックの設定、自動露出調整機構の設定、前記画像全体のゲインの設定、前記画像全体のγカーブの調整、ノイズリダクションの設定である請求項１に記載の画像取得装置。
【請求項３】
前記判定部は、さらに、前記画像取得部で得た前記画像のヒストグラムを求め、当該ヒストグラムを使用して前記画像が安定したか否かを判定する請求項１又は請求項２に記載の画像取得装置。
【請求項４】
前記カメラ側で最適な露光時間を探っている最中で、前記ヒストグラムに偏りがある場合に、前記ヒストグラムの山が中央付近に来るように補正する請求項３に記載の画像取得装置。
【請求項５】
取得した前記ヒストグラムの履歴を管理し、前記ヒストグラムの履歴に基づいて、前記画像が安定したことを判定する請求項３又は請求項４に記載の画像取得装置。
【請求項６】
前記判定部で、予め設定しておいた露光が安定する時まで前記ヒストグラムの補正処理を行い、所定時間経過後、前記画像が安定したというフラグを立てる請求項３乃至請求項５のいずれか１項に記載の画像取得装置。
【請求項７】
前記判定部で、前記ヒストグラムの変化を監視し、前記画像のフレーム毎の前記ヒストグラム全体の動きが所定以下となった場合に、前記画像が安定したというフラグを立てる請求項３乃至請求項５のいずれか１項に記載の画像取得装置。
【請求項８】
前記ノイズリダクションは、ガウシアンフィルタを介挿する請求項２記載の画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像認識用の画像を取得する画像取得装置に関する。
【背景技術】
【０００２】
近年、魚眼カメラ等の広角カメラを使用して画像認識を行い、車両や人を検知する技術開発が提案されている。
【０００３】
画像認識システムに必要な要素としてカメラと画像処理用のＣＰＵおよびソフトウェアが存在する。通常、カメラの画像の安定後に、認識のためのソフトウェアが動作を開始するフローが採用されている。
【０００４】
しかしながら、環境を配慮して無駄な電力を使用しないようにするため、使用時以外は電源をおとしてスリープ状態にすることで消費電力を削減し、動作が必要となった場合に再起動を行い、起動後直ちに認識処理を開始できる仕組みが要請されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１４７８６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、カメラ画像が安定するのを待つことなく、高速で画像処理を開始することができる画像取得装置を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の画像取得装置は、外部に配設されるカメラで撮像される画像を取得する画像取得部と、前記カメラとの間で、前記カメラの設定情報のやり取りを行うもので、前記設定情報の適正値を逐一前記カメラ側に送信し、前記カメラ側から逐一設定状況を受信する設定情報送受信部と、前記カメラ側の画像安定前に、前記カメラから受信した現在の設定情報に基づいて、前記画像に対する補正の要否を判定する判定部と、前記判定部で補正が要と判定された場合に、前記画像に対して、所定の補正を行う補正処理部を備える。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る画像取得装置の構成例を示す図である。
【図２】画像情報の取得処理の流れを示すフローチャートである。
【図３】画像安定前処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１０】
図１は、本発明の実施形態に係る画像取得装置の構成例を示す図である。
【００１１】
図１に示すように、画像取得装置１００は、主として、画像取得部１０と、設定情報送受信部２０、判定部３０、補正処理部４０から構成されている。この装置は汎用のＣＰＵと、同ＣＰＵ上で動作するソフトウェアとを用いて実現される。本実施形態はこのようなＣＰＵに、画像取得、設定情報の送受信、画像の安定状態の判定、補正処理に係る一連の手続きを実行させるプログラムとして実施することもできる。
【００１２】
画像取得部１０は、外部に配設されるカメラで撮像される画像を取得するものである。カメラは、例えば、広角カメラが好適で、さらに、超広角カメラである魚眼カメラが好適である。
【００１３】
設定情報送受信部２０は、カメラとの間で信号線を介して通信しており、カメラの設定情報のやり取りを行うものである。カメラの設定情報のやり取りは、カメラが備えるレジスタに書き込まれているデフォルト値を受信し、次いで、カメラに対する設定情報、すなわち、適正値を逐一送信し、カメラ側から逐一レジスタ値を受信することによって行われる。カメラの設定情報としては、例えば、画像出力までに必要なクロックの設定、自動露出調整機構（以下、ＡＥという）の設定、ゲインの設定、γカーブの調整、ノイズリダクションの設定がある。ＡＥの設定は、画像の明るさが適正になるように露出を調整するものである。ゲインの設定は、光電変換された信号の増幅度の調整に係り、増幅させることで画像を明るくすることができるが、同時にノイズも増幅されるので適切な設定が必要である。γカーブの調整は、画像の階調を調整するもので、例えば、画像に応じて、中高域輝度階調を拡げたり、あるいは暗部の階調を拡げるようにする。ノイズリダクションの設定は、例えば、高感度対応のノイズ除去あるいは長時間露光のノイズ除去を行うものである。
【００１４】
判定部３０は、カメラから受信した現在の設定情報に基づいて、画像情報に対する補正の要否を判定する。また、画像取得部１０から得た画像、例えば、電源オンからの経過時間に対応した画像についてのヒストグラムを順次作成し、ヒストグラムの履歴を使用して画像が安定したかどうかを、例えば、フラグを立てて判定する。画像が安定していない場合には、補正要を判断する。ヒストグラムは、例えば、画像を構成するピクセルの明るさを横軸、ピクセル数を縦軸とし、どれくらいの明るさの点がどれくらいあるかを示したグラフである。理想的なヒストグラムは、被写体、露出、画面の明るさ、コントラスト等によるが、例えば、できるだけグラフの右端と左端に突出したものがない、山が右端あるいは左端で途切れていない、山が中央や右寄り、左寄りになりすぎていない、のが望ましい。
【００１５】
取得したヒストグラムの履歴を管理し、ヒストグラムの履歴から画像が安定したことを判定する機能を有している。ここで、ヒストグラムの履歴を管理するのは、ヒストグラムが安定するまでのオーバーシュートを捉えることによって、一瞬のヒストグラムの様子から安定したものと誤判定するのを防止するためである。
【００１６】
補正処理部４０は、判定部３０で補正が要と判定された場合に、画像取得部１０で取得した画像情報に対して、所定の補正を行うものである。補正処理部４０は、画像全体のヒストグラムを平滑化し、拡張する機能、画像全体のゲイン調整、画像全体のγカーブの調整、画像全体にノイズリダクションを行う機能を有している。ノイズリダクションは、画像の輝度値を平らに滑らかにするもので、例えば、ガウシアンフィルタの介挿が好適である。平滑化フィルタでは、注目画素のその周辺の輝度値を用いて、輝度値を平均し、補正処理後画像の輝度値とする。一般的な画像では、注目画素に近い画素の輝度値は注目画素の輝度値と近い場合が多いが、注目画素から遠くなればなるほど、注目画素の輝度値とは差が大きくなる場合が多くなる。そこで、注目画素に近いほど、平均値を計算するときの重みを大きくし、遠くなるほど重みを小さくなるようにガウス分布の関数を用いてレートを計算するのがガウシアンフィルタである。
【００１７】
＜補正処理＞
カメラの設定情報が上述した順序で設定される場合、概ね、以下のような流れで処理が行われる。まず、画像出力までに必要なクロックの設定の段階では、ＡＥの設定はされておらず、画面は真っ黒か真っ白の状態であるため、補正が必要とは判断しない。ＡＥの設定直後では、なんらかの画像は出力されるが、カメラ側で最適な露光時間を探っている最中で、ヒストグラムに偏りがある。そこで、画像取得装置側でヒストグラムの山が中央付近に来るように補正する。ＡＥが安定するまでの間は、ヒストグラムの取得、ヒストグラムの平滑化および位置補正が継続される。
【００１８】
カメラ側に対するゲインの設定以前であっても、画像取得装置側で画像全体にゲインをかけたり、γテーブルによりγ補正をかけるあるいはノイズリダクションを行うことが好適である。
【００１９】
カメラ側に対するゲインの設定およびγカーブの設定の間も、カメラ画像に補正が必要と判定されれば、画像取得装置側で補正処理を行う。
【００２０】
最終的に、予め設定しておいたＡＥが安定する時までヒストグラムの補正処理を行い、所定時間経過後、画像が安定したというフラグを立てることが好適である。または、ヒストグラムの変化を監視し、画像のフレーム毎のヒストグラム全体の動きが所定以下となった場合に、画像が安定したというフラグを立てることもできる。
【００２１】
以上のように構成された画像取得装置１００について詳述する。
【００２２】
本実施形態においては、カメラ側でカメラ画像が安定するのを待つことなく、取得した画像に対してカメラの設定状況に応じた処理を施すことにより、高速な画像情報の取得を可能にする。
【００２３】
＜画像情報の取得処理＞
図２は、画像情報の取得処理の流れを示すフローチャートである。
【００２４】
まず、システムが起動し、ソフトウェアが起動する（ステップＳ２０１）。
【００２５】
次に、カメラ側の電源がＯＮされる（ステップＳ２０２）。
【００２６】
次いで、画像処理を開始する（ステップＳ２０３）。
【００２７】
一方、カメラ側では、設定情報に基づいて、設定が開始される（ステップＳ２０４）。具体的には、カメラのレジスタ値を参照し、設定を確認し、次の設定情報をカメラ側に送信する処理を全ての設定項目について設定が完了するまで繰り返し行う。
【００２８】
次に、画像取得装置では、カメラ側の状態を監視し、画像安定前処理を行う（ステップＳ２０５）。
【００２９】
画像安定前処理をした後、通常動作を行う（ステップＳ２０６）。ここで、通常動作とは、電源が入っていて連続動作をしている状態や、取得した絵で描画をする、もしくは外部ストレージに画像情報を記録する動作である。また、画像取得装置の外部に認識処理および処理結果を提示することでもよい。
【００３０】
次に、カメラ画像が安定したか否かを画像安定前処理中（画像安定判断）のフラグにて判定する（ステップＳ２０７）。
【００３１】
カメラ画像が安定しなければ（ステップＳ２０７でＮｏ）、安定するまで、画像安定前処理を行う。カメラ画像が安定したならば（ステップＳ２０７でＹｅｓ）、次の処理に移行する。
【００３２】
次に、通常のカメラ画像のキャプチャを行う（ステップＳ２０８）。
【００３３】
続いて、通常動作を行う（ステップＳ２０９）。ここでの通常動作は、上述と同様である。
【００３４】
続いて、カメラ側の電源がＯＦＦか否かを判定する（ステップＳ２１０）。
【００３５】
カメラ側の電源がＯＦＦでなければ（ステップＳ２１０でＮｏ）、ステップＳ２０８〜ステップＳ２１０を繰り返し、カメラ側の電源がＯＦＦであれば（ステップＳ２１０でＹｅｓ）、処理を終了する。
【００３６】
図３は、画像安定前処理の流れを示すフローチャートである。
【００３７】
まず、カメラ側の設定状況を確認する（ステップＳ３０１）。
【００３８】
次に、カメラ画像をキャプチャする（ステップＳ３０２）。
【００３９】
続いて、設定状況に応じた処理を行う（ステップＳ３０３）。
【００４０】
次に、カメラ画像の安定を判断（ステップＳ３０４）して、処理を終了する。
【００４１】
本実施形態によれば、カメラ画像が安定するのを待つことなく、高速で画像処理を開始することができる。
【００４２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４３】
１００・・・画像取得装置
１０・・・画像取得部
２０・・・設定情報送受信部
３０・・・判定部
４０・・・補正処理部
【図１】
0006383267.tif 000002
【図２】
0006383267.tif 000003
【図３】
0006383267.tif 000004