(57)【要約】パラメタ選択部（１０９）は車両状況検出部（１０８）の出力に応じて、パラメタ記憶部（１１０）に記憶された複数の画像合成パラメタから１つを選択する。画像合成部（１０４）は選択された画像合成パラメタに従って、フレームメモリ（１０３）からカメラ画像を読み出し、車両周囲の状況を示す合成画像を生成する。移動物検出部（１０５）は生成された合成画像において、移動物が存在すると推定される移動物領域を検出する。
2005125208.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、
前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えた
監視装置。
【請求項２】
請求項１において
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部とを備え、
前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って、動作するものであり、
前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って、動作するものである
ことを特徴とする監視装置。
【請求項３】
請求項２において、
前記複数のカメラは、移動体に設置されており、
前記パラメタ選択部は、前記移動体の状況に応じて、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項４】
請求項３において、
前記パラメタ選択部は、前記移動物検出部による検出結果を加味して、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項５】
請求項４において、
前記パラメタ選択部は、現在選択されている画像合成パラメタを加味して、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項６】
請求項４において、
前記パラメタ選択部は、前記移動物検出部によって移動物領域が検出されているとき、選択した画像合成パラメタについて、当該移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行い、出力する
ことを特徴とする監視装置。
【請求項７】
請求項６において、
前記パラメタ選択部は、前記変更を、当該移動物領域に加えて、その周辺領域に対応する部分に対しても、行う
ことを特徴とする監視装置。
【請求項８】
請求項３において、
前記パラメタ選択部は、前記移動体が移動しているとき、移動物検出の停止を規定した検出パラメタを選択する
ことを特徴とする監視装置。
【請求項９】
請求項２において、
前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止することを規定した検出パラメタを選択する
ことを特徴とする監視装置。
【請求項１０】
請求項２において、
前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、画像合成パラメタの変更を所定時間停止する
ことを特徴とする監視装置。
【請求項１１】
請求項１において、
前記移動物検出部は、合成画像を区分した小領域毎に、画素値の統計量を算出し、当該統計量の時間変化が所定値を超えた小領域を、前記移動物領域として特定するものである
ことを特徴とする監視装置。
【請求項１２】
請求項１１において、
前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付された重みを含み、
前記画像合成部は、画像合成パラメタに含まれた重みを用いて、各画素値に重み付けを行い、合成画像を生成するものである
ことを特徴とする監視装置。
【請求項１３】
請求項１２において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている
ことを特徴とする監視装置。
【請求項１４】
請求項１２において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、一定になるように、設定されている
ことを特徴とする監視装置。
【請求項１５】
請求項１４において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定されている
ことを特徴とする監視装置。
【請求項１６】
請求項２において、
前記パラメタ記憶部が記憶する複数の画像合成パラメタのうち少なくとも１つは、カメラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、路面平面を仮想視点から撮影した合成画像を生成するためのものである
ことを特徴とする監視装置。
【請求項１７】
車両に設置された複数のカメラによって撮影されたカメラ画像を用いて、前記車両の周辺を監視する車両周辺監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタを、記憶するパラメタ記憶部と、
前記車両の状況に応じて、前記パラメタ記憶部に記憶された複数の画像合成パラメタから１つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、前記車両の周囲の状況を示す合成画像を生成する画像合成部と、
前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えた
車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、画像中の移動物を検出する画像認識に関するものであり、特に、撮影状況に応じた合成画像の生成と、画像中の移動物検出とを、併せて実現する技術に関するものである。
【背景技術】
【０００２】  従来の周辺監視装置のための技術として、車両に設置されたカメラで撮影した車両周辺の画像から、運転の支障となる移動物や障害物を検出する技術、および、車両の周辺状況を移動物や障害物を含む画像として表示する技術があった。【０００３】  車両周辺監視のための移動物検出技術の例としては、車両の周辺を撮影した画像から、画像中の時間的な動きであるオプティカルフローを用いて、車両に接近する移動物を検出するものがあった（例えば特許文献１および２参照）。例えば特許文献１では、車両後方に向けて設置したカメラの映像を入力として、画像を水平方向に分割した複数の領域を設定し、それぞれの領域内で、所定の閾値以上の大きさを持ち、かつ、接近物を仮定したときの画像上の動きと同一の方向を持つオプティカルフローを抽出して、このオプティカルフローに基づいて、接近物を判別する。【０００４】  また、車両の周辺状況を画像として表示する技術の例としては、車両の周辺を撮影した画像から移動物や障害物を検出した上で、近似的に撮影された画像とは異なる視点から見た合成画像を生成して表示するものがあった。（例えば特許文献３〜５参照）。例えば特許文献３では、図１６（ａ）のような構成の装置を用いて、図１６（ｂ）のような車両周辺を撮影した入力画像から、路面の領域と路面以外の障害物の領域を分離したのち、路面領域については上方から見下ろした画像となるよう変形する処理を、障害物の領域は適当な大きさに拡大縮小する処理を、それぞれ施して重畳合成し、図１６（ｃ）のような合成画像を表示する。
【特許文献１】特許第３０１１５６６号公報
【特許文献２】特開２００４−５６７６３号公報
【特許文献３】特開平０７−１８６８３３号公報
【特許文献４】特開平０６−３３３２００号公報
【特許文献５】特開平１１−７８６９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】  ところが、上述したような従来の移動物や障害物を検出する技術、および、車両の周辺状況を表示する技術では、次のような問題があった。【０００６】  第１に、カメラ画像を入力として移動物等の検出を行う場合、検出された移動物領域は、入力画像の画素座標値を基準に算出される。このため、検出された移動物領域を入力画像とは異なる合成画像に表示する場合、検出された移動物の画素座標値を合成画像上の画素座標値に変換する必要が生じる。この結果、座標変換などの計算負荷が大きくなってしまう。【０００７】  この計算負荷の問題は、移動物検出のために計算負荷の大きな処理を用いる場合は、相対的に小さな問題といえるが、輝度変化を用いた移動物検出やテーブルを用いた合成画像の生成など、計算負荷の小さい処理を前提とした場合は、特に大きな問題となる。【０００８】  第２に、従来の移動物等を検出する技術では、１個の入力画像に対して検出処理を行っている。このため、複数のカメラで撮影された複数の動画像を入力として移動物等の検出処理を行う場合には、カメラの撮影範囲の境界付近に存在する物体や、複数のカメラの撮影範囲にまたがって移動する物体などを検出することが、困難になる。【０００９】  前記の問題に鑑み、本発明は、複数のカメラによって撮影されたカメラ画像を入力とする監視装置において、監視領域の状況を示す合成画像の生成と移動物の検出とを、小さい計算負荷によって実行可能にし、かつ、複数のカメラの撮影範囲にまたがるような移動物なども、容易に検出可能にすることを課題とする。
【課題を解決するための手段】
【００１０】  本発明は、複数のカメラによって撮影されたカメラ画像を入力とする監視装置として、カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、生成された合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えたものである。【００１１】  この発明によると、移動物領域の検出は、カメラ画像から合成された、監視領域の状況を示す合成画像において、行われる。このため、検出結果は、合成画像の画素座標値を基準に算出され、検出結果を表示する際にも座標変換などが不要となることから、計算負荷が小さくてすむ。さらに、複数のカメラによって撮影されたカメラ画像を１つの合成画像にまとめた上で、移動物検出を行うので、複数のカメラの撮影範囲にまたがった移動物や、カメラ境界付近の物体が、容易に検出可能になる。【００１２】  そして、前記本発明に係る監視装置は、複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとからそれぞれ１つを選択するパラメタ選択部とを備え、前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って動作するものであり、前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って動作するものであるのが好ましい。【００１３】  これにより、様々な状況に応じた合成画像を生成することができ、また、生成された合成画像において、様々な状況に応じた移動物検出を実行することが可能になる。
【発明の効果】
【００１４】  本発明によると、計算負荷が小さく、複数カメラの撮影範囲にまたがる移動物等の検出が容易に可能な監視装置を、実現することができる。
【図面の簡単な説明】
【００１５】［図１］図１は本発明の各実施形態に係る車両周辺監視装置の構成を示すブロック図である。
［図２］図２（ａ）は各実施形態におけるカメラ設置および撮影状況、図２（ｂ），（ｃ）は図２（ａ）に示されたカメラの画像の例である。
［図３］図３は本発明の第１の実施形態における画像合成パラメタの例を示す図である。
［図４］図４は構図が異なる合成画像の例である。
［図５］図５は本発明の第１の実施形態におけるパラメタ選択ルールの一例である。
［図６］図６（ａ）は移動物検出における領域区分の一例、図６（ｂ）は移動物領域が表示された合成表示画像の例である。
［図７］図７は本発明の第１の実施形態における第１の動作例による合成表示画像の例である。
［図８］図８は本発明の第１の実施形態における第２の動作例による合成表示画像の例である。
［図９］図９は本発明の第２の実施形態におけるパラメタ選択ルールの一例である。
［図１０］図１０は本発明の第２の実施形態における動作例による合成表示画像の例である。
［図１１］図１１は本発明の第３の実施形態における画像合成パラメタの一例を説明するための図である。
［図１２］図１２は本発明の第３の実施形態における画像合成パラメタの他の例を説明するための図である。
［図１３］図１３は本発明の第４の実施形態における合成表示画像の例を示す図である。
［図１４］図１４は本発明の第４の実施形態における合成表示画像の例を示す図である。
［図１５］図１５は本発明の監視装置をコンピュータを用いて構成した場合の構成図である。
［図１６］図１６は従来技術による周辺監視装置の構成および画像の例を示す図である。
【符号の説明】
【００１６】１０１  カメラ
１０２  Ａ／Ｄ変換器
１０３  フレームメモリ
１０４  画像合成部
１０５  移動物検出部
１０６  Ｄ／Ａ変換器
１０７  ディスプレイ
１０８  車両状況検出部
１０９  パラメタ選択部
１１０  パラメタ記憶部
【発明を実施するための最良の形態】
【００１７】  本発明の第１態様では、複数のカメラによって撮影されたカメラ画像を入力とする監視装置として、前記カメラ画像を合成して監視領域の状況を示す合成画像を生成する画像合成部と、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えたものを提供する。【００１８】  本発明の第２態様では、複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部とを備え、前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って動作し、前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って動作する第１態様の監視装置を提供する。【００１９】  本発明の第３態様では、前記複数のカメラは移動体に設置されており、前記パラメタ選択部は、前記移動体の状況に応じてパラメタ選択を行う第２態様の監視装置を提供する。【００２０】  本発明の第４態様では、前記パラメタ選択部は、前記移動物検出部による検出結果を加味してパラメタ選択を行う第３態様の監視装置を提供する。【００２１】  本発明の第５態様では、前記パラメタ選択部は、現在選択されている画像合成パラメタを加味して、パラメタ選択を行う第４態様の監視装置を提供する。【００２２】  本発明の第６態様では、前記パラメタ選択部は、前記移動物検出部によって移動物領域が検出されているとき、選択した画像合成パラメタについて、当該移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行い、出力する第４態様の監視装置を提供する。【００２３】  本発明の第７態様では、前記パラメタ選択部は、前記変更を、当該移動物領域に加えて、その周辺領域に対応する部分に対しても行う第６態様の監視装置を提供する。【００２４】  本発明の第８態様では、前記パラメタ選択部は、前記移動体が移動しているとき、移動物検出の停止を規定した検出パラメタを選択する第３態様の監視装置を提供する。【００２５】  本発明の第９態様では、前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止することを規定した検出パラメタを選択する第２態様の監視装置を提供する。【００２６】  本発明の第１０態様では、前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、画像合成パラメタの変更を所定時間停止する第２態様の監視装置を提供する。【００２７】  本発明の第１１態様では、前記移動物検出部は、合成画像を区分した小領域毎に、画素値の統計量を算出し、当該統計量の時間変化が所定値を超えた小領域を、前記移動物領域として特定するものである第１態様の監視装置を提供する。【００２８】  本発明の第１２態様では、前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付された重みを含み、前記画像合成部は、画像合成パラメタに含まれた重みを用いて各画素値に重み付けを行い、合成画像を生成する第１１態様の監視装置を提供する。【００２９】  本発明の���１３態様では、前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている第１２態様の監視装置を提供する。【００３０】  本発明の第１４態様では、前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、一定になるように、設定されている第１２態様の監視装置を提供する。【００３１】  本発明の第１５態様では、前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定されている第１４態様の監視装置を提供する。【００３２】  本発明の第１６態様では、前記パラメタ記憶部が記憶する複数の画像合成パラメタのうち少なくとも１つは、カメラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、路面平面を仮想視点から撮影した合成画像を生成するためのものである第２態様の監視装置を提供する。【００３３】  本発明の第１７態様では、車両に設置された複数のカメラによって撮影されたカメラ画像を用いて前記車両の周辺を監視する車両周辺監視装置として、複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタを記憶するパラメタ記憶部と、前記車両の状況に応じて、前記パラメタ記憶部に記憶された複数の画像合成パラメタから１つを選択するパラメタ選択部と、前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、前記車両の周囲の状況を示す合成画像を生成する画像合成部と、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えたものを提供する。【００３４】  以下、本発明の実施の形態について、図面を参照して説明する。【００３５】  （第１の実施形態）
図１は本発明の第１の実施形態に係る監視装置としての車両周辺監視装置の構成を示すブロック図である。図１において、１０１は動画像を撮影して映像信号を出力するカメラ、１０２は映像信号をデジタル化するＡ／Ｄ変換器、１０３はデジタル化された画像データを一時的に記憶するフレームメモリである。カメラ１０１は、移動体としての車両の周辺を撮影するように車体に設置されているものとする。フレームメモリ１０３は、Ａ／Ｄ変換器１０２から出力される画像データを連続して記憶すると同時に、画像合成部１０４からの読み出し要求に応じて、直前に記憶された画像の任意の画素データを読み出すことが可能である。【００３６】  １０４はフレームメモリ１０３から読み出したカメラ画像を合成して、車両周辺を含む監視領域の状況を示す合成画像を生成する画像合成部、１０５は画像合成部１０４から出力された合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部である。移動物検出部１０５は、移動物領域を検出したとき、対応する合成画像上の領域にグラフィックスを重畳して合成表示画像として出力する。１０６は移動物検出部１０５から出力された合成表示画像を映像信号に変換するＤ／Ａ変換器であり、１０７は映像信号を表示するディスプレイである。ディスプレイ１０７は、車両の運転者が観測できる場所に設置されているものとする。【００３７】  また、１１０は複数の画像合成パラメタおよび複数の検出パラメタを記憶するパラメタ記憶部、１０９はパラメタ記憶部１１０に記憶された複数の画像合成パラメタから１つを選択するとともに、複数の検出パラメタから１つを選択するパラメタ選択部である。ここで、画像合成パラメタは、カメラ画像と合成画像との対応関係を表すパラメタであって、画像合成部１０４における画像合成に用いられる。また、検出パラメタは、移動物を検出する際のしきい値など移動物検出の仕様を規定するパラメタであって、移動物検出部１０５における移動物検出に用いられる。すなわち、画像合成部１０４はパラメタ選択部１０９によって選択された画像合成パラメタに従って、フレームメモリ１０３からカメラ画像を読み出し、画像合成を行い、移動物検出部１０５はパラメタ選択部１０９によって選択された検出パラメタに従って、移動物検出の動作を行う。【００３８】  １０８は車両の状況を検出する車両状況検出部であって、例えば、車両の速度や移動方向などを検出する車速センサや舵角センサなどのセンサ類の出力や、イグニッションキー、シフトレバー、ウィンカーなどのユーザーが操作するスイッチ類の状態のうち、いずれか１つまたは複数を入力とし、車両状況としてパラメタ選択部１０９に出力する。パラメタ選択部１０９は車両状況検出部１０８から出力された車両状況に応じて、パラメタ選択を行う。なお、後述するように、パラメタ選択の際に、移動体検出部１０５による検出結果や、現在選択されている画像合成パラメタを、加味してもよい。【００３９】  以上のように構成された車両周辺監視装置の動作について、図２〜図８を用いて説明する。【００４０】  カメラ１０１は車両周辺を撮影して映像信号を出力し、Ａ／Ｄ変換器１０２は映像信号をデジタル化して画像として出��し、フレームメモリ１０３はデジタル化された画像を一時的に記憶する。フレームメモリ１０３の画像の記憶および更新は、カメラ１０１から出力される映像信号に同期して連続的に行われる。【００４１】  図２（ａ）はカメラ設置および撮影状況の例である。４台のカメラ１〜４は、自車両１の周辺を撮影するように車体に設置されている。図２のカメラ１〜４は、図１の複数のカメラ１０１に対応し、図１のカメラ１０１以外の構成要素は、自車両１の車両内に設置されている。カメラ１およびカメラ２は、車両後方を広い範囲で撮影できるように設置されている。図２（ｂ）および（ｃ）はそれぞれ、カメラ１およびカメラ２によって撮影された画像の例である。図２（ｂ）に示すように、カメラ１によって自車両１後方を走行する他車両２が映されている。フレームメモリ１０３には、図２（ｂ），（ｃ）のような画像がデジタル化されて記憶される。【００４２】  図３はパラメタ記憶部１１０に記憶された画像合成パラメタの一例を示す図である。すなわち、図３（ａ），（ｂ）の入力画像（図２（ｂ），（ｃ）と同一）から図３（ｃ）の合成画像を生成する場合に、図３（ｄ）のような画像合成パラメタが用いられる。図３（ｄ）の画像合成パラメタは、合成画像の各画素に１対１に対応した２次元配列として表現されている。２次元配列の各要素は、入力画像のカメラ番号、画素座標（ここではＸ座標、Ｙ座標）および画素値に対する重みによって構成されている。図３の例では、画像合成パラメタの座標（ｘｏ，ｙｏ）に、「カメラ番号＝１、座標（Ｘｉ１，Ｙｉ１）、重み１．０」という情報が格納されている。これは、合成画像の座標（ｘｏ，ｙｏ）の画素値には、カメラ１の画像の座標（Ｘｉ１，Ｙｉ１）の画素値を１．０倍した値を与える、ということを表している。このような合成画像パラメタを用いることによって、複数のカメラ画像と合成画像との画素の対応関係を記述することができる。なお、本実施形態では、各画像合成パラメタにおいて、重みは１．０で均一であるものとする。【００４３】  図４は図２（ａ）の撮影状況におけるカメラ画像から、画像合成パラメタに従って生成した合成画像の例である。同図中、（ａ）は自車両１の全周囲を広い範囲で表示した合成画像（構図Ａ）、（ｂ）は自車両１の後方を表示した合成画像（構図Ｂ）、（ｃ）は自車両１の前方を表示した合成画像（構図Ｃ）、（ｄ）は自車両１の後方の近傍を表示した合成画像（構図Ｄ）である。図４に示すように、同一のカメラ画像から、互いに異なる画像合成パラメタを用いることによって、構図が異なる合成画像を生成することができる。【００４４】  また、図４では、異なるカメラ位置から撮影された複数の画像を用いて、あたかも別の視点から撮影された１枚の画像のような合成画像が生成されている。このような合成画像を生成するための画像合成パラメタは、例えば次のようにして求めればよい。すなわち、路面が１つの平面であり、かつ、複数のカメラで撮影されたカメラ画像中の被写体が全て同一平面上に存在するものと仮定し、複数のカメラと路面との位置関係が既知として、カメラ画像と合成画像との対応関係を計算する。これによって、図４のような合成画像を生成するための画像合成パラメタを求めることができる。【００４５】  なお、画像合成パラメタの構成や算出方法、画像合成方法に関しては、例えば、国際公開第００／６４１７５号パンフレットなどに詳しく記載されているため、ここでは詳細な説明を省く。【００４６】  図５はパラメタ選択部１０９におけるパラメタ選択ルールの一例である。ここでは、画像合成パラメタとして、構図Ａ〜Ｄ（図４（ａ）〜（ｄ））にそれぞれ対応する合成画像パラメタＡ，Ｂ，Ｃ，Ｄが、パラメタ記憶部１１０に予め記憶されているものとする。また、検出パラメタとして、移動物検出を実行する「動作」と、移動物検出を停止する「停止」とが、パラメタ記憶部１１０に予め記憶されているものとする。【００４７】  またここでは、車両状況検出部１０８は、車両速度とシフトレバーの状態とを車両状況として出力する。すなわち、パラメタ選択部１０９は、車両速度とシフトレバーの状態に応じて、図５に従って画像合成パラメタおよび検出パラメタを選択する。例えば、車両速度が「停止」であり、シフトレバーの状態が「Ｐ」（パーキング）または「Ｎ」（ニュートラル）であるとき、画像合成パラメタとして「Ａ」が、検出パラメタとして「動作」が、それぞれ選択される。【００４８】  画像合成部１０４は、パラメタ選択部１０９によって選択された画像合成パラメタを入力し、画像合成パラメタの各要素に対応するカメラ画像をフレームメモリ１０３から順次読み出して、合成画像を生成する。この動作は１／３０秒ごとに繰り返し実行され、生成された合成画像が順次出力される。移動物検出部１０５は、パラメタ選択部１０９によって選択された検出パラメタを入力し、検出パラメタが「動作」であるとき、画像合成部１０４から出力された合成画像を１／３０秒ごとに入力して、合成画像中の移動物領域を検出する。【００４９】  移動物検出部１０５は、画素値の統計量の時間変化を基にして、移動物の検出を行う。ここでは、画素値の統計量として、輝度の平均値を用いるものとする。そして、輝度の平均値の時間変化が大きい領域を、移動物領域として検出する。【００５０】  すなわち、移動物検出部１０５は、合成画像を小領域に区分し、区分した小領域毎に輝度の平均値を算出し、一時的に記憶する。そして、各小領域毎に、直前（ここでは１／３０秒前）の合成画像と輝度平均値を比較し、その差が所定のしきい値よりも大きいとき、その小領域は移動物領域であると判断する。そして、合成画像上の移動物領域の位置にグラフィックスを重畳合成して、合成表示画像として出力する。移動物検出部１０５は、このような動作を１／３０秒ごとに繰り返し実行する。【００５１】  図６（ａ）は移動物検出における領域区分の一例であり、水平方向（図では横方向）に８ブロック、垂直方向（図では縦方向）に６ブロック、計４８ブロックの小領域に合成画像が分割されている。図６（ｂ）は合成表示画像の例であり、移動物領域として検出された小領域（図中左下）に対して、領域を囲う波線のグラフィックスが重畳されている。【００５２】  移動物検出部１０５から出力された合成表示画像は、Ｄ／Ａ変換器１０６によって映像信号に変換され、ディスプレイ１０７に表示される。【００５３】  ＜第１の動作例＞
いま、図２（ａ）の状況において、自車両１は「停止」しており、シフトレバーは「Ｐ」であるとする。このとき、パラメタ選択部１０９は、図５に従って、画像合成パラメタとして「Ａ」を選択し、検出パラメタとして「動作」を選択する。画像合成部１０４は、画像合成パラメタＡに従って、構図Ａ（図４（ａ））の合成画像を生成し、移動物検出部１０５は検出パラメタに従って、移動物検出を行う。【００５４】  ここで、他車両２が移動している場合、合成画像の他車両２の領域において輝度が変化するので、移動物検出部１０５は、輝度平均値の時間変化が所定値を越えた小領域を移動物領域として検出し、図７（ａ）のような合成表示画像を出力する。さらに、他車両２が前方に移動していくにつれて、図７（ｂ），（ｃ）のような合成表示画像が出力される。【００５５】  ＜第２の動作例＞
いま、図８（ａ）のような合成表示画像が表示された状態で、運転者がシフトレバーを操作して「Ｐ」から「Ｒ」（リバース）に変更したとする。すると、パラメタ選択部１０９は、図５に従って、画像合成パラメタの選択を「Ａ」から「Ｂ」に変更する。これにより、画像合成部１０４によって生成される合成画像の構図が、構図Ａから構図Ｂに変更される。また、移動物検出部１０５は、構図Ｂの合成画像において移動物検出を行う。このとき、他車両２が前方に移動していくにつれて、図８（ｂ），（ｃ）のような合成表示画像が出力される。【００５６】  上述した本実施形態に係る車両周辺監視装置では、移動物検出を合成画像に対して行っているため、検出された小領域位置の座標変換などの処理が不要である。また、複数カメラの画像を合成した後に検出処理を行っているため、図８（ｂ）のようなカメラの撮影範囲の境界付近における移動物検出においても特別な処理が不要であり、移動物検出を容易に実現することができる。【００５７】  さらに、図７および図８のような合成表示画像では、車両周辺の状況が把握しやすい上に、移動物領域がグラフィックスによって強調されている。このため、運転者からすると、元のカメラ画像をそのまま観察する場合に比べて、衝突などの可能性が高い移動物の存在を容易に把握できる、という利点がある。【００５８】  以上のように本実施形態によると、複数のカメラ画像から合成画像を生成した後に、この合成画像を用いて移動物検出を行うので、検出結果の座標変換や、各カメラ画像における検出結果の統合といった複雑な処理が不要となり、計算負荷を小さくできるとともに、カメラの撮影範囲の境界にまたがるような移動物でも容易に検出できる。【００５９】  また、特に車両周辺を監視する用途では、車両周辺のできるだけ広い視野範囲が映り、かつ、車両近傍が映っている画像が望ましい。このような画像を撮影するためには、例えば図２のように、複数のカメラを車両の異なる位置に設置する必要がある。位置が異なる複数のカメラで撮影された画像を用い、かつ、被写体の位置が未知として１つの合成画像を生成した場合、一般的には、被写体が二重に映った合成画像や、被写体が映っていない合成画像が生成されることがある。しかしながら、車両周辺を監視する用途では、利用者が監視すべき移動物や障害物は、通常は路面上に存在し、路面平面より下や空中に存在することは稀である。したがって、カメラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、仮想視点から路面平面を撮影したと仮定して生成した合成画像では、撮影位置の異なる複数のカメラ画像を用いた場合でも、少なくとも被写体が路面に接する部分は、二重に存在したり消えたりはしない。このため、このような合成画像を用いて車両周辺の移動物を検出する場合、カメラの撮影範囲の境界にまたがるような移動物であっても、二重に検出されたり、消えたりすることはない、という利点がある。【００６０】  なお、本実施形態では、車両状況として車両速度およびシフトレバーの状態を用いて、図５のようなルールに従ってパラメタ選択を実行するものとしたが、パラメタ選択のルールや、パラメタ選択に用いる車両状況は、ここで示したものに限られるも��ではない。例えば、パラメタ選択に用いる車両状況は、画像合成パラメタや検出パラメタと関連するものであれば、どのような情報であってもよい。【００６１】  （第２の実施形態）
本発明の第２の実施形態に係る車両周辺監視装置は、第１の実施形態と同様に、図１のように構成される。第１の実施形態と異なるのは、第１の実施形態では、パラメタ選択を車両状況に応じて行っていたのに対して、本実施形態では、車両状況に加えて、移動物検出部１０５による検出結果、および、現在選択されている画像合成パラメタを加味して、パラメタ選択を行う点である。パラメタ選択部１０９以外の各構成要素は、第１の実施形態と同様の動作を行う。【００６２】  図９は本実施形態におけるパラメタ選択ルールの一例である。図９（ａ）において、「評価領域毎の移動物検出状況」における評価領域とは、移動物検出の結果をパラメタ選択に反映させるために定めた領域のことをいう。図９（ｂ）は評価領域の設定の一例であり、第１の実施形態で説明した４８ブロックの小領域を、４個の中領域（評価領域１〜４）にまとめている。移動物領域が検出されたとき、その検出結果は、図９（ｂ）に示す各評価領域における検出の有無に置き換えられる。例えば、「評価領域１」に対応する１２ブロックの小領域のいずれかが移動物領域と判定されたとき、評価領域１において検出された、と表現する。【００６３】  図９（ｂ）に示す評価領域の設定では、自車両の前方と後方とを分けており、また、自車両の近傍と遠方とを分けている。これは、移動物が前方にあるか後方にあるかによって適切な構図が異なること、また、移動物が遠方にあるときは広範囲が表示される構図に変更するのが好ましいと考えられること、などに基づいている。もちろん、評価領域の設定は、図９（ｂ）に示すものに限られるものではなく、評価領域の個数も４に限られるものではない。例えば、各小領域を、そのまま評価領域として用いてもかまわない。【００６４】  ＜動作例＞
まず、図２（ａ）の状況において、他車両２はまだカメラの撮影範囲外に存在するものとする。動作開始後の初期状態において、パラメタ選択部１０９は、画像合成パラメタとして「Ａ」、検出パラメタとして「停止」を選択する。このとき、画像合成部１０４は、構図Ａ（図４（ａ））の合成画像を出力し、移動物検出部１０５は、移動物検出を実行しない。【００６５】  次に、自車両１は「停止」しており、シフトレバーは「Ｐ」、移動物検出は未実施なので、パラメタ選択部１０９は図９（ａ）の選択ルールに従って、画像合成パラメタは「Ａ」のままとし、検出パラメタとして「動作」を選択する。ここで、他車両２が接近し、移動しているものとすると、移動物検出部１０５は、他車両２に対応する小領域を移動物領域として検出し、図１０（ａ）のような合成表示画像を出力する。またこれとともに、検出した移動物領域が属する評価領域の情報（ここでは評価領域１，２）が、検出結果としてパラメタ選択部１０９に出力される。【００６６】  次にパラメタ選択部１０９は、移動物検出部１０５から検出結果を受けて、評価領域１において移動物が検出されたという情報と、自車両は「停止」、シフトレバーは「Ｐ」という情報から、画像合成パラメタとして新たに「Ｂ」を選択して出力する。検出パラメタは「動作」のままである。画像合成部１０４は画像合成パラメタＢに従って、構図Ｂ（図４（ｂ））の合成画像を出力し、移動物検出部１０５は構図Ｂの合成画像において、移動物検出を行う。このとき、他車両２に対応する小領域が移動物領域として検出され、図１０（ｂ）のような合成表示画像が出力される。またこれともに、評価領域１が、検出結果としてパラメタ選択部１０９に出力される。【００６７】  ここで、運転者の操作によって、シフトレバーが「Ｐ」から「Ｒ」（リバース）に変更されたとする。このとき、パラメタ選択部１０９は、評価領域１において移動物が検出されたという情報と、自車両は「停止」、シフトレバーは「Ｒ」という情報から、画像合成パラメタとして新たに「Ｄ」を選択して出力する。検出パラメタは「動作」のままである。画像合成部１０４は画像合成パラメタＤに従って、構図Ｄ（図４（ｄ））の合成画像を出力し、移動物検出部１０５は構図Ｄの合成画像において、移動物検出を行う。この結果、図１０（ｃ）のような合成表示画像が出力される。【００６８】  このような、移動物検出の検出結果と現在の画像合成パラメタとを加味して、次の画像合成パラメタを選択する処理は、合成画像上の移動物領域が、自車両１周辺のどの位置に相当するかを加味して、次の画像合成パラメタを選択していることを意味する。すなわち、自車両１の周囲のどの位置で移動物が検出されたかに応じて、次の画像合成パラメタを選択することができ、車両状況と周辺の移動物の状況との両方に適した合成表示画像の提示が可能になる。【００６９】  例えば、移動物である他車両２が自車両１の後方に存在するとき、図１０（ｂ）のような構図Ｂの合成表示画像は、図１０（ａ）のような構図Ａの合成表示画像に比べて、他車両２を確認するのに適していると言える。また、シフトレバーが「Ｒ」、すなわち運転者が自車両１を後退させる可能性があり、かつ自車両１��方に移動物が存在する状況においては、図１０（ｃ）のような構図Ｄの合成表示画像は、図１０（ｂ）のような構図Ｂの合成表示画像に比べて、自車両１後方の他車両２を確認するのに適していると言える。以上のことから、本実施形態では、第１の実施形態に比べて、安全な運転のためにより有効な合成画像の提供が可能である。【００７０】  さらに、本実施形態では、車両状況、移動物検出結果、および現在の画像合成パラメタの組み合わせに応じてパラメタ選択を行っているため、車両周辺の状況に応じて、より適切な合成画像の表示と移動物検出とを可能にしているが、移動物検出部１０５における移動物検出処理や、検出結果の表示処理においては、座標変換やパラメタ変更などの新たな計算負荷は生じていない。【００７１】  以上のように本実施形態によると、第１の実施形態と同様の効果に加えて、パラメタ選択の基準として、移動物検出結果や現在の画像合成パラメタを加えたので、車両状況および車両周辺の移動物の状況により適した合成表示画像の提示が可能になる。【００７２】  なお、本実施形態において、図９（ａ）のようなルールに従ってパラメタ選択を実行するものとしたが、パラメタ選択のルールは、ここで示したものに限られるものではなく、どのような選択ルールであってもよい。【００７３】  （第３の実施形態）
本発明の第３の実施形態に係る車両周辺監視装置は、第１の実施形態と同様に、図１のように構成される。第１の実施形態と異なるのは、第１の実施形態では、画像合成パラメタにおける各要素の重みは全て均一であったのに対して、本実施形態では、複数の画像合成パラメタのうち少なくとも１つにおいて、重みの値の設定により、合成画像における移動物検出の精度を制御している点である。各構成要素の動作は、第１または第２の実施形態と同様である。【００７４】  図１１を用いて、本実施形態における画像合成パラメタの例を説明する。図１１（ａ）の合成画像は、図４（ａ）の構図Ａと同じである。すなわち、ここでの画像合成に用いられる画像合成パラメタは、カメラ番号およびカメラ画像の座標値に関しては、画像合成パラメタＡと同一である。ただし、図１１（ｂ）に示すように、重みの値は均一ではなく、合成画像の領域によって異なる値が重みとして設定されている点が、画像合成パラメタＡと異なる。図１１（ｂ）の例では、合成画像の中央部については重みとして１．０が設定されており、合成画像の周辺部については重みとして０．７が設定されている。【００７５】  図１１（ｂ）の画像合成パラメタがパラメタ選択部１０９によって選択された場合、画像合成部１０４は、図１１（ｃ）のような合成画像を生成する。図１１（ｃ）では、構図は図１１（ａ）と同じだが、重みが１．０である中央部の輝度はそのままで、重みが０．７である周辺部の輝度は相対的に暗くなっている。【００７６】  ここで、移動物検出部１０５が図１１（ｃ）のような合成画像を用いて、輝度の時間変化を評価基準として移動物検出を行った場合、輝度が暗い周辺部では、輝度の時間変化も相対的に小さくなるため、中央部に比べて、移動物検出の感度が落ちる。言い換えると、画像合成パラメタにおける重みの値を変えることによって、移動物検出における検出感度を、合成画像の領域ごとに変えることができる。例えば、合成画像としては図１１（ａ）のように広範囲の表示が適当であるが、移動物検出は中央部の自車両１の周辺だけで良いような場合、図１１（ｂ）のような画像合成パラメタを選択すればよく、移動物検出の処理自体は何ら変更する必要がない。すなわち、図１１（ｂ）の合成画像パラメタでは、各画素値に付された重みが、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている。【００７７】  また図１２を用いて、本実施形態における画像合成パラメタの他の例を説明する。図１２（ａ）の合成画像は、図２（ａ）の状況において、車両後方を斜めに見下ろすような構図Ｅによるものである。このように、路面を斜めから見下ろすような構図の場合、同じ被写体であっても、合成画像上の位置によってその大きさが異なって映る場合がある。図１２（ａ）の合成画像では、同じ被写体（例えば他車両２）であっても、自車両１との位置関係すなわち合成画像上での位置によって画像に映るサイズが変わり、自車両１に近いほど大きく映り、自車両１から離れるほど小さく映ることになる。【００７８】  このような合成画像を用いて、輝度の時間変化を評価基準として移動物検出を行った場合、同じ移動物であっても、合成画��に映る位置によって検出感度が異なってしまう。すなわち、大きく映る位置ほど検出感度が高くなり、小さく映る位置ほど検出感度が低くなる。このため、移動物検出の検出感度が均一にならない。【００７９】  そこで、合成画像上の位置の違いによる検出感度の差をなくし、検出感度をより均一にしたい場合は、被写体が合成画像に映るときの大きさの違いに応じて、合成画像パラメタの重みの値を変えればよい。すなわち、各画素値に付された重みを、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定すればよい。【００８０】  図１２（ｂ）はこのような重みの設定例である。図１２（ｂ）では、図１２（ａ）において被写体が小さく映る領域すなわち上方の領域ほど、重みは大きく設定されており、被写体が大きく映る領域すなわち下方の領域ほど、重みは小さく設定されている。このように重みを設定することによって、合成画像中の位置の違いによる移動体検出の検出感度の差を小さくし、検出感度をより均一にすることができる。【００８１】  また、検出感度を均一にするための他の方法としては、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、その被写体が映る位置に依らないで、一定になるように、画像合成パラメタの各画素値に付された重みを設定するものとしてもよい。【００８２】  具体的には例えば、まず、重みが全て「１」である画像合成パラメタを用いて合成した合成画像において、同一被写体が移動した場合における各小領域毎の統計量の時間変化量（例えば、画素値の平均値の時間変化量）を算出する。そして、算出した値の逆数に比例する値を、その小領域の重みの値として新たに定める。このような重みを設定することによって、合成画像中の被写体の大きさの違いだけでなく、被写体の見えの違いや、入力画像ごとの輝度の差、入力画像中の周辺減光による輝度の差、などに起因する移動体検出の検出感度の差を小さくし、検出感度をより均一にすることができる。【００８３】  以上のように本実施形態によると、画像合成パラメタにおける重みの値の設定によって、移動物検出の精度を制御することができるので、画像合成部や移動物検出部における処理負荷を増加させることなく、合成画像の領域ごとに移動物検出の検出感度を調整することができる。【００８４】  （第４の実施形態）
本発明の第４の実施形態では、移動物領域が検出されているとき、画像合成パラメタについて、この移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行う。これによって、移動物領域の画像の画質をより向上させることができる。【００８５】  本実施形態に係る車両周辺監視装置は、第１の実施形態と同様に、図１のように構成される。ここで、カメラ１０１はインターレース撮像を行い、フレームメモリ１０３にはインターレース画像が記憶されるものとする。またパラメタ選択部１０９は、車両状況検出手段１０８から出力された車両状況、および移動物検出部１０５から出力された検出結果を入力し、所定の選択ルールに従い、画像合成パラメタおよび検出パラメタを選択する。他の構成要素の動作は、上述した実施形態と同様である。【００８６】  本実施形態では、パラメタ選択部１０９は、移動物検出部１０５によって移動物領域が検出されているとき、選択した画像合成パラメタについて、カメラ画像の座標値の一部を変更して出力する。具体的には、選択した画像合成パラメタから、検出された移動物領域の位置に対応する各要素のカメラ画像座標値を読み出し、そのＹ座標値（垂直方向座標値）を、全て奇数になるように変更して出力する。画像合成部１０４は、このようにして変更された画像合成パラメタに従い、合成画像を生成する。【００８７】  この結果、画像合成の際には、移動物領域では奇数フィールドのカメラ画像のみが用いられ、移動物が検出されなかった領域では両フィールドのカメラ画像が用いられる。したがって、移動物領域では、カメラ画像の奇数フィールドのみを用いた画像合成がなされるので、櫛状のずれによる画質低下は生じない。一方、移動物が検出されなかった領域では、カメラ画像の両方のフィールドを用いた画像合成がなされているため、一方のフィールドのみを用いた場合に比べて、解像度が高くなる。【００８８】  図１３を用いて、本実施形態による効果を説明する。図１３（ａ）は、図２（ａ）の状況において、インターレース撮像するカメラ１によって撮像された１フレーム分の入力画像の例である。図１３（ａ）の右側の図は、移動している他車両２のエッジ部分を拡大した図である。インターレース撮像では、フィールドごとに異なるタイミングで撮像するため、１フレーム（２フィールド）の画像として観察した場合、画像中の移動物は図１３（ａ）の右図のように、櫛状のずれを伴う画像となる。【００８９】  図１３（ｂ）は図１３（ａ）のフレーム画像をそのまま用いて生成した、上述の構図Ｅの合成画像の例である。また図１３（ｂ）の右側の図は、他車両２のエッジ部分を拡大した図であり、フレーム画像における櫛状のずれが変形された画像となっている。このような画像は、特に動画像として観測した場合には、ちらつき感やざらつき感などの画質低下を起こすことになる。【００９０】  一方、本実施形態では、移動物領域に対応する部分については片方のフィールドのみを用いるように、画像合成パラメタを変更する。図１３（ｃ）はこのように変更された画像合成パラメタに従って生成された合成画像の例である。すなわち、破線で囲まれた移動物領域については、カメラ画像の奇数フィールドのみを用いた画像合成がなされており、したがって、図１３（ｂ）のような櫛状のずれによる画質低下が生じておらず、良好な合成画像が得られている。【００９１】  以上のように本実施形態によると、移動物領域が検出されたとき、選択した画像合成パラメタについて、移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行うので、合成画像において櫛状のずれによる画質低下を抑えることができる。【００９２】  なお、本実施形態では、カメラ画像のＹ座標値が全て奇数になるように、画像合成パラメタを変更するものとしたが、もちろん、全て偶数になるように変更してもよく、この場合は、移動物領域については、カメラ画像の偶数フィールドのみを用いた画像合成がなされる。【００９３】  また、本実施形態では、移動物領域が検出された後に、その移動物領域に対応する部分に対して画像合成パラメタの変更を行い、この変更後の画像合成パラメタを用いて、合成画像を生成する。このため、例えば移動物の速度が速い場合、移動物領域を検出して画像合成パラメタの変更が行われる前に、図１３（ｂ）のような画質低下を伴う合成画像が出力されてしまう可能性がある。【００９４】  この問題は、移動物領域だけでなく、その周辺領域に関しても、画像合成パラメタを変更することによって、解決できる。図１４（ａ）はこのような処理の例を示す図である。図１４（ａ）では、移動物領域とその周辺領域を含む領域ＡＲについて、カメラ画像の一方のフィールドのみを用いた画像合成が行われるように、画像合成パラメタを変更する。これにより、例えば他車両２が合成画像中でさらに移動して、図１４（ｂ）のような状態になった場合でも、画質低下の無い合成画像を表示することができる。領域ＡＲとしては例えば、移動物領域とその周囲の小領域１ブロック分程度の範囲を設定すればよい。【００９５】  なお、本発明の各実施形態では、カメラは４台であり、その設置位置および撮影範囲は図２に示すようなものとしたが、カメラの台数、設置位置および撮影範囲はこれに限定されるものではない。【００９６】  なお、本発明の各実施形態では、複数のカメラおよび周辺監視装置は、車両、特に４輪の乗用車に設置されるものとしたが、車両の形態を制限するものではない。また、車両以外の移動体、例えばロボットなどにも適用可能である。【００９７】  また、移動体の周辺監視以外の用途でも、本発明は適用可能である。例えば、店舗などに固定されたカメラを利用して、画像合成および移動物検出を行うようにしてもよい。また、画像合成パラメタは車両状況に応じて選択するものとしたが、固定されていてもよいし、また例えば、時間経過とともに自動的に変更するようにしてもよい。【００９８】  なお、本発明の各実施形態では、移動物検出のために、輝度の平均値の時間変化を用いるものとしたが、移動物検出のための評価指標は輝度平均に限定されるものではなく、画素値の統計量であればどのような値を用いてもよい。例えば、ＲＧＢのうち特定の色成分の分散を用いてもよい。また、小領域のブロック数も、４８ブロックに限定するものではない。【００９９】  なお、本発明の各実施形態において、画像合成パラメタの選択を変更したとき、変更後の所定時間は、移動物検出を行わないようにしてもよい。例えば、パラメタ選択部１０９が、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止することを規定した検出パラメタを選択するようにする。これにより、合成画像の構図等が変更された直後には移動物検出がなされなくなるので、合成画像の変更に起因する移動物検出の誤動作を未然に回避することができる。【０１００】  なお、本発明の各実施形態において、画像合成パラメタの選択を変更したとき、変更後の所定時間は画像合成パラメタの変更を行わないようにしてもよい。例えば、パラメタ選択部１０９が、画像合成パラメタの選択を変更したとき、画像合成パラメタの変更を所定期間停止するようにする。これにより、画像合成パラメタが頻繁に切り替わることがなくなるので、頻繁に切り替わったときに生じる表示画像の視認性の低下を未然に防ぐことができる。【０１０１】  なお、本発明の各実施形態では、検出パラメタは「動作」「停止」の２種類の情報のみであるとしたが、これに限定されるものではない。一般に、移動物検出は様々なパラメタを必要とするため、これらを含む検出パラメタを合成画像の構図に応じて複数記憶しておいてもよい。また例えば、小領域毎に設定したしきい値を検出パラメタとして記憶しておいてもよい。【０１０２】  なお、本発明の各実施形態において、各構成要素は、個別のハードウェアによって実現してもよいし、単一のＩＣ等に収めるようにしてもよい。また、図１５のような画像の入出力機能を有するコンピュータを用いて、各構成要素を、コンピュータ（ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３など）によって実行されるソフトウェアによって実現してもよい。
【産業上の利用可能性】
【０１０３】  本発明では、撮影状況に応じた合成画像の生成と画像中の移動物検出とを、併せて実行可能であるので、例えば、車載用の周辺監視装置や、セキュリティ用の監視装置等として有用である。特に、複数のカメラで撮影された画像から、移動物が存在する領域を画像で提示する監視装置として有用である。また複数のカメラで撮影された画像から移動物を検出する等の用途にも応用できる。
【図１】
2005125208.tif 000003
【図２】
2005125208.tif 000004
【図３】
2005125208.tif 000005
【図４】
2005125208.tif 000006
【図５】
2005125208.tif 000007
【図６】
2005125208.tif 000008
【図７】
2005125208.tif 000009
【図８】
2005125208.tif 000010
【図９】
2005125208.tif 000011
【図１０】
2005125208.tif 000012
【図１１】
2005125208.tif 000013
【図１２】
2005125208.tif 000014
【図１３】
2005125208.tif 000015
【図１４】
2005125208.tif 000016
【図１５】
2005125208.tif 000017
【図１６】
2005125208.tif 000018
【手続補正書】
【提出日】平成17年9月22日(2005.9.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、
前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えた
監視装置。
【請求項２】
請求項１において
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部とを備え、
前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って、動作するものであり、
前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って、動作するものである
ことを特徴とする監視装置。
【請求項３】
請求項２において、
前記複数のカメラは、移動体に設置されており、
前記パラメタ選択部は、前記移動体の状況に応じて、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項４】
請求項３において、
前記パラメタ選択部は、前記移動物検出部による検出結果を加味して、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項５】
請求項４において、
前記パラメタ選択部は、現在選択されている画像合成パラメタを加味して、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項６】
請求項４において、
前記パラメタ選択部は、前記移動物検出部によって移動物領域が検出されているとき、選択した画像合成パラメタについて、当該移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行い、出力する
ことを特徴とする監視装置。
【請求項７】
請求項６において、
前記パラメタ選択部は、前記変更を、当該移動物領域に加えて、その周辺領域に対応する部分に対しても、行う
ことを特徴とする監視装置。
【請求項８】
請求項３において、
前記パラメタ選択部は、前記移動体が移動しているとき、移動物検出の停止を規定した検出パラメタを選択する
ことを特徴とする監視装置。
【請求項９】
請求項２において、
前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止することを規定した検出パラメタを選択する
ことを特徴とする監視装置。
【請求項１０】
請求項２において、
前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、画像合成パラメタの変更を所定時間停止する
ことを特徴とする監視装置。
【請求項１１】
請求項１において、
前記移動物検出部は、合成画像を区分した小領域毎に、画素値の統計量を算出し、当該統計量の時間変化が所定値を超えた小領域を、前記移動物領域として特定するものである
ことを特徴とする監視装置。
【請求項１２】
請求項１１において、
前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付された重みを含み、
前記画像合成部は、画像合成パラメタに含まれた重みを用いて、各画素値に重み付けを行い、合成画像を生成するものである
ことを特徴とする監視装置。
【請求項１３】
請求項１２において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている
ことを特徴とする監視装置。
【請求項１４】
請求項１２において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、一定になるように、設定されている
ことを特徴とする監視装置。
【請求項１５】
請求項１４において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定されている
ことを特徴とする監視装置。
【請求項１６】
請求項２において、
前記パラメタ記憶部が記憶する複数の画像合成パラメタのうち少なくとも１つは、カメラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、路面平面を仮想視点から撮影した合成画像を生成するためのものである
ことを特徴とする監視装置。
【請求項１７】
車両に設置された複数のカメラによって撮影されたカメラ画像を用いて、前記車両の周辺を監視する車両周辺監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタを、記憶するパラメタ記憶部と、
前記車両の状況に応じて、前記パラメタ記憶部に記憶された複数の画像合成パラメタから１つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、前記車両の周囲の状況を示す合成画像を生成する画像合成部と、
前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えた
車両周辺監視装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の移動物を検出する画像認識に関するものであり、特に、撮影状況に応じた合成画像の生成と、画像中の移動物検出とを、併せて実現する技術に関するものである。
【背景技術】
【０００２】
従来の周辺監視装置のための技術として、車両に設置されたカメラで撮影した車両周辺の画像から、運転の支障となる移動物や障害物を検出する技術、および、車両の周辺状況を移動物や障害物を含む画像として表示する技術があった。
【０００３】
車両周辺監視のための移動物検出技術の例としては、車両の周辺を撮影した画像から、画像中の時間的な動きであるオプティカルフローを用いて、車両に接近する移動物を検出するものがあった（例えば特許文献１および２参照）。例えば特許文献１では、車両後方に向けて設置したカメラの映像を入力として、画像を水平方向に分割した複数の領域を設定し、それぞれの領域内で、所定の閾値以上の大きさを持ち、かつ、接近物を仮定したときの画像上の動きと同一の方向を持つオプティカルフローを抽出して、このオプティカルフローに基づいて、接近物を判別する。
【０００４】
また、車両の周辺状況を画像として表示する技術の例としては、車両の周辺を撮影した画像から移動物や障害物を検出した上で、近似的に撮影された画像とは異なる視点から見た合成画像を生成して表示するものがあった。（例えば特許文献３〜５参照）。例えば特許文献３では、図１６（ａ）のような構成の装置を用いて、図１６（ｂ）のような車両周辺を撮影した入力画像から、路面の領域と路面以外の障害物の領域を分離したのち、路面領域については上方から見下ろした画像となるよう変形する処理を、障害物の領域は適当な大きさに拡大縮小する処理を、それぞれ施して重畳合成し、図１６（ｃ）のような合成画像を表示する。
【特許文献１】特許第３０１１５６６号公報
【特許文献２】特開２００４−５６７６３号公報
【特許文献３】特開平０７−１８６８３３号公報
【特許文献４】特開平０６−３３３２００号公報
【特許文献５】特開平１１−７８６９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、上述したような従来の移動物や障害物を検出する技術、および、車両の周辺状況を表示する技術では、次のような問題があった。
【０００６】
第１に、カメラ画像を入力として移動物等の検出を行う場合、検出された移動物領域は、入力画像の画素座標値を基準に算出される。このため、検出された移動物領域を入力画像とは異なる合成画像に表示する場合、検出された移動物の画素座標値を合成画像上の画素座標値に変換する必要が生じる。この結果、座標変換などの計算負荷が大きくなってしまう。
【０００７】
この計算負荷の問題は、移動物検出のために計算負荷の大きな処理を用いる場合は、相対的に小さな問題といえるが、輝度変化を用いた移動物検出やテーブルを用いた合成画像の生成など、計算負荷の小さい処理を前提とした場合は、特に大きな問題となる。
【０００８】
第２に、従来の移動物等を検出する技術では、１個の入力画像に対して検出処理を行っている。このため、複数のカメラで撮影された複数の動画像を入力として移動物等の検出処理を行う場合には、カメラの撮影範囲の境界付近に存在する物体や、複数のカメラの撮影範囲にまたがって移動する物体などを検出することが、困難になる。
【０００９】
前記の問題に鑑み、本発明は、複数のカメラによって撮影されたカメラ画像を入力とする監視装置において、監視領域の状況を示す合成画像の生成と移動物の検出とを、小さい計算負荷によって実行可能にし、かつ、複数のカメラの撮影範囲にまたがるような移動物なども、容易に検出可能にすることを課題とする。
【課題を解決するための手段】
【００１０】
本発明は、複数のカメラによって撮影されたカメラ画像を入力とする監視装置として、カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、生成された合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えたものである。
【００１１】
この発明によると、移動物領域の検出は、カメラ画像から合成された、監視領域の状況を示す合成画像において、行われる。このため、検出結果は、合成画像の画素座標値を基準に算出され、検出結果を表示する際にも座標変換などが不要となることから、計算負荷が小さくてすむ。さらに、複数のカメラによって撮影されたカメラ画像を１つの合成画像にまとめた上で、移動物検出を行うので、複数のカメラの撮影範囲にまたがった移動物や、カメラ境界付近の物体が、容易に検出可能になる。
【００１２】
そして、前記本発明に係る監視装置は、複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとからそれぞれ１つを選択するパラメタ選択部とを備え、前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って動作するものであり、前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って動作するものであるのが好ましい。
【００１３】
これにより、様々な状況に応じた合成画像を生成することができ、また、生成された合成画像において、様々な状況に応じた移動物検出を実行することが可能になる。
【発明の効果】
【００１４】
本発明によると、計算負荷が小さく、複数カメラの撮影範囲にまたがる移動物等の検出が容易に可能な監視装置を、実現することができる。
【発明を実施するための最良の形態】
【００１５】
本発明の第１態様では、複数のカメラによって撮影されたカメラ画像を入力とする監視装置として、前記カメラ画像を合成して監視領域の状況を示す合成画像を生成する画像合成部と、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えたものを提供する。
【００１６】
本発明の第２態様では、複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部とを備え、前記画像合成部は、前記パラメタ選択部によって選択された画像合成パラメタに従って動作し、前記移動物検出部は、前記パラメタ選択部によって選択された検出パラメタに従って動作する第１態様の監視装置を提供する。
【００１７】
本発明の第３態様では、前記複数のカメラは移動体に設置されており、前記パラメタ選択部は、前記移動体の状況に応じてパラメタ選択を行う第２態様の監視装置を提供する。
【００１８】
本発明の第４態様では、前記パラメタ選択部は、前記移動物検出部による検出結果を加味してパラメタ選択を行う第３態様の監視装置を提供する。
【００１９】
本発明の第５態様では、前記パラメタ選択部は、現在選択されている画像合成パラメタを加味して、パラメタ選択を行う第４態様の監視装置を提供する。
【００２０】
本発明の第６態様では、前記パラメタ選択部は、前記移動物検出部によって移動物領域が検出されているとき、選択した画像合成パラメタについて、当該移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行い、出力する第４態様の監視装置を提供する。
【００２１】
本発明の第７態様では、前記パラメタ選択部は、前記変更を、当該移動物領域に加えて、その周辺領域に対応する部分に対しても行う第６態様の監視装置を提供する。
【００２２】
本発明の第８態様では、前記パラメタ選択部は、前記移動体が移動しているとき、移動物検出の停止を規定した検出パラメタを選択する第３態様の監視装置を提供する。
【００２３】
本発明の第９態様では、前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止することを規定した検出パラメタを選択する第２態様の監視装置を提供する。
【００２４】
本発明の第１０態様では、前記パラメタ選択部は、画像合成パラメタの選択を変更したとき、画像合成パラメタの変更を所定時間停止する第２態様の監視装置を提供する。
【００２５】
本発明の第１１態様では、前記移動物検出部は、合成画像を区分した小領域毎に、画素値の統計量を算出し、当該統計量の時間変化が所定値を超えた小領域を、前記移動物領域として特定するものである第１態様の監視装置を提供する。
【００２６】
本発明の第１２態様では、前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付された重みを含み、前記画像合成部は、画像合成パラメタに含まれた重みを用いて各画素値に重み付けを行い、合成画像を生成する第１１態様の監視装置を提供する。
【００２７】
本発明の第１３態様では、前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている第１２態様の監視装置を提供する。
【００２８】
本発明の第１４態様では、前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、一定になるように、設定されている第１２態様の監視装置を提供する。
【００２９】
本発明の第１５態様では、前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定されている第１４態様の監視装置を提供する。
【００３０】
本発明の第１６態様では、前記パラメタ記憶部が記憶する複数の画像合成パラメタのうち少なくとも１つは、カメラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、路面平面を仮想視点から撮影した合成画像を生成するためのものである第２態様の監視装置を提供する。
【００３１】
本発明の第１７態様では、車両に設置された複数のカメラによって撮影されたカメラ画像を用いて前記車両の周辺を監視する車両周辺監視装置として、複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタを記憶するパラメタ記憶部と、前記車両の状況に応じて、前記パラメタ記憶部に記憶された複数の画像合成パラメタから１つを選択するパラメタ選択部と、前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、前記車両の周囲の状況を示す合成画像を生成する画像合成部と、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備えたものを提供する。
【００３２】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３３】
（第１の実施形態）
図１は本発明の第１の実施形態に係る監視装置としての車両周辺監視装置の構成を示すブロック図である。図１において、１０１は動画像を撮影して映像信号を出力するカメラ、１０２は映像信号をデジタル化するＡ／Ｄ変換器、１０３はデジタル化された画像データを一時的に記憶するフレームメモリである。カメラ１０１は、移動体としての車両の周辺を撮影するように車体に設置されているものとする。フレームメモリ１０３は、Ａ／Ｄ変換器１０２から出力される画像データを連続して記憶すると同時に、画像合成部１０４からの読み出し要求に応じて、直前に記憶された画像の任意の画素データを読み出すことが可能である。
【００３４】
１０４はフレームメモリ１０３から読み出したカメラ画像を合成して、車両周辺を含む監視領域の状況を示す合成画像を生成する画像合成部、１０５は画像合成部１０４から出力された合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部である。移動物検出部１０５は、移動物領域を検出したとき、対応する合成画像上の領域にグラフィックスを重畳して合成表示画像として出力する。１０６は移動物検出部１０５から出力された合成表示画像を映像信号に変換するＤ／Ａ変換器であり、１０７は映像信号を表示するディスプレイである。ディスプレイ１０７は、車両の運転者が観測できる場所に設置されているものとする。
【００３５】
また、１１０は複数の画像合成パラメタおよび複数の検出パラメタを記憶するパラメタ記憶部、１０９はパラメタ記憶部１１０に記憶された複数の画像合成パラメタから１つを選択するとともに、複数の検出パラメタから１つを選択するパラメタ選択部である。ここで、画像合成パラメタは、カメラ画像と合成画像との対応関係を表すパラメタであって、画像合成部１０４における画像合成に用いられる。また、検出パラメタは、移動物を検出する際のしきい値など移動物検出の仕様を規定するパラメタであって、移動物検出部１０５における移動物検出に用いられる。すなわち、画像合成部１０４はパラメタ選択部１０９によって選択された画像合成パラメタに従って、フレームメモリ１０３からカメラ画像を読み出し、画像合成を行い、移動物検出部１０５はパラメタ選択部１０９によって選択された検出パラメタに従って、移動物検出の動作を行う。
【００３６】
１０８は車両の状況を検出する車両状況検出部であって、例えば、車両の速度や移動方向などを検出する車速センサや舵角センサなどのセンサ類の出力や、イグニッションキー、シフトレバー、ウィンカーなどのユーザーが操作するスイッチ類の状態のうち、いずれか１つまたは複数を入力とし、車両状況としてパラメタ選択部１０９に出力する。パラメタ選択部１０９は車両状況検出部１０８から出力された車両状況に応じて、パラメタ選択を行う。なお、後述するように、パラメタ選択の際に、移動体検出部１０５による検出結果や、現在選択されている画像合成パラメタを、加味してもよい。
【００３７】
以上のように構成された車両周辺監視装置の動作について、図２〜図８を用いて説明する。
【００３８】
カメラ１０１は車両周辺を撮影して映像信号を出力し、Ａ／Ｄ変換器１０２は映像信号をデジタル化して画像として出力し、フレームメモリ１０３はデジタル化された画像を一時的に記憶する。フレームメモリ１０３の画像の記憶および更新は、カメラ１０１から出力される映像信号に同期して連続的に行われる。
【００３９】
図２（ａ）はカメラ設置および撮影状況の例である。４台のカメラ１〜４は、自車両１の周辺を撮影するように車体に設置されている。図２のカメラ１〜４は、図１の複数のカメラ１０１に対応し、図１のカメラ１０１以外の構成要素は、自車両１の車両内に設置されている。カメラ１およびカメラ２は、車両後方を広い範囲で撮影できるように設置されている。図２（ｂ）および（ｃ）はそれぞれ、カメラ１およびカメラ２によって撮影された画像の例である。図２（ｂ）に示すように、カメラ１によって自車両１後方を走行する他車両２が映されている。フレームメモリ１０３には、図２（ｂ），（ｃ）のような画像がデジタル化されて記憶される。
【００４０】
図３はパラメタ記憶部１１０に記憶された画像合成パラメタの一例を示す図である。すなわち、図３（ａ），（ｂ）の入力画像（図２（ｂ），（ｃ）と同一）から図３（ｃ）の合成画像を生成する場合に、図３（ｄ）のような画像合成パラメタが用いられる。図３（ｄ）の画像合成パラメタは、合成画像の各画素に１対１に対応した２次元配列として表現されている。２次元配列の各要素は、入力画像のカメラ番号、画素座標（ここではＸ座標、Ｙ座標）および画素値に対する重みによって構成されている。図３の例では、画像合成パラメタの座標（ｘｏ，ｙｏ）に、「カメラ番号＝１、座標（Ｘi1，Ｙi1）、重み１．０」という情報が格納されている。これは、合成画像の座標（ｘｏ，ｙｏ）の画素値には、カメラ１の画像の座標（Ｘi1，Ｙi1）の画素値を１．０倍した値を与える、ということを表している。このような合成画像パラメタを用いることによって、複数のカメラ画像と合成画像との画素の対応関係を記述することができる。なお、本実施形態では、各画像合成パラメタにおいて、重みは１．０で均一であるものとする。
【００４１】
図４は図２（ａ）の撮影状況におけるカメラ画像から、画像合成パラメタに従って生成した合成画像の例である。同図中、（ａ）は自車両１の全周囲を広い範囲で表示した合成画像（構図Ａ）、（ｂ）は自車両１の後方を表示した合成画像（構図Ｂ）、（ｃ）は自車両１の前方を表示した合成画像（構図Ｃ）、（ｄ）は自車両１の後方の近傍を表示した合成画像（構図Ｄ）である。図４に示すように、同一のカメラ画像から、互いに異なる画像合成パラメタを用いることによって、構図が異なる合成画像を生成することができる。
【００４２】
また、図４では、異なるカメラ位置から撮影された複数の画像を用いて、あたかも別の視点から撮影された１枚の画像のような合成画像が生成されている。このような合成画像を生成するための画像合成パラメタは、例えば次のようにして求めればよい。すなわち、路面が１つの平面であり、かつ、複数のカメラで撮影されたカメラ画像中の被写体が全て同一平面上に存在するものと仮定し、複数のカメラと路面との位置関係が既知として、カメラ画像と合成画像との対応関係を計算する。これによって、図４のような合成画像を生成するための画像合成パラメタを求めることができる。
【００４３】
なお、画像合成パラメタの構成や算出方法、画像合成方法に関しては、例えば、国際公開第００／６４１７５号パンフレットなどに詳しく記載されているため、ここでは詳細な説明を省く。
【００４４】
図５はパラメタ選択部１０９におけるパラメタ選択ルールの一例である。ここでは、画像合成パラメタとして、構図Ａ〜Ｄ（図４（ａ）〜（ｄ））にそれぞれ対応する合成画像パラメタＡ，Ｂ，Ｃ，Ｄが、パラメタ記憶部１１０に予め記憶されているものとする。また、検出パラメタとして、移動物検出を実行する「動作」と、移動物検出を停止する「停止」とが、パラメタ記憶部１１０に予め記憶されているものとする。
【００４５】
またここでは、車両状況検出部１０８は、車両速度とシフトレバーの状態とを車両状況として出力する。すなわち、パラメタ選択部１０９は、車両速度とシフトレバーの状態に応じて、図５に従って画像合成パラメタおよび検出パラメタを選択する。例えば、車両速度が「停止」であり、シフトレバーの状態が「Ｐ」（パーキング）または「Ｎ」（ニュートラル）であるとき、画像合成パラメタとして「Ａ」が、検出パラメタとして「動作」が、それぞれ選択される。
【００４６】
画像合成部１０４は、パラメタ選択部１０９によって選択された画像合成パラメタを入力し、画像合成パラメタの各要素に対応するカメラ画像をフレームメモリ１０３から順次読み出して、合成画像を生成する。この動作は１／３０秒ごとに繰り返し実行され、生成された合成画像が順次出力される。移動物検出部１０５は、パラメタ選択部１０９によって選択された検出パラメタを入力し、検出パラメタが「動作」であるとき、画像合成部１０４から出力された合成画像を１／３０秒ごとに入力して、合成画像中の移動物領域を検出する。
【００４７】
移動物検出部１０５は、画素値の統計量の時間変化を基にして、移動物の検出を行う。ここでは、画素値の統計量として、輝度の平均値を用いるものとする。そして、輝度の平均値の時間変化が大きい領域を、移動物領域として検出する。
【００４８】
すなわち、移動物検出部１０５は、合成画像を小領域に区分し、区分した小領域毎に輝度の平均値を算出し、一時的に記憶する。そして、各小領域毎に、直前（ここでは１／３０秒前）の合成画像と輝度平均値を比較し、その差が所定のしきい値よりも大きいとき、その小領域は移動物領域であると判断する。そして、合成画像上の移動物領域の位置にグラフィックスを重畳合成して、合成表示画像として出力する。移動物検出部１０５は、このような動作を１／３０秒ごとに繰り返し実行する。
【００４９】
図６（ａ）は移動物検出における領域区分の一例であり、水平方向（図では横方向）に８ブロック、垂直方向（図では縦方向）に６ブロック、計４８ブロックの小領域に合成画像が分割されている。図６（ｂ）は合成表示画像の例であり、移動物領域として検出された小領域（図中左下）に対して、領域を囲う波線のグラフィックスが重畳されている。
【００５０】
移動物検出部１０５から出力された合成表示画像は、Ｄ／Ａ変換器１０６によって映像信号に変換され、ディスプレイ１０７に表示される。
【００５１】
＜第１の動作例＞
いま、図２（ａ）の状況において、自車両１は「停止」しており、シフトレバーは「Ｐ」であるとする。このとき、パラメタ選択部１０９は、図５に従って、画像合成パラメタとして「Ａ」を選択し、検出パラメタとして「動作」を選択する。画像合成部１０４は、画像合成パラメタＡに従って、構図Ａ（図４（ａ））の合成画像を生成し、移動物検出部１０５は検出パラメタに従って、移動物検出を行う。
【００５２】
ここで、他車両２が移動している場合、合成画像の他車両２の領域において輝度が変化するので、移動物検出部１０５は、輝度平均値の時間変化が所定値を越えた小領域を移動物領域として検出し、図７（ａ）のような合成表示画像を出力する。さらに、他車両２が前方に移動していくにつれて、図７（ｂ），（ｃ）のような合成表示画像が出力される。
【００５３】
＜第２の動作例＞
いま、図８（ａ）のような合成表示画像が表示された状態で、運転者がシフトレバーを操作して「Ｐ」から「Ｒ」（リバース）に変更したとする。すると、パラメタ選択部１０９は、図５に従って、画像合成パラメタの選択を「Ａ」から「Ｂ」に変更する。これにより、画像合成部１０４によって生成される合成画像の構図が、構図Ａから構図Ｂに変更される。また、移動物検出部１０５は、構図Ｂの合成画像において移動物検出を行う。このとき、他車両２が前方に移動していくにつれて、図８（ｂ），（ｃ）のような合成表示画像が出力される。
【００５４】
上述した本実施形態に係る車両周辺監視装置では、移動物検出を合成画像に対して行っているため、検出された小領域位置の座標変換などの処理が不要である。また、複数カメラの画像を合成した後に検出処理を行っているため、図８（ｂ）のようなカメラの撮影範囲の境界付近における移動物検出において特別な処理が不要であり、移動物検出を容易に実現することができる。
【００５５】
さらに、図７および図８のような合成表示画像では、車両周辺の状況が把握しやすい上に、移動物領域がグラフィックスによって強調されている。このため、運転者からすると、元のカメラ画像をそのまま観察する場合に比べて、衝突などの可能性が高い移動物の存在を容易に把握できる、という利点がある。
【００５６】
以上のように本実施形態によると、複数のカメラ画像から合成画像を生成した後に、この合成画像を用いて移動物検出を行うので、検出結果の座標変換や、各カメラ画像における検出結果の統合といった複雑な処理が不要となり、計算負荷を小さくできるとともに、カメラの撮影範囲の境界にまたがるような移動物でも容易に検出できる。
【００５７】
また、特に車両周辺を監視する用途では、車両周辺のできるだけ広い視野範囲が映り、かつ、車両近傍が映っている画像が望ましい。このような画像を撮影するためには、例えば図２のように、複数のカメラを車両の異なる位置に設置する必要がある。位置が異なる複数のカメラで撮影された画像を用い、かつ、被写体の位置が未知として１つの合成画像を生成した場合、一般的には、被写体が二重に映った合成画像や、被写体が映っていない合成画像が生成されることがある。しかしながら、車両周辺を監視する用途では、利用者が監視すべき移動物や障害物は、通常は路面上に存在し、路面平面より下や空中に存在することは稀である。したがって、カメラ画像中の被写体は路面平面上に存在するものと仮定し、かつ、仮想視点から路面平面を撮影したと仮定して生成した合成画像では、撮影位置の異なる複数のカメラ画像を用いた場合でも、少なくとも被写体が路面に接する部分は、二重に存在したり消えたりはしない。このため、このような合成画像を用いて車両周辺の移動物を検出する場合、カメラの撮影範囲の境界にまたがるような移動物であっても、二重に検出されたり、消えたりすることはない、という利点がある。
【００５８】
なお、本実施形態では、車両状況として車両速度およびシフトレバーの状態を用いて、図５のようなルールに従ってパラメタ選択を実行するものとしたが、パラメタ選択のルールや、パラメタ選択に用いる車両状況は、ここで示したものに限られるものではない。例えば、パラメタ選択に用いる車両状況は、画像合成パラメタや検出パラメタと関連するものであれば、どのような情報であってもよい。
【００５９】
（第２の実施形態）
本発明の第２の実施形態に係る車両周辺監視装置は、第１の実施形態と同様に、図１のように構成される。第１の実施形態と異なるのは、第１の実施形態では、パラメタ選択を車両状況に応じて行っていたのに対して、本実施形態では、車両状況に加えて、移動物検出部１０５による検出結果、および、現在選択されている画像合成パラメタを加味して、パラメタ選択を行う点である。パラメタ選択部１０９以外の各構成要素は、第１の実施形態と同様の動作を行う。
【００６０】
図９は本実施形態におけるパラメタ選択ルールの一例である。図９（ａ）において、「評価領域毎の移動物検出状況」における評価領域とは、移動物検出の結果をパラメタ選択に反映させるために定めた領域のことをいう。図９（ｂ）は評価領域の設定の一例であり、第１の実施形態で説明した４８ブロックの小領域を、４個の中領域（評価領域１〜４）にまとめている。移動物領域が検出されたとき、その検出結果は、図９（ｂ）に示す各評価領域における検出の有無に置き換えられる。例えば、「評価領域１」に対応する１２ブロックの小領域のいずれかが移動物領域と判定されたとき、評価領域１において検出された、と表現する。
【００６１】
図９（ｂ）に示す評価領域の設定では、自車両の前方と後方とを分けており、また、自車両の近傍と遠方とを分けている。これは、移動物が前方にあるか後方にあるかによって適切な構図が異なること、また、移動物が遠方にあるときは広範囲が表示される構図に変更するのが好ましいと考えられること、などに基づいている。もちろん、評価領域の設定は、図９（ｂ）に示すものに限られるものではなく、評価領域の個数も４に限られるものではない。例えば、各小領域を、そのまま評価領域として用いてもかまわない。
【００６２】
＜動作例＞
まず、図２（ａ）の状況において、他車両２はまだカメラの撮影範囲外に存在するものとする。動作開始後の初期状態において、パラメタ選択部１０９は、画像合成パラメタとして「Ａ」、検出パラメタとして「停止」を選択する。このとき、画像合成部１０４は、構図Ａ（図４（ａ））の合成画像を出力し、移動物検出部１０５は、移動物検出を実行しない。
【００６３】
次に、自車両１は「停止」しており、シフトレバーは「Ｐ」、移動物検出は未実施なので、パラメタ選択部１０９は図９（ａ）の選択ルールに従って、画像合成パラメタは「Ａ」のままとし、検出パラメタとして「動作」を選択する。ここで、他車両２が接近し、移動しているものとすると、移動物検出部１０５は、他車両２に対応する小領域を移動物領域として検出し、図１０（ａ）のような合成表示画像を出力する。またこれとともに、検出した移動物領域が属する評価領域の情報（ここでは評価領域１，２）が、検出結果としてパラメタ選択部１０９に出力される。
【００６４】
次にパラメタ選択部１０９は、移動物検出部１０５から検出結果を受けて、評価領域１において移動物が検出されたという情報と、自車両は「停止」、シフトレバーは「Ｐ」という情報から、画像合成パラメタとして新たに「Ｂ」を選択して出力する。検出パラメタは「動作」のままである。画像合成部１０４は画像合成パラメタＢに従って、構図Ｂ（図４（ｂ））の合成画像を出力し、移動物検出部１０５は構図Ｂの合成画像において、移動物検出を行う。このとき、他車両２に対応する小領域が移動物領域として検出され、図１０（ｂ）のような合成表示画像が出力される。またこれともに、評価領域１が、検出結果としてパラメタ選択部１０９に出力される。
【００６５】
ここで、運転者の操作によって、シフトレバーが「Ｐ」から「Ｒ」（リバース）に変更されたとする。このとき、パラメタ選択部１０９は、評価領域１において移動物が検出されたという情報と、自車両は「停止」、シフトレバーは「Ｒ」という情報から、画像合成パラメタとして新たに「Ｄ」を選択して出力する。検出パラメタは「動作」のままである。画像合成部１０４は画像合成パラメタＤに従って、構図Ｄ（図４（ｄ））の合成画像を出力し、移動物検出部１０５は構図Ｄの合成画像において、移動物検出を行う。この結果、図１０（ｃ）のような合成表示画像が出力される。
【００６６】
このような、移動物検出の検出結果と現在の画像合成パラメタとを加味して、次の画像合成パラメタを選択する処理は、合成画像上の移動物領域が、自車両１周辺のどの位置に相当するかを加味して、次の画像合成パラメタを選択していることを意味する。すなわち、自車両１の周囲のどの位置で移動物が検出されたかに応じて、次の画像合成パラメタを選択することができ、車両状況と周辺の移動物の状況との両方に適した合成表示画像の提示が可能になる。
【００６７】
例えば、移動物である他車両２が自車両１の後方に存在するとき、図１０（ｂ）のような構図Ｂの合成表示画像は、図１０（ａ）のような構図Ａの合成表示画像に比べて、他車両２を確認するのに適していると言える。また、シフトレバーが「Ｒ」、すなわち運転者が自車両１を後退させる可能性があり、かつ自車両１後方に移動物が存在する状況においては、図１０（ｃ）のような構図Ｄの合成表示画像は、図１０（ｂ）のような構図Ｂの合成表示画像に比べて、自車両１後方の他車両２を確認するのに適していると言える。以上のことから、本実施形態では、第１の実施形態に比べて、安全な運転のためにより有効な合成画像の提供が可能である。
【００６８】
さらに、本実施形態では、車両状況、移動物検出結果、および現在の画像合成パラメタの組み合わせに応じてパラメタ選択を行っているため、車両周辺の状況に応じて、より適切な合成画像の表示と移動物検出とを可能にしているが、移動物検出部１０５における移動物検出処理や、検出結果の表示処理においては、座標変換やパラメタ変更などの新たな計算負荷は生じていない。
【００６９】
以上のように本実施形態によると、第１の実施形態と同様の効果に加えて、パラメタ選択の基準として、移動物検出結果や現在の画像合成パラメタを加えたので、車両状況および車両周辺の移動物の状況により適した合成表示画像の提示が可能になる。
【００７０】
なお、本実施形態において、図９（ａ）のようなルールに従ってパラメタ選択を実行するものとしたが、パラメタ選択のルールは、ここで示したものに限られるものではなく、どのような選択ルールであってもよい。
【００７１】
（第３の実施形態）
本発明の第３の実施形態に係る車両周辺監視装置は、第１の実施形態と同様に、図１のように構成される。第１の実施形態と異なるのは、第１の実施形態では、画像合成パラメタにおける各要素の重みは全て均一であったのに対して、本実施形態では、複数の画像合成パラメタのうち少なくとも１つにおいて、重みの値の設定により、合成画像における移動物検出の精度を制御している点である。各構成要素の動作は、第１または第２の実施形態と同様である。
【００７２】
図１１を用いて、本実施形態における画像合成パラメタの例を説明する。図１１（ａ）の合成画像は、図４（ａ）の構図Ａと同じである。すなわち、ここでの画像合成に用いられる画像合成パラメタは、カメラ番号およびカメラ画像の座標値に関しては、画像合成パラメタＡと同一である。ただし、図１１（ｂ）に示すように、重みの値は均一ではなく、合成画像の領域によって異なる値が重みとして設定されている点が、画像合成パラメタＡと異なる。図１１（ｂ）の例では、合成画像の中央部については重みとして１．０が設定されており、合成画像の周辺部については重みとして０．７が設定されている。
【００７３】
図１１（ｂ）の画像合成パラメタがパラメタ選択部１０９によって選択された場合、画像合成部１０４は、図１１（ｃ）のような合成画像を生成する。図１１（ｃ）では、構図は図１１（ａ）と同じだが、重みが１．０である中央部の輝度はそのままで、重みが０．７である周辺部の輝度は相対的に暗くなっている。
【００７４】
ここで、移動物検出部１０５が図１１（ｃ）のような合成画像を用いて、輝度の時間変化を評価基準として移動物検出を行った場合、輝度が暗い周辺部では、輝度の時間変化も相対的に小さくなるため、中央部に比べて、移動物検出の感度が落ちる。言い換えると、画像合成パラメタにおける重みの値を変えることによって、移動物検出における検出感度を、合成画像の領域ごとに変えることができる。例えば、合成画像としては図１１（ａ）のように広範囲の表示が適当であるが、移動物検出は中央部の自車両１の周辺だけで良いような場合、図１１（ｂ）のような画像合成パラメタを選択すればよく、移動物検出の処理自体は何ら変更する必要がない。すなわち、図１１（ｂ）の合成画像パラメタでは、各画素値に付された重みが、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている。
【００７５】
また図１２を用いて、本実施形態における画像合成パラメタの他の例を説明する。図１２（ａ）の合成画像は、図２（ａ）の状況において、車両後方を斜めに見下ろすような構図Ｅによるものである。このように、路面を斜めから見下ろすような構図の場合、同じ被写体であっても、合成画像上の位置によってその大きさが異なって映る場合がある。図１２（ａ）の合成画像では、同じ被写体（例えば他車両２）であっても、自車両１との位置関係すなわち合成画像上での位置によって画像に映るサイズが変わり、自車両１に近いほど大きく映り、自車両１から離れるほど小さく映ることになる。
【００７６】
このような合成画像を用いて、輝度の時間変化を評価基準として移動物検出を行った場合、同じ移動物であっても、合成画像に映る位置によって検出感度が異なってしまう。すなわち、大きく映る位置ほど検出感度が高くなり、小さく映る位置ほど検出感度が低くなる。このため、移動物検出の検出感度が均一にならない。
【００７７】
そこで、合成画像上の位置の違いによる検出感度の差をなくし、検出感度をより均一にしたい場合は、被写体が合成画像に映るときの大きさの違いに応じて、合成画像パラメタの重みの値を変えればよい。すなわち、各画素値に付された重みを、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定すればよい。
【００７８】
図１２（ｂ）はこのような重みの設定例である。図１２（ｂ）では、図１２（ａ）において被写体が小さく映る領域すなわち上方の領域ほど、重みは大きく設定されており、被写体が大きく映る領域すなわち下方の領域ほど、重みは小さく設定されている。このように重みを設定することによって、合成画像中の位置の違いによる移動体検出の検出感度の差を小さくし、検出感度をより均一にすることができる。
【００７９】
また、検出感度を均一にするための他の方法としては、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、その被写体が映る位置に依らないで、一定になるように、画像合成パラメタの各画素値に付された重みを設定するものとしてもよい。
【００８０】
具体的には例えば、まず、重みが全て「１」である画像合成パラメタを用いて合成した合成画像において、同一被写体が移動した場合における各小領域毎の統計量の時間変化量（例えば、画素値の平均値の時間変化量）を算出する。そして、算出した値の逆数に比例する値を、その小領域の重みの値として新たに定める。このような重みを設定することによって、合成画像中の被写体の大きさの違いだけでなく、被写体の見えの違いや、入力画像ごとの輝度の差、入力画像中の周辺減光による輝度の差、などに起因する移動体検出の検出感度の差を小さくし、検出感度をより均一にすることができる。
【００８１】
以上のように本実施形態によると、画像合成パラメタにおける重みの値の設定によって、移動物検出の精度を制御することができるので、画像合成部や移動物検出部における処理負荷を増加させることなく、合成画像の領域ごとに移動物検出の検出感度を調整することができる。
【００８２】
（第４の実施形態）
本発明の第４の実施形態では、移動物領域が検出されているとき、画像合成パラメタについて、この移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行う。これによって、移動物領域の画像の画質をより向上させることができる。
【００８３】
本実施形態に係る車両周辺監視装置は、第１の実施形態と同様に、図１のように構成される。ここで、カメラ１０１はインターレース撮像を行い、フレームメモリ１０３にはインターレース画像が記憶されるものとする。またパラメタ選択部１０９は、車両状況検出手段１０８から出力された車両状況、および移動物検出部１０５から出力された検出結果を入力し、所定の選択ルールに従い、画像合成パラメタおよび検出パラメタを選択する。他の構成要素の動作は、上述した実施形態と同様である。
【００８４】
本実施形態では、パラメタ選択部１０９は、移動物検出部１０５によって移動物領域が検出されているとき、選択した画像合成パラメタについて、カメラ画像の座標値の一部を変更して出力する。具体的には、選択した画像合成パラメタから、検出された移動物領域の位置に対応する各要素のカメラ画像座標値を読み出し、そのＹ座標値（垂直方向座標値）を、全て奇数になるように変更して出力する。画像合成部１０４は、このようにして変更された画像合成パラメタに従い、合成画像を生成する。
【００８５】
この結果、画像合成の際には、移動物領域では奇数フィールドのカメラ画像のみが用いられ、移動物が検出されなかった領域では両フィールドのカメラ画像が用いられる。したがって、移動物領域では、カメラ画像の奇数フィールドのみを用いた画像合成がなされるので、櫛状のずれによる画質低下は生じない。一方、移動物が検出されなかった領域では、カメラ画像の両方のフィールドを用いた画像合成がなされているため、一方のフィールドのみを用いた場合に比べて、解像度が高くなる。
【００８６】
図１３を用いて、本実施形態による効果を説明する。図１３（ａ）は、図２（ａ）の状況において、インターレース撮像するカメラ１によって撮像された１フレーム分の入力画像の例である。図１３（ａ）の右側の図は、移動している他車両２のエッジ部分を拡大した図である。インターレース撮像では、フィールドごとに異なるタイミングで撮像するため、１フレーム（２フィールド）の画像として観察した場合、画像中の移動物は図１３（ａ）の右図のように、櫛状のずれを伴う画像となる。
【００８７】
図１３（ｂ）は図１３（ａ）のフレーム画像をそのまま用いて生成した、上述の構図Ｅの合成画像の例である。また図１３（ｂ）の右側の図は、他車両２のエッジ部分を拡大した図であり、フレーム画像における櫛状のずれが変形された画像となっている。このような画像は、特に動画像として観測した場合には、ちらつき感やざらつき感などの画質低下を起こすことになる。
【００８８】
一方、本実施形態では、移動物領域に対応する部分については片方のフィールドのみを用いるように、画像合成パラメタを変更する。図１３（ｃ）はこのように変更された画像合成パラメタに従って生成された合成画像の例である。すなわち、破線で囲まれた移動物領域については、カメラ画像の奇数フィールドのみを用いた画像合成がなされており、したがって、図１３（ｂ）のような櫛状のずれによる画質低下が生じておらず、良好な合成画像が得られている。
【００８９】
以上のように本実施形態によると、移動物領域が検出されたとき、選択した画像合成パラメタについて、移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行うので、合成画像において櫛状のずれによる画質低下を抑えることができる。
【００９０】
なお、本実施形態では、カメラ画像のＹ座標値が全て奇数になるように、画像合成パラメタを変更するものとしたが、もちろん、全て偶数になるように変更してもよく、この場合は、移動物領域については、カメラ画像の偶数フィールドのみを用いた画像合成がなされる。
【００９１】
また、本実施形態では、移動物領域が検出された後に、その移動物領域に対応する部分に対して画像合成パラメタの変更を行い、この変更後の画像合成パラメタを用いて、合成画像を生成する。このため、例えば移動物の速度が速い場合、移動物領域を検出して画像合成パラメタの変更が行われる前に、図１３（ｂ）のような画質低下を伴う合成画像が出力されてしまう可能性がある。
【００９２】
この問題は、移動物領域だけでなく、その周辺領域に関しても、画像合成パラメタを変更することによって、解決できる。図１４（ａ）はこのような処理の例を示す図である。図１４（ａ）では、移動物領域とその周辺領域を含む領域ＡＲについて、カメラ画像の一方のフィールドのみを用いた画像合成が行われるように、画像合成パラメタを変更する。これにより、例えば他車両２が合成画像中でさらに移動して、図１４（ｂ）のような状態になった場合でも、画質低下の無い合成画像を表示することができる。領域ＡＲとしては例えば、移動物領域とその周囲の小領域１ブロック分程度の範囲を設定すればよい。
【００９３】
なお、本発明の各実施形態では、カメラは４台であり、その設置位置および撮影範囲は図２に示すようなものとしたが、カメラの台数、設置位置および撮影範囲はこれに限定されるものではない。
【００９４】
なお、本発明の各実施形態では、複数のカメラおよび周辺監視装置は、車両、特に４輪の乗用車に設置されるものとしたが、車両の形態を制限するものではない。また、車両以外の移動体、例えばロボットなどにも適用可能である。
【００９５】
また、移動体の周辺監視以外の用途でも、本発明は適用可能である。例えば、店舗などに固定されたカメラを利用して、画像合成および移動物検出を行うようにしてもよい。また、画像合成パラメタは車両状況に応じて選択するものとしたが、固定されていてもよいし、また例えば、時間経過とともに自動的に変更するようにしてもよい。
【００９６】
なお、本発明の各実施形態では、移動物検出のために、輝度の平均値の時間変化を用いるものとしたが、移動物検出のための評価指標は輝度平均に限定されるものではなく、画素値の統計量であればどのような値を用いてもよい。例えば、ＲＧＢのうち特定の色成分の分散を用いてもよい。また、小領域のブロック数も、４８ブロックに限定するものではない。
【００９７】
なお、本発明の各実施形態において、画像合成パラメタの選択を変更したとき、変更後の所定時間は、移動物検出を行わないようにしてもよい。例えば、パラメタ選択部１０９が、画像合成パラメタの選択を変更したとき、移動物検出を所定時間停止することを規定した検出パラメタを選択するようにする。これにより、合成画像の構図等が変更された直後には移動物検出がなされなくなるので、合成画像の変更に起因する移動物検出の誤動作を未然に回避することができる。
【００９８】
なお、本発明の各実施形態において、画像合成パラメタの選択を変更したとき、変更後の所定時間は画像合成パラメタの変更を行わないようにしてもよい。例えば、パラメタ選択部１０９が、画像合成パラメタの選択を変更したとき、画像合成パラメタの変更を所定期間停止するようにする。これにより、画像合成パラメタが頻繁に切り替わることがなくなるので、頻繁に切り替わったときに生じる表示画像の視認性の低下を未然に防ぐことができる。
【００９９】
なお、本発明の各実施形態では、検出パラメタは「動作」「停止」の２種類の情報のみであるとしたが、これに限定されるものではない。一般に、移動物検出は様々なパラメタを必要とするため、これらを含む検出パラメタを合成画像の構図に応じて複数記憶しておいてもよい。また例えば、小領域毎に設定したしきい値を検出パラメタとして記憶しておいてもよい。
【０１００】
なお、本発明の各実施形態において、各構成要素は、個別のハードウェアによって実現してもよいし、単一のＩＣ等に収めるようにしてもよい。また、図１５のような画像の入出力機能を有するコンピュータを用いて、各構成要素を、コンピュータ（ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３など）によって実行されるソフトウェアによって実現してもよい。
【産業上の利用可能性】
【０１０１】
本発明では、撮影状況に応じた合成画像の生成と画像中の移動物検出とを、併せて実行可能であるので、例えば、車載用の周辺監視装置や、セキュリティ用の監視装置等として有用である。特に、複数のカメラで撮影された画像から、移動物が存在する領域を画像で提示する監視装置として有用である。また複数のカメラで撮影された画像から移動物を検出する等の用途にも応用できる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の各実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】（ａ）は各実施形態におけるカメラ設置および撮影状況、（ｂ），（ｃ）は（ａ）に示されたカメラの画像の例である。
【図３】本発明の第１の実施形態における画像合成パラメタの例を示す図である。
【図４】構図が異なる合成画像の例である。
【図５】本発明の第１の実施形態におけるパラメタ選択ルールの一例である。
【図６】（ａ）は移動物検出における領域区分の一例、（ｂ）は移動物領域が表示された合成表示画像の例である。
【図７】本発明の第１の実施形態における第１の動作例による合成表示画像の例である。
【図８】本発明の第１の実施形態における第２の動作例による合成表示画像の例である。
【図９】本発明の第２の実施形態におけるパラメタ選択ルールの一例である。
【図１０】本発明の第２の実施形態における動作例による合成表示画像の例である。
【図１１】本発明の第３の実施形態における画像合成パラメタの一例を説明するための図である。
【図１２】本発明の第３の実施形態における画像合成パラメタの他の例を説明するための図である。
【図１３】本発明の第４の実施形態における合成表示画像の例を示す図である。
【図１４】本発明の第４の実施形態における合成表示画像の例を示す図である。
【図１５】本発明の監視装置をコンピュータを用いて構成した場合の構成図である。
【図１６】従来技術による周辺監視装置の構成および画像の例を示す図である。
【符号の説明】
【０１０３】
１０１  カメラ
１０２  Ａ／Ｄ変換器
１０３  フレームメモリ
１０４  画像合成部
１０５  移動物検出部
１０６  Ｄ／Ａ変換器
１０７  ディスプレイ
１０８  車両状況検出部
１０９  パラメタ選択部
１１０  パラメタ記憶部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2005125208.tif 000019
【図２】
2005125208.tif 000020
【図３】
2005125208.tif 000021
【図４】
2005125208.tif 000022
【図５】
2005125208.tif 000023
【図６】
2005125208.tif 000024
【図７】
2005125208.tif 000025
【図８】
2005125208.tif 000026
【図９】
2005125208.tif 000027
【図１０】
2005125208.tif 000028
【図１２】
2005125208.tif 000029
【図１４】
2005125208.tif 000030
【図１５】
2005125208.tif 000031
【図１６】
2005125208.tif 000032
【図１１】
2005125208.tif 000033
【図１３】
2005125208.tif 000034
【手続補正書】
【提出日】平成17年9月26日(2005.9.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体に設置された複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、
前記パラメタ選択部によって選択された検出パラメタに従って、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備え、
前記パラメタ選択部は、前記移動体の状況に応じて、かつ、前記移動物検出部による検出結果を加味して、パラメタ選択を行うものであり、かつ、
前記パラメタ選択部は、現在選択されている画像合成パラメタを加味して、パラメタ選択を行うものである
ことを特徴とする監視装置。
【請求項２】
移動体に設置された複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、
前記パラメタ選択部によって選択された検出パラメタに従って、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備え、
前記パラメタ選択部は、前記移動体の状況に応じて、かつ、前記移動物検出部による検出結果を加味して、パラメタ選択を行うものであり、かつ、
前記パラメタ選択部は、前記移動物検出部によって移動物領域が検出されているとき、選択した画像合成パラメタについて、当該移動物領域に対応する部分に対してカメラ画像の一方のフィールドのみを参照するように変更を行い、出力する
ことを特徴とする監視装置。
【請求項３】
請求項２において、
前記パラメタ選択部は、前記変更を、当該移動物領域に加えて、その周辺領域に対応する部分に対しても、行う
ことを特徴とする監視装置。
【請求項４】
複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、
前記パラメタ選択部によって選択された検出パラメタに従って、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備え、
前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付された重みを含み、
前記画像合成部は、画像合成パラメタに含まれた重みを用いて、各画素値に重み付けを行い、合成画像を生成するものであり、かつ、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、移動物検出の必要性が相対的に高い領域において、相対的に大きな値になるように、設定されている
ことを特徴とする監視装置。
【請求項５】
複数のカメラによって撮影されたカメラ画像を入力とする監視装置であって、
複数の、カメラ画像と合成画像との対応関係を表す画像合成パラメタと、複数の、移動物検出の仕様を規定する検出パラメタとを記憶するパラメタ記憶部と、
前記パラメタ記憶部に記憶された複数の画像合成パラメタと複数の検出パラメタとから、それぞれ１つを選択するパラメタ選択部と、
前記パラメタ選択部によって選択された画像合成パラメタに従って、前記カメラ画像を合成して、監視領域の状況を示す合成画像を生成する画像合成部と、
前記パラメタ選択部によって選択された検出パラメタに従って、前記合成画像において、移動物が存在すると推定される移動物領域を検出する移動物検出部とを備え、
前記複数の画像合成パラメタは、画像合成に用いるカメラ画像の各画素値に付された重みを含み、
前記画像合成部は、画像合成パラメタに含まれた重みを用いて、各画素値に重み付けを行い、合成画像を生成するものであり、かつ、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、同一被写体が移動した場合における画素値の統計量の時間変化が、合成画像中で、一定になるように、設定されている
ことを特徴とする監視装置。
【請求項６】
請求項５において、
前記複数の画像合成パラメタのうち少なくとも１つにおいて、各画素値に付された重みは、合成画像中の、同一サイズの被写体が相対的に大きく映る領域において、相対的に小さな値になるように、設定されている
ことを特徴とする監視装置。
【国際調査報告】
2005125208.tif 000035
2005125208.tif 000036
2005125208.tif 000037
2005125208.tif 000038
2005125208.tif 000039
2005125208.tif 000040
2005125208.tif 000041
2005125208.tif 000042
2005125208.tif 000043