(57)【要約】【課題】  画面内に画像が表されている物体の挙動を監視する頻度を増加させる。【解決手段】  撮像素子３及び４はＷＯＩ機能を有しており、画面の全領域内に相対的に狭い領域として設定されるウィンドウの部分のみの画像を読み出すことが可能であるように構成されている。注目物体特定部２２は、この画像が属する画面内に含まれる特異な挙動が認められる注目物体を特定する。ウィンドウ設定制御部２３は、このウィンドウ内に注目物体の画像の全部又は一部が位置するようにウィンドウを設定すると共に一旦ウィンドウが設定された後は注目物体の画像の全部又は一部が常にそのウィンドウ内に位置するようにウィンドウの位置を追随的に制御する。ウィンドウ画像データ読み出し部２４は、この画面の全領域に対応する画像データを距離演算部９等が読み出す読み出しレートよりも速い読み出しレートでこのウィンドウに対応する画像データを読み出す。【選択図】      図１
2005228213.tif 000002
【特許請求の範囲】
【請求項１】
画面の全領域内に相対的に狭い領域として設定されるウィンドウの部分のみの画像を読み出すことが可能になされた撮像手段と、
前記撮像手段によって取得される物体の画像が属する画面内に含まれる特異な挙動が認められる注目物体を特定するための注目物体特定手段と、
前記ウィンドウ内に当該注目物体の画像の全部又は一部が位置するようにウィンドウを設定すると共に一旦ウィンドウが設定された後は前記注目物体の画像の全部又は一部が常に当該ウィンドウ内に位置するように前記画面の全領域内における当該ウィンドウの位置を追随的に制御するウィンドウ設定制御手段と、
前記画面の全領域に対応する画像データを読み出す読み出しレートよりも速い読み出しレートで前記ウィンドウから当該ウィンドウに対応する画像データを読み出すウィンドウ画像データ読み出し手段と、
を備えたことを特徴とする障害物認識補助装置。
【請求項２】
前記注目物体特定手段は、当該障害物認識補助装置が備えられた物体との相対位置が急接近し又は相対的に近い所定の距離内に位置し若しくはこれらの位置関係に至る蓋然性が認められる物体を前記注目物体として特定するようになされたものであることを特徴とする請求項１に記載の障害物認識補助装置。
【請求項３】
前記ウィンドウ画面データ読み出し手段は、前記ウィンドウに関する画像データの読み出しレートとして、前記画面の全領域に対応する画像データの読み出しレートに当該全領域に対するウィンドウの面積比の逆数を乗じたものに相応するものであることを特徴とする請求項１に記載の障害物認識補助装置。
【請求項４】
前記撮像手段としてステレオ式撮像装置を適用し、
前記注目物体特定手段は前記ステレオ式撮像装置によって取得される距離画像のデータに依拠して前記画面内に含まれる物体の特異な挙動を認識して注目物体を特定するように構成されたものである、
ことを特徴とする請求項１に記載の障害物認識補助装置。
【請求項５】
前記ウィンドウ画像データ読み出し手段は、前記画面の全領域に対応する画像データを間欠的に読み出すと共に一の画面の全領域に対応する画像データを読み出した後次の画面の全領域に対応する画像データを読み出すまでの間に前記ウィンドウの領域に対応する画像データを複数回読み出すように構成されたものであることを特徴とする請求項１に記載の障害物認識補助装置。
【請求項６】
前記撮像手段は、前記ウィンドウの部分の撮像にＭＯＳ型の撮像素子を用いることを特徴とする請求項４に記載の障害物認識補助装置。
【請求項７】
前記ウィンドウから読み出される画像データに基づいて当該注目物体の挙動を検出する挙動検出手段を更に備えたことを特徴とする請求項１に記載の障害物認識補助装置。
【請求項８】
前記ウィンドウ設定制御手段は、前記画面の全領域内に前記ウィンドウを複数設定することが可能に構成されたものであることを特徴とする請求項１に記載の障害物認識補助装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識技術に関し、特に、移動する物体の画像を画面内で適切に捕捉する技術に関する。
【背景技術】
【０００２】
本発明に関連する技術が例えば特許文献１に開示されている。図４は、この従来技術に係る装置の構成を示している。なお、この装置は、自車両に先行して走行している先行車両との車間を検出する装置である。
図４において、レンズ１００１及び１００２は、それぞれ基線長Ｌだけ離隔して左右対称に配置された一対のレンズであり、焦点距離ｆだけ後方に位置させているイメージセンサ１００３及び１００４の各々の表面に、距離Ｒだけ前方に位置する先行車両１０１４の像を結像させる。イメージセンサ１００３及び１００４の各々より出力される信号であって先行車両１０１４を含む視野の画像を表しているアナログ信号である画像信号は、Ａ／Ｄ変換器１００５及び１００６によってそれぞれデジタルデータである画像データへと変換される。
【０００３】
メモリ１００７、１００８及び１００９は、Ａ／Ｄ変換器１００５及び１００６から各々出力された視野の画像データを記憶するメモリである。但し、メモリ１００８には、新たに画像データがメモリ１００７に格納されるときに、それまでメモリ１００７に格納されていた画像データ、すなわち１撮像タイミング前の画像データがメモリ１００７から転送されて格納される。
【０００４】
追尾演算器１０１０はメモリ１００７及びメモリ１００８に格納されている画像データに基づいて先行車両１０１４の追尾演算を行う。距離演算器１０１１はメモリ１００７とメモリ１００９とに格納されている画像信号に基づいて先行車両１４の距離演算を行う。ＣＰＵ１２は、各メモリ１００７、１００８、及び１００９に各々格納されている画像データで表されている視野の画像に対して設定がされる、先行車両１０１４を含むウィンドウの位置を演算し、その位置を示すウィンドウ情報を追尾演算器１０１０及び距離演算器１０１１へ各々出力すると共に、そのウィンドウの設定された視野の画像をディスプレイ１０１３へ表示する。
【０００５】
追尾演算器１０１０の動作について更に説明する。
追尾演算器１０１０は１撮像タイミング前（時刻ｔ＝ｔ0 ：以下、「前時刻」と称することとする）で撮像された後に、先行車両１０１４に関するウィンドウ位置が設定された視野の画像の画像データ（以下、「前画像データ」と称することとする）をメモリ１００８より読み取る。更に、追尾演算器１０１０は現時刻（ｔ＝ｔ0 ＋Δｔ）で撮像されてメモリ７に格納された視野の画像データ（以下、「現画像データ」と称することとする）を読み取る。そして、前画像データで表されている視野の画像（以下、「前画像」と称することとする）においてウィンドウが設定された追尾対象物である先行車両１０１４と同一の画像を、現画像データで表されている視野の画像（以下、「現画像」と称することとする）の中よりサーチする。なお、このサーチの手法は周知のパターンマッチングのアルゴリズムを用いる。
【０００６】
このとき、現画像中における先行車両１０１４の画像のサーチ範囲は、前画像に設定されたウィンドウの位置を基準にして設定する。これは、前時刻から現時刻までの経過時間△ｔは微小であるため、先行車両１０１４の画像はウィンドウを設定した視野の画像の画面上の位置から殆ど移動していないとみなし得るからである。
【０００７】
追尾演算器１０１０が現画像より先行車両１０１４と同一の画像をサーチすると、現画像に対して設定する新しいウィンドウの位置をＣＰＵ１０１２は演算し、現画像に設定する（ウィンドウ設定手段１１２０）。このウィンドウの位置は、先行車両１０１４の像を結像させているイメージセンサ１００３のピクセルの配置に対応したメモリ１００７の番地で設定される。メモリ１００７に格納されている現画像データで表されている現画像より先行車両１０１４がサーチされると、その先行車両１０１４の画像を含む現画像の画像データはメモリ１００７よりメモリ１００８に転送され、メモリ１００８に格納されていた前画像データは更新される。
【０００８】
一方、ＣＰＵ１０１２はメモリ１００８より前画像データを読み出し、視野の画像をディスプレイ１０１３に表示すると共に、自己が設定したウィンドウ位置に従ってウィンドウ画像信号を生成し、更にウィンドウを視野の画像における先行車両１０１４の画像に重ね合わせて表示させる。
【０００９】
以上の動作を行うことで、視野の画像内で先行車両１０１４の画像をウィンドウ内に捕捉して追尾することができる。
次に、特許文献１に開示されている、図４に示す装置による距離演算動作についても説明しておく。
【００１０】
距離演算器１０１１はメモリ１００７及び１００９に格納されている現画像データで表現されている視野の画像における先行車両１０１４の画像のうち、その一方の画素を横に１画素ずつシフトしながら、画素毎の差の絶対値の総和を求める。ここで、この総和が最も小さくなるときを、イメージセンサ１００３及び１００４の各々出力している画像信号が最も一致するときとみなし、そのときの画素のシフト数ｎ、レンズ１００１及び１００２の間の基線長Ｌ、レンズ１００１及び１００２の焦点距離ｆ、及びイメージセンサ１００３及び１００４を形成するピクセル間のピッチ幅ｐを以下の（１）式に代入すると、三角測量の原理によりレンズ１００１及び１００２から先行車両１０１４までの距離、すなわち車間距離Ｒが求まる。
【００１１】
Ｒ＝（ｆ×Ｌ）／（ｎ×ｐ）・・・（１）
なお、このような、一対の撮像素子を用いることで撮像画像に表されている物体の距離を求めることができるようにした撮像装置はステレオ式撮像装置などと称されており、広く知られている。
【特許文献１】特開平６−２６５３５１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
走行中の自車両の視野内に存在する物体は、自車両にとって危険性がないかどうか、特に細心の注意を払って注目する必要がある。とりわけ、その物体が自車両と衝突する可能性を有しているかどうかについては、頻繁に確認を行って、より早くその可能性を認識することが望ましく、その危険を未然に回避するための措置を講じることがそれだけ容易となる。しかしながら、前述した従来技術に係る装置では、先行車両１０１４の画像はあくまでも視野の画像の一部として捉えているため、視野の画像の撮像タイミングの間隔である、前記したΔｔよりも短い間隔で視野内の物体の挙動の監視を行うことができない。
【００１３】
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画面内に画像が表されている物体の挙動を監視する頻度を増加させることである。
【課題を解決するための手段】
【００１４】
そして、本発明の態様のひとつである障害物認識補助装置は、画面の全領域内に相対的に狭い領域として設定されるウィンドウの部分のみの画像を読み出すことが可能になされた撮像手段と、当該撮像手段によって取得される物体の画像が属する画面内に含まれる特異な挙動が認められる注目物体を特定するための注目物体特定手段と、当該ウィンドウ内に当該注目物体の画像の全部又は一部が位置するようにウィンドウを設定すると共に一旦ウィンドウが設定された後は当該注目物体の画像の全部又は一部が常に当該ウィンドウ内に位置するように当該画面の全領域内における当該ウィンドウの位置を追随的に制御するウィンドウ設定制御手段と、当該画面の全領域に対応する画像データを読み出す読み出しレートよりも速い読み出しレートで当該ウィンドウから当該ウィンドウに対応する画像データを読み出すウィンドウ画像データ読み出し手段と、を備えたことを特徴とするものである。
【００１５】
なお、上述した本発明に係る障害物認識補助装置において、上述した注目物体特定手段は、当該障害物認識補助装置が備えられた物体との相対位置が急接近し又は相対的に近い所定の距離内に位置し若しくはこれらの位置関係に至る蓋然性が認められる物体を上述の注目物体として特定するようになされたものであるように構成してもよい。
【００１６】
また、前述した本発明に係る障害物認識補助装置において、前述したウィンドウ画面データ読み出し手段は、前述のウィンドウに関する画像データの読み出しレートとして、前述の画面の全領域に対応する画像データの読み出しレートに当該全領域に対するウィンドウの面積比の逆数を乗じたものに相応するものであるように構成してもよい。
【００１７】
また、前述した本発明に係る障害物認識補助装置において、前述した撮像手段としてステレオ式撮像装置を適用し、前述した注目物体特定手段は当該ステレオ式撮像装置によって取得される距離画像のデータに依拠して前述の画面内に含まれる物体の特異な挙動を認識して注目物体を特定するように構成されたものであってもよい。
【００１８】
なお、このとき、前述した撮像手段は、前述のウィンドウの部分の撮像にＭＯＳ型の撮像素子を用いるように構成してもよい。
また、前述した本発明に係る障害物認識補助装置において、前述したウィンドウ画像データ読み出し手段は、前述の画面の全領域に対応する画像データを間欠的に読み出すと共に一の画面の全領域に対応する画像データを読み出した後次の画面の全領域に対応する画像データを読み出すまでの間に前述のウィンドウの領域に対応する画像データを複数回読み出すように構成されたものであってもよい。
【００１９】
また、前述した本発明に係る障害物認識補助装置において、前述のウィンドウから読み出される画像データに基づいて当該注目物体の挙動を検出する挙動検出手段を更に備えるように構成してもよい。
また、前述した本発明に係る障害物認識補助装置において、前述したウィンドウ設定制御手段は、前述の画面の全領域内に前述のウィンドウを複数設定することが可能に構成されたものであってもよい。
【発明の効果】
【００２０】
本発明は、以上のように構成されているので、画面内に画像が表されている物体の挙動を監視する頻度が増加するという効果を奏する。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態を図面に基づいて説明する。
まず図１について説明する。同図は本発明を実施する装置の構成を示している。同図に示した装置は車両に搭載されて使用されるものであり、この装置を搭載した車両（自車両）との相対距離が近くなる物体を、自車両と衝突するおそれのある障害物とみなし、その物体の画像を自車両の周囲の風景が表されている画像内で特定すると共に、その障害物が表されている画像データを出力するという機能を有するものである。なお、ここでは、この装置を障害物認識補助装置と称している。
【００２２】
レンズ１及び２は、それぞれ基線長Ｌだけ離隔して左右対称に配置された一対のレンズであり、距離Ｒだけ前方に位置する障害物４０の像を、焦点距離ｆだけ後方に位置させている撮像素子３及び４の各々の表面に結像させる。
撮像素子３及び４はステレオ式撮像装置を構成しており、撮像素子駆動制御部３３から与えられる撮像タイミングクロックに従った間隔で、自車両の周囲の風景の画像であって障害物４０の像を含んでいる画像（以下、「風景画像」と称することとする）を光電変換し、この画像を表している画像信号を出力する。なお、本実施形態においては、この撮像素子として、消費電力の低減や部品コストの低減といった点で有利であるＭＯＳ（Metal Oxide Semiconductor ）型のイメージセンサを用いることとする。
【００２３】
この撮像素子３及び４について、図２を用いて更に説明する。
本実施の形態で撮像素子３及び４として使用するイメージセンサは、いわゆるＷＯＩ（Window of Interest）機能を備えるものを用いる。
ＷＯＩ機能を有するイメージセンサは、通常動作においては、図２（ａ）に示すように、撮像可能な最大画素数の風景画像（同図の例においては画素数が６４０×４８０画素の画像）を所定の撮像レート（例えば３０フレーム／秒）で撮像してその風景画像についての画像信号を出力する一方、ＷＯＩ機能による部分撮像時においては、図２（ｂ）に示すように、風景画像のうち撮像範囲を指定の範囲（ウィンドウ）に制限したウィンドウ画像（同図の例においては、通常動作時において撮像される画像に対し画素数が１／４である３２０×２４０画素の画像）のみを通常撮影時よりも高速な撮像レート（例えば通常動作時における撮像レートが３０フレーム／秒である場合には、画素数の減少率の逆数倍である１２０フレーム／秒（＝３０×４））で撮像してそのウィンドウ画像についての画像信号を出力することができる。このようなＷＯＩ機能を有するイメージセンサを使用すると、風景画像の撮像とウィンドウ画像の撮像とで撮像素子を流用できるので、図１に示す装置の部品コストの低減に寄与する。
【００２４】
図１の説明へ戻る。
Ａ／Ｄ変換器５及び６は、撮像素子３及び４から各々出力されたアナログ信号である画像信号をアナログ−デジタル変換し、画像データを各々出力する。なお、Ａ／Ｄ変換器５及び６におけるアナログ信号のサンプリングや変換に要する時間は、他の処理に支障がない程度に十分に高速なものとする。
【００２５】
メモリ７及び８は、Ａ／Ｄ変換器５及び６から各々出力された画像データを各々一時的に保存する。
距離演算部９は、撮像素子３及び４の通常動作によって撮像された風景画像を表現している画像データがメモリ７及び８に新たに保存される度にその画像データを読み出し、その画像データで表現されている風景画像を構成している画素の各々に表されている物体と自車両との間の相対距離を求める。この相対距離は、前述した図４に示した装置における距離演算器１０１１による距離の算出法、すなわち前述した三角測量の原理に基づく（１）式に従った算出法より求めることができる。これは、撮像素子３及び４をステレオ式撮像装置として用いたことによって可能となる。
【００２６】
ＣＰＵ２０は中央演算装置であり、不図示のＲＯＭ（Read Only Memory）に予め格納されている制御プログラムを実行することにより、距離画像生成部２１、注目物体特定部２２、ウィンドウ設定制御部２３、ウィンドウ画像データ読み出し部２４、及び画像処理部２５の各機能を実現する。なお、これらの各機能をＣＰＵ２０と制御プログラムとの組み合わせにより実現する代わりに個別のハードウェアで実現するように構成してもよく、また、距離演算部９によって行われている相対距離の算出をＣＰＵ２０で実現するようにしてもよい。
【００２７】
距離画像生成部２１は、メモリ７及び８に格納されている画像データで表現されている風景画像を構成する各画素に、距離演算部９から出力される相対距離の情報を対応付けた画像である、距離画像のデータを生成する。
注目物体特定部２２は、距離画像のデータに基づいて、風景画像に表されている物体の風景画像内の位置を特定する。具体的には、風景画像における画素のうち、隣接している画素に対応付けられている相対距離の差が所定値以内のものについては同一の物体の画像であるとみなし、これらの画素の位置している風景画像内の範囲を特定する。また、ここで、現画像である風景画像に表されている各物体と、過去に取得されていた風景画像に表されていた各物体との間で、形状、大きさ、色彩、位置等に基づいて相関を求め、所定の程度以上で最も高い相関を有している物体同士を同一の物体として関連付けておく。
【００２８】
更に、注目物体特定部２２は、風景画像に表されているこれらの物体のうち、特異な挙動が認められるもの（例えば障害物４０）を注目物体として特定する。
本実施例において、注目物体特定部２２は、まず、距離演算部９から得られる画素毎の相対距離の情報から、風景画像に表されている各物体と自車両との間の現時刻における相対距離を例えば画素毎の相対距離の算術平均により算出する。ここで、この相対距離が所定の距離内にある物体は自車両に近い物体であり、自車両に衝突する蓋然性を有しているとみなし得るので、注目物体とする。
【００２９】
また、本実施例において、注目物体特定部２２は、各物体と自車両との間の過去（例えば前時刻）における相対距離を注目物体特定部２２が保存しておき、この過去の相対距離と現時刻の相対距離とから各物体と自車両との接近速度を算出する。ここで、この接近速度が所定の速度以上である物体は自車両に急接近する物体であり、このような物体は自車両に衝突する蓋然性を有しているとみなし得るので、注目物体とする。
【００３０】
更に、本実施例において、注目物体特定部２２は、各物体の相対距離と自車両を基準としたときの移動方向とから、自車両との間の相対距離が前述した所定の距離内にまで近づく蓋然性があるか否かを判定し、この蓋然性が存在する物体についても注目物体とする。
ウィンドウ設定制御部２３は、現時刻の背景画像に対し、注目物体特定部２２によって特定された注目物体の画像が位置するようにウィンドウを設定する。また、既にウィンドウが設定されている場合には、注目物体特定部２２によって各物体に与えられている過去の背景画像と現時刻における背景画像とについての関連付けの情報に基づいて風景画像の全領域内におけるウィンドウの位置を追随させる制御を行い、注目物体の画像が常に当該ウィンドウ内に位置させるようにする。なお、このウィンドウの形状及び大きさは予め設定しておく。また、注目物体の画像とウィンドウとの形状及び大きさの相違により、注目物体の画像の全部をウィンドウ内に位置させることができない場合でも、注目物体の画像の少なくとも一部はウィンドウ内に位置させるようにウィンドウの位置を制御する。
【００３１】
ウィンドウ画像データ読み出し部２４は、撮像素子３及び４による前述したＷＯＩ機能による部分撮像によって撮像されたウィンドウ画像を表現している画像データがメモリ７及び８に保存される度にその画像データをメモリ７及び８から読み出し、読み出した画像データを画像処理部２５へ送付すると共に外部へ出力する。
【００３２】
画像処理部２５は、ウィンドウが風景画像に設定されている場合に、メモリ７及び８から読み出した風景画像の画像データ、ウィンドウ画像データ読み出し部２４から送られてくるウィンドウ画像についての画像データ、及びウィンドウ設定制御部２３から得られる風景画像中におけるウィンドウの位置を示す情報に基づき、風景画像におけるウィンドウの位置にウィンドウ画像をはめ込み合成した合成画像についての画像データを生成する処理を行う。また、必要に応じ、合成画像の履歴から、ウィンドウ画像に表されている注目物体の挙動（例えば、自車両を基準とした注目物体の相対的な移動方向や移動速度）を検出し、その挙動の様子を示す情報が合成画像に重畳表示された画像についての画像データを生成する処理を行う。
【００３３】
Ｄ／Ａ変換部３１は、画像処理部２５によって生成された画像データをデジタル−アナログ変換し、上述した合成画像を表現している画像信号を出力する。
表示装置３２は例えばＬＣＤ（Liquid Crystal Display）であり、Ｄ／Ａ変換部３１から出力された画像信号で表現されている画像を表示する。
【００３４】
撮像素子駆動制御部３３は、撮像素子３及び４の動作を制御するものであり、特に、ウィンドウ設定制御部２３から送られてくる、風景画像中におけるウィンドウの位置を示す情報に基づいた、通常動作とＷＯＩ機能による部分撮像との動作切り替えの制御と部分撮像時におけるウィンドウ画像の撮像範囲の変更の制御とを行う。
【００３５】
撮像クロック生成部３４は、撮像素子３及び４の撮像タイミングクロックを生成して撮像素子駆動制御部３３へ与える。なお、撮像クロック生成部２３は、注目物体特定部２２から送られてくる、風景画像から注目物体を特定したか否かを示す信号に応じ、出力するクロックを変化させる。
【００３６】
次に図３について説明する。同図は、撮像クロック生成部３４によるクロックの生成パターン例を示している。
なお、以下の説明において、ＷＯＩ機能を有する撮像素子３及び４は図２に示した動作をするもの、すなわち、通常動作時においては画素数が６４０×４８０画素の風景画像を撮像するもの（図２（ａ））とし、ＷＯＩ機能による部分撮像においては、ウィンドウサイズを通常動作時の撮像画素数の１／４、すなわち３２０×２４０画素のウィンドウ画像を撮像するもの（図２（ｂ））とする。
【００３７】
図３に示すクロックは、Ｈ（ハイ）レベルとＬ（ロー）レベルとの２値をとり、このクロックが立ち上がりのエッジが撮像開始の指示を示している。従って、この立ち上がりエッジの周期（秒）が画像の撮像間隔となり、この周期の逆数が撮像レート（フレーム／秒）となる。
【００３８】
図３において、（ａ）は、撮像素子３及び４に通常動作のみを行わせる場合、すなわち風景画像に注目物体が存在しないと注目物体特定部２２が判定し、その判定結果を示す信号が注目物体特定部２２から撮像クロック生成部３４へ送られてきた場合に生成するクロックのパターンを示しており、この場合のクロックは、立ち上がりエッジの周期がＴとなっている。
【００３９】
撮像素子駆動制御部３３は、風景画像中にウィンドウの設定が行われていない旨の通知をウィンドウ設定制御部２３から受け取っている場合にこのクロックの供給を撮像クロック生成部３４から受けることとなる。このとき、撮像素子駆動制御部３３は、撮像素子３及び４の動作設定を通常動作で維持しながら、撮像素子３及び４による撮像動作をこのクロックの立ち上がりエッジのタイミングに従い逐次行わせる。
【００４０】
なお、この場合には、ウィンドウ画像データ読み出し部２４によるウィンドウ画像データの読み出しは行わない。従って、画像処理部２５での合成処理も行われず、表示装置３２には風景画像がそのまま表示される。
一方、図３（ｂ）は、ＷＯＩ機能による部分撮像を撮像素子３及び４に行わせる場合、すなわち風景画像に対し注目物体の特定を注目物体特定部２２が行い、その特定を行ったことを示す信号が注目物体特定部２２から撮像クロック生成部３４へと送られてきた場合に生成するクロックのパターンを示している。この場合のクロックは、立ち上がりエッジの周期がＴである１周期とＴ／４である４周期とが交互に繰り返されるパターンとなる。
【００４１】
撮像素子駆動制御部３３は、風景画像中におけるウィンドウの設定位置を示す情報をウィンドウ設定制御部２３から受け取っている場合にこのクロックの供給を撮像クロック生成部３４から受けることとなる。このとき、撮像素子駆動制御部３３は、立ち上がりエッジの周期がＴである周期においては撮像素子３及び４を通常動作で動作させ、このクロックの立ち上がりエッジのタイミングに従い風景画像の撮像を行わせる。その一方、立ち上がりエッジの周期がＴ／４である周期においては撮像素子３及び４のＷＯＩ機能を機能させて部分撮像を行わせる。
【００４２】
なお、この部分撮像においては、注目物体特定部２２から送られてきた情報に基づき、風景画像に設定されたウィンドウの範囲の撮像を撮像素子３及び４に行わせてウィンドウ画像を得るようにする。つまり、図３（ａ）のパターンの場合と比較すると、図３（ｂ）のパターンの場合には、風景画像の撮像間隔を（ａ）の場合の半分に間引き、その代わりに、風景画像を１フレーム撮像する毎にウィンドウ画像を４フレーム撮像するようにしているのである。
【００４３】
ここで、風景画像とウィンドウ画像との１フレームの撮像時間に注目すると、ウィンドウ画像の撮像時には風景画像の撮像時の１／４倍の撮像間隔となっているので、撮像素子３及び４は風景画像の撮像時の少なくとも４倍の撮像レートでウィンドウ画像を撮像する必要がある。ところが、前述したように、ウィンドウ画像の撮像画素数は３２０×２４０画素としており、これは、風景画像の撮像画素数である６４０×４８０画素の１／４倍であるので、風景画像の撮像時に対して４倍の撮像レートでのウィンドウ画像の撮像を撮像素子３及び４に行わせることは可能である。
【００４４】
このように、風景画像に対するウィンドウ画像の画素数の比（すなわち面積比）の逆数を風景画像の撮像レートに乗じたものをウィンドウ画像の撮像レートとすることにより、風景画像とウィンドウ画像との両者を撮像素子３及び４に撮像させることが可能となる。
このようにして撮像素子３及び４により時分割で撮像された風景画像及びウィンドウ画像は、Ａ／Ｄ変換器５及び６を経ることによって画像データに変換されてメモリ７及び８に保存される。従って、メモリ７及び８に保存されている風景画像及びウィンドウ画像の画像データは同時に更新されることはなく、風景画像の画像データが１回更新されると、その次にはウィンドウ画像の画像データが複数回（４回）続けて更新され、その次には風景画像の画像データがまた１回更新され、…、というようにそのいずれか一方が間欠的に更新される。なお、このとき、風景画像の画像データとウィンドウ画像の画像データとはメモリ７及び８の異なる記憶領域に各々保存するようにする。
【００４５】
メモリ７及び８に保存された画像データのうち、風景画像の画像データは、その画像データが更新される度に、距離演算部９並びにＣＰＵ２０における距離画像生成部２１及び画像処理部２５によって読み出される。風景画像の画像データが読み出される合間には、ウィンドウ画像の画像データが更新される度に間欠的に、そのウィンドウ画像の画像データがＣＰＵ２０におけるウィンドウ画像データ読み出し部２４によって読み出される。
【００４６】
ここで、図３（ａ）の場合における風景画像の場合に対して４倍の撮像レートでウィンドウ画像の撮像が行われているので、メモリ７及び８におけるウィンドウ画像の画像データの更新間隔も４倍となっている。従って、ウィンドウ画像データ読み出し部２４は、図３（ａ）の場合において距離演算部９等が読み出す風景画像の画像データの読み出しレートよりも速い読み出しレート（４倍）でウィンドウ画像の画像データの読み出しを行う。
【００４７】
なお、画像処理部２５は、メモリ７及び８に保存されている風景画像の画像データが更新されたときには、その風景画像の画像データを読み出したまま画像合成を行わずに出力し、メモリ７及び８に保存されているウィンドウ画像の画像データが更新されたときには、その更新の度にウィンドウ画像データ読み出し部２４から送られてくるウィンドウ画像の画像データと、メモリ７及び８から直近に読み出していた風景画像の画像データとの合成処理を行う。
【００４８】
この結果、図３（ａ）の場合においては２フレーム分の風景画像の表示期間内に、５フレーム分（風景画像１フレーム分＋ウィンドウ画像４フレーム分）の注目物体の画像が表示装置３２に表示されるので、注目物体の挙動の監視の頻度が増加する。
なお、図１に示す装置において、撮像素子３及び４による風景画像の撮像の速度に余裕があるならば、例えば図３（ｃ）に示すように、風景画像の撮像周期を図３（ａ）と同一の周期としたまま、１フレーム分の風景画像の撮像を終了してから次のフレームの風景画像の撮像を開始するまでの間に、ウィンドウ画像の撮像を行うようにすることもでき、こうすることにより、風景画像の撮像レートを低下させずに、注目物体の挙動の監視の頻度を増加させることができる。
【００４９】
その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、撮像素子３及び４が有するＷＯＩ機能による部分撮像における撮像範囲として複数の撮像範囲を設定可能であるならば、注目物体特定部２２が複数の注目物体を風景画像から特定し、ウィンドウ設定制御部２３が個々の注目物体に対応する複数のウィンドウを設定してそれらのウィンドウの風景画像内の位置を撮像素子駆動制御部３３に通知し、撮像素子駆動制御部３３がそれらの位置を撮像範囲として複数のウィンドウ画像の撮像を撮像素子３及び４に行わせるようにすることで、複数の注目物体の挙動の監視を行うようにすることもできる。また、撮像素子３及び４が有するＷＯＩ機能による部分撮像における撮像範囲を１つのみしか設定できない場合でも、撮像素子駆動制御部３３がウィンドウ画像の撮像を撮像素子３及び４に行わせる度に、個々の注目物体に対応する複数のウィンドウの位置の通知に基づいて撮像範囲の位置設定を切り替えるようにすることで、複数の注目物体の挙動の監視を行うようにすることができる。
【００５０】
また、注目物体特定部２２による注目物体の特定において、風景画像に表されている物体が自車両に急接近するものであるかどうか、あるいは所定の距離内にまで近づく蓋然性があるかどうかを判定するときに、例えば自車両の現在の速度や移動方向（ハンドルの角度）などといった自車両から得られる自車両の挙動に関する情報を加味するようにしてもよく、こうすることにより、その判定の精度を向上させることができる。
【図面の簡単な説明】
【００５１】
【図１】本発明を実施する装置の構成を示す図である。
【図２】撮像素子の動作を説明する図である。
【図３】撮像クロック生成部によるクロックの生成パターンを示す図である。
【図４】従来技術に係る装置の構成を示す図である。
【符号の説明】
【００５２】
１、２、１００１、１００２  レンズ
３、４  撮像素子
５、６、１００５、１００６  Ａ／Ｄ変換器
７、８、１００７、１００８、１００９  メモリ
９、１０１１  距離演算部
２０、１０１２  ＣＰＵ
２１  距離画像生成部
２２  注目物体特定部
２３  ウィンドウ設定制御部
２４  ウィンドウ画像データ読み出し部
２５  画像処理部
３１  Ｄ／Ａ変換部
３２  表示装置
３３  撮像素子駆動制御部
３４  撮像クロック生成部
４０  障害物
１００３、１００４  イメージセンサ
１０１０  追尾演算器
１０１３  ディスプレイ
１１２０  ウィンドウ設定手段
【図１】
2005228213.tif 000003
【図２】
2005228213.tif 000004
【図３】
2005228213.tif 000005
【図４】
2005228213.tif 000006