(57)【要約】  移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、撮像部により撮像された時系列画像をもとに、各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、３次元画像情報をもとに、各時系列画像における静止体領域を抽出する静止体領域抽出部と、各時系列画像において抽出された各静止体領域から、各時系列画像間において対応する静止体領域を算出し、対応する静止体領域を一致させることで、時系列画像を統合する統合部とを備えている。
2010113239.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、
前記撮像部により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、
前記３次画像元情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出部と、
前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記対応する静止体領域を一致させることで、前記時系列画像を統合する統合部とを備えた画像統合装置。
【請求項２】
前記撮像部は、左右一対のステレオ画像を取得することができ、
前記複数の時系列画像はそれぞれ前記ステレオ画像であって、
前記３次元画像情報算出部は、前記ステレオ画像を用いて、前記各時系列画像における３次元画像情報を算出する請求項１に記載の画像統合装置。
【請求項３】
前記統合部は、前記対応する静止体領域の一方において任意の複数の点を選択し、前記対応する静止体領域の他方において、前記任意の複数の点に対応する複数の点を算出し、
前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような回転成分および並進成分を算出する請求項１または請求項２に記載の画像統合装置。 
【請求項４】
前記静止体領域の一方において選択される前記任意の複数の点は任意の３点であり、
前記対応する静止体領域の他方において、算出される点は、前記任意の３点に対応する３点であり、
前記回転成分および前記並進成分は、前記任意の３点および前記任意の３点に対応する３点が一致するように算出される請求項３に記載の画像統合装置。 
【請求項５】
前記任意の３点は、統合される前記各時系列画像に応じて、変更される請求項４に記載の画像統合装置。
【請求項６】
前記任意の３点を結んで形成される三角形の面積が、前記３点により形成される三角形の最大面積の所定の割合以上となるように、前記３点が選択される請求項４に記載の画像統合装置。
【請求項７】
前記任意の３点を結んで形成される三角形の３辺の和が、前記３点により形成される三角形において最大となる３辺の和の所定の割合以上となるように、前記３点が選択される請求項４に記載の画像統合装置。
【請求項８】
前記統合部は、ＩＣＰアルゴリズムを用いて、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような前記回転成分および前記並進成分を算出する請求項３に記載の画像統合装置。
【請求項９】
前記静止体領域抽出部は、動きの消失点を用いて静止体領域を抽出する請求項１または請求項２に記載の画像統合装置。
【請求項１０】
前記静止体領域抽出部は、ランドマークを用いて、パターン認識またはテンプレートマッチングにより、静止体領域を抽出する請求項１または請求項２に記載の画像統合装置。
【請求項１１】
前記静止体領域抽出部は、前記時系列画像中の動体領域を抽出し、前記時系列画像中の前記動体領域以外を静止体領域として抽出する請求項１または請求項２に記載の画像統合装置。
【請求項１２】
前記３次元画像情報算出部は、画像間における対応点探索を用いて、前記３次元画像情報を算出し、
前記対応点探索において、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いる請求項１に記載の画像統合装置。
【請求項１３】
前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである請求項１２に記載の画像統合装置。     
【請求項１４】
前記対応点探索は、位相限定相関法を用いている請求項１２に記載の画像統合装置。
【請求項１５】
前記時系列画像中における信号機を抽出する信号機抽出部をさらに備え、
前記統合部は、いずれかの前記時系列画像における前記抽出された信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とする、請求項１に記載の画像統合装置。
【請求項１６】
前記統合部は、前記時系列画像のうち、前記抽出された信号機のランプの輝度が最大の画像における信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とする、請求項１５に記載の画像統合装置。
【請求項１７】
移動しながら、異なる時間における複数の時系列画像を撮像する撮像工程と、
前記撮像工程により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出工程と、
前記３次元画像情報算出工程により算出された前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出工程と、
前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記静止体領域を一致させることで、前記時系列画像を統合する統合工程とを備えた画像統合方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列画像を統合する画像統合装置および画像統合方法に関する。
【背景技術】
【０００２】
近年、自動車業界では、安全性向上を目的とした様々なシステムの研究がなされている。特に、撮像装置を備えた画像センサを利用した危機回避システム等が開発されている。具体的には、撮像装置により撮像した画像をもとに、車両周辺の障害物等の特定や、その障害物の動きの解析等を行い、障害物を回避等するようなシステムが、開発されている。【０００３】
また、危険を回避できずに事故が起きた場合には、事故の原因究明等に役立つような様々な情報を、事故前後の画像を分析して抽出するシステムも開発されている。例えば、特許文献１には、交差点等に設置された撮像装置により、事故の前後の画像を取得し、この画像を解析することで、例えば事故車両の速度等の事故の状況を分析するシステムが開示されている。このシステムは、あらかじめ事故現場である交差点等の路面や横断歩道等の静止体のみを含むデータである平面図データを用意しておき、この平面図データに事故の際の画像を投影させることで、事故の状況を分析する。また、事故の状況の分析においては、３次元情報を得ることが好ましい。例えば多角度からの画像で分析することで、３次元情報を得ることが可能であり、３次元情報をもとに事故の状況を分析することは有用である。例えば、特許文献２には、多視点から入力された画像データをそれぞれ座標変換して、貼り合わせて３次元情報を容易に統合する技術が開示されている。【０００４】
しかし、特許文献１に開示された技術は、撮像装置であるカメラを固定設置し、あらかじめ平面図データを用意している場所での事故の状況分析にしか対応できないため、決まった場所の事故にしか対応できない。したがって、特許文献１に開示された技術は、移動体である車両に搭載されたカメラには適用できない。また、特許文献２に開示された技術は、事故の状況分析に使用することを想定した技術ではなく、静止体の３次元情報しか得ることができない。したがって、特許文献２に開示された技術では、例えば道路面、信号機、標識等の静止体の３次元情報を得ることができたとしても、車両や通行人等の動体における３次元情報を得ることは困難である。
【特許文献１】特開２００４−１０２４２６号公報
【特許文献２】特開平７−１７４５３８号公報
【発明の開示】
【０００５】
本発明は、上述の事情に鑑みて為された発明であり、その目的は、移動しながら撮像された、時系列画像を高精度で統合できる画像統合装置および画像統合方法を提供することである。
【０００６】
本発明の画像統合装置は、各時系列画像中から静止体領域を抽出し、各時系列画像間において対応する前記静止体領域を一致させることで、時系列画像を統合する。これにより、動体および静止体を含む時系列画像を正確に統合することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態に係る画像統合装置の構成を示すブロック図である。
【図２】対応点探索について説明するための図である。
【図３】操作者が静止体領域を選択する場合について説明するための図であって、図３（Ａ）は時刻Ｔにおける画像において静止体領域を選択した状態を示す図であり、図３（Ｂ）は時刻Ｔ＋Δｔにおける画像における静止体領域を選択した状態を示す図である。
【図４】本発明の一実施形態に係る画像統合装置の動作について説明するためのフローチャートである。
【図５】本発明の一実施形態に係る撮像装置により撮像された時系列画像を示す図である。
【図６】本発明の一実施形態において静止体領域を抽出した状態の時系列画像を示す図である。
【図７】本発明の一実施形態に係る統合部の動作を説明するためのフローチャートである。
【図８】本発明の一実施形態において統合された画像を示す図であって、図８（Ａ）は撮像部により撮像された画像による統合画像を示す図であり、図８（Ｂ）は統合画像を俯瞰表示に変換した画像を示す図である。
【発明を実施するための最良の形態】
【０００８】
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。【０００９】
まず、本発明の実施形態に係る画像統合装置の構成について説明する。図１は本発明の一実施形態に係る画像統合装置の構成を示すブロック図である。図１に示すように、画像統合装置１００は、撮像部１と、演算処理部２と、表示装置３と、入力部４とを備えて構成される。なお、撮像部１は車両等の移動体に搭載され、時系列画像を取得するものである。撮像部１は、例えばＣＣＤ（Charge-Coupled Devices）等の撮像素子を有するカメラである。また、撮像部１は、適当な距離だけ離間させて左右に設置された２つのカメラを備えて構成される、ステレオカメラであることが好ましい。これにより、画像統合装置１００は、撮像部１により撮像した画像の３次元画像情報を得ることができる。ここで、前記ステレオカメラにおける左右それぞれのカメラは、被写体を同じタイミングで撮像し、左右一対の画像を得る。なお、左右のカメラの収差は良好に補正されており、かつ、これらは相互に平行に設置されていることが好ましい。このように、ステレオカメラにおいて、各カメラが平行に設置されることで、平行化された画像が得られる。なお、３次元画像情報とは、ステレオ時系列画像等から得ることができる、カメラの位置を基準とした３次元座標、２次元および３次元動きベクトル等をいう。【００１０】
演算処理部２は、各種電子部品や集積回路部品、ＣＰＵ（Central  Processing  Unit）、記憶部等からなる。なお、記憶部は、例えば、画像統合装置１００の制御プログラム等を記憶するＲＯＭ（Read  Only  Memory）や、演算処理、制御処理などのデータや、撮像部１により撮像された画像を一時的に格納するＥＥＰＲＯＭ（Electrically  Erasable  Programmable  ROM）やＲＡＭ（Random  Access  Memory）やフラッシュメモリ等の不揮発性メモリ等を備えて構成されている。演算処理部２は、３次元画像情報算出部５と、静止体領域抽出部６と、統合部７とを備えて構成される。３次元画像情報算出部５は、撮像部１で撮像した時系列ステレオ画像をもとに、各画像における３次元画像情報を算出する。具体的には、３次元画像情報算出部５は、画像上の点の３次元座標およびオプティカルフローを求める。時系列ステレオ画像をもとに、画像の３次元画像情報（３次元座標およびオプティカルフロー等）を得る技術は、公知である。具体的には、画像の３次元画像情報は、ある画像上の点に対応する点を、その画像に対応する画像上から探索する（対応点探索）ことで得られる。例えば、一対のステレオ画像同士において、対応点探索を行うことで、その時刻における３次元座標が得られる。また、例えば、同一のカメラで撮像した、撮像時間の異なる画像同士において、対応点探索を行うことで、その点のオプティカルフローが求められる。なお、撮像部１がステレオカメラでなく、単眼カメラである場合は、画像統合装置１００は、３次元計測ができる機器、例えば、レーザやミリ波による計測器を備えることとすればよい。そして、３次元画像情報算出部５は、この計測器の計測値および、単眼カメラにより撮像された時系列画像を関連づけて、３次元画像情報を得ることができる。【００１１】
以下に、対応点探索について説明する。例えば、基準画像上の任意の注目点に対応する参照画像上の点（対応点）を探索して求める方法として相関法がある。なお、参照画像は、基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が基準画像であり、他方は参照画像である。また、時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が基準画像であり、時間的に後の画像が参照画像である。この基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する参照画像上のウィンドウが探索され、この探索されたウィンドウから対応点が求められる。【００１２】
以下に、具体的な対応点探索について説明する。撮像部１により撮像された画像のいずれかは基準画像とされ、その基準画像に注目点が設定され、基準画像上に注目点を含むテンプレートが設定される。ここで、テンプレートとは基準画像において一定の領域で区切られた範囲であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。そして、このテンプレートと、当該基準画像と対応する参照画像において複数設定されたウィンドウとの相関値（類似度）が算出され、相関値に基づいて、これらテンプレートとウィンドウとが対応しているか否かが判断される。なお、ウィンドウとは参照画像において複数生成された、テンプレートと同一の大きさの範囲の領域であって、その範囲内における各画素の輝度値等の情報（画像パターン）を有している。上述のように、テンプレートとウィンドウとの画像パターンから相関値が求められる。例えば、テンプレートといずれかのウィンドウとの相関値が求められ、仮に、これらの相関値が低いことから、これらが対応しないと判断されれば、例えば１画素いずれかの方向にずれた位置に生成されたウィンドウとテンプレートとの相関値が求められる。このようにして、順次ウィンドウが変更されながら相関値が求められ、相関値がピークの値をとるウィンドウ、つまりテンプレートに対応するウィンドウが求められる。【００１３】
このような、対応点探索の方法は、公知であり種々の方法が提案されている。例えば、テンプレートに対応するウィンドウを求める時間を短縮する方法についても種々提案されている。これらの方法のうち、いくつかについて、簡単に説明する。例えば、上述したように、基準画像がステレオ画像の一方の画像であり、参照画像が他方の画像であって、各画像を撮像したカメラは平行に配置されている場合は、基準画像と参照画像とがほとんど平行に配置されている。そうすると、参照画像上における対応点は、基準画像上における注目点と同じ高さ位置にあると仮定できるので、この高さ位置のウィンドウのみ、テンプレートとの相関値が求められればよい。また、基準画像と参照画像とがほとんど平行に配置されていて、かつ基準画像と参照画像との視差がある程度分かっている場合は、ウィンドウの設定範囲はさらに限定され得る。このように、ウィンドウの設定範囲が限定されれば、テンプレートとの相関値を求めるウィンドウの数が抑制されるので、対応するウィンドウの探索は短時間でなされ得る。【００１４】
また、別の方法としては、多重解像度戦略による探索方法とよばれているものがある。この方法は、一旦、基準画像および参照画像が低解像度化されて、すなわち画素数が減少される。そして、その状態で相関値演算が行われ、注目点に対して相関値がピークになる座標が求められる。そして、解像度が元に戻されて、ウィンドウの設定範囲が低解像度で求まった座標周辺に絞り込まれて、対応点探索が行われる。基準画像および参照画像の解像度が低い状態では、画像パターンの情報が減少しているので、相関値は短時間で求められ得る。また、そうして求められた低解像度での相関値がピークである座標付近に、本来の解像度における相関値がピークとなる座標が存在するはずである。このように、対応するウィンドウが存在する範囲が短時間で確定されるので、対応するウィンドウも短時間で探索され得る。なお、この方法においては、何段階かに分けた複数の低解像度画像が作成されることとし、徐々に探索範囲が絞り込まれることとしてもよい。【００１５】
次に、相関値の具体的な算出方法について説明する。相関値を求めるための関数としては、例えば、ＳＡＤ（Sum  of  Absolute  Difference）法、ＳＳＤ(Sum  of  Squared  Difference)法（２乗残差法）、ＮＣＣ（Normalize  cross  Correlation）法（正規化相互相関法）等が知られている。例えばＳＡＤ法は、テンプレートおよびウィンドウの輝度値の絶対値による総和を求める関数であって、この関数により、ウィンドウごとの相関値が求められる。また、上記ＳＡＤ法等に比べてロバスト性を有する相関値演算の方法もある。具体的には、この相関値演算の方法は、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法である。この相関値演算の方法は、ステレオ画像における左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算を実現可能とする。なお、画像パターンの周波数分解信号を計算する手法は、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などが知られている。ここでは、このようなロバスト性を有する相関値演算のうち位相限定相関法（以下、ＰＯＣ法という）について簡単に説明する。【００１６】
ＰＯＣ法においても、基準画像上にテンプレートが設定され、参照画像上に同じ大きさを持つウィンドウが設定される。そして、参照画像上のウィンドウをずらしながら、テンプレートと各ウィンドウとの相関値（ＰＯＣ値）が計算され、その相関値からテンプレートに対応するウィンドウが求められる。まず、基準画像のテンプレートおよび参照画像のウィンドウは、それぞれ２次元離散フーリエ変換され、規格化された後、合成され、２次元逆離散フーリエ変換される。このようにして、相関値であるＰＯＣ値が求められる。また、ＰＯＣ値は画素ごとに離散的に求まるため、ウィンドウ内における画素ごとの相関値を求めることができる。つまり、上述のＳＡＤ法等では、ウィンドウごとの相関値が求められるが、ＰＯＣ法はウィンドウ内の画素ごとの相関値も求められる。したがって、ウィンドウの設定範囲を絞り込むことが容易であり、対応点を求める処理が高速でできるという効果を奏する。また、上記ＰＯＣ法等のロバスト性を有する相関値演算方法においては、ＳＡＤ法等のようにウィンドウが１画素ずつずらされることで、相関値の算出が行われる必要はなく、ウィンドウが複数画素分ずらされても、相関値の算出は行われる。具体的に、どれだけずらすことができるかは、対応点の探索可能範囲に依存するが、一般的には、ウィンドウサイズの半分くらいであるといわれている。つまり、例えば、ずらされたウィンドウと、ずらされる前のウィンドウとが、ウィンドウサイズの半分程度において重なるように設定されればよい。例えば、基準画像と参照画像との視差の最大を１２８画素とし、ウィンドウサイズを３１×３１とし、ＰＯＣ法により探索できる範囲をウィンドウの重心位置に対して±８画素と仮定すると、この視差を探索するためには、ウィンドウは１６画素ずつずらされればよいので、８個のウィンドウが設定されればよい。なお、ＰＯＣ法においても、上述の多重解像度戦略による探索方法を用いることができる。上述の例では、８個のウィンドウが設定されればよかったが、さらに多重解像度戦略による探索方法を用いることで、例えば画像を１／１６に縮小すれば、設定されるウィンドウは１個でよくなる。これにより、さらに容易に対応点の探索ができる。【００１７】
なお、ＰＯＣ法以外でも、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて相関値演算を行う方法は知られている。例えばＤＣＴ符号限定相関法（「画像信号処理と画像パターン認識の融合−ＤＣＴ符号限定相関とその応用」，貴家仁志，首都大学東京  システムデザイン学部  動的画像処理実利用化ワークショップ２００７，２００７．３．８−９参照）等があり、これらを用いて相関値演算を行ってもよい。【００１８】
上述の対応点探索の方法により、注目点に対応する対応点が求められた場合は、必要であれば、その対応点を注目点として、新たな対応点探索が行われる。このような処理が繰り返されることで、時系列ステレオ画像において、任意の注目点に対応する点が複数の画像から求められる。ここで、時系列ステレオ画像における対応点探索について、簡単に説明する。図２は対応点探索について説明するための図である。なお、図２に示された画像は、固定されたステレオカメラにより撮像された画像である。【００１９】
図２において、時刻Ｔ１に撮影されたステレオ画像である画像Ｌ１と画像Ｒ１とが示されている。なお、説明を簡略化するために、これらの画像を撮像した一対の左右に配置されたカメラを有するステレオカメラにおいて、各カメラは平行配置されているとする。また、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された画像Ｌ２と画像Ｒ２とが示されている。なお、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２において、各マス目が１画素を示している。まず、時刻Ｔ１における画像Ｌ１における点１１ａが注目点（始点）として入力されているとする。この点１１ａに対応する点である、画像Ｒ１上の点１１ｂが対応点探索により求められる。また、点１１ａを注目点とした場合に、時刻Ｔ２での画像Ｌ２上において点１１ａに対応する点１２ａが対応点探索により求められている。そして、この点１２ａを注目点として、時刻Ｔ２における画像Ｒ２においてこれに対応する点１２ｂが対応点探索により求められている。なお、各点１１ａ、１１ｂ、１２ａ、１２ｂは実際には点であるが、見易さを考慮して、図２においては画素と同じ大きさで図示している。【００２０】
点１１ａの座標を（ｐ１ｘ，ｐ１ｙ)とし、点１１ｂの座標を（ｑ１ｘ，ｑ１ｙ)とし、点１２ａの座標を（ｐ２ｘ，ｐ２ｙ)とし、点１２ｂの座標を（ｑ２ｘ，ｑ２ｙ)とする。なお、図面の上下方向が各画像のＹ方向であり、左右方向が各画像のＸ方向である。なお、上述したように、各カメラは平行配置されているので、点１１ａおよび点１１ｂのＹ座標は同じであり、点１２ａおよび点１２ｂのＹ座標も同じである。【００２１】
まず、点１１ａおよび点１１ａにより求めた点１１ｂの座標より、画像Ｌ１およびＲ１における視差を示すベクトルであるΔｄ１が求められる。具体的には、Δｄ１は（ｑ１ｘ−ｐ１ｘ，０）である。また、点１１ａおよび点１１ａにより求めた点１２ａの座標より、画像Ｌ１およびＬ２における動きを示すベクトルであるΔｆ１が求められる。具体的には、Δｆ１は（ｐ２ｘ−ｐ１ｘ，ｐ２ｙ−ｐ１ｙ）である。また、点１２ａおよび点１２ａにより求めた点１２ｂの座標より、時刻Ｔ２の画像における視差を示すベクトルであるΔｄ２が求められる。具体的には、Δｄ２は（ｑ２ｘ−ｐ２ｘ，０）である。【００２２】
なお、Δｄ１をもとに、時刻Ｔ１における画像より得た画像の奥行きの距離Ｄ１が求まる。ここで、距離Ｄ１は、図２における紙面垂直方向の座標であり、この座標をＺ座標とする。また、画像Ｌ１、Ｒ１、Ｌ２、Ｒ２を撮像したステレオカメラにおける、各カメラの焦点距離をｆとし、各カメラ同士の基線長をＢとすると、Ｄ１は式１で表される。なお、式１において、Δｄ１はベクトルの大きさである。
Ｄ１＝ｆＢ／Δｄ１・・・（１）【００２３】
また、同様に、時刻Ｔ２における画像より得た画像の奥行き（Ｚ座標方向）の距離Ｄ２は、Δｄ２を用いて、式２で表される。なお、式２において、Δｄ２はベクトルの大きさである。
Ｄ２＝ｆＢ／Δｄ２・・・（２）【００２４】
これらより、時刻Ｔ１における点１１ａおよび１１ｂにおける３次元座標（Ｘ１，Ｙ１，Ｚ１）は、（ｐ１ｘ・Ｄ１／ｆ，ｐ１ｙ・Ｄ１／ｆ，Ｄ１）と表すことができ、時刻Ｔ２における点１２ａおよび１２ｂにおける３次元座標（Ｘ２，Ｙ２，Ｚ２）は、（ｐ２ｘ・Ｄ２／ｆ，ｐ２ｙ・Ｄ２／ｆ，Ｄ２）と表すことができる。【００２５】
これら３次元座標（Ｘ１，Ｙ１，Ｚ１）および（Ｘ２，Ｙ２，Ｚ２）から３次元オプティカルフローが求められる。具体的には、３次元オプティカルフローは、（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）で表されるベクトルである。【００２６】
このようにして、３次元画像情報算出部５は撮像部１により撮像された画像上の任意の点について、その３次元座標およびオプティカルフロー等を算出する。【００２７】
なお、単眼カメラにより撮影された時系列画像からは、２次元オプティカルフローを算出することができる。この場合は、上述したステレオカメラによる画像のうち、一方のカメラで撮影した画像について考えればよい。例えば画像Ｌ１およびＬ２を取得して、点１１ａに対応する点１２ａを探索して求め、点１１ａおよび１２ａから２次元オプティカルフローを求めればよい。つまり、２次元オプティカルフローは上記Δｆ１で表される。撮像部１が単眼カメラであれば、３次元画像情報算出部５は、２次元オプティカルフローに加えて、前記３次元計測ができる機器の計測値をもとに３次元画像情報を算出する。【００２８】
なお、３次元画像情報算出部５は、上述の方法以外の方法により３次元画像情報を算出してもよい。【００２９】
静止体領域抽出部６は、３次元画像情報算出部５において算出された３次元座標、２次元オプティカルフローおよび３次元オプティカルフロー等をもとに、各画像における静止体領域を抽出する。ここで、静止体とは、例えば、信号機や、路面、横断歩道、壁等であって、実際に固定されているものをいい、画像上で静止しているものを指すわけではない。撮像部１は移動体である車両等に搭載されていることから、撮像部１自体も移動している。それにより、時系列画像上において、信号機や、路面、横断歩道、壁は、移動している。ここで、静止体領域とは、画像における静止体が占める範囲をいう。このように、画面上では固定されていないが、実際には移動していない静止体領域を画像から抽出する方法として、いくつかの公知技術がある。静止体領域抽出部６は、これらの方法を用いて、画像より静止体領域を抽出する。【００３０】
まず、例えば、動きの消失点を用いて静止体領域を抽出する方法について説明する。ここで、動きの消失点とは、画像上の各画素におけるオプティカルフローを延長した直線が交わる点である。この消失点は、画像上の物体の移動方向に応じて定まる。すなわち、カメラが同一方向に移動している場合またはカメラが固定である場合において、同一物体であれば同一方向に移動していることから、その物体に対しての消失点が存在する。また、静止体領域に関しては、静止していることから、すべての静止体領域の消失点は同一の点となる（「主成分分析を用いた移動物体認識法の検討」，情報処理学会  研究報告  −  コンピュータビジョンとイメージメディアＶｏｌ．１９９６，Ｎｏ．３１，１９９５−ＣＶＩＭ−０９９，文献番号：ＩＰＳＪ−ＣＶＩＭ９５０９９００８参照）。つまり、信号機や、路面、横断歩道、壁等のいずれを構成する点におけるオプティカルフローを延長した直線は同一の点で交わる。なお、撮像部１により撮像される画像のほとんどは、静止体領域であると考えられる。したがって、最も多くのオプティカルフローに対する消失点が静止体領域の消失点であると推測される。つまり、画像から求めた消失点のうち、最も多くの画素に対する消失点は静止体領域の消失点であるとされ、その消失点で交わる延長されたオプティカルフローから静止体領域が抽出される。また、オプティカルフローは、３次元画像情報算出部５により算出しているので、消失点を求めるために新たにオプティカルフローを算出する必要はなく、消失点を容易に算出することができるという効果を奏する。【００３１】
また、信号機、標識、看板等のように、存在することが予想される静止体すなわちランドマークを、パターン認識あるいはテンプレートマッチングにより検出することで、静止体領域が抽出されることとしてもよい。パターン認識においては、信号機等のランドマークはあらかじめ演算処理部２において学習・記憶され、それにより、画像から静止体領域である信号機は、例えばＳＶＭ（Support vector machine；サポートベクターマシン）やＡｄａＢｏｏｓｔ等の手法を用いることで検出される。テンプレートマッチングにおいても、信号機等のランドマークのテンプレート画像があらかじめ用意され、例えば演算処理部２の記憶部に記憶されている。上述の対応点探索と同様に、そのテンプレート画像と相関値の高い箇所が画像上から探索されることで、信号機等のランドマークが抽出される。【００３２】
また、パターン認識やテンプレートマッチングのように、あらかじめ静止体領域の物体についての情報が用意・記憶されているのではなく、撮像部１により撮像した画像を見ながら操作者が静止体領域を選ぶことで、静止体領域が選択されることとしてもよい。図３は操作者が静止体領域を選択する場合について説明するための図であって、図３（Ａ）は時刻Ｔにおける画像において静止体領域を選択した状態を示す図であり、図３（Ｂ）は時刻Ｔ＋Δｔにおける画像における静止体領域を選択した状態を示す図である。例えば、操作者は、表示装置３に撮像した画像を表示させて、入力部４であるマウス等を操作することで、表示装置３に表示された画像における静止体領域を選択していけばよい。例えば、図３（Ａ）に示すように、表示装置３に表示された画像から、道路と歩道との境界付近および壁面等を含む静止体領域２１、信号機および横断歩道等の路面を含む静止体領域２２、歩道、路面および壁面等を含む静止体領域２３および路面および路面に形成された車線等を含む静止体領域２４を設定している。このように、静止体領域２１、２２、２３、２４を設定する作業をすべての撮像された画像に関して行うこととしてもよいし、例えば、一つの画像について行い、その画像を基準画像として、その他の画像について対応点探索により追尾して、静止体領域を求めていくこととしてもよい。例えば、図３（Ａ）が時刻Ｔであり、図３（Ｂ）は時刻Ｔ＋Δｔの画像であるから、図３（Ｂ）は図３（Ａ）からΔｔ後の画像である。撮像部１が搭載された移動体は移動しているため、図３（Ａ）および図３（Ｂ）において、静止体領域２１、２２、２３、２４の位置は異なっている。また、静止体領域２４は図３（Ｂ）においては移動体である車両が割り込んできているので、対応点探索では探索することはできない。そこで、このような場合は、静止体領域２４は、静止体領域の候補からはずすこととすればよい。なお、このように、はじめに静止体領域を入力し、あとはこの静止体領域を追尾していく方法としては、対応点探索による方法だけでなく、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法等のオプティカルフローを算出する演算を用いる方法等がある。【００３３】
静止体領域抽出部６は、上述のように画像中の静止体領域を直接抽出してもよいが、動体領域を画像中から抽出した後に、それ以外の領域を静止体領域として抽出してもよい。ここで、動体とは、実際に移動している物体であり、例えば、車両、バイク、自転車、歩行者等である。また、画像において、動体が占める範囲を動体領域という。静止体領域抽出部６は、これらを、パターン認識あるいはテンプレートマッチングにより検出することで動体領域を抽出してもよい。また、例えば、特開平７−３３４８００号公報に記載された方法により、静止体領域抽出部６は、動体領域を抽出してもよい。特開平７−３３４８００号公報に記載された方法は、具体的には、画像中のエッジ分布と左右対称性等から、画像上の車両を検出する方法である。なお、この方法では、歩行者を検出することは困難であると考えられる。静止体領域抽出部６は、これらの方法により、動体領域を抽出し、それにより画像における動体領域以外を静止体領域として抽出してもよい。【００３４】
また、移動体に搭載された撮像部１により撮像されたステレオ時系列画像より、距離情報およびオプティカルフローを求めて、さらに、撮像部１の速度によりこれらを補正することで画像上の静止体と動体とを判別してもよい（例えば、特開２００６−１３４０３５号参照）。静止体領域抽出部６は、この方法により、静止体領域を抽出してもよい。【００３５】
なお、静止体領域抽出部６は、画像上の静止体領域をすべて抽出する必要はない。また、静止体領域は、面積を有する領域である必要はなく、点（画素）であってもかまわない。静止体領域を抽出する方法として、いくつかの方法を上述したが、静止体領域抽出部６は、これらのうち、一つの方法により静止体領域を抽出してもよいし、いずれかの方法を選択的に用いて静止体領域を抽出することとしてもよい。例えば、特開平７−３３４８００号公報に記載の方法では、歩行者を検出することはできないことから、静止体領域抽出部６は、まずこの方法を使用する。そして、静止体領域抽出部６が、この方法で動体領域を抽出できない場合は、他の方法で動体領域を抽出して、その後、画像のそれら以外の領域を静止体領域として抽出することとしてもよい。また、静止体領域抽出部６は、通常は、ランドマークによりパターン認識またはテンプレートマッチングにより、静止体領域を抽出することとし、画像上に用意されたランドマークが存在しない場合は、別の方法にて静止体領域を抽出することとしてもよい。なお、静止体領域抽出部６は、上述の方法以外により静止体領域を抽出することとしてもよい。【００３６】
なお、画像統合装置１００が、自動車同士の追突等の交通事故の原因等を究明するためのドライビングレコーダとして使用される場合は、動体の時系列的な位置の変化だけでなく、それと関連して信号機の表示も重要となる。そこで、時刻に関連づけて、信号機において、赤、青、黄のいずれのランプが点灯しているかの情報を合わせて抽出することが好ましい。そこで、静止体領域抽出部（信号機抽出部）６は、信号機の静止体領域を抽出しておくことが好ましい。【００３７】
統合部７は、静止体領域抽出部６により抽出された静止体領域を、各時系列画像において一致させることで、各時系列画像を統合する。したがって、統合した画像においては、静止体領域には変化がないが、動体領域は同一の被写体に対して複数存在し得る。すなわち、時間によって、動体の存在位置が異なることから、統合した画像上には、統合した時系列画像の数（フレーム数）に応じた動体が存在し得る。【００３８】
具体的には、統合部７は、静止体領域抽出部６により抽出された、基準となる画像における静止体領域のうちの任意の３点を選択する。なお、この３点は３次元座標において同一直線上にないものとする。画像上の各点（画素）における３次元座標は、３次元画像情報算出部５により算出されている。したがって、これら３点の３次元座標も３次元画像情報算出部５によって算出されているため、統合部７が、同一直線上にない３点を選択することは容易にできる。この画像と次フレームの画像とを統合する場合は、統合部７は、これら３点に対応する、次フレームの画像上の点が必要である。例えば、統合部７は、上述した対応点探索の方法により、対応する３点を算出してもよい。また、統合部７は、例えば、Ｌｕｃａｓ−Ｋａｎｅｄａ法等のオプティカルフローを求めるための演算方法を用いて、対応する３点を求めてもよい。統合部７は、例えば、時刻Ｔにおける画像と、時刻Ｔ＋Δｔにおける画像とを統合する場合は、時刻Ｔにおける画像の静止体領域から同一直線上にはない３点を選択し、これらに対応する、時刻Ｔ＋Δｔにおける画像上の点を求める。そして、統合部７は、時刻Ｔにおける３点により構成される面に、時刻Ｔ＋Δｔにおける３点により構成される面を一致させるために必要な、時刻Ｔ＋Δｔにおける３点の３次元座標の座標変換に必要な回転成分および並進成分を算出する。つまり、統合部７は、時刻Ｔにおける３点から構成される面の法線ベクトルに、時刻Ｔ＋Δｔにおける３点から構成される面の法線ベクトルを一致させ、時刻Ｔにおける３点のいずれか１点に時刻Ｔ＋Δｔにおける３点のいずれかを合わせるか、時刻Ｔにおける３点の重心に時刻Ｔ＋Δｔにおける３点の重心を合わせるような回転成分および並進成分を算出する。統合部７は、時刻Ｔ＋Δｔの画像における各画素を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像の静止体領域に時刻Ｔ＋Δｔの画像の静止体領域が一致して合わせられる。動体領域については互いの画像は一致しないことから、各動体は、統合された画像上において２つ存在することになる。なお、動体の移動速度が遅い場合は、その動体は、統合された画像上に、２つ存在しない場合もあり得る。【００３９】
ここで、基準となる画像において選択された３点は、３次元座標においてそれぞれ互いに離れていることが好ましい。それにより、局所的な一致でなく、静止体領域の広い範囲において、静止体領域が一致することとなり、より確実に一致することとなり、高精度の統合画像を得ることができる。しかし、選択された３点間の距離が広くなるほど、各時系列画像において、これら選択された３点に対応する点が存在する可能性が低くなる。そのため、選択された３点間の距離は、統合により作成される画像に応じて、適宜好ましい値とすればよい。具体的には、高精度の統合画像を得る必要がある場合は、これら選択された３点を結んで形成される三角形の面積が、画像中の３点により形成され得る三角形の最大面積の０．８以上となることが好ましい。また、これら３点を結んで形成される三角形の３辺の和が、画像中の３点により形成され得る三角形において最大となる３辺の和の０．８以上となることが好ましい。また、精度および選択しやすさの両面を考慮するのであれば、これら選択された３点を結んで形成される三角形の面積が、画像中の３点により形成され得る三角形の最大面積の０．６以上となることが好ましい。また、これら３点を結んで形成される三角形の３辺の和が、画像中の３点により形成され得る三角形において最大となる３辺の和の０．６以上となることが好ましい。また、各時系列画像のコントラストが低く、それぞれに対応する点も少ない場合であって、最低限の精度を有する統合画像を得るためには、これら選択された３点を結んで形成される三角形の面積が、画像中の３点により形成され得る三角形の最大面積の０．４以上となることが好ましい。また、これら３点を結んで形成される三角形の３辺の和が、画像中の３点により形成され得る三角形において最大となる３辺の和の０．４以上となることが好ましい。【００４０】
また、静止体領域を一致させるための上記３点は、３点を一つの組として、複数組設定することとしてもよい。そして、統合部７は、これら複数組により、最小二乗的に、上記回転成分および並進成分を算出すればよい。それにより、統合部７は、より安定した解（回転成分および並進成分）を求めることができ、画像統合の精度が高くなる。【００４１】
また、静止体領域を一致させる方法としては、ＩＣＰ（Iterative  Closest  Points）アルゴリズムを用いる方法がある。具体的には、統合部７は静止体領域抽出部６により抽出された、基準となる画像における静止体領域における任意の複数の点における３次元座標を初期値とし、これら複数の点に対応する、統合する画像（次フレームの画像）上の点を、対応点探索の方法またはＬｕｃａｓ−Ｋａｎｅｄａ法等により求める。そして、統合部７は、ＩＣＰ（Iterative  Closest  Points）アルゴリズムを用いることで、これら２つの画像それぞれの複数の点の位置合わせを行うことができる。つまり、統合部７は、基準となる時刻Ｔの静止体領域における複数の点に、これらに対応する時刻Ｔ＋Δｔの静止体領域における複数の点を３次元座標において一致させるために必要な、時刻Ｔ＋Δｔにおける複数の点の３次元座標における座標変換に必要な回転成分および並進成分を算出することができる。そして、統合部７は、時刻Ｔ＋Δｔの画像における各画素を、算出された回転成分および並進成分により変換することで、時刻Ｔの画像の静止体領域に時刻Ｔ＋Δｔの画像の静止体領域が一致して合わせられる。なお、動体領域については互いの画像は一致しないことから、各動体は、統合された画像上において２つ存在することになる。なお、動体の移動速度が遅い場合は、その動体は、統合された画像上に、２つ存在しない場合もあり得る。【００４２】
このように、ＩＣＰアルゴリズムを用いることで、対応する複数の点について、統合部７は、ノイズに影響されにくいロバストな位置合わせが可能である。【００４３】
なお、時刻Ｔにおける画像と時刻Ｔ＋Δｔにおける画像との統合について上述したが、統合部７は、同様に、さらに多くの画像を統合していけばよい。統合部７は、例えば、時刻Ｔ＋２×Δｔ、時刻Ｔ＋３×Δｔ・・・における画像も合わせて時刻Ｔの画像に統合すればよい。また、このように複数の時系列画像を統合する場合は、静止体領域を一致させるために選択した３点に対応する点が画像上に存在しなくなっていることもある。そこで、各時系列画像に応じて、これら３点は変更（更新）されることが好ましい。【００４４】
また、統合部７は、統合する各時系列画像中に信号機が存在する場合は、統合された画像における信号機のランプの色は、いずれかのフレームにおける信号機のランプの色とすればよい。例えば、統合したすべてのフレームにおける信号機のランプのうち、輝度値が最大値のランプの色を統合された画像における信号機のランプの色とすればよい。【００４５】
表示装置３は、例えば、ＣＲＴ（Cathode  Ray  Tube）ディスプレイ、ＬＣＤ（Liquid  Crystal  Display）、有機ＥＬ（Electro-Luminescence）ディスプレイおよびプラズマディスプレイ等の表示装置であり、上記統合された画像や、統合される前の画像等が表示される。【００４６】
入力部４は、例えば、キーボードや、マウス等であり、画像統合装置１００の操作指令の入力や、上記静止体領域の選択等に用いられる。【００４７】
次に、本発明の一実施形態に係る画像統合装置１００の動作について図４を用いて説明する。なお、図４は本発明の一実施形態に係る画像統合装置１００の動作について説明するためのフローチャートである。車両（移動体）に搭載された撮像部１は、例えば車両の進行方向にレンズを向けて設置され、随時撮像を繰り返す（Ｓ１０１）。なお、撮像部１は左右一対のステレオカメラであることが好ましく、これら一対のカメラは同時に撮像を行い、時系列ステレオ画像を得る。なお、撮像部１が単眼カメラである場合は、上記３次元計測ができる機器は計測を行っている。ここで、時系列画像の一例について図を用いて説明する。図５は本発明の一実施形態に係る撮像装置により撮像された時系列画像を示す図である。図５において、上段は時刻Ｔにおいて撮像された画像であり、下段は時刻ＴよりもΔｔ後である、時刻Ｔ＋Δｔにおいて撮像された画像である。時刻Ｔにおける画像において、静止体である信号機３４ａ、動体である歩行者３１ａ、車両３２ａ、車両３３ａが画像上に存在している。そして、時刻Ｔ＋Δｔにおける画像においては、静止体である信号機３４ｂ、動体である歩行者３１ｂ、車両３２ｂが画像上に存在している。これらの画像より、信号機３４ａおよび信号機３４ｂは同一の信号機の画像であり、信号機３４ａに比べて信号機３４ｂが大きく表示されているのは、撮像部１が信号機により接近しているからである。また、歩行者３１ａと歩行者３１ｂとは同一の歩行者の画像であり、歩行者３１ｂの方がより車道側（図において右方向）へ進んでいる。また、車両３２ａおよび車両３２ｂは同一の車両の画像であり、車両３２ｂの方がより信号機に近づいている。また、車両３２ｂは車両３２ａに比べて大きく表示されているが、これは撮像部１が当該車両に接近しているからである。また、車両３２ａと同一の車両は時刻Ｔ＋Δｔの画像においては、表示されていない。車両３２ａは信号機３４ａから離れる方向へと移動していることから、時刻Ｔ＋Δｔにおいては画像の範囲外に移動している。【００４８】
撮像部１によって撮像された画像は３次画像元情報算出部５に送られる。３次元画像情報算出部５では、各画像における各点の３次元画像情報を算出する（Ｓ１０２）。具体的には、３次元画像情報算出部５は、各点の２次元オプティカルフロー、３次元座標、３次元オプティカルフロー等を算出する。【００４９】
静止体領域抽出部６は３次元画像情報算出部５からの３次元画像情報をもとに、各画像における静止体領域を抽出する（Ｓ１０３）。なお、この際に、操作者は表示装置３に表示された各画像を見ながら、その画像における静止体領域を入力部４により直接指示することとしてもよい。ここで、静止体領域を抽出した状態の時系列画像の一例について図を用いて説明する。図６は本発明の一実施形態において静止体領域を抽出した状態の時系列画像を示す図である。図６において、上段は時刻Ｔにおいて撮像された画像であり、下段は時刻ＴよりもΔｔ後である、時刻Ｔ＋Δｔにおいて撮像された画像である。なお、図６に示した画像は、図５の画像をもとに静止体領域を抽出している。時刻Ｔにおける画像において、静止体である信号機４４ａは表示されているが、動体である歩行者、車両については、動体領域４１ａ、４２ａ、４３ａとして塗りつぶされて表示されている。図６において、表示されている画像が静止体領域である。そして、時刻Ｔ＋Δｔにおける画像においては、静止体である信号機４４ｂは表示されているが、動体である歩行者、車両については、動体領域４１ｂ、４２ｂとして塗りつぶされて表示されている。【００５０】
そして、統合部７は、静止体領域抽出部６により抽出された各画像の静止体領域が一致するように、時刻Ｔ＋Δｔにおける画像を変換するような回転成分および並進成分を算出し、時刻Ｔ＋Δｔにおける画像を変換して、時刻Ｔにおける画像と時刻Ｔ＋Δｔにおける画像とを重ね合わせて、各画像を統合する（Ｓ１０４）。統合部７は、具体的には、静止体領域抽出部６により抽出された、基準となる画像における静止体領域のうちの３点あるいは複数の点を選択し、その画像に統合する画像から、これら３点に対応する３点あるいはこれら複数の点に対応する複数の点を探索する。そして、統合部７は、基準となる画像の３点により構成される面に、それらに対応する３点により構成される面を一致させるための座標変換に必要な回転成分および並進成分を算出する。なお、統合部７は、複数の点を選択している場合は、ＩＣＰアルゴリズムを用いることで、変換用成分を算出する。そして、統合部７は、基準とする画像に統合する画像を、変換用成分を用いて変換し、変換した画像と基準となる画像を統合する。【００５１】
ここで、静止体領域のうちの３点により座標変換に必要な回転成分および並進成分（変換用成分）を算出する場合の、統合部７の動作について、特に図７を用いて説明する。図７は、本発明の一実施形態に係る統合部の動作を説明するためのフローチャートである。具体的には、図７は、静止体領域のうちの３点により座標変換に必要な回転成分および並進成分（変換用成分）を算出する場合の、統合部７の動作を説明するためのフローチャートである。なお、ここでは、高精度の統合画像が必要である場合について説明する。まず、統合部７は、静止体領域抽出部６により抽出された、基準となる画像における静止体領域のうちの任意の３点を選択する（Ｓ２０１）。そして、統合部７は、その３点が３次元座標において、一直線上にあるかを判断する（Ｓ２０２）。これら３点が一直線上にある場合は、ステップＳ２０１に戻り、統合部７は再び任意の３点を選択し直す。この場合は、統合部７は、例えば、一点のみ変更することとしてもよい。ステップＳ２０２において一直線上にない場合は、統合部７はこれら３点がそれぞれ十分に離れていて、これらの距離が適当であるかを判断する。具体的には、これら３点を結んで形成される三角形の面積が、画像中の３点により形成される得る三角形の最大面積の０．８以上となるか否かを判断する。ここで、画像中の３点により形成される三角形の面積が、画像中の３点により形成される得る三角形の最大面積の０．８以上でなければ、３点の距離は十分離れているとはいえないので、ステップＳ２０１に戻り、統合部７は再び任意の３点を選択し直す。また、画像中の３点により形成される三角形の面積が画像中の３点により形成される得る三角形の最大面積の０．８以上であれば、３点の距離は十分離れているので、統合部７は、その画像に統合する画像から、これら３点に対応する３点を探索する（Ｓ２０４）。そして、統合部７は、基準となる画像の３点により構成される面に、それらに対応する３点により構成される面を一致させるための座標変換に必要な回転成分および並進成分（変換用成分）を算出する（ステップＳ２０５）。そして、統合部７は、基準とする画像に統合する画像を、変換用成分を用いて変換し（ステップＳ２０６）、変換した画像と基準となる画像を統合する（ステップＳ２０７）。なお、信号機のランプの色については、各画像の信号機のランプの内、最大輝度を有するランプの色とすればよい。【００５２】
表示装置３は、統合された画像を表示する。ここで、統合された画像の一例について図を用いて説明する。図８は本発明の一実施形態において統合された画像を示す図であって、図８（Ａ）は撮像部により撮像された画像による統合画像を示す図であり、図８（Ｂ）は統合画像を俯瞰表示に変換した画像を示す図である。図８（Ａ）に示すように、両画像において信号機５４を含む静止体領域は一致し、重ね合わされているが、動体である車両５２ａ、５２ｂおよび車両５３ａ、５３ｂはそれぞれ２つ存在する。つまり、車両５２ａおよび車両５２ｂは同一の車両の表示であり。車両５２ａが時刻Ｔにおけるものであり、車両５２ｂが時刻Ｔ＋Δｔにおけるものである。また、車両５３ａおよび車両５３ｂは同一の車両の表示であり。車両５３ａが時刻Ｔにおけるものであり、車両５３ｂが時刻Ｔ＋Δｔにおけるものである。なお、歩行者５１も動体であるが、移動速度が車両に比べて遅く、Δｔの間にほとんど移動していないので、歩行者５１は重ね合わされて表示されている。また、この統合画像は３次元画像情報を有していることから、異なる方向から見た画像に変換することも可能である。具体的には、図８（Ｂ）に示すように、俯瞰表示とすることも可能である。例えば、このように俯瞰表示とすることで、車両５２ａ、５２ｂおよび車両５３ａ、５３ｂの速度の差等がよくわかる。車両５２ａと車両５２ｂ間の距離に比べて、車両５３ａと車両５３ｂ間の距離の方が長い。したがって、車両５３ａ、５３ｂの方が、車両５２ａ、５２ｂよりも速度が速い。【００５３】
このように、本実施の形態に係る画像統合装置により得られた統合画像は静止体領域で時系列画像を一致させていることから、動体の動きがわかりやすく、一目で車両等の動作状況がわかる。したがって、この統合画像を用いることで、事故等の状況分析を容易に行うことができるという効果を奏する。また、本実施の形態に係る画像統合装置の撮像部は、車両等に搭載して使用できることから、撮像場所が限定されることがない。【００５４】
本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。【００５５】
本発明に係る一態様に係る画像統合装置は、移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、前記撮像部により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出部と、前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記対応する静止体領域を一致させることで、前記時系列画像を統合する統合部とを備える。【００５６】
このように、画像統合装置は、時間的に異なる複数の画像における静止体領域を基準として、これら画像を統合するため、正確な画像の統合が可能である。また、画像統合装置は、一目で動体の動きを把握することが可能な、統合された画像を得ることができるという効果も奏する。【００５７】
また、上述の画像統合装置において、前記撮像部は、左右一対のステレオ画像を取得することができ、前記複数の時系列画像はそれぞれ前記ステレオ画像であって、前記３次元画像情報算出部は、前記ステレオ画像を用いて、前記各時系列画像における３次元画像情報を算出することが好ましい。【００５８】
このように、画像統合装置は、ステレオ画像を用いて３次元画像情報を得ることから、高精度の３次元画像情報を得ることができる。【００５９】
また、上述の画像統合装置において、前記統合部は、前記対応する静止体領域の一方において任意の複数の点を選択し、前記対応する静止体領域の他方において、前記任意の複数の点に対応する複数の点を算出し、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような回転成分および並進成分を算出することが好ましい。【００６０】
このように、統合部は、前記回転成分および並進成分を用いることで、前記対応する静止体領域を容易に一致させることができる。【００６１】
また、上述の画像統合装置において、前記静止体領域の一方において選択される前記任意の複数の点は任意の３点であり、前記対応する静止体領域の他方において、算出される点は、前記任意の３点に対応する３点であり、前記回転成分および前記並進成分は、前記任意の３点および前記任意の３点に対応する３点が一致するように算出されることが好ましい。【００６２】
これにより、統合部は、少数の点を用いて、上記回転成分および並進成分を算出することができるので、処理が高速である。【００６３】
また、上述の画像統合装置において、前記任意の３点は、統合される前記各時系列画像に応じて、変更されることが好ましい。【００６４】
これにより、前記３点は、統合される画像上に確実に存在する点の中から選択されることになる。したがって、統合される画像が複数であり、画像が随時増えていっても、画像統合装置は、確実に画像を統合することができる。【００６５】
また、上述の画像統合装置において、前記任意の３点を結んで形成される三角形の面積が、前記３点により形成される三角形の最大面積の所定の割合以上となるように、前記３点が選択されることが好ましい。【００６６】
これにより、各点同士の距離が離れることになる。これら３点が接近しすぎる場合には、統合部は、局所的な部分における静止体領域の一致を求めることになるが、このように、各点を離れた位置とすることで、より正確な静止体領域の一致を実現できる。【００６７】
また、上述の画像統合装置において、前記任意の３点を結んで形成される三角形の３辺の和が、前記３点により形成される三角形において最大となる３辺の和の所定の割合以上となるように、前記３点が選択されることが好ましい。【００６８】
これにより、各点同士の距離が離れることになる。これら３点が接近しすぎる場合には、統合部は、局所的な部分における静止体領域の一致を求めることになるが、このように、各点を離れ対置とすることで、より正確な静止体領域の一致を実現できる。【００６９】
また、上述の画像統合装置において、前記統合部は、ＩＣＰアルゴリズムを用いて、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような前記回転成分および前記並進成分を算出することが好ましい。【００７０】
これにより、統合部は、ＩＣＰアルゴリズムを用いることで、前記対応する複数の点について、ノイズに影響されにくいロバストな位置合わせが可能である。【００７１】
また、上述の画像統合装置において、前記静止体領域抽出部は、動きの消失点を用いて静止体領域を抽出することが好ましい。【００７２】
このように、静止体領域抽出部は、動きの消失点を用いることで、静止体領域を容易に抽出することができる。また、動きの消失点を求めるためには、オプティカルフローを求める必要があるが、前記３次元画像情報算出部はオプティカルフローを算出しているため、新たにオプティカルフローを算出する必要がないという効果も奏する。【００７３】
また、上述の画像統合装置において、前記静止体領域抽出部は、ランドマークを用いて、パターン認識またはテンプレートマッチングにより、静止体領域を抽出することが好ましい。【００７４】
これにより、静止体領域抽出部は、パターン認識またはテンプレートマッチングといった、簡易な方法により、静止体領域を抽出することができる。なお、ランドマークとしては、例えば、標識、信号機、看板等のように、あらかじめ形状のわかるものを用いればよい。【００７５】
また、上述の画像統合装置において、前記静止体領域抽出部は、前記時系列画像中の動体領域を抽出し、前記時系列画像中の前記動体領域以外を静止体領域として抽出することが好ましい。【００７６】
これにより、静止体領域抽出部は、動体領域を抽出する方法を用いて、静止体領域を抽出することができる。【００７７】
また、上述の画像統合装置において、前記３次元画像情報算出部は、画像間における対応点探索を用いて、前記３次元画像情報を算出し、前記対応点探索において、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いることが好ましい。【００７８】
このように、３次元画像情報算出部が用いる対応点探索において、周波数成分から振幅成分を抑制することで、画像間の輝度差やノイズの影響を受けにくいため、ロバスト性を有する対応点探索が可能である。【００７９】
また、上述の画像統合装置において、前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかであることが好ましい。【００８０】
このように、３次元画像情報算出部は、一般的に使用され、すでに確立されている手法により周波数分解を行うので、確実に周波数分解を行うことができる。【００８１】
また、上述の画像統合装置において、前記対応点探索は、位相限定相関法を用いていることが好ましい。【００８２】
このように、３次元画像情報算出部は、位相限定相関法を用いることで、より高精度な対応点探索が可能となる。【００８３】
また、上述の画像統合装置において、前記時系列画像中における信号機を抽出する信号機抽出部をさらに備え、前記統合部は、いずれかの前記時系列画像における前記抽出された信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とすることが好ましい。【００８４】
これにより、統合された画像から、操作者はより具体的に状況を判断することができるという効果を奏する。【００８５】
また、上述の画像統合装置において、前記統合部は、前記時系列画像のうち、前記抽出された信号機のランプの輝度が最大の画像における信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とすることが好ましい。【００８６】
これにより、統合された画像から、操作者は、より具体的に状況を判断することができるという効果を奏する。【００８７】
また、本発明の他の一態様に係る画像統合方法は、移動しながら、異なる時間における複数の時系列画像を撮像する撮像工程と、前記撮像工程により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出工程と、前記３次元画像情報算出工程により算出された前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出工程と、前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記静止体領域を一致させることで、前記時系列画像を統合する統合工程とを備えている。【００８８】
このように、時間的に異なる複数の画像における静止体領域が基準とされて、これら画像が統合されるため、正確な画像の統合が可能である。また、この画像統合方法は、一目で動体の動きを把握することができる、統合された画像を作成することができるという効果も奏する。【００８９】
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
【産業上の利用可能性】
【００９０】
本発明によれば、時系列画像を統合する画像統合装置および画像統合方法を提供することができる。
【図１】
2010113239.tif 000003
【図２】
2010113239.tif 000004
【図３】
2010113239.tif 000005
【図４】
2010113239.tif 000006
【図５】
2010113239.tif 000007
【図６】
2010113239.tif 000008
【図７】
2010113239.tif 000009
【図８】
2010113239.tif 000010
【手続補正書】
【提出日】平成22年5月13日(2010.5.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体に搭載され、異なる時間における複数の時系列画像を撮像する撮像部と、
３次元計測器によって得られた３次元情報と前記撮像部により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出部と、
前記３次画像元情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出部と、
前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記対応する静止体領域を一致させることで、前記時系列画像を統合する統合部とを備えた画像統合装置。
【請求項２】
前記撮像部は、左右一対のステレオ画像を取得することができ、
前記複数の時系列画像はそれぞれ前記ステレオ画像であって、
前記３次元画像情報算出部は、前記ステレオ画像を用いて、前記各時系列画像における３次元画像情報を算出する請求項１に記載の画像統合装置。
【請求項３】
前記統合部は、前記対応する静止体領域の一方において任意の複数の点を選択し、前記対応する静止体領域の他方において、前記任意の複数の点に対応する複数の点を算出し、
前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような回転成分および並進成分を算出する請求項１または請求項２に記載の画像統合装置。 
【請求項４】
前記静止体領域の一方において選択される前記任意の複数の点は任意の３点であり、
前記対応する静止体領域の他方において、算出される点は、前記任意の３点に対応する３点であり、
前記回転成分および前記並進成分は、前記任意の３点および前記任意の３点に対応する３点が一致するように算出される請求項３に記載の画像統合装置。 
【請求項５】
前記任意の３点は、統合される前記各時系列画像に応じて、変更される請求項４に記載の画像統合装置。
【請求項６】
前記任意の３点を結んで形成される三角形の面積が、前記３点により形成される三角形の最大面積の所定の割合以上となるように、前記３点が選択される請求項４に記載の画像統合装置。
【請求項７】
前記任意の３点を結んで形成される三角形の３辺の和が、前記３点により形成される三角形において最大となる３辺の和の所定の割合以上となるように、前記３点が選択される請求項４に記載の画像統合装置。
【請求項８】
前記統合部は、ＩＣＰアルゴリズムを用いて、前記任意の複数の点および前記任意の複数の点に対応する複数の点を一致させるような前記回転成分および前記並進成分を算出する請求項３に記載の画像統合装置。
【請求項９】
前記静止体領域抽出部は、動きの消失点を用いて静止体領域を抽出する請求項１または請求項２に記載の画像統合装置。
【請求項１０】
前記静止体領域抽出部は、ランドマークを用いて、パターン認識またはテンプレートマッチングにより、静止体領域を抽出する請求項１または請求項２に記載の画像統合装置。
【請求項１１】
前記静止体領域抽出部は、前記時系列画像中の動体領域を抽出し、前記時系列画像中の前記動体領域以外を静止体領域として抽出する請求項１または請求項２に記載の画像統合装置。
【請求項１２】
前記３次元画像情報算出部は、画像間における対応点探索を用いて、前記３次元画像情報を算出し、
前記対応点探索において、周波数分解され、振幅成分が抑制されたウィンドウの画像パターンを用いる請求項１に記載の画像統合装置。
【請求項１３】
前記周波数分解は、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換およびアダマール変換のいずれかである請求項１２に記載の画像統合装置。      
【請求項１４】
前記対応点探索は、位相限定相関法を用いている請求項１２に記載の画像統合装置。
【請求項１５】
前記時系列画像中における信号機を抽出する信号機抽出部をさらに備え、
前記統合部は、いずれかの前記時系列画像における前記抽出された信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とする、請求項１に記載の画像統合装置。
【請求項１６】
前記統合部は、前記時系列画像のうち、前記抽出された信号機のランプの輝度が最大の画像における信号機のランプの色を、前記統合部により統合された画像における前記抽出された信号機のランプの色とする、請求項１５に記載の画像統合装置。
【請求項１７】
移動しながら、異なる時間における複数の時系列画像を撮像する撮像工程と、
３次元計測器によって得られた３次元情報と前記撮像工程により撮像された前記時系列画像をもとに、前記各時系列画像における３次元画像情報を算出する３次元画像情報算出工程と、
前記３次元画像情報算出工程により算出された前記３次元画像情報をもとに、前記各時系列画像における静止体領域を抽出する静止体領域抽出工程と、
前記各時系列画像において抽出された各静止体領域から、前記各時系列画像間において対応する前記静止体領域を算出し、前記静止体領域を一致させることで、前記時系列画像を統合する統合工程とを備えた画像統合方法。
【国際調査報告】
2010113239.tif 000011
2010113239.tif 000012