(57)【要約】      （修正有）【課題】互いに異なる複数の位置から測定された情報を用いて前景領域を抽出する前景領域抽出装置、前景領域抽出方法及びプログラムを提供する。【解決手段】処理部３０と検出部５０とを含む前景領域抽出装置１００が提供される。処理部は、第１時刻における第１位置と３次元空間内の第１領域との間の第１距離情報と、第２時刻における第２位置と３次元空間内の第２領域との間の第２距離情報と、を取得する。処理部は、第１距離情報に基づいて第１領域中の複数の位置を第１平面に投影した第１画像を導出し、第１画像の第１特徴量を算出する。処理部は、第１位置と第２位置との相対的配置及び第２距離情報に基づいて、第２領域中の複数の位置を第２平面に投影した第２画像を導出し、第２画像の第２特徴量を算出する。検出部は、第１特徴量と第２特徴量とに基づいて、対象物の３次元空間内での移動を検出する。【選択図】図１
2015206768.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１距離に関する情報を含む第１距離情報と、複数の第２距離に関する情報を含む第２距離情報と、を取得し、
前記複数の第１距離のそれぞれは、３次元空間内の第１位置と前記３次元空間内の第１領域に含まれる複数の位置のそれぞれとのあいだの第１時刻における距離であり、前記複数の第２距離のそれぞれは、前記３次元空間内の第２位置と前記３次元空間内の第２領域に含まれる複数の位置のそれぞれとのあいだの第２時刻における距離であり、前記第２時刻は前記第１時刻とは異なり、前記第１領域及び前記第２領域のそれぞれは前記３次元空間内の第３位置を含み、前記第３位置は、前記第１位置及び前記第２位置とは異なり、
前記第１領域に含まれる前記複数の位置を前記第１距離情報に基づいて第１平面に投影した第１画像を導出し、
前記第３位置を前記第１平面に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出し、
前記第２領域に含まれる前記複数の位置を、前記第１位置と前記第２位置との相対的配置及び前記第２距離情報に基づいて、第２平面に投影した第２画像を導出し、
前記第３位置を前記第２平面に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出する、第１動作を実施可能な処理部と、
前記第１特徴量と前記第２特徴量との差が所定値よりも大きいときに、前記第３位置は前記３次元空間内で移動する移動体を含む背景領域に含まれるとし、前記差が前記所定値以下であるときに、前記第３位置は前記移動体を含まない前景領域に含まれるとする検出部と、
を備えた前景領域抽出装置。
【請求項２】
前記３次元空間内に設けられた移動体に設置され、前記第１距離及び前記第２距離を測定して、前記第１距離情報及び前記第２距離情報を生成する測長装置をさらに備え、
前記第１位置は、前記第１時刻における前記測長装置の位置であり、
前記第２位置は、前記第２時刻における前記測長装置の位置である請求項１記載の前景領域抽出装置。
【請求項３】
３次元空間を撮像する撮像装置と、
前記撮像装置によって第１時刻において第１位置から前記３次元空間内の第１領域が撮像された第１画像と、
前記撮像装置によって前記第１時刻とは異なる第２時刻において第２位置から前記３次元空間内の第２領域が撮像された第２画像と、
測長装置によって測定した複数の第１距離に関する情報を含む第１距離情報と、
を取得し、
前記複数の第１距離のそれぞれは、前記測長装置と前記３次元空間内の第３領域に含まれる複数の位置のそれぞれとの間の前記第１時刻における距離であり、
前記第１領域、前記第２領域及び前記第３領域のそれぞれは、前記３次元空間内の第３位置を含み、前記第３位置は前記第１位置及び前記第２位置とは異なり、
前記第３位置を前記第１画像上に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出し、
前記第３位置を前記第２画像上に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出し、
前記第１投影位置は、前記第１距離情報と、前記測長装置と前記撮像装置との相対的配置と、に基づいて定められ、
前記第２投影位置は、前記第１位置と前記第２位置との相対的配置と、前記測長装置と前記撮像装置との前記相対的配置と、前記第１距離情報と、に基づいて定められる、処理部と、
前記第１特徴量と前記第２特徴量との差が所定値よりも大きいときに、前記第３位置は前記３次元空間内で移動する移動体を含む背景領域に含まれるとし、前記差が前記所定値以下であるときに、前記第３位置は前記移動体を含まない前景領域に含まれるとする検出部と、
を備えた前景領域抽出装置。
【請求項４】
画像投影判定部をさらに備え、
前記第１画像は、第１部分と、前記第１部分に対応した第１画像特徴量と、を有し、
前記第２画像は、第２部分と、前記第２部分に対応した第２画像特徴量と、を有し、
前記画像投影判定部は、前記第１画像特徴量と前記第２画像特徴量との差の大きさ、に基づいて、投影有効範囲を決定し、
前記処理部は、前記第１投影位置が前記投影有効範囲内であるときに、前記第１特徴量を算出する請求項３記載の前景領域抽出装置。
【請求項５】
前記検出部は、前記第１画像及び前記第２画像に基づいて、前記第３位置に位置する対象物が前記撮像装置と共に移動していることをさらに検出する請求項３または４に記載の前景領域抽出装置。
【請求項６】
前記３次元空間内に設けられた移動体に設置され、前記第１距離情報を測定する測長装置をさらに備えた請求項３〜５のいずれか１つに記載の前景領域抽出装置。
【請求項７】
前記測長装置の３次元空間内の動きを推定し、前記第１位置と前記第２位置との前記相対的配置を算出する移動推定部をさらに備えた請求項２〜６のいずれか１つに記載の前景領域抽出装置。
【請求項８】
前記測長装置は、第１光を出射し、前記第１光が反射した第２光を観測し、前記第１光の位相と前記第２光の位相との差、及び、前記第１光が出射された時刻と前記第２光が観測された時刻との差の少なくともいずれかに基づいて前記第１距離情報を計測する請求項２〜７のいずれか１つに記載の前景領域抽出装置。
【請求項９】
前記第１特徴量は、前記第１画像の前記第１投影位置における画素値を含み、
前記第２特徴量は、前記第２画像の前記第２投影位置における画素値である請求項１〜８のいずれか１つに記載の前景領域抽出装置。
【請求項１０】
前記第１特徴量は、前記第１画像の前記第１投影位置における画素値の勾配を含み、
前記第２特徴量は、前記第２画像の前記第２投影位置における画素値の勾配である請求項１〜８のいずれか１つに記載の前景領域抽出装置。
【請求項１１】
前記第１特徴量は、前記第１画像上の前記第１投影位置を含む領域内における複数の画素値によって算出され、
前記第２特徴量は、前記第２画像上の前記第２投影位置を含む領域内における複数の画素値によって算出される請求項１〜８のいずれか１つに記載の前景領域抽出装置。
【請求項１２】
複数の第１距離に関する情報を含む第１距離情報と、複数の第２距離に関する情報を含む第２距離情報と、を取得し、
前記複数の第１距離のそれぞれは、３次元空間内の第１位置と前記３次元空間内の第１領域に含まれる複数の位置のそれぞれとのあいだの第１時刻における距離であり、
前記複数の第２距離のそれぞれは、前記３次元空間内の第２位置と前記３次元空間内の第２領域に含まれる複数の位置とのあいだの第２時刻における距離であり、
前記第１領域及び前記第２領域のそれぞれは、前記３次元空間内の第３位置を含み、前記第３位置は、前記第１位置及び前記第２位置とは異なり、
前記第１領域に含まれる前記複数の位置を前記第１距離情報に基づいて第１平面に投影した第１画像を導出し、
前記第３位置を前記第１平面に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出し、
前記第２領域に含まれる前記複数の位置を、前記第１位置と前記第２位置との相対的配置及び前記第２距離情報に基づいて、第２平面に投影した第２画像を導出し、
前記第３位置を前記第２平面に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出し、
前記第１特徴量と前記第２特徴量との差が所定値よりも大きいときに、前記第３位置は、前記３次元空間内で移動する移動体を含む背景領域に含まれるとし、
前記差が前記所定値以下であるときに、前記第３位置は、前記移動体を含まない前景領域に含まれるとする前景領域抽出方法。
【請求項１３】
撮像装置によって第１時刻において第１位置から３次元空間内の第１領域が撮像された第１画像と、
前記撮像装置によって前記第１時刻とは異なる第２時刻において第２位置から前記３次元空間内の第２領域が撮像された第２画像と、
測長装置によって測定した複数の第１距離に関する情報を含む第１距離情報と、
を取得し、
前記複数の第１距離のそれぞれは、前記測長装置と前記３次元空間内の第３領域に含まれる複数の位置のそれぞれとの間の前記第１時刻における距離であり、
前記第１領域、前記第２領域及び前記第３領域のそれぞれは、前記３次元空間内の第３位置を含み、前記第３位置は前記第１位置及び前記第２位置とは異なり、
前記第３位置を前記第１画像上に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出し、
前記第３位置を前記第２画像上に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出し、
前記第１投影位置は、前記第１距離情報と、前記測長装置と前記撮像装置との相対的配置と、に基づいて定められ、
前記第２投影位置は、前記第１位置と前記第２位置との相対的配置と、前記測長装置と前記撮像装置との前記相対的配置と、前記第１距離情報と、に基づいて定められ、
前記第１特徴量と前記第２特徴量との差が所定値よりも大きいときに、前記第３位置は前記３次元空間内で移動する移動体を含む背景領域に含まれるとし、前記差が前記所定値以下であるときに、前記第３位置は前記移動体を含まない前景領域に含まれるとする前景領域抽出方法。
【請求項１４】
前記測長装置の３次元空間内の動きを推定し、前記第１位置と前記第２位置との前記相対的配置をさらに算出する請求項１３記載の前景領域抽出方法。
【請求項１５】
前記第１画像は、第１部分と、前記第１部分に対応した第１画像特徴量と、を有し、
前記第２画像は、第２部分と、前記第２部分に対応した第２画像特徴量と、を有し、
前記第１画像特徴量と前記第２画像特徴量との差の大きさに基づいて、投影有効範囲を決定し、
前記第１投影位置が前記投影有効範囲内であるときに、前記第１特徴量を算出する請求項１３または１４に記載の前景領域抽出方法。
【請求項１６】
コンピュータに、
複数の第１距離に関する情報を含む第１距離情報と、複数の第２距離に関する情報を含む第２距離情報と、を取得させ、
前記複数の第１距離のそれぞれは、３次元空間内の第１位置と前記３次元空間内の第１領域に含まれる複数の位置のそれぞれとのあいだの第１時刻における距離であり、
前記複数の第２距離のそれぞれは、前記３次元空間内の第２位置と前記３次元空間内の第２領域に含まれる複数の位置のそれぞれとのあいだの第２時刻における距離であり、
前記第２時刻は前記第１時刻とは異なり、前記第１領域及び前記第２領域のそれぞれは、前記３次元空間内の第３位置を含み、前記第３位置は、前記第１位置及び前記第２位置とは異なり、
前記第１領域に含まれる前記複数の位置を前記第１距離情報に基づいて第１平面に投影した第１画像を導出させ、
前記第３位置を前記第１平面に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出させ、
前記第２領域に含まれる前記複数の位置を、前記第１位置と前記第２位置との相対的配置及び前記第２距離情報に基づいて、第２平面に投影した第２画像を導出させ、
前記第３位置を前記第２平面に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出させ、
前記第１特徴量と前記第２特徴量との差が所定値よりも大きいときに、前記第３位置は、前記３次元空間内で移動する移動体を含む背景領域に含まれるとさせ、前記差が前記所定値以下であるときに、前記第３位置は前記移動体を含まない前景領域に含まれるとさせるプログラム。
【請求項１７】
コンピュータに、
撮像装置によって第１時刻において第１位置から３次元空間内の第１領域が撮像された第１画像と、
前記撮像装置によって前記第１時刻とは異なる第２時刻において第２位置から前記３次元空間内の第２領域が撮像された第２画像と、
測長装置によって測定した複数の第１距離に関する情報を含む第１距離情報と、
を取得させ、
前記複数の第１距離のそれぞれは、前記測長装置と前記３次元空間内の第３領域に含まれる複数の位置のそれぞれとの間の前記第１時刻における距離であり、
前記第１領域、前記第２領域及び前記第３領域のそれぞれは、前記３次元空間内の第３位置を含み、前記第３位置は前記第１位置及び前記第２位置とは異なり、
前記第３位置を前記第１画像上に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出させ、
前記第３位置を前記第２画像上に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出させ、
前記第１投影位置は、前記第１距離情報と、前記測長装置と前記撮像装置との相対的配置と、に基づいて定められ、
前記第２投影位置は、前記第１位置と前記第２位置との相対的配置と、前記測長装置と前記撮像装置との前記相対的配置と、前記第１距離情報と、に基づいて定められ、
前記第１特徴量と前記第２特徴量の差が所定値よりも大きいときに、前記第３位置は、前記３次元空間内で移動する移動体を含む背景領域に含まれるとさせ、前記差が前記所定値以下であるときに、前記第３位置は前記移動体を含まない背景領域に含まれるとさせるプログラム。
【請求項１８】
コンピュータに、
前記測長装置の３次元空間内の動きを推定させ、前記第１位置と前記第２位置との前記相対的配置をさらに算出させる請求項１７記載のプログラム。
【請求項１９】
前記第１画像は、第１部分と、前記第１部分に対応した第１画像特徴量と、を有し、
前記第２画像は、第２部分と、前記第２部分に対応した第２画像特徴量と、を有し、
コンピュータに、
前記第１画像特徴量と前記第２画像特徴量との差の大きさに基づいて、投影有効範囲を決定させ、
前記第１投影位置が前記投影有効範囲内であるときに、前記第１特徴量を算出させる請求項１７または１８に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、前景領域抽出装置、前景領域抽出方法及びプログラムに関する。
【背景技術】
【０００２】
例えば、測長装置や撮像装置によって得られる情報を用いて、周囲の移動体や構造物を検出する前景領域抽出装置がある。前景領域抽出装置は、周囲の移動体などが存在する領域（背景領域）と、それ以外の領域（前景領域）と、を区別して、前景領域を抽出する。このような前景領域抽出装置において、互いに異なる複数の位置から得られた情報を用いて前景領域を抽出することが望まれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−３７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の実施形態は、互いに異なる複数の位置から得られた情報を用いて前景領域を抽出する前景領域抽出装置、前景領域抽出方法及びプログラムを提供する。
【課題を解決するための手段】
【０００５】
本発明の実施形態によれば、処理部と検出部とを含む前景領域抽出装置が提供される。前記処理部は、複数の第１距離に関する情報を含む第１距離情報と、複数の第２距離に関する情報を含む第２距離情報と、を取得する。前記複数の第１距離のそれぞれは、３次元空間内の第１位置と前記３次元空間内の第１領域に含まれる複数の位置のそれぞれとのあいだの第１時刻における距離である。前記複数の第２距離のそれぞれは、前記３次元空間内の第２位置と前記３次元空間内の第２領域に含まれる複数の位置のそれぞれとのあいだの第２時刻における距離である。前記第１時刻は、前記第２時刻とは異なる。前記第１領域及び前記第２領域のそれぞれは、前記３次元空間内の第３位置を含む。前記第３位置は、前記第１位置及び前記第２位置とは異なる。前記処理部は、前記第１領域に含まれる前記複数の位置を前記第１距離情報に基づいて第１平面に投影した第１画像を導出し、前記第３位置を前記第１平面に投影した第１投影位置に対応した第１特徴量を前記第１画像に基づいて算出する。前記処理部は、前記第２領域に含まれる前記複数の位置を、前記第１位置と前記第２位置との相対的配置及び前記第２距離情報に基づいて、第２平面に投影した第２画像を導出し、前記第３位置を前記第２平面に投影した第２投影位置に対応した第２特徴量を前記第２画像に基づいて算出する。前記検出部は、前記第１特徴量と前記第２特徴量との差が所定値よりも大きいときに、前記第３位置は前記３次元空間内で移動する移動体を含む背景領域に含まれるとし、前記差が前記所定値以下であるときに、前記第３位置は前記移動体を含まない前景領域に含まれるとする。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る前景領域抽出装置を示すブロック図である。
【図２】第１の実施形態に係る前景領域抽出装置の動作を示すフローチャートである。
【図３】第１の実施形態に係る前景領域抽出装置の使用状況を示す模式的斜視図である。
【図４】移動推定部の動作を示す模式的斜視図である。
【図５】図５（ａ）及び図５（ｂ）は、画像投影部の動作を示す模式図である。
【図６】画像投影部の動作を示す模式図である。
【図７】第１の実施形態に係る前景領域抽出装置を示す模式図である。
【図８】第２の実施形態に係る前景領域抽出装置を示すブロック図である。
【図９】第２の実施形態に係る前景領域抽出装置の動作を示すフローチャートである。
【図１０】第２の実施形態に係る前景領域抽出装置を示す模式的斜視図である。
【図１１】第２の実施形態に係る前景領域抽出装置を示す模式的斜視図である。
【図１２】第２の実施形態に係る前景領域抽出装置の動作を示す模式図である。
【図１３】第２の実施形態に係る前景領域抽出装置の動作を示す模式図である。
【図１４】画像投影判定部の動作を示す模式図である。
【発明を実施するための形態】
【０００７】
以下に、各実施の形態について図面を参照しつつ説明する。  
なお、図面は模式的または概念的なものであり、各部分の厚みと幅との関係、部分間の大きさの比率などは、必ずしも現実のものと同一とは限らない。また、同じ部分を表す場合であっても、図面により互いの寸法や比率が異なって表される場合もある。  
なお、本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【０００８】
（第１の実施形態）  
図１は、第１の実施形態に係る前景領域抽出装置を例示するブロック図である。  
図１に表したように、実施形態に係る前景領域抽出装置１００は、画像投影部３０（処理部）と、変化判定部５０（検出部）と、を含む。この例では、前景領域抽出装置１００は、計測部１０（測長装置）と、移動推定部２０と、出力部６０と、をさらに含む。
【０００９】
測長装置は、例えば、エレベータや車両などの移動車体に設置され、異なる時刻において、周囲の空間の距離情報を取得する。移動推定部２０は、測長装置の移動を推定する。画像投影部３０は、測長装置によって計測された複数の距離情報と、推定された測長装置の移動と、に基づき、距離情報に関する複数の画像を導出する。変化判定部５０は、距離情報に関する複数の画像どうしの差に基づいて、３次元空間内に存在する対象物が移動しているか、移動していないか、を検出する。出力部６０は、３次元空間内の移動体の位置などを出力する。このように、実施形態は、車両やエレベータなどの移動車体に設置された測長装置などを用いて、３次元空間内で移動体を含まない領域（前景領域）を抽出する前景領域抽出装置及び前景領域抽出方法に関する。  
ここで、３次元空間内で移動する移動体を含まない領域（静止領域または前景領域という）は、例えば、複数の画像どうしの差分が小さい（例えば無い）領域である。例えば、画像どうしの差分が大きい（画素値に差が生じる）領域を、他の物体が写ってしまった移動体領域（または背景領域）とする。背景領域は、３次元空間内で移動する移動体を含む領域である。
【００１０】
図１に表したブロック図は、本実施形態にかかる前景領域抽出装置１００の要部構成の一例であり、必ずしも実際のプログラムモジュールの構成とは一致しない場合がある。
【００１１】
図２は、第１の実施形態に係る前景領域抽出装置の動作を例示するフローチャートである。  
図２に表したように、前景領域抽出装置１００は、ステップＳ１０〜ステップＳ６０を実施する。  
図３は、第１の実施形態に係る前景領域抽出装置の使用状況を例示する模式的斜視図である。
【００１２】
測長装置は、３次元空間内に設けられたロボットや車両などの移動車体に設置される。この例では、測長装置１００１と測長装置１００３とが用いられている。測長装置１００１は、移動車体１００４に設置されている。測長装置１００３は、移動車体１００５に設置されている。
【００１３】
図３に表したように、測長装置１００１は、第１時刻Ｔ１において、第１位置Ｐαに位置する。測長装置１００３は、第１時刻Ｔ１とは異なる第２時刻Ｔ２において、第２位置Ｐβに位置する。
【００１４】
測長装置１００１は、第１時刻Ｔ１において、３次元空間内の第１位置Ｐαから、３次元空間内の第１領域Ｒ１に含まれる位置までの距離を測定し、第１距離情報を生成する。第１領域Ｒ１は、３次元空間内の複数の位置（複数の３次元位置１００２）を含む。  
第１距離情報は、複数の第１距離に関する情報を含む。複数の第１距離のそれぞれは、第１位置Ｐαと複数の３次元位置１００２のそれぞれとのあいだの第１時刻Ｔ１における距離である。
【００１５】
測長装置１００３は、第２時刻Ｔ２において、３次元空間内の第２位置Ｐβから、３次元空間内の第２領域Ｒ２に含まれる位置までの距離を測定し、第２距離情報を生成する。第２領域Ｒ２は、３次元空間内の複数の位置（複数の３次元位置１００６）を含む。  
第２距離情報は、複数の第２距離に関する情報を含む。複数の第２距離のそれぞれは、第２位置Ｐβと複数の３次元位置１００６のそれぞれとのあいだの第２時刻Ｔ２における距離である。
【００１６】
第２領域Ｒ２の少なくとも一部は、例えば、第１領域Ｒ１と重なる。例えば、第１領域Ｒ１及び第２領域Ｒ２のそれぞれは、３次元空間内の第３位置を含む。第３位置は、第１位置Ｐα及び第２位置Ｐβとは異なる。
【００１７】
前景領域抽出装置１００は、このような状況において、３次元空間内に存在する移動体を含まない領域（前景領域）の抽出を行う。
【００１８】
なお、測長装置１００１と測長装置１００３とは、異なる時刻における同一の測長装置であってもよい。すなわち、図３に表した状況において、第１時刻Ｔ１において第１位置Ｐαに位置する測長装置１００１が、移動車体１００４に載って、第２時刻Ｔ２において第２位置Ｐβに移動したと考えてもよい。この場合、第１位置Ｐαは、第１時刻Ｔ１における測長装置１００１（測長装置１００３）の位置であり、第２位置Ｐβは、第２時刻Ｔ２における測長装置１００１（測長装置１００３）の位置である。なお、実施形態においては、２以上の装置を用いて、異なる時刻に測長を行ってもよい。
【００１９】
測長装置は、複数の３次元位置を取得することができる。例えば、測長装置は、レーザ光を用いて、ＴＯＦ（Time Of Flight）方式によって３次元位置を取得する。例えば、測長装置は、第１光を出射し、第１光が反射した第２光を観測し、第１光の位相と第２光の位相との差、及び、第１光が出射された時刻と第２光が観測された時刻との差、の少なくともいずれかに基づいて距離情報を計測する。
【００２０】
例えば、回転ミラーなどを用いて、複数の方向にレーザ光を発光する３Ｄレーザスキャナなどがある。これにより、複数の３次元位置を求めてもよい。特殊なパタン模様をプロジェクタから投影し、移ったパタンを解析することによって、複数の３次元位置を取得する方法もある。
【００２１】
ステップＳ１０において、異なる複数の位置で測定された距離データが入力される。例えば、前景領域抽出装置１００に、第１距離情報及び第２距離情報が入力される。
【００２２】
ステップＳ２０において、移動推定部２０は、第１位置Ｐαと第２位置Ｐβとの相対的配置を求める。例えば、測長装置の３次元空間内の動き（運動）を求める。この運動は、３次元の回転行列と、３次元の並進移動ベクトルと、で表される。運動は、（ａ）異なる２つ以上の位置で取得した測長データを用いる方法、または、（ｂ）他のセンサを用いる方法、によって推定することができる。
【００２３】
（ａ）の方法を用いる場合、異なる位置のそれぞれで測長された複数の３次元位置を用いて、測長装置の間の相対的配置（運動）の推定を行う。
【００２４】
運動を回転行列Ｒと並進ベクトルｔとを用いて表現する。測長装置１００１で計測された３次元位置は、第１位置Ｐαを基準とした座標系において、例えば座標Ｘと表される。この座標Ｘを、式（１）によって、第２位置Ｐβを基準とした座標系で表した座標Ｘ’に変換する。  
【数１】
2015206768.tif 000003
図４は、移動推定部の動作を例示する模式的斜視図である。
【００２５】
例えば、測長装置２００１は、複数の３次元位置２００２を測定し、距離情報を生成する。この距離情報は、３次元位置組ｐｉとして得られる。測長装置２００３は、複数の３次元位置２００４を測定し、距離情報を生成する。この距離情報は、複数の３次元位置組ｑｉとして得られる。
【００２６】
式（１）を用いて、３次元位置２００２及び３次元位置２００４を変換する。回転行列Ｒ及び並進ベクトルｔは、例えば、式（２）に示すように、座標変換後の誤差が小さくなるように、求められる。  
【数２】
2015206768.tif 000004
誤差を小さくする方法として、例えば、ＩＣＰ（Iterative Closest Point）法などがある。測長装置２００１で計測された３次元位置２００２と、測長装置２００３で計測された２００４と、の相対的配置を推定することで、３次元座標同士の座標変換が可能となる。この例では、３次元位置２００２を３次元位置２００５に変換し、３次元位置２００４を３次元位置２００６に変換している。
【００２７】
ここで、測長装置２００１を測長装置１００１と読み替え、測長装置２００３を測長装置１００３と読み替える。求められる回転行列Ｒと並進ベクトルｔによって、測長装置１００１と測長装置１００３との間の運動が表される。
【００２８】
（ｂ）の他のセンサを用いる場合は、測長データを用いない。例えば、移動車体１００４が自動車やロボットである場合、車両の回転を求めるエンコードや操舵角を用いて、移動車体１００４の動きを求める。移動車体１００４がエレベータの様に直線状を動く場合には、エンコーダや加速度センサを組み合わせて用い、移動車体１００４の運動推定を行ってもよい。
【００２９】
ステップＳ３０において、画像投影部３０は、第１領域に含まれる複数の点を第１距離情報に基づいて第１平面に投影した第１画像と、第２領域に含まれる複数の点を第２距離情報に基づいて第２平面に投影した第２画像と、を導出する。
【００３０】
図５（ａ）及び図５（ｂ）は、画像投影部の動作を例示する模式図である。  
図５（ａ）及び図５（ｂ）を用いて、投影方法を説明する。図５（ａ）に表したように、測長装置２０１０は、複数の３次元位置を含む距離情報を生成する。この例では、距離情報は、３次元位置２０１２及び３次元位置２０１４などを含む。３次元位置が平面３２に投影され、２次元画像２０１１が生成される。
【００３１】
３次元位置２０１２は、２次元画像２０１１の投影位置２０１３（投影位置）に投影される。３次元位置２０１４は、２次元画像２０１１の投影位置２０１５に投影される。この関係は、式（３）によって、一意に決まる。  
【数３】
2015206768.tif 000005
ここで、（ｘ、ｙ、１）は、２次元画像上の投影位置を同次座標系で表したものであり、（Ｘ、Ｙ、Ｚ、１）は、３次元位置を同次座標系で表現したものである。
【００３２】
例えば、２次元画像２０１１を、カメラで撮像した画像と想定することができる。このとき、（ｆｘ、ｆｙ、ｃｘ、ｃｙ）は、２次元画像２０１１を撮像する仮想的なカメラ（仮想カメラ）の内部パラメータと考えることができる。例えば、ｆｘは、画像のｘ座標において仮想カメラの焦点距離を１画素あたりの大きさで割ったもの、ｆｙは、画像のｙ座標において仮想カメラの焦点距離を１画素あたりの大きさで割ったものである。ｃｘは仮想カメラの光学中心のｘ座標、ｃｙは仮想カメラの光学中心のｙ座標である。（ｒｖ１１〜ｒｖ３３）は、仮想カメラの回転行列、（ｔｖｘ〜ｔｖｚ）は、仮想カメラの並進ベクトルである。
【００３３】
内部パラメータ、回転行列Ｒｖ及び並進ベクトルｔｖは、任意に設定される。すなわち、３次元位置が投影される平面の位置や、２次元画像のサイズなどは、任意の大きさに設定することができる。内部パラメータ、回転行列Ｒｖ及び並進ベクトルｔｖには、測長装置の運動情報を用いてもよい。具体的には、以下のようにすることが望ましい。
【００３４】
３次元位置１００２を平面に投影して、２次元画像２０１１αを導出する場合を考える。まず、３次元位置１００２が２次元画像２０１１α上に投影される投影位置αを求める。例えば、第１位置Ｐαから第２位置Ｐβへの運動を、回転行列Ｒ及び並進ベクトルｔを用いて表す。ここで、第１位置Ｐαを基準とした座標系を世界座標系と考える。測長装置１００１で計測された３次元位置の変換においては、第１位置Ｐαを基準とした座標系と世界座標系とが一致しているため、回転行列Ｒｖを単位行列とし、並進ベクトルｔを０とすればよい。例えば、測長装置１００１で計測された３次元位置１００２を、（Ｘ、Ｙ、Ｚ）として式（３）に代入する。これにより、２次元画像２０１１α上で、３次元位置１００２（第１距離情報）が投影される投影位置αを求める。
【００３５】
図５（ｂ）に表したように、２次元画像２０１１は、例えば、小グリッド２０１７（画素）で構成される画像２０１６とする。同様に、２次元画像２０１１αも、小グリッドで構成される画像２０１６α（第１画像）とする。
【００３６】
例えば、仮想カメラに近い３次元位置が観測され、仮想カメラから遠い３次元位置は観測されにくい。このため、例えば、投影位置αにおいて、予め保持された値と、測長装置１００１で計測された３次元位置１００２のＺ座標の値と、を比較し、小さい方を小グリッドに保存する。測長装置１００１で計測された他の３次元位置も同様の処理を行う。これにより画像２０１６αが導出される。  
以上説明したようにして、第１領域Ｒ１に含まれる複数の点を第１距離情報に基づいて第１平面に投影した第１画像が導出される。
【００３７】
次に、測長装置１００３で計測された複数の３次元位置１００６を平面に投影し、２次元画像２０１１βを導出する場合を考える。まず、３次元位置１００６を投影する際に用いられる回転行列と並進ベクトルとを考える。
【００３８】
ここで、前述したように、第１位置Ｐαを基準とした座標系が世界座標系である。そこで、例えば、３次元位置１００６についての２次元画像２０１１βを撮像する仮想カメラと、３次元位置１００２についての２次元画像２０１１αを撮像する仮想カメラと、を一致させる。つまり、仮想カメラの２次元画像に用いられる座標系を、第１位置Ｐαを基準とした座標系とする。
【００３９】
第２位置Ｐβを基準とした座標系で表された３次元位置１００６を、世界座標系で表す。式（１）は、世界座標系から第２位置Ｐβを基準とした座標系への変換であるため、第２位置Ｐβを基準とした座標系から世界座標系への変換は、式（１）の逆変換である。すなわち、式（４）である。
【００４０】
【数４】
2015206768.tif 000006
例えば、測長装置１００３によって測定された３次元位置は、第２位置Ｐβを基準とした座標系において座標Ｘ’と表されている。この座標Ｘ’を、式（４）によって、世界座標系で表した座標Ｘに変換する。前述のように、回転行列Ｒと並進ベクトルｔとは、第１位置Ｐαと第２位置Ｐβとの相対的配置によって定まる。
【００４１】
第２位置Ｐβで計測された３次元位置１００６の座標を、式（４）によって変換し、変換後の座標を式（３）に代入する。これにより、２次元画像２０１１β上における、３次元位置１００６（第２距離情報）が投影される投影位置βが求められる。この例では、第２平面は、第１平面と一致する。
【００４２】
２次元画像２０１６αの導出と同様の手順によって、２次元画像２０１６β（第２画像）を導出する。  
このように、第１位置Ｐαと第２位置Ｐβとの相対的配置によって、３次元位置１００６を第２平面に投影する投影位置が求められる。第２平面上に、小グリッドが設定される。この小グリッドに、３次元空間内の距離情報が保持される。このようにして、第２領域Ｒ２に含まれる複数の点を、第１位置Ｐαと第２位置Ｐβとの相対的配置及び第２距離情報に基づいて、第２平面に投影した第２画像が導出される。
【００４３】
２次元画像２０１６αの小グリッドのそれぞれと、２次元画像２０１６βの小グリッドのそれぞれと、には、仮想カメラから最も近い奥行き（物体までの距離）の値が入っており、その奥行きは、世界座標を基準としたものに変換されている。  
なお、実施形態においては、撮像装置の位置とは異なる位置を基準とする世界座標系の考え方を用いてもよい。
【００４４】
ステップＳ４０において、画像投影部３０は、２次元画像２０１６に基づいて特徴量の算出をする第１動作を実施する。例えば、２次元画像２０１６αに基づいて第１特徴量を算出し、２次元画像２０１６βに基づいて第２特徴量を算出する。特徴量として、例えば、小グリッドに保持された値を用いることができる。
【００４５】
図６は、画像投影部の動作を例示する模式図である。  
図６は、画像２０１６の一部を拡大した画像４００１を例示している。小領域４００３は、複数の小グリッド４００２を含む領域である。
【００４６】
小領域４００３内において、小グリッドの値（画素値）を小グリッドの配置順に並べたものを特徴量としてもよい。例えば、第１特徴量は、第１画像の第１投影位置における画素値であり、第２特徴量は、前記第２画像の前記第２投影位置における画素値である。
【００４７】
隣合う小グリッド間の値の勾配を計算して、勾配を特徴量としてもよい。この場合、例えば、第１特徴量は、第１画像の第１投影位置における画素値の勾配であり、第２特徴量は、第２画像の第２投影位置における画素値の勾配である。
【００４８】
小領域４００３内の最大値、最小値、平均値、または分散を、特徴量としてもよい。この場合、第１特徴量は、第１画像上の第１投影位置を含む領域内における複数の画素値によって算出される。第２特徴量は、第２画像上の第２投影位置を含む領域内における複数の画素値によって算出される。
【００４９】
また、画像処理においてよく用いられる、ＳＩＦＴ（Scale Invariant Fast Feature）特徴量や、ＳＵＲＦ(Speeded Up Robust Feature)特徴量などを用いてもよい。
【００５０】
ステップＳ５０において、ステップＳ４０で計算された特徴量を用いて、前景領域の抽出が行われる。
【００５１】
図７は、第１の実施形態に係る前景領域抽出装置を例示する模式図である。  
例えば、２次元画像２０１６αの特徴量と、２次元画像２０１６βの特徴量と、の間に差が生じる。このような特徴量の変化が生じる理由を図７を参照して説明する。
【００５２】
例えば、測長装置１００１及び測長装置１００３のそれぞれによって、３次元空間内の第３位置が測定される。測長装置１００１によって測定された複数の３次元位置１００２は、例えば、平面５２（第１平面）に投影され、２次元画像２０１１αが導出される。測長装置１００３によって測定された複数の３次元位置１００６は、例えば、平面５２（第２平面）に投影され、２次元画像２０１１βが導出される。
【００５３】
２次元画像２０１１α上（及び２次元画像２０１６α上）において、３次元位置５００１が投影される位置は、位置５００２となる。同様に、２次元画像２０１１β上（及び２次元画像２０１６β上）において、３次元位置５００１が投影される位置は、位置５００２となる。
【００５４】
次に、測長装置１００１から観測される３次元位置５００３に着目する。ここで、移動体５００４は、測長装置１００３が計測を行う第２時刻Ｔ２に、３次元位置５００５に存在するとする。３次元位置５００３は、第１時刻Ｔ１において、第１位置Ｐαに位置する測長装置１００１から観測できるものとする。
【００５５】
２次元画像２０１１α上において、３次元位置５００３が投影される位置は、位置５００６となる。同様に、２次元画像２０１１β上において、３次元位置５００３が投影される位置は、位置５００６となる。
【００５６】
測長装置１００３が計測する第２時刻Ｔ２において、移動体５００４は、第１位置Ｐαと３次元位置５００３とを結ぶ線上に存在する。このため、２次元画像２０１１β上において、移動体５００４（３次元位置５００５）が投影される位置も、位置５００６となる。
【００５７】
ここで、前述のステップＳ４０において、２次元画像の小グリッドには、測長装置に近い３次元位置の距離情報が保持される。２次元画像２０１１βの位置５００６の小グリッドには、３次元位置５００５についての距離情報が保持される。一方、２次元画像２０１１αの位置５００６の小グリッドには、２次元位置５００３についての距離情報が保持される。
【００５８】
このように、２次元画像２０１１αの位置５００６における奥行き値と、２次元画像２０１６αの位置５００６における奥行き値と、は異なる。これにより、３次元位置５００５には移動物体があると判断することができる。
【００５９】
以上説明したように、画像投影部３０は、３次元空間内の第３位置Ｐ３（例えば３次元位置５００５）を、平面５２の第１投影位置（例えば位置５００６）に投影する。第１投影位置に対応した第１特徴量を、２次元画像２０１６αに基づいて算出する。同様に、３次元空間内の第３位置を、平面５２の第２投影位置（例えば位置５００６）に投影する。第２投影位置に対応した第２特徴量を、２次元画像２０１６βに基づいて算出する。
【００６０】
変化判定部５０は、第１特徴量と第２特徴量とに基づいて、第３位置に位置する対象物（例えば移動体５００４）が３次元空間内で移動しているか移動していないかを検出する。
例えば、第１特徴量と第２特徴量との差が所定値よりも大きいときに、変化判定部５０は、第３位置は背景領域に含まれる、と判定する。一方、第１特徴量と第２特徴量との差が所定値以下であるときに、変化判定部５０は、第３位置は前景領域に含まれる、と判定する。
【００６１】
続いて、特徴量の変化の計算方法について、説明する。  
特徴量の変化は、例えば、第１特徴量と第２特徴量との差に基づく。例えば、式（５）によって、特徴量の変化を計算する。  
【数５】
2015206768.tif 000007
ここで、ｆＩα（ｋ）は、２次元画像２０１１αにおける位置ｋに対応した特徴量である。ｆＩβ（ｋ）は、２次元画像２０１１βにおける位置ｋに対応した特徴量である。ｆＩα（ｋ）及びｆＩβ（ｋ）は、ベクトルでもよい。ｘが１であれば、式（５）は、特徴量同士の１次ノルムを表し、ｘが２であれば、式（５）は、特徴量同士の２次ノルムを表す。特徴量の変化の計算には、画像処理などに用いられる相互相関などを用いてもよい。特徴量同士の差に対して、所定の閾値を設けて、所定値を越える場合には、変化があったと判定する。変化があった場合は、移動体が存在していたと判断することができる。
【００６２】
ステップＳ６０において、出力部６０は、例えば、移動体が存在していたと判断された小グリッドの位置を出力する。例えば、出力部６０は、移動体が存在していたと判断された小グリッドに関する３次元位置のうち、第１位置Ｐαから最も近い位置を、移動体に属する３次元位置として、出力する。
【００６３】
例えば、異なる時刻において、複数の画像を取得し、複数の画像どうしの差分情報から、３次元空間内の移動体が存在する領域を抽出する参考例の方法がある。この方法では、画像同士を比較し、画素値の差分が所定の値よりも大きい領域が、背景領域とされる。しかし、画像を撮像する撮像装置を車両やロボットなどの移動車体に設置した場合、移動車体が移動することにより、撮像装置の位置が移動し、画像が取得される位置が変化する。画像が取得される位置の変化により、画像全体がずれる。この場合、画素値の差分情報によって、前景領域を抽出することが難しい。
【００６４】
これに対して、実施形態においては、移動車体に設置された測長装置を用いて、異なる複数の時刻のそれぞれにおいて、距離情報が計測する。移動車体の３次元的な動きを用いて、複数の距離情報のそれぞれを２次元画像に投影し、特徴量を得る。この特徴量同士を比較することで、測長装置の位置が移動した場合においても、前景領域の抽出をすることができる。例えば、３次元位置（第３位置）が移動車体に対する前景であるときには、その３次元位置に対応する投影位置の特徴量どうしには、差が無い。これにより、その３次元位置は、他の移動体を含まない静止領域であると判断する。  
このように、実施形態においては、互いに異なる複数の位置から得られた距離情報を用いて、移動体が写ってしまった領域（背景領域）、及び移動体を含まない領域（前景領域）の抽出を行うことができる。測長装置の位置が変化しても、安定した前景領域の抽出を行うことができる。
【００６５】
（第２の実施形態）  
図８は、第２の実施形態に係る前景領域抽出装置を例示するブロック図である。  
図８に表したように、実施形態に係る前景領域抽出装置１０１は、第１の実施形態と同様に、計測部１０（測長装置）と、移動推定部２０と、画像投影部３０と、変化判定部５０と、出力部６０と、を含む。前景領域抽出装置１０１は、撮像部１５（撮像装置）と、画像投影判定部４０をさらに含む。撮像装置と測長装置との相対的配置は、例えば既知である。撮像装置は、３次元空間を撮像する。画像投影判定部４０は、撮像装置によって撮像された画像に基づき、後述の投影有効範囲の推定を行う。  
なお、図８に表したブロック図は、本実施形態にかかる前景領域抽出装置１０１の要部構成の一例であり、必ずしも実際のプログラムモジュールの構成とは一致しない場合がある。
【００６６】
図９は、第２の実施形態に係る前景領域抽出装置の動作を例示するフローチャートである。  
図９に表したように、前景領域抽出装置１０１は、ステップＳ１１〜ステップＳ６１を実施する。ステップＳ１１、Ｓ２１、Ｓ３１、Ｓ４１、Ｓ５１及びＳ６１は、それぞれ、第１の実施形態のステップＳ１０、Ｓ２０、Ｓ３０、Ｓ４０、Ｓ５０及びＳ６０と同様である。第２の実施形態においては、ステップＳ２５がさらに実施される。
【００６７】
図１０は、第２の実施形態に係る前景領域抽出装置を例示する模式的斜視図である。  
撮像装置１１０３は、複数の異なる時刻において、３次元空間を撮像する。例えば、撮像を行う複数の時刻のそれぞれにおける測長装置１１０１の位置は、互いに異なる。  
測長装置１１０１は、例えば撮像装置１１０３が撮像を行う複数の時刻において、３次元空間内の距離を測定し、複数の距離情報を生成する。
【００６８】
測長装置１１０１は、例えば、複数の３次元位置１１０２に関する情報を生成する。撮像装置１１０３は、例えば、複数の３次元位置１１０２を含む領域を撮像する。
【００６９】
この例では、撮像装置１１０３と測長装置１１０１とは、同一の移動車体１１０４に設置されている。測長装置１１０１と撮像装置１１０３との相対的配置は、既知である。すなわち、測長装置１１０１と撮像装置１１０３との相対的配置を表す、回転行列Ｒｃ及び並進ベクトルｔｃが既知である。また、撮像装置１１０３の内部パラメータ（式（３）のｆｘ、ｆｙ、ｃｘ及びｃｙに相当）も既知である。
【００７０】
ステップＳ１１において、撮像装置１１０３によって撮像された画像、及び、測長装置１１０１によって生成された距離情報が、入力される。例えば、回転行列Ｒｃ、並進ベクトルｔｃ及び撮像装置１１０３の内部パラメータ等も入力される。
【００７１】
図１１は、第２の実施形態に係る前景領域抽出装置を例示する模式的斜視図である。  ステップＳ２１において、測長装置１１０１及び撮像装置１１０３の運動を求める。この例では、測長装置１１０１及び撮像装置１１０３は、移動車体１１０４に設置されている。このため、測長装置１１０１及び撮像装置１１０３の運動は、移動車体１１０４の運動と読み替えることもできる。運動の推定方法は、ステップＳ２０において説明した方法を用いてもよい。
【００７２】
第２の実施形態では、撮像装置１１０３があるため、画像を用いて運動の推定を行ってもよい。画像を用いて運動を推定するには、画像から特徴のある点（特徴点）を抽出し、移動前の画像の特徴点と、移動後の画像の特徴点と、を対応づける。特徴点の対応組が５つ以上あれば、それらの画像上の位置を用いて、エピポーラ拘束を表す基本行列を求めることができる。基本行列を代数演算処理によって分解することで、運動が推定される。
【００７３】
図１１に表した例では、移動車体１１０４が移動している。撮像装置１１０３は、第１位置Ｐｓαから第２位置Ｐｓβへ移動している。撮像装置１１０３は、例えば、第１画像１１０９と第２画像１１１１とを撮像する。第１画像１１０９は、第１時刻Ｔｍ１において第１位置Ｐｓαから３次元空間内の第１領域Ｒｎ１が撮像された画像である。第２画像１１１１は、第２時刻Ｔｍ２において第２位置Ｐｓβから３次元空間内の第２領域Ｒｎ２が撮像された画像である。
【００７４】
この例では、撮像装置１１０３と撮像装置１１０７とは、異なる時刻における同一の装置の装置である。同様に、測長装置１１０１と測長装置１１０５とは、異なる時刻における同一の装置である。移動車体１１０４と移動車体１１０８は、異なる時刻における同一の装置である。
【００７５】
撮像装置と測長装置との相対的配置は、ステップＳ１１の回転行列Ｒｃと並進ベクトルｔｃとによって求められている。このため、撮像装置の位置を基準とした座標系と、測長装置の位置を基準とした座標系とを、相互に変換することができる。
【００７６】
ステップＳ２５において、画像投影判定部４０は、撮像装置で撮像された複数の画像から、投影有効範囲を決定する。移動車体や撮像装置には、例えば移動車体１１０４と同様の運動をする付属物が付属している場合がある。投影有効範囲とは、２次元画像上で、このような付属物を除いた領域である。投影有効範囲は、付属物が写った領域以外の静止領域及び移動体を含む領域である。図１１では、第１画像１１０９に写る領域１１１０、及び第２画像１１１１に写る領域１１１２が、移動車体と同じ運動をしている移動車体の付属物に相当する。領域１１１０と領域１１１２とは、異なる時刻において異なる位置から撮像された画像において、同じ位置に存在する。
【００７７】
すなわち、第１画像１１０９は、第１部分（この例では領域１１１０）と、第１部分に対応した第１画像特徴量と、を有する。第２画像１１１１は、第２部分（この例では領域１１１２）と、第２部分に対応した第２画像特徴量と、を有する。第１画像１１０９における第１部分の位置は、第２画像１１１１における第２部分の位置に相当する。
【００７８】
画像投影判定部４０は、第１画像特徴量と第２画像特徴量との差の大きさに基づいて投影有効範囲を決定する。例えば、第１画像１１０９と第２画像１１１１との差（変化）を参照することにより、移動車体１１０４と同じ運動をする付属物に対応する領域を特定する。例えば、第１画像１１０９と第２画像１１１１との差分を求めて、差分が所定値よりも小さかった場合には変化がなかったとする。
【００７９】
図１２は、第２の実施形態に係る前景領域抽出装置の動作を例示する模式図である。  
図１２は、第１画像１１０９と第２画像１１１１との差分から求めた画像２１００である。画像２１００の黒色領域が投影有効範囲内である。白色領域２１０１は、差分がなかった領域である。例えば、投影有効範囲内においてのみ、以降のステップの処理を進める。撮像装置の画像に付属物が写り込むことがない場合には、このステップの処理を省略してもよい。
【００８０】
図１３は、第２の実施形態に係る前景領域抽出装置の動作を例示する模式図である。  
ステップＳ３１では、ステップＳ１１において求められた運動に基づいて、測長装置よって測定された複数の３次元位置を２次元の画像に投影する。
【００８１】
この例では、撮像装置１１０３は、第１時刻Ｔｍ１において、第１位置Ｐｓαから第１画像３１００を撮像する。第１画像３１００は、３次元空間内の第１領域Ｒｎ１が撮像された画像である。  
撮像装置１１０３は、第２時刻Ｔｍ２において、第２位置Ｐｓβから第２画像３１０２を撮像する。第２画像３１０２は、３次元空間内の第２領域Ｒｎ２が撮像された画像である。
【００８２】
図１３の測長装置３１０１は、図１１における測長装置１１０１に相当し、図１３の測長装置３１０３は、図１１における測長装置１１０５に相当する。測長装置３１０１は、第１時刻Ｔｍ１において、第１距離情報を測定する。この例では、第１距離情報は、複数の第１距離に関する情報を含む。複数の第１距離のそれぞれは、測長装置と３次元空間内の第３領域Ｒｎ３に含まれる複数の位置のそれぞれとのあいだの距離である（図１１参照）。測長装置３１０３は、第２時刻Ｔｍ２において、３次元空間内の第２距離情報をさらに測定してもよい。
【００８３】
なお、第２時刻Ｔｍ２は、第１時刻Ｔｍ１とは異なる。第１領域Ｒｎ１、第２領域Ｒｎ２及び第３領域Ｒｎ３のそれぞれは、例えば、３次元空間内の第３位置Ｐｓ３を含む。第３位置Ｐｓ３は、第１位置Ｐｓα及び第２位置Ｐｓβとは異なる位置である。
【００８４】
測長装置によって計測された３次元位置を撮像装置の画像に投影する。  
例えば、測長装置３１０１で計測された３次元位置３１０４を、第１画像３１００上の投影位置３１０４αに投影する。投影位置３１０４αは、式（３）を用いて求められる。３次元位置３１０４を（Ｘ、Ｙ、Ｚ）と表す。３次元位置３１０４（Ｘ、Ｙ、Ｚ）は、例えば、第１距離情報によって定まる。仮想カメラの回転行列及び並進ベクトルを、実際の撮像装置のカメラ（実カメラ）に対応させる。例えば、ステップＳ１１で入力されたカメラの内部パラメータ、回転行列Ｒｃ、及び並進ベクトルｔｃを用いて、式（３）に代入することで投影位置３１０４αを求める。これにより、例えば、仮想カメラと実カメラとを一致させる。なお、回転行列Ｒｃ及び並進ベクトルｔｃは、前述のように、測長装置と撮像装置との相対的配置によって定まる。
【００８５】
３次元位置３１０４を、第２画像３１０２上の投影位置３１０４βに投影する。投影位置３１０４βは、式（３）を用いて求められる。  
第１位置Ｐｓαから第２位置Ｐｓβまでの運動は、ステップＳ２１において求められている。第１位置Ｐｓαと第２位置Ｐｓβとの相対的配置に対応した、回転行列及び並進ベクトルを式（３）に代入する。カメラの内部パラメータには、ステップＳ１１で入力されたものを用いればよい。３次元位置３１０４には、投影位置３１０４αを求めた場合と同じ（Ｘ、Ｙ、Ｚ）を用いる。
【００８６】
位置３１０４αに投影される物体と、位置３１０４βに投影される物体とは、同一である。測長装置３０１３において、３次元位置３１０４は、必ずしも計測されていなくてもよい。すなわち、第２距離情報は測定されていなくてもよい。この例では、測長装置は、第１距離情報のみを計測している。
【００８７】
同様にして、３次元位置３１０６が第１画像３１００上に投影される投影位置３１０６αを求める。３次元位置３１０６が第２画像３１０２上に投影される投影位置３１０６βを求める。
【００８８】
図１３に表した例では、移動体３１０５は、撮像装置が第１位置Ｐｓαにおいて撮像を行う第１時刻Ｔｍ１に、３次元位置３１０６に存在するものとする。移動体３１０５は、撮像装置が第２位置Ｐｓβにおいて撮像を行う第２時刻Ｔｍ２には、３次元位置３１０６に存在しないものとする。
【００８９】
移動体３１０５が第１時刻Ｔｍ１において３次元位置３１０６に存在していなければ、第１画像３１００上の投影位置３１０６αには、第１画像３１００の光学中心と、３次元位置３１０６とを結ぶ直線上にある３次元位置３１０７が投影される。
【００９０】
３次元位置３１０７は、第２画像３１０２上では、投影位置３１０７βに投影される。３次元空間内において、３次元位置３１０６と、３次元位置３１０７とは異なる。このため、第２画像３１０２上において、投影位置３１０６βと位置３１０７βとは、互いに異なる位置となる。
【００９１】
この例では、第１時刻Ｔｍ１において、３次元位置３１０６に移動体３１０５が存在している。このため、第１画像３１００上の投影位置３１０６αにおける対象物（被写体）と、第２画像３１０２上の投影位置３１０６βにおける対象物とは異なる。第１画像３１００上の投影位置３１０６αにおける見た目と、第２画像３１０２上の投影位置３１０６βにおける見た目とは、異なる。この変化を、ステップＳ４１〜ステップＳ５１において判定し、前景領域の抽出を行う。
【００９２】
このように第２の実施形態においては、画像投影部３０は、３次元空間内の第３位置（例えば３次元位置３１０６）を第１画像３１００上の第１投影位置（例えば投影位置３１０６α）に投影する。第１投影位置に対応した第１特徴量を第１画像３１００に基づいて算出する。さらに画像投影部３０は、第３位置を第２画像３１０２上の第２投影位置（例えば投影位置３１０６β）に投影する。第２投影位置に対応した第２特徴量を第２画像３１０２に基づいて算出する。そして、変化判定部５０は、第１特徴量と第２特徴量とに基づいて、変化を判定し、第３位置における対象物が３次元空間内で移動しているか移動していないかを検出する。例えば、第１特徴量と第２特徴量との差が、所定値よりも大きいときは、第３位置は背景領域に含まれる、とされる。第１特徴量と第２特徴量との差が、所定値よりも小さいときは、第３位置は前景領域に含まれるとされる。
【００９３】
第１投影位置は、前述のように第１距離情報と、測長装置と撮像装置との相対的配置と、に基づいて定められる。第２投影位置は、第１距離情報と、測長装置と撮像装置との相対的配置と、第１位置と第２位置との相対的配置と、に基づいて定められる。
【００９４】
例えば、投影位置がステップＳ２５で求めた投影有効範囲内に無いときには、その投影位置は、移動車体の運動と同じ運動をする移動体に対応した位置である。このような投影有効範囲外の投影位置を予め除く。これにより、例えば、ステップＳ４１〜ステップＳ５１において正しい判定を行うことができる。画像投影部３０は、例えば第１投影位置が投影有効範囲内であるときに、第１特徴量を算出する。
【００９５】
図１４は、画像投影判定部の動作を例示する模式図である。  
図１４に表した例では、撮像装置は、第１時刻Ｔｍ１において第１位置Ｐｓαから第１画像３１２０を撮像する。撮像装置は、第２時刻Ｔｍ２において第２位置Ｐｓβから第２画像３１２２を撮像する。物体３１２１は、撮像装置と同じ運動をする。物体３１２１は、第１画像３１２０上に画像３１２１αとして写り、第２画像３１２２上に画像３１２１βとして写る。
【００９６】
例えば、物体３１２１上の位置３１２３は、第１時刻Ｔｍ１において、３次元位置３１２３ｒαに位置する。３次元位置３１２３ｒαは、第１画像３１２０上の投影位置３１２３αに投影される。
【００９７】
例えば、物体３１２１上の位置３１２３は、第２時刻Ｔｍ２において、３次元位置３１２３ｒβに位置する。３次元位置３１２３ｒβは、第２画像３１２２上の投影位置３１２３βに投影される。３次元位置３１２３ｒαは、第２画像３１２２上の投影位置３１２４βに投影される。画像上において、投影位置３１２３βに対応する空間内の位置と、投影位置３１２４βに対応する空間内の位置とは、異なる。ステップＳ４１〜ステップＳ５１において、このような投影位置に対応する３次元位置は、移動体であると判断される。このような移動車体と同じ動きをする領域を、ステップＳ２５の投影有効範囲の結果を用いて、予め除去する。
【００９８】
図１３に表した例では、測長装置３１０１によって、第１時刻Ｔｍ１において、第１位置Ｐｓα付近から計測された第１距離情報を用いている。ただし、第１距離情報に対応する３次元位置が、第１画像３１００に写らない場合もある。その場合には、第１画像３１００に写る３次元位置Ｐｓγから計測された距離情報を用いてもよい。例えば、３次元位置Ｐｓγから計測された距離情報は、３次元位置３１０８を含む。測長装置（３次元位置Ｐｓγ）と撮像装置との相対的配置は、ステップＳ２１において求められる。
【００９９】
ステップＳ４１において、例えば、投影位置３１０４αに対応した特徴量、及び、投影位置３１０６αに対応した特徴量を第１画像３１００に基づいて算出する。さらに、投影位置３１０４βに対応した特徴量、及び、投影位置３１０６βに対応した特徴量を第２画像３１０２に基づいて算出する。
【０１００】
特徴量には、投影位置における輝度値（画素値）が用いられる。特徴量は、投影位置を含む小ウィンドウ内の複数の画素値から算出されてもよい。特徴量には、投影位置における画素値の勾配を用いてもよい。特徴量の算出には、ＳＩＦＴ、ＳＵＲＦ、ＯＲＢ、ＢＲＩＳＫまたはＢＲＩＥＦなどの方法を用いてもよい。
【０１０１】
ステップＳ５１は、ステップＳ５０と同様である。ステップＳ６１は、ステップＳ６０と同様である。  
例えば、変化判定部５０または出力部６０は、ステップＳ２５において求められた投影有効範囲に基づいて、投影有効範囲外に対応する３次元位置を出力してもよい。例えば、第１画像及び第２画像に基づいて、対象物が撮像装置と共に移動していることをさらに検出してもよい。
【０１０２】
第２の実施形態においても、例えば、移動車体に設置された測長装置を用いて、距離情報が取得される。さらに、移動車体に設置された撮像装置を用いて、複数の画像が取得される。距離情報と、互いに異なる複数の視点から得られた画像と、に基づいて、前景領域の抽出を行うことができる。
【０１０３】
実施形態に係る前景領域抽出装置を、例えば、自動車やロボットに設置することができる。自動車に設置されたカメラと、レーザセンサやミリ波レーダなどの測長装置と、を用いて、画像に写ったボンネットやフェンダーポールのように自動車の付属物が写る領域を特定することができる。障害物検出などの周囲の環境認識では、自動車の付属物は検出対象外である。また、電柱や建物などの静止領域に対して移動している移動体を検出する目的で利用してもよい。ロボットや列車に搭載しても同様の機能が可能である。
【０１０４】
実施形態に係る前景領域抽出装置を、飛行体に設置してもよい。飛行体に搭載した撮像装置と測長装置とを用いて、地上や空中を撮像及び測長し、移動する車両、人物または他の航空機の検出に用いる。例えば抽出された前景を用いて、静止した背景のみを抽出する。この背景に基づいて、地上の３次元形状を復元すれば、道路に移動する車両が走行していても、その領域を除外して３次元環境の構築を行うことができる。加えて、変動分を除去できるため、都市環境のシミュレーション等に都合がよい。
【０１０５】
実施形態に係る前景領域抽出装置を、測量器に用いてもよい。例えば、３Ｄレーザスキャナ等を用いて測量する際に、測量中に計測範囲に入ってしまった人物や車両などを３Ｄデータから取り除くため、実施形態に係る前景領域を用いてもよい。前景領域を抽出し、前景領域のみに属する３次元情報を用いることで、非計測対象である移動体を含まない周囲の３Ｄ形状を取得することができる。
【０１０６】
実施形態に係る前景領域抽出装置を、エレベータに設置してもよい。例えば、エレベータのかごの上、またはかごの下に移動方向に向けて撮像装置及び測長装置を設置する。エレベータシャフト内の３Ｄ形状を取得する際に、測長装置によって計測されてしまうエレベータのかごの３次元位置を、実施形態に係る前景領域抽出装置を用いて、除去することができる。これにより、エレベータかご、または、エレベータかごに付属する物体（エアコンや巻き上げ装置など）を含まない、エレベータシャフト全体の３次元構造を取得することができる。同様に、実施形態に係る前景領域抽出装置をトンネル内を移動する車両に設置してもよい。これにより、車両、車両の付属物及びトンネル内を走行する他の車両などのデータを除去して、トンネルの中の３Ｄ形状を取得することができる。
【０１０７】
実施形態に係る前景領域抽出装置には、ＣＰＵ（Central  Processing  Unit）などの制御装置、ＲＯＭやＲＡＭなどの記憶装置、ＨＤＤやＳＳＤなどの外部記憶装置、及びカメラなどの撮像装置等を用いることができる。実施形態に係る前景領域抽出装置には、通常のコンピュータを利用したハードウェア構成を用いることができる。実施形態に係る前景領域装置の前述した各部を、ソフトウェアとしてもハードウェアとしてもよい。実施形態は、各機能ブロックの一部又は全部の処理を、コンピュータに実施させるプログラムであってもよい。
【０１０８】
実施形態によれば、互いに異なる複数の位置から得られた情報を用いて前景領域を抽出する前景領域抽出装置が提供できる。
【０１０９】
以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、処理部、検出部、計測部、撮像装置、移動推定部、出力部、画像投影判定部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。  
また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。
【０１１０】
その他、本発明の実施の形態として上述した前景領域抽出装置、前景領域抽出方法及びプログラムを基にして、当業者が適宜設計変更して実施し得る全ての前景領域抽出装置、前景領域抽出方法及びプログラムも、本発明の要旨を包含する限り、本発明の範囲に属する。
【０１１１】
その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。
【０１１２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１３】
１０…計測部、  １５…撮像部、  ２０…移動推定部、  ３０…画像投影部、  ３２…平面、  ４０…画像投影判定部、  ５０…変化判定部、  ５２…平面、  ６０…出力部、  Ｐｓγ…３次元位置、  １００…前景領域抽出装置、  １００１…測長装置、  １００２…３次元位置、  １００３…測長装置、  １００４、１００５…移動車体、  １００６…３次元位置、  １０１…前景領域抽出装置、  １１０１…測長装置、  １１０２…３次元位置、  １１０３…撮像装置、  １１０４…移動車体、  １１０５…測長装置、  １１０７…撮像装置、  １１０８…移動車体、  １１０９…第１画像、  １１１０…領域、  １１１１…第２画像、  １１１２…領域、  ２００１…測長装置、  ２００２…３次元位置、  ２００３…測長装置、  ２００４、２００５、２００６…３次元位置、  ２０１０…測長装置、  ２０１１、２０１１α、２０１１β…２次元画像、  ２０１２…３次元位置、  ２０１３…投影位置、  ２０１４…３次元位置、  ２０１５…投影位置、  ２０１６、２０１６α、２０１６β…２次元画像、  ２０１７…小グリッド、  ２１００…画像、  ２１０１…領域、  ３０１３…測長装置、  ３１００…第１画像、  ３１０１…測長装置、  ３１０２…第２画像、  ３１０３…測長装置、  ３１０４…３次元位置、  ３１０４α、３１０４β…投影位置、  ３１０５…移動体、  ３１０６…３次元位置、  ３１０６α、３１０６β…投影位置、  ３１０７…３次元位置、  ３１０７β…投影位置、  ３１０８…３次元位置、  ３１２０…第１画像、  ３１２１…物体、  ３１２１α、３１２１β…画像、  ３１２２…第２画像、  ３１２３…位置、  ３１２３α、３１２３β…投影位置、  ３１２３ｒα、３１２３ｒβ…３次元位置、  ３１２４β…投影位置、  ４００１…画像、  ４００２…小グリッド、  ４００３…小領域、  ５００１…３次元位置、  ５００２…投影位置、  ５００３…３次元位置、  ５００４…移動体、  ５００５…３次元位置、  ５００６…投影位置、  Ｐα…第１位置、  Ｐβ…第２位置、  Ｐ３…第３位置、  Ｐｓα…第１位置、  Ｐｓβ…第２位置、  Ｐｓ３…第３位置、  Ｒ…回転行列、  Ｒ１…第１領域、  Ｒ２…第２領域、  Ｒｃ…回転行列、  Ｒｎ１…第１領域、  Ｒｎ２…第２領域、  Ｒｎ３…第３領域、  Ｒｖ…回転行列、  Ｓ１０、Ｓ１１、Ｓ２０、Ｓ２１、Ｓ２５、Ｓ４０、Ｓ４１、Ｓ５０、Ｓ５１、Ｓ６０、Ｓ６１…ステップ、  Ｔ１…第１時刻、  Ｔ２…第２時刻、  Ｔｍ１…第１時刻、  Ｔｍ２…第２時刻、  ｐｉ、ｑｉ…３次元位置組
【図１】
2015206768.tif 000008
【図２】
2015206768.tif 000009
【図３】
2015206768.tif 000010
【図４】
2015206768.tif 000011
【図６】
2015206768.tif 000012
【図７】
2015206768.tif 000013
【図８】
2015206768.tif 000014
【図９】
2015206768.tif 000015
【図１０】
2015206768.tif 000016
【図１２】
2015206768.tif 000017
【図５】
2015206768.tif 000018
【図１１】
2015206768.tif 000019
【図１３】
2015206768.tif 000020
【図１４】
2015206768.tif 000021