(57)【要約】【課題】種々の使用環境に影響されることなく装置の姿勢を検出し、処理時間が短く実時間で処理することができる画像生成装置及び３次元距離情報取得装置を提供する。【解決手段】全方向のステレオ画像を取得するアクティブセンサの内部中央に、位置姿勢情報を取得する位置姿勢情報取得手段として加速度センサとジャイロセンサを設ける。得られた姿勢情報と時間的に同期された画像情報から３次元距離情報を取得し、さらにその３次元距離情報を位置姿勢情報に基づいてアクティブセンサが位置するワールド座標系に対応した３次元距離情報として変換する変換手段とを備える。【選択図】      図８
2005252482.tif 000002
【特許請求の範囲】
【請求項１】
全方向の画像を取得する画像撮影装置と、
該画像撮影装置に設けられ、該画像撮影装置の姿勢情報を取得する姿勢情報取得手段と、
前記画像撮影装置により撮影された画像情報と前記姿勢情報取得手段により取得された姿勢情報とを時間的に同期させる同期手段と、
前記同期手段により姿勢情報と同期された画像情報を、前記姿勢情報に基づいて前記画像撮影装置が位置する環境の３次元ワールド座標系の所定の軸に対して傾きのない２次元画像として生成する２次元画像生成手段と
を有することを特徴とする画像生成装置。
【請求項２】
所定の前記軸は、鉛直方向の軸であることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
全方向のステレオ画像を取得する画像撮影装置と、
該画像撮影装置に設けられ、該画像撮影装置の姿勢情報を取得する姿勢情報取得手段と、
前記画像撮影装置により撮影された画像情報と前記姿勢情報取得手段により取得された姿勢情報とを時間的に同期させる同期手段と、
前記同期手段により姿勢情報と同期された画像情報から３次元距離情報を取得する３次元距離情報取得手段と、
該３次元距離情報を、前記姿勢情報に基づいて前記画像撮影装置が位置する環境の３次元ワールド座標系を基準とした３次元距離情報に変換する変換手段と
を有することを特徴とする３次元距離情報取得装置。
【請求項４】
前記姿勢情報取得手段は、ジャイロセンサを有することを特徴とする請求項３に記載の３次元距離情報取得装置。
【請求項５】
前記３次元距離情報取得装置は、前記変換手段により変換された３次元距離情報から３次元環境モデルを生成する３次元環境モデル生成手段
をさらに有することを特徴とする請求項３又は請求項４に記載の３次元距離情報取得装置。
【請求項６】
前記３次元距離情報取得装置は、前記画像撮影装置に設けられ該画像撮影装置の位置情報を取得する位置情報取得手段を有し、
前記同期手段は、前記画像情報と前記位置情報とを同期させることを特徴とする請求項３乃至請求項５のいずれか１項に記載の３次元距離情報取得装置。
【請求項７】
前記位置情報取得手段は、加速度センサを有することを特徴とする請求項６に記載の３次元距離情報取得装置。
【請求項８】
前記３次元距離情報取得装置は、前記画像撮影装置により得られた画像のエッジとその方向とに基づいて前記画像撮影装置が位置するワールド座標系に対する該画像撮影装置の傾きを推定する推定手段
をさらに有し、前記姿勢情報に基づいて該推定手段により前記画像撮影装置の姿勢を推定することを特徴とする請求項３乃至請求項７のいずれか１項に記載の３次元距離情報取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置及び３次元距離情報取得装置に関するものである。
【背景技術】
【０００２】
バーチャルリアリティやロボットナビゲーション、コンピュータビジョン等の分野において、画像処理を用いた様々な研究が盛んに行われている。例えば、遠隔地で行われる会議に仮想的に参加するときには、実際の会議場の画像を利用者の周囲に再現できれば利用者に臨場感を与えることができる。また、人が入り込めない危険地域や特殊地域でロボットによる遠隔操作を行う際に、そのロボットが取得した画像からその地域の３次元環境モデルを再現できれば、利用者は非常にリアリティのある環境の中で遠隔操作を行うことができる。こういった３次元環境モデルの生成においては、カメラ等の撮影装置によって広範囲の環境情報を取得することが重要である。
【０００３】
例えば、特許文献１には、このような３次元環境モデルの生成の画像入力側装置として活用できる、３次元距離情報取得装置が開示されている。この装置は、正２０面体の面上にマウントされた２０個のステレオユニットから構成されている。各ステレオユニットは、Ｔ字に配置された３台のＣＣＤカメラから構成され、上下と左右の２種類のステレオ画像が得られるようになっている。ここで、装置自体の姿勢（傾き）が撮影時毎に異なる場合、その撮影時の装置自体の姿勢によって各全方向撮影画像毎に装置座標系が異なっており統一が取れていない。そこで、各全方向画像の装置座標系を、装置が位置するワールド座標系とそれぞれ一致させる必要がある。
【０００４】
非特許文献１では、こういった装置のワールド座標系に対する傾きを、取得した画像内の垂直エッジを検出することにより推定している。垂直エッジとは、室内環境や市街地等のシーンに多く存在する鉛直方向の直線のことである。通常、室内等の環境の中には垂直エッジが多く含まれており、それらの垂直エッジの方向はワールド座標系の縦軸Ｚｗの方向と同じである。このため、装置座標系における垂直エッジ方向の分布を調べ、最も大きい垂直エッジ方向の分布を検出すれば、装置座標系におけるワールド座標系の縦軸Ｚｗの方向が推定できる。装置座標系におけるワールド座標系の縦軸Ｚｗが分かれば、ワールド座標系における装置座標系のＺ軸の方向も分かる。以上の手法により、装置のワールド座標系に対する傾きを推定し、その推定された値に基づいて補正し、各全方向撮影画像の装置座標系をワールド座標系と一致させ、高精度な３次元距離情報を取得することができるとされていた。
【特許文献１】特開２００１−２８５６９２（請求項１、図１）
【非特許文献１】王、棚橋、佐藤、平湯、丹羽、山本、” 全方位画像のエッジヒストグラムを用いたセンサの位置姿勢推定”、信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．１４００−１４１０，２００３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記垂直エッジによる推定処理は、計算における処理時間が多くかかるため、実時間での補正後の２次元画像の生成や３次元環境モデルの生成が困難であるという問題があった。
【０００６】
また、室内環境等では通常何らかの垂直エッジが存在するものではあるが、建物が倒壊した災害現場や、人物が入り込めない狭い洞窟等では、十分な垂直エッジが存在しないため、上記の方法で傾きを推定することは困難であった。このように、特殊な場所で使用する場合や、装置の使用環境が定まっていない場合等には、有効に用いることができなかった。
【０００７】
そこで、本発明は、種々の使用環境に影響されることなく装置の姿勢を検出し、処理時間が短く実時間で処理することができる画像生成装置及び３次元距離情報取得装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に係る画像生成装置は、全方向の画像を取得する画像撮影装置と、該画像撮影装置に設けられ、該画像撮影装置の姿勢情報を取得する姿勢情報取得手段と、前記画像撮影装置により撮影された画像情報と前記姿勢情報取得手段により取得された姿勢情報とを時間的に同期させる同期手段と、前記同期手段により姿勢情報と同期された画像情報を、前記姿勢情報に基づいて前記画像撮影装置が位置する環境の３次元ワールド座標系の所定の軸に対して傾きのない２次元画像として生成する２次元画像生成手段とを有することを要旨とする。
【０００９】
請求項２に係る画像生成装置は、請求項１に記載の画像生成装置において、所定の前記軸は、鉛直方向の軸であることを要旨とする。
請求項３に係る３次元距離情報取得装置は、全方向のステレオ画像を取得する画像撮影装置と、該画像撮影装置に設けられ、該画像撮影装置の姿勢情報を取得する姿勢情報取得手段と、前記画像撮影装置により撮影された画像情報と前記姿勢情報取得手段により取得された姿勢情報とを時間的に同期させる同期手段と、前記同期手段により姿勢情報と同期された画像情報から３次元距離情報を取得する３次元距離情報取得手段と、該３次元距離情報を、前記姿勢情報に基づいて前記画像撮影装置が位置する環境の３次元ワールド座標系を基準とした３次元距離情報に変換する変換手段とを有することを要旨とする。
【００１０】
請求項４に係る３次元距離情報取得装置は、請求項３に記載の３次元距離情報取得装置において、前記姿勢情報取得手段は、ジャイロセンサを有することを要旨とする。
請求項５に係る３次元距離情報取得装置は、請求項３又は請求項４に記載の３次元距離情報取得装置において、前記３次元距離情報取得装置は、前記変換手段により変換された３次元距離情報から３次元環境モデルを生成する３次元環境モデル生成手段をさらに有することを要旨とする。
【００１１】
請求項６に係る３次元距離情報取得装置は、請求項３乃至請求項５のいずれか１項に記載の３次元距離情報取得装置において、前記３次元距離情報取得装置は、前記画像撮影装置に設けられ該画像撮影装置の位置情報を取得する位置情報取得手段を有し、前記同期手段は、前記画像情報と前記位置情報とを同期させることを要旨とする。
【００１２】
請求項７に係る３次元距離情報取得装置は、請求項６に記載の３次元距離情報取得装置において、前記位置情報取得手段は、加速度センサを有することを要旨とする。
請求項８に係る３次元距離情報取得装置は、請求項３乃至請求項７のいずれか１項に記載の３次元距離情報取得装置において、前記３次元距離情報取得装置は、前記画像撮影装置により得られた画像のエッジとその方向とに基づいて前記画像撮影装置が位置するワールド座標系に対する該画像撮影装置の傾きを推定する推定手段をさらに有し、前記姿勢情報に基づいて該推定手段により前記画像撮影装置の姿勢を推定することを要旨とする。
【発明の効果】
【００１３】
本発明によれば、種々の使用環境に影響されることなく装置の姿勢を検出し、処理時間が短く実時間で処理することができる。
【発明を実施するための最良の形態】
【００１４】
（第１の実施形態）
以下、本発明を具体化した第１の実施形態を図１〜図７にしたがって説明する。
図１は、本実施形態の画像処理装置のシステム構成を示す概略図である。図１に示すように、本実施形態の画像処理装置（画像生成装置）１１は、アクティブセンサ（全方向ステレオ撮影装置、画像撮影装置）１２とコンピュータ１３にて構成されている。なお、本実施形態の説明において、単にセンサというときは、アクティブセンサ１２のことを指している。アクティブセンサ１２は、複数、本実施形態では２０ユニットの３眼ステレオユニット（以下、単に「ステレオユニット」という）１８、加速度センサ１４、ジャイロセンサ１５、メモリユニット１６、同期信号発生器１７等を備えている。図１においては、１つの平面が同一時刻における２０ユニットのステレオユニットによる全方向の画像及び加速度センサ１４、ジャイロセンサ１５のデータの取得を概念的に示しており、また、これらが所定の時間間隔で連続して取得を行っていることを概念的に示すものである。
【００１５】
図２は、アクティブセンサ１２の機械的構成の概略図である。アクティブセンサ１２は、複数の車輪を有する車体１００を備えており、車体１００内に設けられた図示しない電動モータにより前記車輪が駆動されて環境Ｋ内の任意の位置に向けて自動走行（直線及び曲線に沿った走行を含む）が可能である。なお、図２においては、説明の便宜上、環境Ｋは、車体１００に比較して、小さく図示している。また、メモリユニット１６、コンピュータ１３、同期信号発生器１７等は車体１００内に格納されている。
【００１６】
図３は、アクティブセンサ１２の全体外観図である。アクティブセンサ１２に設けられるステレオユニット１８は、３個のビデオカメラからなり、各ステレオユニット１８は正２０面体（図４参照）の各面上にそれぞれ配置されている。すなわち、本実施形態では、ステレオユニット１８は２０ユニットある。これらのステレオユニット１８の集合体は、スタンド１９によって支持されている。
【００１７】
また、各ステレオユニット１８は同特性を備え、各面に配置したステレオユニット１８により、全方向のカラー画像と白黒画像（距離画像を求めるためのステレオ画像）を同一時刻にリアルタイムで取得可能となっている。これによって、３次元空間上の全ての方向におけるカラー画像と３次元情報を同一時刻に得ることができる。
【００１８】
さらに、同じ特性を持つステレオユニット１８を正２０面体の各面上に配置したことにより、３次元空間を均等に分割し、高解像度の情報の取得が可能である。なお、このアクティブセンサ１２は、「”実環境センシングのための全方向ステレオシステム（ＳＯＳ）”、電気学会論文誌Ｃ．Ｖｏｌ．１２１−Ｃ，Ｎｏ．５，ｐｐ．８７６−８８１，２００１」に記載されている。
【００１９】
ステレオユニット１８は、図１（図３）に示すように、１つの基準ビデオカメラＶＣｓと、一対の参照用ビデオカメラＶＣとからなる。そして、参照用ビデオカメラＶＣは基準ビデオカメラＶＣｓの光軸を交線として、互いに直交する一対の平面に含ませるように配置されている。そして、これらのカメラにより、２つのステレオペアを構成するように配置されている。なお、本実施形態では、ステレオユニット１８は２０ユニットあることから、基準ビデオカメラＶＣｓも２０台あることになる。
【００２０】
各ステレオユニット１８からは、１枚のカラー画像と２枚の白黒画像とからなるステレオ画像が取得され、全方向の２０枚のカラー画像と４０枚の白黒画像を１セットとして１５セット／秒でメモリユニット１６に転送する。メモリユニット１６は、転送されてきた全方向の画像データ（以下、全方向画像という）を記憶する。全方向画像には、基準ビデオカメラＶＣｓにて得られた画像データも含まれる。
【００２１】
図４は、アクティブセンサ１２に設けられる加速度センサ１４及びジャイロセンサ１５の取り付け態様を説明する図である。図４に示すように、アクティブセンサ１２の内部の略中心部には、加速度センサ１４とジャイロセンサ１５が設けられている。加速度センサ１４はアクティブセンサ１２の位置を取得し、ジャイロセンサ１５はアクティブセンサ１２の姿勢（傾き）を取得する。詳しい取得に係る処理については後に述べる。この加速度センサ１４が位置情報取得手段、ジャイロセンサ１５が姿勢情報取得手段を構成している。
【００２２】
また、各ステレオユニット１８の各ビデオカメラには、同期信号発生器１７から共通の絶対時刻に基づいた外部同期信号が供給され、画像データに時刻情報が付加されている。このことにより、ディジタル化されたフレームにおいて、完全に同期した画像データが得られる。また、同期信号発生器１７は、加速度センサ１４とジャイロセンサ１５からの位置姿勢情報にも時刻情報を付加する。
【００２３】
なお、コンピュータ１３は、所定の周期毎に、同コンピュータ１３内に備えているＲＯＭ１３ａ（図１参照）に予め格納したプログラムを実行する。また、コンピュータ１３は、メモリユニット１６にアクセスし、全方向画像及び位置姿勢情報をその時々に取得する。さらに、コンピュータ１３は、全方向画像と位置姿勢情報とを時間的に同期させる同期手段、２次元画像を生成する２次元画像生成手段、得られた画像のエッジに基づいてアクティブセンサ１２の傾きを推定する推定手段に相当する。なお、各手段の処理については、後に詳しく述べることとする。
【００２４】
次に、上記のように構成された画像処理装置１１の作用について説明する。まず、以下の説明で使用する用語について説明する。
１．  センサ座標系（三次元座標系）
センサ座標系は、センサの中心から撮像したときの視点位置と視点の向きで決まる座標系である。
【００２５】
２．  ワールド座標系（三次元座標系）
センサ自体が位置する環境の座標系である。このワールド座標系により、センサの位置や姿勢が特定される。また、このワールド座標系に基づいて３次元環境モデルが生成される。本実施形態では、センサの移動する始点を原点とし、鉛直方向をＺ軸方向とし、所定方向、例えば磁北をＸ軸方向としてワールド座標系が決定されるが、これに限定されるものではない。
【００２６】
３．  ３次元垂直エッジ
３次元垂直エッジはワールド座標系において、大地、床面等の水平な基準面に対して垂直な方向を持つエッジをいう。前記エッジは、従って、ワールド座標系が基準面に対して垂直なＺw軸を有するとすると、同Ｚw軸に対して平行なエッジ方向を有する。なお、３次元垂直エッジ点は、離散的に見た場合、３次元垂直エッジにある点をいう。
【００２７】
さて、本実施形態の画像処理装置１１では、ジャイロセンサ１５からアクティブセンサ１２の大まかな姿勢を得た後、室内環境や市街地等のシーンに多く存在する鉛直方向の直線（以下、「垂直エッジ」という。）を用いてアクティブセンサ１２の正確な姿勢（鉛直方向の傾きと水平回転）を推定する。ジャイロセンサ１５の情報と画像情報を併用することで、アクティブセンサ１２の姿勢を効率的に精度良く求めることができる。そして、求められた姿勢情報に基づいて画像を補正し、回転のない状態における画像データとするものである。
【００２８】
図５は、画像処理装置１１の一連の処理を示すフローチャートである。まず、ジャイロセンサ１５からアクティブセンサ１２の姿勢情報を取得し（ステップ１、以下「ステップ」を「Ｓ」と略す。）、センサ座標系からワールド座標系への変換パラメータを求める（Ｓ２）。次に、変換パラメータを利用して、アクティブセンサ１２で得られた全方向画像からエッジとその方向に基づいて垂直エッジを検出し、アクティブセンサ１２の姿勢を推定する（Ｓ３）。そして、姿勢パラメータにより、得られた画像を補整し回転のない２次元画像を生成する（Ｓ４）。
【００２９】
次に、上記のアクティブセンサの姿勢推定（Ｓ３）について、エッジ方向とアクティブセンサ１２の姿勢の関係、エッジ方向を用いた傾き推定、アクティブセンサ１２の水平回転の推定、カルマンフィルタによる平滑化の順にさらに詳しく述べる。
【００３０】
まず、傾き推定の原理であるが、アクティブセンサ１２の傾きを推定するには，ワールド座標系におけるセンサ座標系の縦軸（以下、Ｚ軸とする）方向を求めればよい。一方、ワールド座標系におけるアクティブセンサ１２の傾き推定とセンサ座標系におけるワールド座標系の傾き推定は同一の問題であるため、センサ座標系におけるワールド座標系のＺ軸の方向Ｚｗが分かれば、ワールド座標系におけるセンサ座標系のＺ軸の方向も分かる。
【００３１】
アクティブセンサの姿勢推定（Ｓ３）について、まず、エッジ方向とアクティブセンサ１２の姿勢の関係について説明する。ワールド座標系における３次元垂直エッジ点Ｓｗとそのエッジ方向Ｅｗは、センサ座標系でそれぞれＳとＥとする。また、センサ座標系(Ｘ，Ｙ，Ｚ)におけるワールド座標系のＺ軸をＺｗとする。３次元空間において、垂直エッジＳ＋λＥとＺｗは平行であるため、同一平面上にある。つまり、３次元垂直エッジ点Ｓとそのエッジ方向Ｅで構成する斉次平面（つまり、座標系原点を通る平面）（Ｓ×Ｅ）・Ｘ＝０はワールド座標系のＺ軸Ｚｗを通る。図６に示すように、平面（Ｓ×Ｅ）・Ｘ＝０を平面Ｚ＝１と交差させれば、その交差線はＺｗと平面Ｚ＝１との交点ｐ＝（ｘ，ｙ，１）?を通る。センサ座標系におけるＺ＝１平面上の２次元空間（ｘ，ｙ）を投票空間とした場合、３次元空間における各エッジ点Ｓとそのエッジ方向Ｅは次の式で投票空間（ｘ，ｙ）に投票される。
【００３２】
【数１】
2005252482.tif 000003
シーンの中に垂直エッジが多数存在する場合、各エッジから作成された平面（Ｓ×Ｅ）?Ｘ＝０を上述のように平面Ｚ＝１に投影すれば、その交差線はすべて共通点ｐを通るため、投票空間（ｘ，ｙ）中のｐ＝（ｘｐ，ｙｐ）において大きなピークが形成される。したがって、投票空間（ｘ，ｙ）から最も高いピークｐを検出することで、ワールド座標系のＺ軸の方向Ｚｗを推定することができ、その値は（ｘｐ，ｙｐ，１）?になる。
【００３３】
次に、全方向画像のエッジ方向を用いた傾き推定について説明する。アクティブセンサ１２の各カメラから得られた画像のエッジとその方向を用いて、上述の投票により傾きの推定を行う。アクティブセンサ１２の各カメラの画像から得られたエッジｓとその方向ｅで構成される２次元エッジ線分とそのエッジの３次元の点Ｓと３次元方向Ｅで構成される３次元エッジ線分は同一同次平面にあるため、アクティブセンサ１２の各カメラ座標系はアクティブセンサ１２のセンサ座標系と一致する場合、式（１）からｓとｅは次の式を満たす。
【００３４】
【数２】
2005252482.tif 000004
一般的に、アクティブセンサ１２の各カメラの座標系とアクティブセンサの１２のセンサ座標系とは一致しないが、垂直エッジの消失点はカメラの並進に対して不変であり、各カメラの回転Ｒｃのみに関係する。この性質から次の関係式が得られる。
【００３５】
【数３】
2005252482.tif 000005
ここで、ｓｃとｅｃはそれぞれカメラの画像におけるエッジとその方向である。
【００３６】
アクティブセンサ１２のｃ番目のカメラの画像上のｋ番目のエッジ点をｓｃｋ＝（ｘｃｋ，ｙｃｋ）とし、そのエッジ方向をｅｃｋ＝（ｄｙｃｋ，−ｄｘｃｋ）とする。ここで、ｋ＝１，…，Ｎｃ、Ｎｃは各カメラ画像にあるエッジピクセルの数である。アクティブセンサ１２のセンサ座標系におけるＺ＝１の平面上の投票空間を（ｘ，ｙ）とすれば、式（３）から次の投票式がえられる。
【００３７】
【数４】
2005252482.tif 000006
ただし、
【００３８】
【数５】
2005252482.tif 000007
【００３９】
【数６】
2005252482.tif 000008
【００４０】
【数７】
2005252482.tif 000009
式（４）から明らかなように、アクティブセンサ１２の各カメラの画像上の一つのエッジ点は投票空間の１本の直線に対応する。すなわち、エッジ点ｓｃｋとその方向ｅｃｋが与えられたとき、投票空間においてはこれに対応する直線上に投票を行えば良い。すべてのエッジ点に対して投票を行った後、投票空間において最も高いピークを検出することによって、垂直エッジに対応する消失点を求めることができる。
【００４１】
このように、アクティブセンサ１２の傾きを推定することにより、傾きのない時のアクティブセンサ１２の全方向エッジ画像を生成することができる。このように傾きのない全方向エッジ画像を仮想的に生成できるため、これを用いて本出願人がすでに提案した全方位エッジヒストグラムを用いたセンサの位置・姿勢推定法（水平のみ）により、カメラのその他の位置・姿勢パラメータも得ることができる。詳しくは、「”全方位画像のエッジヒストグラムを用いたセンサの位置姿勢推定”、信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．１４００−１４１０，２００３」による。次に、アクティブセンサの水平回転成分の求め方について述べる。なお、ここで姿勢パラメータとは、鉛直方向及び水平方向も含めた全体の姿勢を決定するパラメータを意味する。
【００４２】
アクティブセンサ１２が傾いていない場合、アクティブセンサ１２の並進や回転は、全方位画像の垂直投影エッジヒストグラムのシフトを引き起こす。アクティブセンサ１２の水平回転によって生じたヒストグラムのシフト量はすべての方位角において一定で、全体のシフト量のオフセットになるが、アクティブセンサ１２の並進で生じたヒストグラムのシフト量は移動方向とエッジの方位角に関係し、ｓｉｎ曲線の特性を持つ。
【００４３】
初期時刻のアクティブセンサ１２の向きを基準とした場合、初期時刻の全方位エッジヒストグラムを参照ヒストグラムとする。現時刻で得られた全方位エッジヒストグラムと参照ヒストグラムをマッチングし、ヒストグラムのシフト量を求める。全方位エッジヒストグラムのシフト量の全体的なオフセットからアクティブセンサ１２の回転角度を求める。詳細については、文献”全方位画像のエッジヒストグラムを用いたセンサの位置姿勢推定”、信学論Ｄ−ＩＩ，Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．１４００−１４１０，２００３による。
【００４４】
上記のようにして得られたアクティブセンサ１２の姿勢パラメータにはランダム的な推定誤差がある。一般的に、アクティブセンサ１２の姿勢変化は滑らかであるが、そのランダム的な推定誤差によって、復元した姿勢の時間的な変動はパラメータ空間では必ずしも滑らかな軌跡にならない。そのため、推定したアクティブセンサ１２の姿勢パラメータを用いて復元した全方向画像には小さな振動が起こる場合がある。
【００４５】
この問題を解決するために、カルマンフィルタ（文献”Ａ  Ｎｅｗ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｌｉｎｅａｒ  Ｆｉｌｔｅｒｉｎｇ  ａｎｄ  Ｐｒｅｄｉｃｔｉｏｎ  Ｐｒｏｂｌｅｍｓ”Ｔｒａｎｓ．ｏｆ  ＡＳＭＥ−Ｊｏｕｒｎａｌ  ｏｆ  Ｂａｓｉｃ  Ｅｎｇｉｎｅｅｒｉｎｇ，Ｖｏｌ．８２−Ｄ，ｐｐ．３５−４５，１９６０による。）を用いて、得られたアクティブセンサ１２の姿勢パラメータの時間的な変動（軌跡）を平滑化する。ここでは、傾きの２自由度α，βと水平回転の１自由度γの時間的な変動はお互いに独立していると仮定する。また、それらの姿勢パラメータの変化は等速変化であると仮定する。時刻ｔの姿勢パラメータをＰｔ＝（αｔ，βｔ，γｔ）Ｔとし、パラメータの変化量Δｔ＝Ｐｔ-Ｐｔ−１とする。その場合、カルマンフィルタによる平滑化は次の式のようになる。
【００４６】
【数８】
2005252482.tif 000010
【００４７】
【数９】
2005252482.tif 000011
【００４８】
【数１０】
2005252482.tif 000012
ここで、ＲとＱはそれぞれ対角要素の値がＲとＱである３×３の対角行列である。Ｑはパラメータ推定誤差の分散を表し、本実施形態ではＱ＝２とする。Ｒは仮定した等速モデルから実際の姿勢変化量の偏差値であり、本実施形態ではＲ＝４とする。
【００４９】
また、初期値としては、Δ０＝０で、Ｐ０を姿勢の初期推定値とする。Ｍ０を対角要素の値がＲである対角行列とする。式（９）の左辺で得られた値を時刻ｔの姿勢の推定値として用いる。
【００５０】
上記のように、本実施形態では、ジャイロセンサ１５から得た傾きと垂直エッジから得られた傾きの双方を併用している。ジャイロセンサ１５では得られるデータに時間的な誤差の蓄積があるが、垂直エッジから得られた傾きはアクティブセンサ１２のワールド座標系に対する絶対的な傾きであるため、それを用いてジャイロセンサ１５のドリフト誤差を修正している。
【００５１】
次に、２次元画像の生成（図５、Ｓ４）について詳しく述べる。アクティブセンサ１２の姿勢がわかれば、その姿勢パラメータを用いてアクティブセンサの全方向画像から回転のない時の画像を生成することができる。ここでは、アクティブセンサ１２の全天周球面展開画像の生成方法について述べる。
【００５２】
上述したように得られたアクティブセンサ１２の姿勢パラメータをＸ，Ｙ，Ｚ軸のそれぞれに対応した回転角度α，β，γで表すことができる。姿勢が変化したときの全天周球面展開画像を３軸角度座標系（Ａ，Ｂ，Г）で表せば、アクティブセンサ１２の姿勢変化のないときの全天周球面展開画像は（Ａ−α，Ｂ−β，Г−γ）として得られる。この関係から、Ｘ，Ｙ，Ｚ軸の回転量は、それぞれの軸を縦軸とした円筒展開画像においては、画像の横シフト量となる。そこで、この特徴を利用して、次のような手順でアクティブセンサ１２の各カメラで得られた全方位画像から、アクティブセンサ１２の姿勢変化を補正した回転不変な２次元円筒展開画像を高速に生成する。
【００５３】
まず、アクティブセンサ１２のセンサ座標系のＸ軸を縦軸とした円筒展開画像とアクティブセンサ１２の各カメラの画像の対応関係を計算する。アクティブセンサ１２の各カメラ座標系とセンサ座標系の関係が既知であるため、それを用いて平面射影モデルに基づき、アクティブセンサの各カメラの画像とＸ軸を縦軸とした円筒展開画像との対応関係は簡単に求めることができる、その対応関係をｃｘ（θｘ，φｘ），ｉｘ（θｘ，φｘ），ｊｘ（θｘ，φｘ）で表す。（θｘ，φｘ）はＸ軸を縦軸とした円筒展開画像の座標である。ｃｘはカメラ番号で、ｉｘとｊｘはカメラｃｘの画像座標である。
【００５４】
次に、アクティブセンサ１２のセンサ座標系のＹ軸を縦軸とした円筒展開画像（θｙ，φｙ）とＸ軸を縦軸とした円筒展開画像（θｘ，φｘ）との対応関係を計算し、ｘθ（θｙ，φｙ），ｘφ（θｙ，φｙ）で表す。同様に、Ｚ軸を縦軸とした円筒展開画像（θｚ，φｚ）とＹ軸を縦軸とした円筒展開画像（θｙ，φｙ）との対応関係をｙθ（θｚ，φｚ），ｙφ（θｚ，φｚ）で表す。アクティブセンサ１２の姿勢パラメータ（α，β，γ）を用いて姿勢変化のないときの縦方向の円筒展開画像とアクティブセンサ１２の各カメラ画像の対応関係ｃｒ（θ，φ），ｉｒ（θ，φ），ｊｒ（θ，φ）は上述の対応関係から多重インデックスで求めることができる。次の式はカメラ番号の対応関係ｃｒ（θ，φ）の計算式を示す。
【００５５】
【数１１】
2005252482.tif 000013
【００５６】
【数１２】
2005252482.tif 000014
【００５７】
【数１３】
2005252482.tif 000015
式（１１）〜（１３）と同様に、ｉｒ（θ，φ）とｊｒ（θ，φ）についても多重インデックスを構築することができる。
【００５８】
上記詳しく述べた各処理を経て、全方向画像からワールド座標系に対応した回転不変な２次元画像を生成することができる。「ワールド座標系に対応した」とは、センサ座標系のＺ軸とワールド座標系のＺｗ軸とが平行であり、常にワールド座標系のＺ軸に対して傾くことなく一定な状態であることを示す。つまり、アクティブセンサ１２のセンサ座標系は、ワールド座標系から見ればアクティブセンサ１２の姿勢によってワールド座標系内で種々変化するが、上記の処理を経れば、姿勢が変化したアクティブセンサ１２から得られた各画像は常に各画像におけるセンサ座標系の統一がとられた、回転不変な２次元画像として生成することができる。図７は、その画像を円筒画像として復元した結果を示す図であり、（ａ）は補正なしの画像を示し、（ｂ）は上記処理を経て得られた姿勢パラメータを用いて姿勢補正を行った後の画像を示す。図７（ａ）に示すように補正なしの円筒画像Ｐａでは画像がｓｉｎ曲線を描くように歪んでいるが、図７（ｂ）に示すように補正後の円筒画像Ｐｂでは、画像が歪むことなく周辺環境を水平状態で見たような画像が生成されている。このように、得られた姿勢パラメータによって正確な姿勢推定がなされ、精度良く補正されていることがわかる。すなわち、本実施形態によれば、アクティブセンサ１２がその環境内で移動し姿勢が変化した場合であっても、常にワールド座標系のＺｗ軸に対して傾きのない２次元画像を生成することができる。また、ジャイロセンサ１５からの傾きをまず取得しそのデータを利用しているため、全方向画像から垂直エッジを検出する手法のみによって姿勢を推定するより格段に計算量が少なくてすみ、回転不変２次元画像の生成を実時間で高速に行うことができる。
【００５９】
上記実施形態によれば、以下のような効果を得ることができる。
（１）姿勢情報を取得するためにジャイロセンサ１５を用いることにより、少ない計算量で容易にアクティブセンサ１２の姿勢を推定することができる。また、本実施形態ではジャイロセンサ１５から得た傾きと垂直エッジから得られた傾きの双方を併用している。このため、ジャイロセンサ１５のみでは、得られるデータに時間的な誤差の蓄積があるため正確な推定が難しいが、垂直エッジから得られた傾きはアクティブセンサ１２のワールド座標系に対する絶対的な傾きであるため、それを用いてジャイロセンサ１５のドリフト誤差を修正することができる。
【００６０】
（２）さらに、得られた姿勢パラメータを用いて、撮影した全方向画像からワールド座標系に対応した２次元画像を生成することができる。つまり、アクティブセンサ１２がその環境内で移動し姿勢が変化した場合であっても、常に環境を同じ姿勢で見た場合の画像を安定して得ることができる。例えば、危険地帯や狭い洞窟等、人物が入れない環境の撮影の際に、アクティブセンサ１２を用いてその撮影された画像を補整し回転不変の２次元画像としてモニタ等に映し出せば、歪みがない画像として生成されるため大変見やすく状況把握に有効である。
【００６１】
（３）さらに、全方向画像から垂直エッジを検出する手法のみであっても姿勢を推定することはできるが、画像上での処理となるため比較的処理速度が遅い。その点、本実施形態では、垂直エッジを検出する手法のみによって姿勢を推定する場合と比較して計算量が少なくてすむため、回転不変２次元画像の生成を効率的に実時間で処理することができる。
【００６２】
（４）また、本実施形態のアクティブセンサ１２の撮影領域は、３６０度×１８０度（全天周）の全方向をカバーしており死角がないため、アクティブセンサ１２自体がどのような姿勢であっても全ての視野を常にカバーすることができる。環境全体を監視したり、状況を把握したりする場合に十分な情報を得ることができる。
【００６３】
（５）本実施形態では、ジャイロセンサ１５から傾きを得るため、画像上に垂直エッジが存在しない場合でも、アクティブセンサ１２の姿勢を推定し回転不変の２次元画像を生成することができる。もちろん、ジャイロセンサ１５の移動が進みドリフト誤差が累積された場合には高い精度は期待できないが、ある程度の姿勢補正を可能とすることができる。
【００６４】
（第２の実施形態）
次に、本発明の第２の実施形態を図８に基づき説明する。なお、第２の実施形態は、第１の実施形態における画像処理装置１１の処理を一部変更し、３次元距離情報取得装置として機能するものであり、その他の点では第１の実施形態と同一の構成となっている。従って、以下ではその処理における変更点についてのみ説明する。画像処理装置１１の構成は第１の実施形態と共通するため説明は省略するとともに、同一構成部材には同一の符号が付されることとして説明する。なお、本実施形態のコンピュータ１３は、第１の実施形態と同様の推定手段に加え、位置情報と画像情報を同期させる同期手段、３次元距離情報取得手段、変換手段、３次元環境モデル生成手段に相当するものである。
【００６５】
図８は、画像処理装置（３次元距離情報取得装置）１１の一連の処理を示すフローチャートである。まず、ジャイロセンサ１５及び加速度センサ１４から位置姿勢情報を取得する（Ｓ１１）。詳しくは、後に述べる。次に、同期手段によって位置姿勢情報と同期された画像から３次元距離情報を取得する（Ｓ１２）。本実施形態では、複数のステレオユニット１８を構成する複数のカメラにより、正２０面体の各面が向く方向の３次元画像を撮影することで３次元距離情報を取得する。次に、センサ座標系からワールド座標系への変換パラメータを求める（Ｓ１３）。次に、変換パラメータを利用して、アクティブセンサ１２で得られた全方向画像からエッジとその方向に基づいて垂直エッジを検出し、アクティブセンサ１２の姿勢を推定する（Ｓ１４）。そして、３次元距離情報を位置姿勢情報に基づきワールド座標系を基準とした３次元距離情報に変換する（Ｓ１５）。ここで、位置姿勢情報とは、加速度センサ１４とジャイロセンサ１５から直接得られたデータから、垂直エッジによる推定を経て得られた位置姿勢情報のことを指し、第１の実施形態における姿勢パラメータに相当する。次に、変換して得られた３次元距離情報に基づいて３次元環境モデルを生成する（Ｓ１６）。
【００６６】
次に、各処理について第１の実施形態との相違点に着目して説明する。まず、位置姿勢情報の取得（Ｓ１１）について述べる。本実施形態では、姿勢情報に加え、加速度センサ１４によって位置情報を取得する。加速度センサ１４はアクティブセンサ１２の加速度ベクトルの和を測定する。この加速度ベクトルは、ジャイロセンサ１５から得られた変換パラメータを使用してセンサ座標系からワールド座標系に変換することができる。位置情報は、測定された加速度から重力の影響を減算し、既知の初期位置を起点として値を２重積分することにより求められる。
【００６７】
次に、位置姿勢情報に基づきセンサ座標系からワールド座標系を基準とした３次元距離情報への変換（Ｓ１５）及び３次元環境モデルの生成（Ｓ１６）について述べる。アクティブセンサ１２は移動しながら移動経路上の各地点で３次元距離情報を取得しており、各地点でのアクティブセンサ１２の位置姿勢情報を用いて、センサ座標系からワールド座標系に変換する（Ｓ１５）。ここでは、例えば部屋の中心や、移動のスタート地点を原点とすることができる。スタート地点を原点としたワールド座標系を共通座標系とし、各時刻ｔで取得した各３次元点を
【００６８】
【数１４】
2005252482.tif 000016
とする。ここで、Ｎは視点の数である。時刻ｔで得られた３軸回転角度をαｔ，βｔ，γｔとし、スタート地点に対する平行移動をＴ＝（Ｔｘ，Ｔｙ，Ｔｚ）?とする。すると、次の式のように、時刻ｔの３次元データを共通座標系に変換することができる。
【００６９】
【数１５】
2005252482.tif 000017
ここで、Ｒｘ（θ），Ｒｙ（θ），Ｒｚ（θ）はそれぞれＸ，Ｙ，Ｚ軸に対して角度θだけ回転したときの回転マトリクスである。
【００７０】
この処理によれば、各地点で得られた３次元距離情報がスタート地点を原点（基準点）としたワールド座標系で統一されることになる。そして、ワールド座標系を基準としたデータに変換された、それらの各地点における３次元距離情報を統合することによって、通過した経路全体の３次元環境モデルを生成することができる（Ｓ１６）。
【００７１】
上記実施形態によれば、第１の実施形態における効果（１）、（４）に加え、さらに以下のような効果を得ることができる。
（６）上記実施形態では、姿勢情報に加え、ジャイロセンサ１５と加速度センサ１４とを用いてアクティブセンサ１２の位置情報を算出するため、アクティブセンサ１２が移動した際に、その移動後の位置毎の３次元距離情報を得ることができる。
【００７２】
（７）さらに、全方向画像から垂直エッジを検出する手法のみによって姿勢を推定する場合と比較して計算量が少なくてすむため、また上記効果（６）により、アクティブセンサ１２を移動させながら実時間で通過経路の３次元環境モデルを構築することができる。
【００７３】
（８）さらに、３次元環境モデルを構築すれば、例えば遠隔地の会議に参加する場合には利用者により臨場感を持たせることができる。また、人が入り込めない危険地域等でロボットによる遠隔操作を行う際に、利用者はリアリティ性の高い環境の中で遠隔操作を行うことができる。
【００７４】
なお、上記各実施形態は以下のような別の形態（別例）に変更してもよい。
・第１の実施形態では、加速度センサ１４はなくてもよい。姿勢情報取得手段としてのジャイロセンサ１５のみで、２次元画像を生成することができる。
【００７５】
・第２の実施形態では、加速度センサ１４はなくてもよい。この場合も、ある地点での姿勢情報を得ることができるためその地点での３次元環境モデルを作成することができる。この場合、アクティブセンサ１２を移動させつつワールド座標系における原点からのモデルを構築するのではなく、停止した状態でのアクティブセンサ１２の一地点における３次元環境モデルを作成することができる。
【００７６】
・上記各実施形態では、加速度センサ１４及びジャイロセンサ１５を、アクティブセンサ１２の内部略中心部に設けたが、この位置に何ら限定されるものではない。その他、例えばアクティブセンサ１２のスタンド１９（図３参照）や車体１００（図２参照）に取り付けても同様に実施することができる。
【００７７】
・上記各実施形態のアクティブセンサ１２は、正２０面体の立体の各面上にステレオユニット１８が複数配置される構成としたが、その他正４面体、正６面体、正８面体、正１２面体等で構成しても良い。これによれば、３次元空間の分割が均等となり、カメラを支持する複数の支持部材やそれに支持される各カメラの特性を揃えることができる。
【００７８】
・上記第１の実施形態と第２の実施形態を組み合わせた画像処理装置として実施することができる。
・上記各実施形態では、アクティブセンサ１２の位置情報を取得する位置情報取得手段として加速度センサ１４を用い、姿勢情報を取得する姿勢情報取得手段としてジャイロセンサ１５を用いたが、これに代えて、磁気式、超音波式、赤外線式等の各種のセンサとすることができる。要は、位置情報と姿勢情報がそれぞれ検出可能なセンサであれば、適宜変更可能である。
【図面の簡単な説明】
【００７９】
【図１】本実施形態の画像処理装置のシステム構成を示す概略図。
【図２】アクティブセンサの機械的構成の概略図。
【図３】アクティブセンサの全体外観図。
【図４】アクティブセンサに設けられるジャイロセンサ及び加速度センサの取り付け態様を説明する図。
【図５】第１の実施形態に係る処理を示すフローチャート。
【図６】垂直エッジとアクティブセンサの傾きの関係を説明する図。
【図７】２次元画像を円筒画像として復元した結果を示す図であり、（ａ）は補正なしの画像を示し、（ｂ）は姿勢パラメータを用いて姿勢補正を行った後の画像を示す。
【図８】第２の実施形態に係る処理を示すフローチャート。
【符号の説明】
【００８０】
１１…画像処理装置（画像生成装置、３次元情報取得装置）、１２…アクティブセンサ（画像撮影装置）、１３…コンピュータ（同期手段、推定手段、２次元画像生成手段、３次元距離情報取得手段、３次元環境モデル生成手段）、１４…加速度センサ（位置情報取得手段）、１５…ジャイロセンサ（姿勢情報取得手段）、１８…ステレオユニット。
【図１】
2005252482.tif 000018
【図２】
2005252482.tif 000019
【図３】
2005252482.tif 000020
【図４】
2005252482.tif 000021
【図５】
2005252482.tif 000022
【図６】
2005252482.tif 000023
【図７】
2005252482.tif 000024
【図８】
2005252482.tif 000025