(57)【要約】【課題】複雑な処理を行うことなく且つ簡易な構成で、違和感のないＭＲ画像をＨＭＤ装着者等に提示することが可能な仕組みを提供する。【解決手段】現実空間を撮像した第１の撮像画像を取得する左ＣＭＯＳイメージセンサ１１１Ｌと、左ＣＭＯＳイメージセンサ１１１Ｌにおける露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する右ＣＭＯＳイメージセンサ１１１Ｒと、第１の撮像画像に基づきビデオシースルー型ＨＭＤ１１０の位置姿勢を表す第１の位置姿勢情報を生成するとともに、第２の撮像画像に基づきビデオシースルー型ＨＭＤ１１０の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成部１２３と、第１の位置姿勢情報と第２の位置姿勢情報とに基づいて、ビデオシースルー型ＨＭＤ１１０の位置姿勢情報を補正する位置姿勢情報補正部１２４を備える。【選択図】図７
2016052114.tif 000002
【特許請求の範囲】
【請求項１】
複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システムであって、
前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、現実空間を撮像した第１の撮像画像を取得する第１の撮像手段と、
前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、前記第１の撮像手段における露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する第２の撮像手段と、
前記第１の撮像画像に基づき前記撮像装置の位置姿勢を表す第１の位置姿勢情報を生成するとともに、前記第２の撮像画像に基づき前記撮像装置の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成手段と、
前記第１の位置姿勢情報と前記第２の位置姿勢情報とに基づいて、前記撮像装置の位置姿勢情報を補正する情報補正手段と、
を有することを特徴とする画像処理システム。
【請求項２】
前記第１の撮像手段における露光方向と前記第２の撮像手段における露光方向とが逆方向となるように、前記第１の撮像手段および前記第２の撮像手段を配置したことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記第１の撮像手段における露光方向と前記第２の撮像手段における露光方向とが逆方向となるように、前記第１の撮像手段および前記第２の撮像手段を制御する制御手段を更に有することを特徴とする請求項１に記載の画像処理システム。
【請求項４】
前記情報補正手段は、前記第１の位置姿勢情報と前記第２の位置姿勢情報との平均を前記撮像装置の位置姿勢情報として補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
【請求項５】
前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異と、前記撮像装置の位置姿勢情報の補正量との対応関係を表す対応関係情報を予め記憶する位置姿勢情報補正量記憶手段を更に有し、
前記情報補正手段は、前記位置姿勢情報補正量記憶手段に記憶されている対応関係情報を参照して、前記位置姿勢情報生成手段で生成された前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異に対応する前記撮像装置の位置姿勢情報の補正量を抽出し、当該補正量に基づいて前記撮像装置の位置姿勢情報を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。
【請求項６】
前記撮像装置における第３の位置姿勢情報を取得する取得手段を更に有し、
前記情報補正手段は、前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異と、
前記取得手段で取得された第３の位置姿勢情報とを用いて、前記撮像装置の位置姿勢情報を補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。
【請求項７】
前記第１の撮像画像と前記第２の撮像画像を用いて、前記第１の撮像画像と前記第２の撮像画像に含まれる任意の対象の奥行情報を生成する奥行情報生成手段と、
前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異に基づいて、前記第１の撮像画像と前記第２の撮像画像が有する動体歪みを推定する動体歪み推定手段と、
前記動体歪み推定手段によって推定された動体歪みに基づいて、前記奥行情報生成手段によって生成された奥行情報を補正する奥行情報補正手段と、
を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理システム。
【請求項８】
前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異と、前記奥行情報の補正量との対応関係を表す対応関係情報を予め記憶する奥行情報補正量記憶手段を更に有し、
前記奥行情報補正手段は、前記奥行情報補正量記憶手段に記憶されている対応関係情報を参照して、前記奥行情報生成手段で生成された奥行情報の補正量を抽出し、当該補正量に基づいて前記奥行情報を補正することを特徴とする請求項７に記載の画像処理システム。
【請求項９】
複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システムであって、
前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、現実空間を撮像した第１の撮像画像を取得する第１の撮像手段と、
前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、前記第１の撮像手段における露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する第２の撮像手段と、
前記第１の撮像画像に基づき前記撮像装置の位置姿勢を表す第１の位置姿勢情報を生成するとともに、前記第２の撮像画像に基づき前記撮像装置の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成手段と、
前記第１の位置姿勢情報と前記第２の位置姿勢情報とに基づいて、前記第１の撮像画像および前記第２の撮像画像の動体歪みを補正して、第１の補正撮像画像および第２の補正撮像画像を得る画像補正手段と、
を有することを特徴とする画像処理システム。
【請求項１０】
前記第１の補正撮像画像および前記第２の補正撮像画像のうちの両方の補正撮像画像またはいずれかの補正撮像画像に基づいて、前記撮像装置の位置姿勢を表す位置姿勢情報を再生成する再生成手段を更に有することを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
前記第１の補正撮像画像と前記第２の補正撮像画像を用いて、前記第１の補正撮像画像と前記第２の補正撮像画像に含まれる任意の対象の奥行情報を生成する奥行情報生成手段を更に有することを特徴とする請求項９または１０に記載の画像処理システム。
【請求項１２】
前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異と、前記奥行情報の補正量との対応関係を表す対応関係情報を予め記憶する奥行情報補正量記憶手段を更に有し、
前記奥行情報生成手段は、前記奥行情報補正量記憶手段に記憶されている対応関係情報を参照して、前記第１の補正撮像画像と前記第２の補正撮像画像に含まれる任意の対象の奥行情報の補正量を抽出し、当該補正量に基づいて前記奥行情報を生成することを特徴とする請求項１１に記載の画像処理システム。
【請求項１３】
複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システムによる画像処理方法であって、
前記複数のローリングシャッター方式の撮像手段のうちの第１の撮像手段を用いて、現実空間を撮像した第１の撮像画像を取得する第１の撮像工程と、
前記複数のローリングシャッター方式の撮像手段のうちの第２の撮像手段を用いて、前記第１の撮像工程における露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する第２の撮像工程と、
前記第１の撮像画像に基づき前記撮像装置の位置姿勢を表す第１の位置姿勢情報を生成するとともに、前記第２の撮像画像に基づき前記撮像装置の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成工程と、
前記第１の位置姿勢情報と前記第２の位置姿勢情報とに基づいて、前記撮像装置の位置姿勢情報を補正する情報補正工程と、
を有することを特徴とする画像処理方法。
【請求項１４】
前記第１の撮像画像と前記第２の撮像画像を用いて、前記第１の撮像画像と前記第２の撮像画像に含まれる任意の対象の奥行情報を生成する奥行情報生成工程と、
前記第１の位置姿勢情報と前記第２の位置姿勢情報との差異に基づいて、前記第１の撮像画像と前記第２の撮像画像が有する動体歪みを推定する動体歪み推定工程と、
前記動体歪み推定工程によって推定された動体歪みに基づいて、前記奥行情報生成工程によって生成された奥行情報を補正する奥行情報補正工程と、
を更に有することを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システムによる画像処理方法であって、
前記複数のローリングシャッター方式の撮像手段のうちの第１の撮像手段を用いて、現実空間を撮像した第１の撮像画像を取得する第１の撮像工程と、
前記複数のローリングシャッター方式の撮像手段のうちの第２の撮像手段を用いて、前記第１の撮像工程における露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する第２の撮像工程と、
前記第１の撮像画像に基づき前記撮像装置の位置姿勢を表す第１の位置姿勢情報を生成するとともに、前記第２の撮像画像に基づき前記撮像装置の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成工程と、
前記第１の位置姿勢情報と前記第２の位置姿勢情報とに基づいて、前記第１の撮像画像および前記第２の撮像画像の動体歪みを補正して、第１の補正撮像画像および第２の補正撮像画像を得る画像補正工程と、
を有することを特徴とする画像処理方法。
【請求項１６】
前記第１の補正撮像画像と前記第２の補正撮像画像を用いて、前記第１の補正撮像画像と前記第２の補正撮像画像に含まれる任意の対象の奥行情報を生成する奥行情報生成工程を更に有することを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
請求項１３乃至１６のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システム、当該画像処理システムによる画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：以下、必要に応じて「ＨＭＤ」と称する）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラ等で撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）を重畳表示した複合現実画像をＨＭＤ装着者が観察できる技術が知られている。
【０００３】
図１０は、一般的なビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。この図１０を使用して概要を説明する。
【０００４】
図１０のビデオシースルー型複合現実システム１０００は、図１０に示すように、ビデオシースルー型ＨＭＤ１０１０と、画像処理装置１０２０を有して構成されている。
【０００５】
ビデオシースルー型ＨＭＤ１０１０は、図１０に示すように、ＣＭＯＳイメージセンサ１０１１、表示ユニット１０１２、三次元位置姿勢センサ１０１３、及び、ＨＭＤ側インタフェース１０１４を有して構成されている。
【０００６】
画像処理装置１０２０は、ビデオシースルー型ＨＭＤ１０１０から受け取った撮像画像及び三次元位置姿勢センサ情報に基づきＣＧを描画し、撮像画像と合成処理を行うための画像処理装置である。画像処理装置１０２０は、一般には、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置である。この画像処理装置１０２０は、図１０に示すように、装置側インタフェース１０２１、位置姿勢情報生成部１０２２、コンテンツデータベース（以下、「コンテンツＤＢ」と称する）１０２３、及び、ＣＧ描画合成部１０２４を有して構成されている。
【０００７】
ビデオシースルー型ＨＭＤ１０１０のＣＭＯＳイメージセンサ１０１１は、外界を撮像、具体的には、ＨＭＤ装着者の視線位置と略一致する外界の観察画像を撮像する撮像ユニットである。このＣＭＯＳイメージセンサ１０１１は、例えば、ステレオ画像を生成するための右目用及び左目用の二組の撮像素子と光学系及び後段の画像処理を行うためのＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）から構成される。
【０００８】
ビデオシースルー型ＨＭＤ１０１０の表示ユニット１０１２は、ＣＧが重畳されたＭＲ画像を表示するものである。この表示ユニット１０１２も、例えば、右目用及び左目用の二組の表示デバイスと光学系から構成される。また、表示デバイスとしては、小型の液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【０００９】
ビデオシースルー型ＨＭＤ１０１０の三次元位置姿勢センサ１０１３は、ＣＧ描画位置を算出するためのものである。具体的に、三次元位置姿勢センサ１０１３は、ビデオシースルー型ＨＭＤ１０１０或いはＨＭＤ装着者の位置姿勢情報を取得するための三次元位置姿勢センサ情報を検出する。この三次元位置姿勢センサ１０１３としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。
【００１０】
ビデオシースルー型ＨＭＤ１０１０のＨＭＤ側インタフェース１０１４は、ＣＧを描画や合成するための画像処理装置１０２０とのインタフェースである。具体的に、ＨＭＤ側インタフェース１０１４は、ＣＭＯＳイメージセンサ１０１１で撮像された撮像画像や三次元位置姿勢センサ１０１３で検出した三次元位置姿勢センサ情報等を画像処理装置１０２０に伝送する。また、ＨＭＤ側インタフェース１０１４は、画像処理装置１０２０で合成されたＭＲ画像をビデオシースルー型ＨＭＤ１０１０の内部に伝送する。このＨＭＤ側インタフェース１０１４としては、リアルタイム性が求められ、かつ、大容量の伝送が可能なＵＳＢやＩＥＥＥ１３９４等のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。
【００１１】
画像処理装置１０２０の装置側インタフェース１０２１は、画像処理装置１０２０側のインタフェースである。この装置側インタフェース１０２１は、ビデオシースルー型ＨＭＤ１０１０との通信や、画像処理装置１０２０の内部構成と通信を行う。
【００１２】
画像処理装置１０２０の位置姿勢情報生成部１０２２は、三次元位置姿勢センサ１０１３からの三次元位置姿勢センサ情報に基づいて、ビデオシースルー型ＨＭＤ１０１０或いはＨＭＤ装着者の位置姿勢情報を生成する。ここで、位置姿勢情報生成部１０２２は、三次元位置姿勢センサ１０１３からの三次元位置姿勢センサ情報の他、撮像画像からマーカーを抽出して補正情報として使用する形態もある。
【００１３】
画像処理装置１０２０のコンテンツＤＢ１０２３は、仮想画像のコンテンツデータベースである。
【００１４】
画像処理装置１０２０のＣＧ描画合成部１０２４は、位置姿勢情報生成部１０２２で生成された位置姿勢情報とコンテンツＤＢ１０２３に記憶されているコンテンツデータによりＣＧを描画し、撮像画像と合成する。ここで得られたＭＲ画像を装置側インタフェース１０２１を介してビデオシースルー型ＨＭＤ１０１０に送り、表示ユニット１０１２に表示させる。
【００１５】
仮想画像の生成は、三次元位置姿勢センサ１０１３の三次元位置姿勢センサ情報に基づき行われ、撮像画像を背景として仮想画像が重畳される。仮想画像を重畳する対象である撮像画像は、当該撮像画像を撮像したタイミングと略一致する三次元位置姿勢センサ情報であることが望ましいが、システム間の伝送遅延や処理時間等のリアルタイム性を損なう影響を考慮した場合には、仮想画像が生成されたタイミングにおいて最も新しく更新された撮像画像に対して重畳処理を行うのがよい。
【００１６】
以上の構成及び処理のプロセスにより、ビデオシースルー型ＨＭＤ１０１０を装着することで、現実世界と仮想世界とがリアルタイムでかつシームレスに融合した複合現実世界を体験することができる。一般的なＭＲ技術及びシステムの構成については、例えば、下記の特許文献１に記載されている。
【００１７】
ここで、ＭＲのキー技術の１つである画像処理による位置合わせについて簡単に説明する。ＭＲでは、現実空間と仮想空間との間のずれを極力取り除き、現実空間と仮想空間との位置を一致させることが重要である。このずれを取り除く技術の１つとして画像処理による方法がある。特に、ＨＭＤを利用している場合には撮像画像が利用できるため、画像処理の手法が比較的簡単に適用できる。具体的には、現実空間の所定位置に画像処理によって検出しやすい特徴をもったマーカーを配置し、ＨＭＤ搭載のカメラで撮像した撮像画像から検出したマーカー位置によって現実空間と仮想空間との位置を合わせる方法である。ＭＲのマーカー認識技術及びシステムの構成については、例えば、下記の特許文献２に記載されている。
【００１８】
撮像ユニットに利用できる撮像素子として、電荷転送型の固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサや、Ｘ−Ｙアドレス型の固体撮像素子であるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが広く知られている。Ｘ−Ｙアドレス型の固体撮像素子とは、光電変換素子をマトリクス状に配列した複数の画素と、水平ラインを選択する水平走査回路と、垂直ラインを選択する垂直走査回路とを有し、アドレス選択で電荷の読み出しを行う素子である。
【００１９】
従来のＣＭＯＳイメージセンサは、ＣＣＤイメージセンサと比較してノイズが大きく、画質を重視する装置への応用例はさほど多くなかった。しかしながら、技術開発による画質向上やＣＭＯＳイメージセンサ独自の特徴が注目され、近年、ＣＭＯＳイメージセンサが搭載されている装置が増加してきている。以下に、ＣＭＯＳイメージセンサの一般的な特徴をＣＣＤイメージセンサと比較して説明する。
【００２０】
まず、ＣＭＯＳイメージセンサは、電源構成が簡単で消費電力が低い。一般に、ＣＣＤイメージセンサでは電荷転送のために複数の電源が必要となるが、ＣＭＯＳイメージセンサはＣＭＯＳ構造ＬＳＩと同様に単一電源で動作可能である。消費電力に関しても、ＣＭＯＳイメージセンサは素子が小さいため、ＣＣＤイメージセンサと比べると低い。
【００２１】
次に、ＣＭＯＳイメージセンサは、周辺回路を含め、１チップ化が可能で小型化できる。一般に、ＣＣＤイメージセンサは、ＣＭＯＳ構造ＬＳＩと違った製造プロセスであるため、ＣＭＯＳで構成される画像処理回路等を同一のチップに搭載することが困難である。これに対して、ＣＭＯＳイメージセンサは、同一製造プロセスで画像処理回路等を組み込めることから、オンチップ化が可能である。そのため、ＣＭＯＳイメージセンサは、１チップでカメラ機能が実現でき、ＣＣＤイメージセンサと比べて小型化が容易である。
【００２２】
さらに、ＣＭＯＳイメージセンサは、供給価格が安い。ＣＭＯＳイメージセンサは、独自の製造プロセスであるＣＣＤイメージセンサと異なり、汎用の半導体製造装置が利用できることから、安く供給することができる。
【００２３】
これらの特長を生かして、ＣＭＯＳイメージセンサは、デジタルスチルカメラやデジタルビデオカメラ等に代表される画像処理装置に搭載されている。同様に、ＣＭＯＳイメージセンサは、低消費電力、小型化が重要視されるＨＭＤへの搭載が期待されている。
【００２４】
しかしながら、ＣＭＯＳイメージセンサをＨＭＤへ搭載するのにあたり、以下の課題がある。図１１は、ＣＣＤイメージセンサによるグローバルシャッター方式での露光タイミング、及び、ＣＭＯＳイメージセンサによるローリングシャッター方式での露光タイミングを説明するための図である。
【００２５】
ＣＣＤイメージセンサの露光方式は、撮像面全体で露光タイミングのずれが無いグローバルシャッター方式である。図１１（ａ）は、ＣＣＤイメージセンサによるグローバルシャッター方式での露光タイミングを説明するための図である。この図１１（ａ）に示すグローバルシャッター方式では、フォトダイオードで受光し蓄積した電荷を、全画素同時に垂直レジスタに読み出し、水平レジスタへと転送する。このため、露光期間の画素ごとの時間のずれは生じない。
【００２６】
一方、ＣＭＯＳイメージセンサの露光方式は、通常、水平ラインごとに露光タイミングがずれるローリングシャッター方式である。図１１（ｂ）は、ＣＭＯＳイメージセンサによるローリングシャッター方式での露光タイミングを説明するための図である。この図１１（ｂ）に示すローリングシャッター方式では、通常、水平ラインごとに順番に電荷の読み出しが行われるため、１フレーム内で露光期間にずれが生じる。フレームレートが１／３０ＦＰＳであるＣＭＯＳイメージセンサの場合には、最初の水平ラインと最後の水平ラインとで１フレームに相当する１／３０秒近くの露光期間の時間ずれが生じる。即ち、１／３０秒近く時間ずれのある画像が１フレーム内に存在することになる。このような露光方式のため、ＣＭＯＳイメージセンサを用いて動く被写体を撮像した場合や、ＣＭＯＳイメージセンサを動かしながら被写体を撮像した場合には、動体歪みが発生する。
【００２７】
図１２は、ローリングシャッター方式による画像の動体歪みを説明するための図である。図１２（ａ）及び図１２（ｂ）は、ＣＭＯＳイメージセンサを含むカメラと被写体であるチャートがともに静止している場合の模式図、及び、被写体画像のイメージ図である。この場合には、動体歪みが無く被写体を撮像できている。図１２（ｃ）及び図１２（ｄ）は、被写体であるチャートが静止している状態でＣＭＯＳイメージセンサを含むカメラを左から右に動かしながら撮像した場合の模式図、及び、被写体画像のイメージ図である。ローリングシャッター方式では、１フレーム内のラインごとに露光期間の時間ずれが生じるため、被写体画像には図１２（ｄ）に示すような動体歪みが発生する。以上、図１２で説明した歪みは、ホームビデオなどの日常的な使用では影響が少ないと考えられるが、動く被写体を歪み無く撮像する目的では不利な点となり得る。
【００２８】
ここで、ＣＭＯＳイメージセンサを搭載したＨＭＤを使用してＭＲシステムを構成する場合の影響について説明する。ＭＲシステムにおけるマーカー位置合わせでは、撮像画像から、現実空間上に存在する形状や大きさが既知のマーカーを検出し、マーカーの見え方から距離や撮像方向、即ちＨＭＤの位置姿勢を算出する。ＣＭＯＳイメージセンサによる動体歪みが発生した場合、撮像画像内のマーカー形状が歪むことになる。これにより、位置姿勢の算出結果に誤差が生じ、本来のＨＭＤの位置姿勢とは異なる位置姿勢情報に基づいてＣＧ画像が描画されるため、ＨＭＤ装着者に違和感を与えることが懸念される。
【００２９】
上述した通り、ＣＭＯＳイメージセンサを搭載したＨＭＤを用いてＭＲシステムを実現するのにあたっては、動体歪みの低減が重要な課題となる。従来、ＣＭＯＳイメージセンサの動体歪みの影響を抑制するため、走査方向を異ならせた複数のＣＭＯＳイメージセンサにより取得される画像を利用する手法が、以下の特許文献に記載されている。
【００３０】
具体的に、下記の特許文献３には、互いに逆向きの走査方向で設けられた２つのＣＭＯＳイメージセンサにより取得される順方向画像と逆方向画像との間の差分画像に基づいて、動きの有無やその方向を検出することが記載されている。
【００３１】
下記の特許文献４には、第１撮像素子と、逆方向から露光する第２撮像素子とで取得した画像信号の同一画素行における差分値に基づいて画素行を静止被写体領域と移動被写体領域とに判別し、移動被写体領域では各画像をそれぞれ水平方向に移動させた平均値を出力することが記載されている。
【００３２】
また、ＣＭＯＳイメージセンサ或いは被写体の動きを検出し、検出した動き情報に基づいて撮像画像を補正する手法が、以下の特許文献に記載されている。
【００３３】
具体的に、特許文献５には、自動車の制御コンピュータから自動車の速度情報を取得して、取得した速度情報から発生する動体歪みを予測し、予測結果を用いて取得画像を補正することが記載されている。
【先行技術文献】
【特許文献】
【００３４】
【特許文献１】特開平１１−８８９１３号公報
【特許文献２】特許第３５３０７７２号公報
【特許文献３】特開２０１１−２０５２１５号公報
【特許文献４】特開２０１２−１６９９９０号公報
【特許文献５】特開２０１２−２２２３７４号公報
【発明の概要】
【発明が解決しようとする課題】
【００３５】
しかしながら、上述した従来の技術には、以下のような問題があった。
【００３６】
特許文献３に記載の技術は、動きの有無とその方向のみの検出を目的としており、動体歪みを有する撮像画像から生成される位置姿勢情報のズレの補正や、撮像画像自体の補正を行うことについては考慮されていない。技術的には、差分画像から移動量を算出し、位置姿勢情報のズレの補正や、撮像画像自体の補正を行うことは可能ではあるが、被写体の移動量が同じであっても、ＣＭＯＳイメージセンサの撮像面内における被写体の相対的な位置に応じて生成される差分画像は異なるため、撮像時におけるＣＭＯＳイメージセンサ及び被写体の動きの速さや方向に応じて複雑に形状が変化する差分画像から、被写体の移動量を算出するためには非常に複雑な演算処理が必要となる。
【００３７】
特許文献４に記載の技術は、移動量を検出して撮像画像を補正することが可能であるが、水平方向への移動に対する効果のみであり、垂直方向の移動に対しては考慮されていない。
【００３８】
また、特許文献５に記載の技術についても、撮像画像の補正を実現可能ではあるが、撮像画像のみでは実現することができず、速度を検出するための手段が別途必要となる。
【００３９】
即ち、従来の技術では、複雑な処理を行うことなく且つ簡易な構成で、違和感のないＭＲ画像をＨＭＤ装着者等に提示することが困難であるという問題があった。
【００４０】
本発明は、このような問題点に鑑みてなされたものであり、複雑な処理を行うことなく且つ簡易な構成で、違和感のないＭＲ画像をＨＭＤ装着者等に提示することが可能な仕組みを提供することを目的とする。
【課題を解決するための手段】
【００４１】
本発明の画像処理システムは、複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システムであって、前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、現実空間を撮像した第１の撮像画像を取得する第１の撮像手段と、前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、前記第１の撮像手段における露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する第２の撮像手段と、前記第１の撮像画像に基づき前記撮像装置の位置姿勢を表す第１の位置姿勢情報を生成するとともに、前記第２の撮像画像に基づき前記撮像装置の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成手段と、前記第１の位置姿勢情報と前記第２の位置姿勢情報とに基づいて、前記撮像装置の位置姿勢情報を補正する情報補正手段と、を有する。
本発明の画像処理システムにおける他の態様は、複数のローリングシャッター方式の撮像手段を備える撮像装置を含む画像処理システムであって、前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、現実空間を撮像した第１の撮像画像を取得する第１の撮像手段と、前記複数のローリングシャッター方式の撮像手段のうちの１つの撮像手段であって、前記第１の撮像手段における露光方向と異なる露光方向で現実空間を撮像した第２の撮像画像を取得する第２の撮像手段と、前記第１の撮像画像に基づき前記撮像装置の位置姿勢を表す第１の位置姿勢情報を生成するとともに、前記第２の撮像画像に基づき前記撮像装置の位置姿勢を表す第２の位置姿勢情報を生成する位置姿勢情報生成手段と、前記第１の位置姿勢情報と前記第２の位置姿勢情報とに基づいて、前記第１の撮像画像および前記第２の撮像画像の動体歪みを補正して、第１の補正撮像画像および第２の補正撮像画像を得る画像補正手段と、を有する。
また、本発明は、上述した画像処理システムによる画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラムを含む。
【発明の効果】
【００４２】
本発明によれば、複雑な処理を行うことなく且つ簡易な構成で、違和感のないＭＲ画像をＨＭＤ装着者等に提示することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明の第１の実施形態を示し、ＣＭＯＳイメージセンサの配置及び露光処理を説明するための模式図である。
【図２】本発明の第１の実施形態を示し、動体歪みの典型例を説明するための模式図である。
【図３】本発明の第１の実施形態を示し、動体歪みの典型例を説明するための模式図である。
【図４】ＭＲシステムにおけるマーカーの位置合わせを説明するための模式図である。
【図５】ＭＲシステムにおける動体歪み発生時のマーカーの位置合わせを説明するための模式図である。
【図６】本発明の第１の実施形態を示し、動体歪み発生時のマーカーの位置合わせを説明するための模式図である。
【図７】本発明の第１の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。
【図８】本発明の第２の実施形態を示し、動体歪み発生時の撮像画像の歪み補正を説明するための模式図である。
【図９】本発明の第２の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。
【図１０】一般的なビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。
【図１１】ＣＣＤイメージセンサによるグローバルシャッター方式での露光タイミング、及び、ＣＭＯＳイメージセンサによるローリングシャッター方式での露光タイミングを説明するための図である。
【図１２】ローリングシャッター方式による画像の動体歪みを説明するための図である。
【図１３】ＭＲシステムにおける動体歪み発生時の奥行情報生成に対する影響を説明するための模式図である。
【図１４】本発明の第３の実施形態を示し、動体歪み発生時の撮像画像中に含まれる任意の対象の奥行情報生成を説明するための模式図である。
【図１５】本発明の第３の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。
【図１６】本発明の第４の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００４４】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００４５】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
【００４６】
図１は、本発明の第１の実施形態を示し、ＣＭＯＳイメージセンサの配置及び露光処理を説明するための模式図である。具体的に、図１（ａ）は、左目に対応するＣＭＯＳイメージセンサの配置及び露光処理を説明するための模式図であり、図１（ｂ）は、右目に対応するＣＭＯＳイメージセンサの配置及び露光処理を説明するための模式図である。
【００４７】
図１（ａ）及び図１（ｂ）の上部は、左右の目にそれぞれ対応する、ビデオシースルー型ＨＭＤに搭載するローリングシャッター方式のＣＭＯＳイメージセンサにおける撮像面を示している。そして、このＣＭＯＳイメージセンサの撮像面には、それぞれのＣＭＯＳイメージセンサの露光開始位置を三角マークで記している。
【００４８】
左右の目に対応するＣＭＯＳイメージセンサは、それぞれが、同一のデバイス構造及び回路構成を有しており、撮像面に対する面内の露光方向が異なるように設置される。
【００４９】
ここで、本実施形態では、図１（ａ）に示す左目用のＣＭＯＳイメージセンサ（以下、「左ＣＭＯＳイメージセンサ」と称する）は、その撮像画像の上下左右方向が、ＨＭＤ装着者の視線の上下左右に一致する位置に配置される。一方、右目用のＣＭＯＳイメージセンサ（以下、「右ＣＭＯＳイメージセンサ」と称する）は、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置される。即ち、右ＣＭＯＳイメージセンサは、上下左右が反転した撮像画像を撮像する。
【００５０】
図１（ａ）及び図１（ｂ）の下部は、各ＣＭＯＳイメージセンサの水平ラインごとの露光タイミングを示しており、横軸は時間、縦軸は水平ラインの物理的位置に対応している。本実施形態では、図１に示すように、ＣＭＯＳイメージセンサの垂直解像度がＮであるとすると、左ＣＭＯＳイメージセンサの１ライン目の露光タイミングと右ＣＭＯＳイメージセンサのＮライン目の露光タイミングとが同一となるように駆動するものとする。この際、左右ＣＭＯＳイメージセンサの中心近傍で左右ＣＭＯＳイメージセンサの露光タイミングがほぼ同一となる。各ラインの露光タイミングは撮像時刻を示しており、即ち、撮像画像の上下端に近づくほど左右ＣＭＯＳイメージセンサで撮像時刻のずれが大きくなることを意味している。これによる具体的な撮像画像に対する影響を、図２及び図３で説明する。
【００５１】
図２及び図３は、本発明の第１の実施形態を示し、動体歪みの典型例を説明するための模式図である。
【００５２】
図２（ａ）は、図１で説明したＣＭＯＳイメージセンサを搭載したビデオシースルー型ＨＭＤでマーカーを撮像する環境を示す概念図であり、左側が平面図、右側が側面図である。本実施形態では、ビデオシースルー型ＨＭＤを水平方向（Ａ点とＢ点を結ぶ方向）、垂直方向（Ｃ点とＤ点を結ぶ方向）、遠近方向（Ｅ点とＦ点を結ぶ方向）に動かしながら、マーカーを撮像する。
【００５３】
図２（ｂ）は、ビデオシースルー型ＨＭＤを動かさずに固定した場合（即ち静止時の場合）のマーカーの撮像画像である。ここでは、変化が分かりやすいようにマーカーを白抜きの四角マークとしている。ビデオシースルー型ＨＭＤの静止時は、動体歪みなくマーカーを撮像することができる。
【００５４】
図３は、図２に示すビデオシースルー型ＨＭＤを動かしながらマーカーを撮像した際の撮像画像の一例を示す模式図である。
【００５５】
図３（ａ）は、図２（ａ）に示すＡ点からＢ点へビデオシースルー型ＨＭＤを移動させながらマーカーを撮像した際の左右の撮像画像である。左右どちらのＣＭＯＳイメージセンサから見ても、マーカーは撮像面内の左方向に移動しているように見えるが、左ＣＭＯＳイメージセンサと右ＣＭＯＳイメージセンサは露光方向が対称であるため、動体歪みは左右で鏡像関係となる。
【００５６】
図３（ｂ）は、図２（ａ）に示すＢ点からＡ点へビデオシースルー型ＨＭＤを移動させながらマーカーを撮像した際の左右の撮像画像である。この場合、左右の撮像画像における動体歪みの関係は、図３（ａ）の場合と同様に鏡像関係となる。
【００５７】
図３（ｃ）は、図２（ａ）に示すＣ点からＤ点へビデオシースルー型ＨＭＤを移動させながらマーカーを撮像した際の左右の撮像画像である。この場合、左ＣＭＯＳイメージセンサでは垂直方向に収縮する動体歪みが発生し、右ＣＭＯＳイメージセンサでは垂直方向乃に伸長する動体歪みが発生する。
【００５８】
図３（ｄ）は、図２（ａ）に示すＤ点からＣ点へビデオシースルー型ＨＭＤを移動させながらマーカーを撮像した際の左右の撮像画像である。この場合、左右の撮像画像における動体歪みの関係は、図３（ｃ）の場合と同様に伸長・収縮である。
【００５９】
図３（ｅ）は、図２（ａ）に示すＥ点からＦ点へビデオシースルー型ＨＭＤを移動させながらマーカーを撮像した際の左右の撮像画像である。この場合、左右の撮像画像における動体歪みの関係は、垂直方向に対称となる。
【００６０】
図３（ｆ）は、図２（ａ）に示すＦ点からＥ点へビデオシースルー型ＨＭＤを移動させながらマーカーを撮像した際の左右の撮像画像である。この場合、左右の撮像画像における動体歪みの関係は、図３（ｅ）の場合と同様に垂直方向に対称となる。
【００６１】
図４は、ＭＲシステムにおけるマーカーの位置合わせを説明するための模式図である。図４では、マーカー４０１上に四角錐形状のＣＧオブジェクト４０２を重畳する例について説明を行う。
【００６２】
図４（ａ）は、正面から撮像した際のマーカー４０１の形状を表している。また、図４（ｂ）は、正面から撮像したマーカー４０１上にＣＧオブジェクト４０２を重畳した状態を表している。ＭＲシステムでは、ＨＭＤの撮像ユニット（本実施形態では、ビデオシースルー型ＨＭＤに搭載されたＣＭＯＳイメージセンサに相当する）により取得された現実空間画像から、画像処理によってマーカー４０１を検出する。そして、ＭＲシステムでは、検出されたマーカー４０１の形状や大きさにしたがって、画像処理装置の位置姿勢情報生成部においてＨＭＤの位置姿勢情報を生成し、ＣＧ描画合成部においてＣＧオブジェクト４０２が描画されて合成される。
【００６３】
図４（ｃ）は、マーカー４０１を正面より右下方向より撮像した際のマーカー４０１の形状を表している。また、図４（ｄ）は、正面より右下方向より撮像したマーカー４０１上にＣＧオブジェクト４０２を重畳した状態を表している。
【００６４】
図４（ｅ）は、マーカー４０１を正面より左下方向より撮像した際のマーカー４０１の形状を表している。また、図４（ｆ）は、正面より左下方向より撮像したマーカー４０１上にＣＧオブジェクト４０２を重畳した状態を表している。
【００６５】
このように、ＨＭＤの撮像ユニット（本実施形態では、ビデオシースルー型ＨＭＤに搭載されたＣＭＯＳイメージセンサに相当する）により取得された現実空間の撮像画像内のマーカー４０１の形状や大きさに追従して、ＣＧオブジェクト４０２の形状や大きさを変化させることにより、ＨＭＤ装着者は、自由な視点で違和感なく複合現実世界を体験することができる。
【００６６】
図５は、ＭＲシステムにおける動体歪み発生時のマーカーの位置合わせを説明するための模式図である。
【００６７】
図５（ａ）は、正面から静止して撮像した図４（ａ）に示すマーカー４０１の形状、即ち動体歪みが発生していない時のマーカー４０１の形状を表している。
【００６８】
図５（ｂ）は、正面から静止して撮像されたマーカー４０１上に、図４（ｂ）に示すＣＧオブジェクト４０２を重畳した状態を表している。マーカー４０１に対して動体歪みが発生していないためにマーカー４０１の形状変化がなく、この様な場合には、ビデオシースルー型ＨＭＤの位置姿勢を正しく算出することができる。
【００６９】
図５（ｃ）は、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した際のマーカー４０１の形状を表している。
【００７０】
図５（ｄ）は、図５（ｃ）で撮像されたマーカー４０１上に、ＣＧオブジェクト４０２を重畳した状態を表している。図５（ｃ）に示すように、動体歪みの発生時には検出されるマーカー４０１の形状が変化するため、画像処理装置の位置姿勢情報生成部においてビデオシースルー型ＨＭＤの位置姿勢情報を生成する際に、その位置姿勢に誤差が生じる。図５（ｃ）で撮像されたマーカー４０１は、正面よりわずかに右下方向から撮像されたようなマーカー形状となる。したがって、生成される位置姿勢情報にズレが生じ、ＣＧオブジェクト４０２の形状も誤った位置姿勢情報により描画されることになり、図５（ｄ）に示すように正面よりわずかに右下方向から見た形状となる。
【００７１】
図５（ｅ）は、図２（ａ）に示すＢ点からＡ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時のマーカー４０１の形状を表している。
【００７２】
図５（ｆ）は、図５（ｅ）で撮像されたマーカー４０１上に、ＣＧオブジェクト４０２を重畳した状態を表している。図５（ｅ）で撮像されたマーカー４０１には、図５（ｃ）とは移動方向に対して対称方向に動体歪みが発生し、この場合、正面よりわずかに左下方向から撮像されたようなマーカー形状となる。したがって、生成される位置姿勢情報にズレが生じ、ＣＧオブジェクト４０２の形状も誤った位置姿勢情報により描画されることになり、図５（ｆ）に示すように正面よりわずかに左下方向から見た形状となる。
【００７３】
このように、ＣＭＯＳイメージセンサによる動体歪み発生時には、マーカー形状が変化してしまうことにより、ＭＲシステムにおけるマーカー４０１の位置合わせ結果に誤差が発生し、ＣＧオブジェクト４０２の描画に影響を与えることとなる。今回挙げた例では、ビデオシースルー型ＨＭＤは図２（ａ）に示すＡ点とＢ点との間の水平方向の移動しかしていないにも関わらず、ビデオシースルー型ＨＭＤで観察されるＭＲ画像内では、ＣＧオブジェクト４０２が垂直方向にも揺れるように表示されてしまう。これは、ユーザーにとっては自分の動きと一致しないＭＲ画像を観察することとなり、違和感を生じる原因と成り得る。
【００７４】
図６は、本発明の第１の実施形態を示し、動体歪み発生時のマーカーの位置合わせを説明するための模式図である。
【００７５】
図６（ａ）は、図４（ａ）に示すマーカー４０１を正面から静止して撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像である。第１の実施形態においては、この撮像画像を左目の位置姿勢情報の生成に使用することとなる。
【００７６】
図６（ｂ）は、図４（ａ）に示すマーカー４０１を正面から静止して撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像である。本実施形態においては、右ＣＭＯＳイメージセンサは、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、取得される撮像画像も１８０度回転した撮像画像となる。第１の実施形態においては、この撮像画像を右目の位置姿勢情報の生成に使用することとなる。
【００７７】
図６（ａ）及び図６（ｂ）では、動体歪みが発生しておらずマーカー４０１の形状変化がないため、ビデオシースルー型ＨＭＤの位置姿勢を正しく計算することができる。
【００７８】
図６（ｃ）は、ビデオシースルー型ＨＭＤに表示する際の右目の撮像画像である。上述したように、本実施形態では、右ＣＭＯＳイメージセンサは、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、右ＣＭＯＳイメージセンサで取得した右目の撮像画像を１８０度回転させて表示する必要がある。これにより、ＨＭＤ装着者は、左右のＣＭＯＳイメージセンサで取得された現実空間画像をそれぞれ正しい向きで観察することができる。
【００７９】
図６（ｄ）は、図４（ａ）に示すマーカー４０１を、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像である。図６（ｄ）に示すように、動体歪み発生時には、検出されるマーカー４０１の形状が変化するため、画像処理装置の位置姿勢情報生成部では、矢印で示す正面よりわずかに右下方向から観察しているものとして位置姿勢情報が生成される。
【００８０】
図６（ｅ）は、図４（ａ）に示すマーカー４０１を、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像である。また、図６（ｆ）は、ビデオシースルー型ＨＭＤに表示する際の右目の撮像画像である。
【００８１】
本実施形態では、上述したように、右ＣＭＯＳイメージセンサは、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、右ＣＭＯＳイメージセンサから見たマーカー（現実空間）の移動方向は、左ＣＭＯＳイメージセンサから見たマーカー（現実空間）の移動方向に対して回転対称となる。そのため、右ＣＭＯＳイメージセンサで取得した右目の撮像画像は、図６（ｅ）に示すように、左目の撮像画像に対して逆方向の動体歪みが発生したものとなる。この時、検出されるマーカー４０１の形状が変化することにより、画像処理装置の位置姿勢情報生成部では、図６（ｅ）の撮像画像に対して、矢印で示す正面よりわずかに左下方向から観察しているものとして位置姿勢情報が生成される。即ち、図６（ｆ）に示す、ビデオシースルー型ＨＭＤに表示する際の右目の撮像画像の向きで考えると、図６（ｆ）に矢印で示す正面よりわずかに右上方から観察しているものとして位置姿勢情報が生成されることとなる。
【００８２】
図６（ｇ）は、図４（ａ）に示すマーカー４０１を、図２（ａ）に示すＢ点からＡ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像である。図６（ｇ）に示すように、動体歪み発生時には、検出されるマーカー４０１の形状が変化するため、画像処理装置の位置姿勢情報生成部では、矢印で示す正面よりわずかに左下方向から観察しているものとして位置姿勢情報が生成される。
【００８３】
図６（ｈ）は、図４（ａ）に示すマーカー４０１を、図２（ａ）に示すＢ点からＡ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像である。また、図６（ｉ）は、ビデオシースルー型ＨＭＤに表示する際の右目の撮像画像である。
【００８４】
本実施形態では、上述したように、右ＣＭＯＳイメージセンサは、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、右ＣＭＯＳイメージセンサから見たマーカー（現実空間）の移動方向は、左ＣＭＯＳイメージセンサから見たマーカー（現実空間）の移動方向に対して回転対称となる。そのため、右ＣＭＯＳイメージセンサで取得した右目の撮像画像は、図６（ｈ）に示すように、左目の撮像画像に対して逆方向の動体歪みが発生したものとなる。この時、検出されるマーカー４０１の形状が変化することにより、画像処理装置の位置姿勢情報生成部では、図６（ｈ）の撮像画像に対して、矢印で示す正面よりわずかに右下方向から観察しているものとして位置姿勢情報が生成される。即ち、図６（ｉ）に示す、ビデオシースルー型ＨＭＤに表示する際の右目の撮像画像の向きで考えると、図６（ｉ）に矢印で示す正面よりわずかに左上方から観察しているものとして位置姿勢情報が生成されることとなる。
【００８５】
ここで、図６（ｄ）と図６（ｆ）との関係、及び、図６（ｇ）と図６（ｉ）との関係より、実際にビデオシースルー型ＨＭＤに表示される左目及び右目の撮像画像に対して、ＣＭＯＳイメージセンサの動体歪みの影響による位置姿勢情報のズレが垂直方向に対して対称となっていることに注目することができる。
【００８６】
このことを利用して、本実施形態では、左目の撮像画像により生成される位置姿勢情報と、右目の撮像画像により生成される位置姿勢情報との差異を用いて、ＣＭＯＳイメージセンサの動体歪みの影響による位置姿勢情報のズレを補正することが可能となる。
【００８７】
ここで、位置姿勢情報のズレの補正方法としては、左目の撮像画像により生成される位置姿勢情報と、右目の撮像画像により生成される位置姿勢情報との平均を、ビデオシースルー型ＨＭＤの位置姿勢情報としてＣＧ描画に利用することが考えられる。この平均を利用する場合には、水平方向の位置姿勢情報のズレに関しては補正することはできない。しかしながら、ここで説明したような図２（ａ）に示すＡ点からＢ点の方向或いはＢ点からＡ点の方向へビデオシースルー型ＨＭＤを移動させながら複合現実感画像を観察する場面においては、ＨＭＤ装着者がマーカー４０１に対してわずかに右方向或いは左方向にズレた方向からＣＧオブジェクト４０２を観察しているように見えたとしても、ＨＭＤ装着者自身の動きの方向と一致していることや、背景の撮像画像も同時に水平方向に動いていること等から、ＨＭＤ装着者に与える違和感は非常に小さいものである。
【００８８】
左目の撮像画像により生成される位置姿勢情報と、右目の撮像画像により生成される位置姿勢情報との差異を用いて位置姿勢情報のズレを補正する他の補正方法としては、左右の位置姿勢情報の差異情報と、動体歪みの影響による実際のビデオシースルー型ＨＭＤの位置姿勢情報のズレの補正量との対応関係を表す対応関係情報を予め記憶部に記憶しておき、この対応関係情報を参照してビデオシースルー型ＨＭＤの位置姿勢情報を補正する方法が考えられる。この方法では、左右の位置姿勢情報の差異情報とビデオシースルー型ＨＭＤの位置姿勢情報のズレの補正量との対応関係情報を記憶するためのメモリ（記憶部）が必要となるが、左右の位置姿勢情報の平均を利用する方法では対応できなかった水平方向の位置姿勢情報のズレの補正も可能となる。
【００８９】
上述した説明では、左右の位置姿勢情報の差異を利用して位置姿勢情報のズレを補正する方法として２つの方法を説明したが、位置姿勢情報のズレを補正する方法は、上述した２つの方法に限定されるものではない。
【００９０】
図７は、本発明の第１の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。この図７に示すビデオシースルー型複合現実システム１００は、本発明に係る画像処理システムに相当する。
【００９１】
図７のビデオシースルー型複合現実システム（画像処理システム）１００は、図７に示すように、ビデオシースルー型ＨＭＤ１１０と、画像処理装置１２０を有して構成されている。
【００９２】
ビデオシースルー型ＨＭＤ１１０は、図７に示すように、ＣＭＯＳイメージセンサ１１１Ｌ及び１１１Ｒ、制御部１１２、表示ユニット１１３、三次元位置姿勢センサ１１４、及び、ＨＭＤ側インタフェース１１５を有して構成されている。ここで、ビデオシースルー型ＨＭＤ１１０は、本発明における撮像装置に相当する。
【００９３】
画像処理装置１２０は、例えば、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置である。この画像処理装置１２０は、図７に示すように、装置側インタフェース１２１、制御部１２２、位置姿勢情報生成部１２３、位置姿勢情報補正部１２４、対応関係情報記憶部１２５（位置姿勢情報補正量記憶部）、コンテンツＤＢ１２６、及び、ＣＧ描画合成部１２７を有して構成されている。また、位置姿勢情報生成部１２３は、左位置姿勢情報生成部（第１の位置姿勢情報生成部）１２３Ｌと、右位置姿勢情報生成部（第２の位置姿勢情報生成部）１２３Ｒを有して構成されている。
【００９４】
ビデオシースルー型ＨＭＤ１１０のＣＭＯＳイメージセンサ１１１Ｌ及び１１１Ｒは、外界を撮像する複数のローリングシャッター方式の撮像手段である。このＣＭＯＳイメージセンサ１１１Ｌ及び１１１Ｒは、ＨＭＤ装着者の視線位置と略一致する外界を撮像して撮像画像を取得する。左ＣＭＯＳイメージセンサ１１１Ｌは、現実空間を撮像した左目の撮像画像（第１の撮像画像）を取得する第１の撮像手段である。右ＣＭＯＳイメージセンサ１１１Ｒは、図１に示すように、左ＣＭＯＳイメージセンサ１１１Ｌにおける露光方向と異なる露光方向で現実空間を撮像した右目の撮像画像（第２の撮像画像）を取得する第２の撮像手段である。本実施形態においては、右ＣＭＯＳイメージセンサ１１１Ｒは、左ＣＭＯＳイメージセンサ１１１Ｌの撮像面に対して面内で１８０度回転させた位置に配置する。即ち、左ＣＭＯＳイメージセンサ１１１Ｌにおける露光方向と右ＣＭＯＳイメージセンサ１１１Ｒにおける露光方向とが逆方向となるように、左ＣＭＯＳイメージセンサ１１１Ｌ及び右ＣＭＯＳイメージセンサ１１１Ｒを配置する。
【００９５】
ビデオシースルー型ＨＭＤ１１０の制御部１１２は、ビデオシースルー型ＨＭＤ１１０の各構成部（１１１Ｌ及び１１１Ｒ，１１３〜１１５）を制御して、ビデオシースルー型ＨＭＤ１１０の動作を統括的に制御する。
【００９６】
ビデオシースルー型ＨＭＤ１１０の表示ユニット１１３は、ＣＧが重畳されたＭＲ画像を表示するものである。図７では省略しているが、表示ユニット１１３は、右目用表示デバイス及び左目用表示デバイスの２組の表示デバイスと光学系から構成される。ここで、この表示デバイスは、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【００９７】
ビデオシースルー型ＨＭＤ１１０の三次元位置姿勢センサ１１４は、ＣＧ描画位置を算出するためのものである。具体的に、三次元位置姿勢センサ１１４は、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報を取得する。この三次元位置姿勢センサ１１４としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。
【００９８】
ビデオシースルー型ＨＭＤ１１０のＨＭＤ側インタフェース１１５は、ＣＧを描画や合成するための画像処理装置１２０とのインタフェースである。具体的に、ＨＭＤ側インタフェース１１５は、左ＣＭＯＳイメージセンサ１１１Ｌ及び右ＣＭＯＳイメージセンサ１１１Ｒで撮像された撮像画像や、三次元位置姿勢センサ１１４で取得された位置姿勢情報を、画像処理装置１２０に送信する。また、ＨＭＤ側インタフェース１１５は、画像処理装置１２０で合成されたＭＲ画像を画像処理装置１２０から受信する。
【００９９】
画像処理装置１２０の装置側インタフェース１２１は、左ＣＭＯＳイメージセンサ１１１Ｌ及び右ＣＭＯＳイメージセンサ１１１Ｒで撮像された撮像画像や三次元位置姿勢センサ１１４で取得された位置姿勢情報を、ビデオシースルー型ＨＭＤ１１０から受信する。また、装置側インタフェース１２１は、合成したＭＲ画像をビデオシースルー型ＨＭＤ１１０に送信する。
【０１００】
画像処理装置１２０の制御部１２２は、画像処理装置１２０の各構成部（１２１，１２３，１２４，１２７）を制御して、画像処理装置１２０の動作を統括的に制御する。
【０１０１】
画像処理装置１２０の位置姿勢情報生成部１２３は、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報を生成する。具体的に、位置姿勢情報生成部１２３の左位置姿勢情報生成部１２３Ｌは、左ＣＭＯＳイメージセンサ１１１Ｌにより取得された左目の撮像画像（第１の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢を表す第１の位置姿勢情報を生成する。また、位置姿勢情報生成部１２３の右位置姿勢情報生成部１２３Ｒは、右ＣＭＯＳイメージセンサ１１１Ｒにより取得された右目の撮像画像（第２の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢を表す第２の位置姿勢情報を生成する。
【０１０２】
画像処理装置１２０の位置姿勢情報補正部１２４は、左位置姿勢情報生成部１２３Ｌで生成された第１の位置姿勢情報と右位置姿勢情報生成部１２３Ｒで生成された第２の位置姿勢情報とに基づいて（具体的に本実施形態では、第１の位置姿勢情報と第２の位置姿勢情報との差異を用いて）、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報を補正する。例えば、位置姿勢情報補正部１２４は、第１の位置姿勢情報と第２の位置姿勢情報との平均を、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報として補正することができる。
【０１０３】
画像処理装置１２０の対応関係情報記憶部１２５は、第１の位置姿勢情報と第２の位置姿勢情報との差異と、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報の補正量との対応関係を表す対応関係情報を予め記憶する記憶手段である。
【０１０４】
ここで、本実施形態では、位置姿勢情報補正部１２４は、対応関係情報記憶部１２５に記憶されている対応関係情報を参照して、第１の位置姿勢情報と第２の位置姿勢情報との差異に対応する、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報の補正量を抽出し、当該補正量に基づいてビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報を補正することもできる。
【０１０５】
さらに、本実施形態では、位置姿勢情報補正部１２４は、第１の位置姿勢情報と第２の位置姿勢情報との差異と、三次元位置姿勢センサ１１４により取得される位置姿勢情報（第３の位置姿勢情報）とを用いて、ビデオシースルー型ＨＭＤ１１０或いはＨＭＤ装着者の位置姿勢情報を補正することもできる。三次元位置姿勢センサ１１４により取得される位置姿勢情報を、マーカーの位置合わせにより取得される第１及び第２の位置姿勢情報と組み合わせて利用することで、より高精度な位置姿勢情報とすることが可能となる。例えば、上述した図６の説明において、左右の撮像画像から取得された位置姿勢情報に差異が発生した時、即ち撮像画像に動体歪みがある時には、三次元位置姿勢センサ１１４により取得される位置姿勢情報を優先する方法等が考えられる。或いは、撮像画像内からマーカーが消失し、マーカーの位置合わせができない時のみ、三次元位置姿勢センサ１１４により取得される位置姿勢情報を補間的に利用する方法等も考えられる。
【０１０６】
画像処理装置１２０のコンテンツＤＢ１２６は、ＣＧ描画用のコンテンツを格納するデータベースである。
【０１０７】
画像処理装置１２０のＣＧ描画合成部１２７は、まず、位置姿勢情報補正部１２４で補正された位置姿勢情報に基づいて、コンテンツＤＢ１２６に格納されているコンテンツから左目のＣＧ画像及び右目のＣＧ画像をそれぞれ描画する。そして、ＣＧ描画合成部１２７は、左目の撮像画像と左目のＣＧ画像とを合成するとともに、右目の撮像画像と右目のＣＧ画像とを合成し、ＭＲ画像を生成する。ＣＧ描画合成部１２７で得られたＭＲ画像は、装置側インタフェース１２１を介してビデオシースルー型ＨＭＤ１１０に送信され、ビデオシースルー型ＨＭＤ１１０において表示ユニット１１３に表示される。
【０１０８】
本実施形態によれば、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得される撮像画像の動体歪みが対称となる性質を利用して、位置姿勢情報のズレ補正を行うことができる。これにより、違和感のないＭＲ画像をＨＭＤ装着者に提示することが可能となる。
【０１０９】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【０１１０】
上述の第１の実施形態では、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得した左右の撮像画像に基づき生成された第１の位置姿勢情報と第２の位置姿勢情報との差異を用いて、位置姿勢情報のズレの補正のみを行っていた。
【０１１１】
これに対して、本実施形態では、第１の位置姿勢情報と第２の位置姿勢情報との差異を用いて、動体歪み量及び動体歪み方向を推定し、推定した動体歪み量及び動体歪み方向に基づいて左目の撮像画像（第１の撮像画像）及び右目の撮像画像（第２の撮像画像）の動体歪みを補正するものである。以下、この点を中心に説明を行う。
【０１１２】
図８は、本発明の第２の実施形態を示し、動体歪み発生時の撮像画像の歪み補正を説明するための模式図である。
【０１１３】
図８（ａ）は、図４（ａ）に示すマーカー４０１を正面から静止して撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像８０１である。本実施形態では、左右のＣＭＯＳイメージセンサは、ビデオシースルー型ＨＭＤで表示されてＨＭＤ装着者が観察する領域よりも広い領域を撮像している。ここで、図８（ａ）では、左ＣＭＯＳイメージセンサにより取得される左目の撮像画像８０１のうち、実際にビデオシースルー型ＨＭＤで表示されてＨＭＤ装着者が観察する領域を切り出し領域８０２として示している。
【０１１４】
図８（ｂ）は、図４（ａ）に示すマーカー４０１を正面から静止して撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像８０３である。本実施形態においても、右ＣＭＯＳイメージセンサは、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、取得される撮像画像も１８０度回転した画像となる。ここで、図８（ｂ）では、右ＣＭＯＳイメージセンサにより取得される右目の撮像画像８０３のうち、実際にビデオシースルー型ＨＭＤで表示されてＨＭＤ装着者が観察する領域を切り出し領域８０４として示している。
【０１１５】
図８（ａ）及び図８（ｂ）では、動体歪みが発生しておらずマーカー４０１の形状変化がないため、ビデオシースルー型ＨＭＤの位置姿勢を正しく計算することができる。
【０１１６】
なお、図８では示していないが、第１の実施形態と同様に右ＣＭＯＳイメージセンサは左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、右ＣＭＯＳイメージセンサで取得した右目の撮像画像を１８０度回転させて表示する必要がある。これにより、ＨＭＤ装着者は、左右のＣＭＯＳイメージセンサで取得された現実空間画像をそれぞれ正しい向きで観察することができる。
【０１１７】
図８（ｃ）は、図４（ａ）に示すマーカー４０１を、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像である。図８（ｃ）に示すように、動体歪み発生時には、検出されるマーカー４０１の形状が変化するため、画像処理装置の位置姿勢情報生成部では、矢印で示す正面よりわずかに右下方向から観察しているものとして位置姿勢情報が生成される。
【０１１８】
図８（ｄ）は、図４（ａ）に示すマーカー４０１を、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像である。また、ビデオシースルー型ＨＭＤに表示される際の右目の撮像画像でもある。上述したように、右ＣＭＯＳイメージセンサは１８０度回転させた位置に配置されるため、右ＣＭＯＳイメージセンサから見たマーカー（現実空間）の移動方向は、左ＣＭＯＳイメージセンサから見たマーカー（現実空間）の移動方向に対して回転対称となる。そのため、右ＣＭＯＳイメージセンサで取得した右目の撮像画像は、図８（ｄ）に示すように、図８（ｃ）に示す左目の撮像画像に対して逆方向の動体歪みが発生したものとなる。この時、検出されるマーカー４０１の形状が変化することにより、画像処理装置の位置姿勢情報生成部では、図８（ｄ）の撮像画像に対して、矢印で示す正面よりわずかに左下方向から観察しているものとして位置姿勢情報が生成される。これは、ビデオシースルー型ＨＭＤに表示される際の右目の撮像画像の向きで考えると、正面よりわずかに右上方から観察しているものとして位置姿勢情報が生成されることとなる。
【０１１９】
ここで、図８（ｃ）と図８（ｄ）との関係より、左目の撮像画像及び右目の撮像画像に対して、第１の実施の形態と同様に、ＣＭＯＳイメージセンサの動体歪みの影響による位置姿勢情報のズレが垂直方向に対して対称となっていることに注目することができる。第１の実施形態では、左目の撮像画像に基づき生成される第１の位置姿勢情報と右目の撮像画像に基づき生成される第２の位置姿勢情報との差異情報を、位置姿勢情報のズレ補正に利用するものであった。本実施形態では、第１の位置姿勢情報と第２の位置姿勢情報との差異情報を、左右の撮像画像の動体歪み量及び動体歪み方向の推定に利用する。例えば、第１の位置姿勢情報と第２の位置姿勢情報との差異の大きさ及び向きの関係は、１フレームの撮像期間におけるビデオシースルー型ＨＭＤの移動量と方向、即ち左右の撮像画像の動体歪みの大きさ及び向きと対応関係にある。このため、それらの対応関係を予め把握することで、第１の位置姿勢情報と第２の位置姿勢情報との差異情報から、左右の撮像画像の動体歪み量及び動体歪み方向を推定することが可能となる。
【０１２０】
そして、推定された動体歪み量及び動体歪み方向に応じて、図８（ｃ）及び図８（ｄ）に示す左右の撮像画像に対して、実際にビデオシースルー型ＨＭＤに表示してＨＭＤ装着者が観察する切り出し領域８０５及び８０６をそれぞれ設定する。そして、図８（ｅ）に示す左目の補正撮像画像（第１の補正撮像画像）８０７、及び、図８（ｆ）に示す右目の補正撮像画像（第２の補正撮像画像）８０８を生成する。
【０１２１】
図８（ｅ）及び図８（ｆ）に示す左右の目の補正撮像画像８０７及び８０８のいずれか或いは両方を用いてマーカー４０１の位置合わせによる位置姿勢情報の再生成を行うことで、動体歪みの影響を抑制した位置姿勢情報の取得を行うことができる。そして、左右の目の補正撮像画像８０７及び８０８を用いて生成された位置姿勢情報に基づいてＣＧ描画合成を行うことで、違和感のないＭＲ画像をＨＭＤ装着者に提示することが可能となる。
【０１２２】
図９は、本発明の第２の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。この図９に示すビデオシースルー型複合現実システム２００は、本発明に係る画像処理システムに相当する。
【０１２３】
図９のビデオシースルー型複合現実システム（画像処理システム）２００は、図９に示すように、ビデオシースルー型ＨＭＤ２１０と、画像処理装置２２０を有して構成されている。
【０１２４】
ビデオシースルー型ＨＭＤ２１０は、図９に示すように、ＣＭＯＳイメージセンサ２１１Ｌ及び２１１Ｒ、制御部２１２、表示ユニット２１３、三次元位置姿勢センサ２１４、及び、ＨＭＤ側インタフェース２１５を有して構成されている。ここで、ビデオシースルー型ＨＭＤ２１０は、本発明における撮像装置に相当する。
【０１２５】
画像処理装置２２０は、例えば、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置である。この画像処理装置２２０は、装置側インタフェース２２１、制御部２２２、位置姿勢情報生成部２２３、動体歪み推定部２２４、撮像画像補正部２２５、位置姿勢情報再生成部２２６、コンテンツＤＢ２２７、及び、ＣＧ描画合成部２２８を有して構成されている。また、位置姿勢情報生成部２２３は、左位置姿勢情報生成部（第１の位置姿勢情報生成部）２２３Ｌと、右位置姿勢情報生成部（第２の位置姿勢情報生成部）２２３Ｒを有して構成されている。
【０１２６】
ビデオシースルー型ＨＭＤ２１０のＣＭＯＳイメージセンサ２１１Ｌ及び２１１Ｒは、外界を撮像する複数のローリングシャッター方式の撮像手段である。左ＣＭＯＳイメージセンサ２１１Ｌは、現実空間を撮像した左目の撮像画像（第１の撮像画像）を取得する第１の撮像手段である。右ＣＭＯＳイメージセンサ２１１Ｒは、第１の実施形態と同様に図１に示すように、左ＣＭＯＳイメージセンサ２１１Ｌにおける露光方向と異なる露光方向で現実空間を撮像した右目の撮像画像（第２の撮像画像）を取得する第２の撮像手段である。本実施形態においては、右ＣＭＯＳイメージセンサ２１１Ｒは、左ＣＭＯＳイメージセンサ２１１Ｌの撮像面に対して面内で１８０度回転させた位置に配置する。即ち、左ＣＭＯＳイメージセンサ２１１Ｌにおける露光方向と右ＣＭＯＳイメージセンサ２１１Ｒにおける露光方向とが逆方向となるように、左ＣＭＯＳイメージセンサ２１１Ｌ及び右ＣＭＯＳイメージセンサ２１１Ｒを配置する。
【０１２７】
また、本実施形態では、図８を用いて説明したように、右ＣＭＯＳイメージセンサ２１１Ｒ及び左ＣＭＯＳイメージセンサ２１１Ｌは、表示ユニット２１３に表示させてＨＭＤ装着者が観察する領域よりも広い領域を撮像する。
【０１２８】
ビデオシースルー型ＨＭＤ２１０の制御部２１２は、ビデオシースルー型ＨＭＤ２１０の各構成部（２１１Ｌ及び２１１Ｒ，２１３〜２１５）を制御して、ビデオシースルー型ＨＭＤ２１０の動作を統括的に制御する。
【０１２９】
ビデオシースルー型ＨＭＤ２１０の表示ユニット２１３は、ＣＧが重畳されたＭＲ画像を表示するものである。図９では省略しているが、表示ユニット２１３は、右目用表示デバイス及び左目用表示デバイスの２組の表示デバイスと光学系から構成される。ここで、この表示デバイスは、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【０１３０】
ビデオシースルー型ＨＭＤ２１０の三次元位置姿勢センサ２１４は、ＣＧ描画位置を算出するためのものである。具体的に、三次元位置姿勢センサ２１４は、ビデオシースルー型ＨＭＤ２１０或いはＨＭＤ装着者の位置姿勢情報を取得する。この三次元位置姿勢センサ２１４としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。
【０１３１】
ビデオシースルー型ＨＭＤ２１０のＨＭＤ側インタフェース２１５は、ＣＧを描画や合成するための画像処理装置２２０とのインタフェースである。具体的に、ＨＭＤ側インタフェース２１５は、左ＣＭＯＳイメージセンサ２１１Ｌ及び右ＣＭＯＳイメージセンサ２１１Ｒで撮像された撮像画像や、三次元位置姿勢センサ２１４で取得された位置姿勢情報を、画像処理装置２２０に送信する。また、ＨＭＤ側インタフェース２１５は、画像処理装置２２０で合成されたＭＲ画像を画像処理装置２２０から受信する。
【０１３２】
画像処理装置２２０の装置側インタフェース２２１は、左ＣＭＯＳイメージセンサ２１１Ｌ及び右ＣＭＯＳイメージセンサ２１１Ｒで撮像された撮像画像や三次元位置姿勢センサ２１４で取得された位置姿勢情報を、ビデオシースルー型ＨＭＤ２１０から受信する。また、装置側インタフェース２２１は、合成したＭＲ画像をビデオシースルー型ＨＭＤ２１０に送信する。
【０１３３】
画像処理装置２２０の制御部２２２は、画像処理装置２２０の各構成部（２２１，２２３〜２２６，２２８）を制御して、画像処理装置２２０の動作を統括的に制御する。
【０１３４】
画像処理装置２２０の位置姿勢情報生成部２２３は、ビデオシースルー型ＨＭＤ２１０或いはＨＭＤ装着者の位置姿勢情報を生成する。具体的に、位置姿勢情報生成部２２３の左位置姿勢情報生成部２２３Ｌは、左ＣＭＯＳイメージセンサ２１１Ｌにより取得された左目の撮像画像（第１の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ２１０或いはＨＭＤ装着者の位置姿勢を表す第１の位置姿勢情報を生成する。また、位置姿勢情報生成部２２３の右位置姿勢情報生成部２２３Ｒは、右ＣＭＯＳイメージセンサ２１１Ｒにより取得された右目の撮像画像（第２の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ２１０或いはＨＭＤ装着者の位置姿勢を表す第２の位置姿勢情報を生成する。
【０１３５】
画像処理装置２２０の動体歪み推定部２２４は、左位置姿勢情報生成部２２３Ｌで生成された第１の位置姿勢情報と右位置姿勢情報生成部２２３Ｒで生成された第２の位置姿勢情報との差異情報を用いて、１フレームの撮像期間で発生した動体歪み量及び動体歪み方向の推定を行う。
【０１３６】
画像処理装置２２０の撮像画像補正部２２５は、動体歪み推定部２２４で推定された動体歪み量及び動体歪み方向に応じて、それぞれ左目の撮像画像及び右目の撮像画像に対して切り出し領域を設定する。そして、撮像画像補正部２２５は、左目の撮像画像及び右目の撮像画像の動体歪みを補正して、左目の補正撮像画像（第１の補正撮像画像）及び右目の補正撮像画像（第２の補正撮像画像）を得る。即ち、撮像画像補正部２２５は、第１の位置姿勢情報と第２の位置姿勢情報とに基づいて、左目の撮像画像及び右目の撮像画像の動体歪みを補正して、左目の補正撮像画像及び右目の補正撮像画像を得る。
【０１３７】
画像処理装置２２０の位置姿勢情報再生成部２２６は、撮像画像補正部２２５で得られた左目の補正撮像画像や右目の補正撮像画像から、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ２１０或いはＨＭＤ装着者の位置姿勢情報の再生成を行う。具体的に、位置姿勢情報再生成部２２６は、撮像画像補正部２２５で得られた左目の補正撮像画像及び右目の補正撮像画像のうちの両方の補正撮像画像またはいずれかの補正撮像画像に基づいて、上述した位置姿勢情報の再生成を行う。即ち、位置姿勢情報再生成部２２６による位置姿勢情報の再生成では、左目の補正撮像画像及び右目の補正撮像画像の両方に対して、それぞれマーカーの位置合わせを行って、上述した位置姿勢情報の再生成を行うようにしてもよい。また、位置姿勢情報再生成部２２６による位置姿勢情報の再生成では、左目の補正撮像画像及び右目の補正撮像画像の一方に対してのみマーカーの位置合わせを行い、他方の補正撮像画像に対しては、左右のＣＭＯＳイメージセンサの視差情報を利用して位置姿勢情報を再生成することも可能である。
【０１３８】
画像処理装置２２０のコンテンツＤＢ２２７は、ＣＧ描画用のコンテンツを格納するデータベースである。
【０１３９】
画像処理装置２２０のＣＧ描画合成部２２８は、まず、位置姿勢情報再生成部２２６で再生成された位置姿勢情報に基づいて、コンテンツＤＢ２２７に格納されているコンテンツから左目のＣＧ画像及び右目のＣＧ画像をそれぞれ描画する。そして、ＣＧ描画合成部２２８は、左目の補正撮像画像と左目のＣＧ画像とを合成するとともに、右目の補正撮像画像と右目のＣＧ画像とを合成し、ＭＲ画像を生成する。ＣＧ描画合成部２２８で得られたＭＲ画像は、装置側インタフェース２２１を介してビデオシースルー型ＨＭＤ２１０に送信され、ビデオシースルー型ＨＭＤ１１０において表示ユニット２１３に表示される。
【０１４０】
本実施形態によれば、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得される撮像画像の動体歪みが対称となる性質を利用して、動体歪み量及び動体歪み方向を推定し、左右の目の撮像画像の補正を行うことができる。そして、左右の目の補正撮像画像を用いてＭＲシステムにおけるマーカーの位置合わせを行うことで、動体歪みの影響が除去された位置姿勢情報を生成することができ、これにより、違和感のないＭＲ画像をＨＭＤ装着者に提示することが可能となる。
【０１４１】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【０１４２】
上述の第１の実施形態では、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得した左右の撮像画像に基づき生成された第１の位置姿勢情報と第２の位置姿勢情報との差異を用いて、位置姿勢情報のズレの補正のみを行っていた。
【０１４３】
これに対して、本実施形態では、第１の位置姿勢情報と第２の位置姿勢情報との差異を用いて、動体歪み量及び動体歪み方向を推定し、推定した動体歪み量及び動体歪み方向に基づいて左右の撮像画像中に含まれる任意の対象に対してステレオ法により生成することができる奥行情報を補正するものである。以下、この点を中心に説明を行う。
【０１４４】
図１３は、ＭＲシステムにおける動体歪み発生時の奥行情報生成に対する影響を説明するための模式図である。
【０１４５】
図１３（ａ）は、正面から静止した状態でビデオシースルー型ＨＭＤで撮像した撮像画像上に、ＣＧオブジェクト１３０１を重畳したＭＲ画像１３０３である。図１３（ａ）では、動体歪みが発生しておらず被写体の形状変化がないため、ビデオシースルー型ＨＭＤの位置姿勢と、撮像画像中の任意の対象点、ここではユーザーの指先１３０２の奥行情報を正しく計算することができる。したがって、ＣＧオブジェクト１３０１と、ＣＧオブジェクト１３０１を指しているユーザーの指先１３０２の位置関係を正しく把握し、ＣＧオブジェクト重畳時にユーザーの指先１３０２をＣＧオブジェクト１３０１よりも手前側に表示されるように描画を行うことができ、ユーザーに違和感のないＭＲ画像を提供することが可能となる。
【０１４６】
図１３（ｂ）は、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した撮像画像上に、ＣＧオブジェクト１３０１を重畳したＭＲ画像１３０４である。図１３（ｂ）では、動体歪みの影響でマーカーを含む被写体の形状が変化するため、ビデオシースルー型ＨＭＤの位置姿勢情報、及び撮像画像中の任意の対象点、ここではユーザーの指先１３０２の奥行情報を生成する際に誤差が生じ、位置関係を正しく把握することができなくなる。したがって、本来はＣＧオブジェクト１３０１を指しているはずのユーザーの指先１３０２を、ＣＧオブジェクト重畳時にＣＧオブジェクト１３０１を手前側に描画することで隠してしまうなどの誤った処理が行われることとなる。これは、ユーザーにとっては自分の動きと一致しないＭＲ画像を観察することとなり、違和感を生じる原因と成り得る。
【０１４７】
図１４は、本発明の第３の実施形態を示し、動体歪み発生時の撮像画像中に含まれる任意の対象の奥行情報生成を説明するための模式図である。
【０１４８】
図１４（ａ）は、ビデオシースルー型ＨＭＤを静止させてオブジェクト１４０１を正面から撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像１４０２である。
【０１４９】
図１４（ｂ）は、ビデオシースルー型ＨＭＤを静止させてオブジェクト１４０１を正面から撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像１４０３である。本実施形態においては、右ＣＭＯＳイメージセンサは、左ＣＭＯＳイメージセンサの撮像面に対して面内で１８０度回転させた位置に配置されるため、取得される右目の撮像画像１４０３も１８０度回転した撮像画像となるが、ここでは左右の撮像画像における奥行情報生成の対象点の対応を分かりやすくするために、右目の撮像画像１４０３をビデオシースルー型ＨＭＤにおける表示状態に合わせて１８０度回転させて示している。
【０１５０】
ここで、左目の撮像画像１４０２におけるオブジェクト１４０１の点Ｐｌ１の撮像画像面内における座標を（Ｘｌ１，Ｙｌ１）とし、同様に右目の撮像画像１４０３における前記左目の撮像画像内の点Ｐｌ１に相当する対応点を点Ｐｒ１とし、点Ｐｒ１の撮像画像面内の座標を（Ｘｒ１，Ｙｒ１）とする。前記対応点は、画像処理による各種ステレオマッチング手法を用いることで探索可能である。さらに、左目のＣＭＯSイメージセンサと右目のＣＭＯＳイメージセンサとの間の基線長をＢ、左右のＣＭＯＳイメージセンサに光学像を結像しているレンズの焦点距離をｆとした時、点Ｐｌ１及びＰｒ１の奥行Ｚ１は、三角測量の原理を用いたステレオ法により、Ｚ１＝Ｂ・ｆ／（Ｘｌ１−Ｘｒ１）の関係式で求めることができる。
【０１５１】
同様に、左目の撮像画像１４０２におけるオブジェクト１４０１の点Ｐｌ２及び右目の撮像画像１４０３におけるオブジェクト１４０１の点Ｐｒ２の奥行Ｚ２は、Ｚ２＝Ｂ・ｆ／（Ｘｌ２−Ｘｒ２）の関係式で求めることができる。ここで、オブジェクト１４０１が立方体或いは直方体であり、ビデオシースルー型ＨＭＤとオブジェクト１４０１の一平面１４０４が正対している場合、Ｚ１とＺ２は等しくなる。
【０１５２】
図１４（ａ）及び図１４（ｂ）では、動体歪みが発生しておらず被写体の形状変化がないため、左右の撮像画像中の任意の対象点について奥行情報を正しく計算することができる。
【０１５３】
図１４（ｃ）は、オブジェクト１４０１を、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像１４０５である。図１４（ｃ）に示すように、動体歪み発生時には、検出されるオブジェクト１４０１の形状が変化するため、左目の撮像画像１４０５におけるオブジェクト１４０１の点Ｐｌ３及びＰｌ４のＸ座標は、図１４（ａ）におけるＰｌ１及びＰｌ２のＸ座標とはそれぞれ異なる値となる。
【０１５４】
図１４（ｄ）は、オブジェクト１４０１を、図２（ａ）に示すＡ点からＢ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像１４０６である。ここでは、図１４（ｂ）と同様に、右目の撮像画像１４０６をビデオシースルー型ＨＭＤにおける表示状態に合わせて１８０度回転させて示している。図１４（ｄ）に示すように、動体歪み発生時には、検出されるオブジェクト１４０１の形状が変化するため、右目の撮像画像１４０６におけるオブジェクト１４０１の点Ｐｒ３及びＰｒ４のＸ座標は、図１４（ｂ）におけるＰｒ１及びＰｒ２のＸ座標とはそれぞれ異なる値となる。
【０１５５】
ここで、図１４（ｃ）及び図１４（ｄ）において、左目の撮像画像１４０５におけるオブジェクト１４０１の点Ｐｌ３及び右目の撮像画像１４０６におけるオブジェクト１４０１の点Ｐｒ３の奥行Ｚ３は、Ｚ３＝Ｂ・ｆ／（Ｘｌ３−Ｘｒ３）の関係式で求めることができる。同様に、左目の撮像画像１４０５におけるオブジェクト１４０１の点Ｐｌ４及び右目の撮像画像１４０６におけるオブジェクト１４０１の点Ｐｒ４の奥行Ｚ４は、Ｚ４＝Ｂ・ｆ／（Ｘｌ４−Ｘｒ４）の関係式で求めることができる。この時、動体歪みの影響によりＺ３＜Ｚ１、Ｚ４＞Ｚ２の関係が成り立ち、実際の奥行情報に対する誤差が生じる。また、先に説明した通り、オブジェクト１４０１が立方体或いは直方体であり、ビデオシースルー型ＨＭＤとオブジェクト１４０１の一平面１４０４が正対している場合、Ｚ１とＺ２は等しくなる。しかしながら、Ｚ３とＺ４については、それぞれＺ１（＝Ｚ２）に対して奥行が前後する関係になっていることが分かる。
【０１５６】
図１４（ｅ）は、オブジェクト１４０１を、図２（ａ）に示すＢ点からＡ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の左ＣＭＯＳイメージセンサにより取得される左目の撮像画像１４０７である。図１４（ｅ）に示すように、動体歪み発生時には、検出されるオブジェクト１４０１の形状が変化するため、左目の撮像画像１４０７におけるオブジェクト１４０１の点Ｐｌ５及びＰｌ６のＸ座標は、図１４（ａ）におけるＰｌ１及びＰｌ２のＸ座標とはそれぞれ異なる値となる。
【０１５７】
図１４（ｆ）は、オブジェクト１４０１を、図２（ａ）に示すＢ点からＡ点の方向へビデオシースルー型ＨＭＤを移動させながら撮像した時の右ＣＭＯＳイメージセンサにより取得される右目の撮像画像１４０８である。ここでは、図１４（ｂ）と同様に、右目の撮像画像１４０８をビデオシースルー型ＨＭＤにおける表示状態に合わせて１８０度回転させて示している。図１４（ｆ）に示すように、動体歪み発生時には、検出されるオブジェクト１４０１の形状が変化するため、右目の撮像画像１４０８におけるオブジェクト１４０１の点Ｐｒ５及びＰｒ６のＸ座標は、図１４（ｂ）におけるＰｒ１及びＰｒ２のＸ座標とはそれぞれ異なる値となる。
【０１５８】
ここで、図１４（ｅ）及び図１４（ｆ）において、左目の撮像画像１４０７におけるオブジェクト１４０１の点Ｐｌ５及び右目の撮像画像１４０８におけるオブジェクト１４０１の点Ｐｒ５の奥行Ｚ５は、Ｚ５＝Ｂ・ｆ／（Ｘｌ５−Ｘｒ５）の関係式で求めることができる。同様に、左目の撮像画像１４０７におけるオブジェクト１４０１の点Ｐｌ６及び右目の撮像画像１４０８におけるオブジェクト１４０１の点Ｐｒ６の奥行Ｚ６は、Ｚ６＝Ｂ・ｆ／（Ｘｌ６−Ｘｒ６）の関係式で求めることができる。この時、動体歪みの影響によりＺ５＞Ｚ１、Ｚ６＜Ｚ２の関係が成り立ち、実際の奥行情報に対する誤差が生じる。また、先に説明した通り、オブジェクト１４０１が立方体或いは直方体であり、ビデオシースルー型ＨＭＤとオブジェクト１４０１の一平面１４０４が正対している場合、Ｚ１とＺ２は等しくなる。しかしながら、Ｚ６とＺ５については、それぞれＺ１（＝Ｚ２）に対して奥行が前後する関係になっていることが分かる。
【０１５９】
上述の説明では、左右の撮像画像内における任意の対象点の奥行情報生成について説明したが、撮像画像内における任意の二次元形状或いは三次元形状の重心座標に対して奥行情報を生成することもできる。したがって、用途や処理負荷に応じて奥行情報生成の対象範囲の設定を変更することも可能である。
【０１６０】
上述したように、動体歪みによる奥行情報生成への影響は、動体歪みの方向及び撮像画像内における垂直方向位置に応じて変化する。また、左右の撮像画像内における任意の対象点のＸ座標の差分Ｘｌｎ−Ｘｒｎ（ｎは任意の自然数）の大きさは、撮像画像の動体歪み量の大きさと対応関係があることから、動体歪み量及び動体歪み方向と、撮像画像内における任意の対象点についてステレオ法により生成される奥行情報との誤差は、線形性を有するものとして予め対応付けを行うことが可能である。動体歪み量及び動体歪み方向は、左目の撮像画像により生成される位置姿勢情報と、右目の撮像画像により生成される位置姿勢情報との差異より求めることができる。このことを利用して、本実施形態では、左目の撮像画像により生成される位置姿勢情報と、右目の撮像画像により生成される位置姿勢情報との差異を用いて動体歪み量及び動体歪み方向を推定し、推定した動体歪み量及び動体歪み方向に基づいて左右の撮像画像中に含まれる任意の対象に対してステレオ法により生成することができる奥行情報を補正することが可能となる。
【０１６１】
ここで、奥行情報の補正方法としては、左目の撮像画像により生成される位置姿勢情報と、右目の撮像画像により生成される位置姿勢情報との差異を用いて求められる動体歪み量及び動体歪み方向と、撮像画像内における任意の対象点についてステレオ法により生成される奥行情報の誤差の補正量との対応関係を表す対応関係情報を予め記憶部にテーブルとして記憶しておき、このテーブルを参照して奥行情報を補正する方法が考えられる。
【０１６２】
上述した説明では、左右の撮像画像を用いて生成される位置姿勢情報の差異を利用して、撮像画像中に含まれる任意の対象点に対してステレオ法により生成することができる奥行情報を補正する方法としてテーブル参照による方法を説明したが、奥行情報を補正する方法は、上述した方法に限定されるものではない。
【０１６３】
図１５は、本発明の第３の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。この図１５に示すビデオシースルー型複合現実システム３００は、本発明に係る画像処理システムに相当する。
【０１６４】
図１５のビデオシースルー型複合現実システム（画像処理システム）３００は、図１５に示すように、ビデオシースルー型ＨＭＤ３１０と、画像処理装置３２０を有して構成されている。
【０１６５】
ビデオシースルー型ＨＭＤ３１０は、図１５に示すように、ＣＭＯＳイメージセンサ３１１Ｌ及び３１１Ｒ、制御部３１２、表示ユニット３１３、三次元位置姿勢センサ３１４、及び、ＨＭＤ側インタフェース３１５を有して構成されている。ここで、ビデオシースルー型ＨＭＤ３１０は、本発明における撮像装置に相当する。
【０１６６】
画像処理装置３２０は、例えば、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置である。この画像処理装置３２０は、図１５に示すように、装置側インタフェース３２１、制御部３２２、位置姿勢情報生成部３２３、位置姿勢情報補正部３２４、動体歪み推定部３２５、奥行情報生成部３２６、奥行情報補正部３２７、対応関係情報記憶部３２８（奥行情報補正量記憶部）、コンテンツＤＢ３２９、及び、ＣＧ描画合成部３３０を有して構成されている。また、位置姿勢情報生成部３２３は、左位置姿勢情報生成部（第１の位置姿勢情報生成部）３２３Ｌと、右位置姿勢情報生成部（第２の位置姿勢情報生成部）３２３Ｒを有して構成されている。
【０１６７】
ビデオシースルー型ＨＭＤ３１０のＣＭＯＳイメージセンサ３１１Ｌ及び３１１Ｒは、外界を撮像する複数のローリングシャッター方式の撮像手段である。左ＣＭＯＳイメージセンサ３１１Ｌは、現実空間を撮像した左目の撮像画像（第１の撮像画像）を取得する第１の撮像手段である。右ＣＭＯＳイメージセンサ３１１Ｒは、第１の実施形態と同様に図１に示すように、左ＣＭＯＳイメージセンサ３１１Ｌにおける露光方向と異なる露光方向で現実空間を撮像した右目の撮像画像（第２の撮像画像）を取得する第２の撮像手段である。本実施形態においては、右ＣＭＯＳイメージセンサ３１１Ｒは、左ＣＭＯＳイメージセンサ３１１Ｌの撮像面に対して面内で１８０度回転させた位置に配置する。即ち、左ＣＭＯＳイメージセンサ３１１Ｌにおける露光方向と右ＣＭＯＳイメージセンサ３１１Ｒにおける露光方向とが逆方向となるように、左ＣＭＯＳイメージセンサ３１１Ｌ及び右ＣＭＯＳイメージセンサ３１１Ｒを配置する。
【０１６８】
ビデオシースルー型ＨＭＤ３１０の制御部３１２は、ビデオシースルー型ＨＭＤ３１０の各構成部（３１１Ｌ及び３１１Ｒ，３１３〜３１５）を制御して、ビデオシースルー型ＨＭＤ３１０の動作を統括的に制御する。
【０１６９】
ビデオシースルー型ＨＭＤ３１０の表示ユニット３１３は、ＣＧが重畳されたＭＲ画像を表示するものである。図１５では省略しているが、表示ユニット３１３は、右目用表示デバイス及び左目用表示デバイスの２組の表示デバイスと光学系から構成される。ここで、この表示デバイスは、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【０１７０】
ビデオシースルー型ＨＭＤ３１０の三次元位置姿勢センサ３１４は、ＣＧ描画位置を算出するためのものである。具体的に、三次元位置姿勢センサ３１４は、ビデオシースルー型ＨＭＤ３１０或いはＨＭＤ装着者の位置姿勢情報を取得する。この三次元位置姿勢センサ３１４としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。
【０１７１】
ビデオシースルー型ＨＭＤ３１０のＨＭＤ側インタフェース３１５は、ＣＧを描画や合成するための画像処理装置３２０とのインタフェースである。具体的に、ＨＭＤ側インタフェース３１５は、左ＣＭＯＳイメージセンサ３１１Ｌ及び右ＣＭＯＳイメージセンサ３１１Ｒで撮像された撮像画像や、三次元位置姿勢センサ３１４で取得された位置姿勢情報を、画像処理装置３２０に送信する。また、ＨＭＤ側インタフェース３１５は、画像処理装置３２０で合成されたＭＲ画像を画像処理装置３２０から受信する。
【０１７２】
画像処理装置３２０の装置側インタフェース３２１は、左ＣＭＯＳイメージセンサ３１１Ｌ及び右ＣＭＯＳイメージセンサ３１１Ｒで撮像された撮像画像や三次元位置姿勢センサ３１４で取得された位置姿勢情報を、ビデオシースルー型ＨＭＤ３１０から受信する。また、装置側インタフェース３２１は、合成したＭＲ画像をビデオシースルー型ＨＭＤ３１０に送信する。
【０１７３】
画像処理装置３２０の制御部３２２は、画像処理装置３２０の各構成部（３２１，３２３〜３２７，３３０）を制御して、画像処理装置３２０の動作を統括的に制御する。
【０１７４】
画像処理装置３２０の位置姿勢情報生成部３２３は、ビデオシースルー型ＨＭＤ３１０或いはＨＭＤ装着者の位置姿勢情報を生成する。具体的に、位置姿勢情報生成部３２３の左位置姿勢情報生成部３２３Ｌは、左ＣＭＯＳイメージセンサ３１１Ｌにより取得された左目の撮像画像（第１の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ３１０或いはＨＭＤ装着者の位置姿勢を表す第１の位置姿勢情報を生成する。また、位置姿勢情報生成部３２３の右位置姿勢情報生成部３２３Ｒは、右ＣＭＯＳイメージセンサ３１１Ｒにより取得された右目の撮像画像（第２の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ３１０或いはＨＭＤ装着者の位置姿勢を表す第２の位置姿勢情報を生成する。
【０１７５】
画像処理装置３２０の位置姿勢情報補正部３２４は、左位置姿勢情報生成部３２３Ｌで生成された第１の位置姿勢情報と右位置姿勢情報生成部３２３Ｒで生成された第２の位置姿勢情報とに基づいて（具体的に本実施形態では、第１の位置姿勢情報と第２の位置姿勢情報との差異を用いて）、ビデオシースルー型ＨＭＤ３１０或いはＨＭＤ装着者の位置姿勢情報を補正する。例えば、位置姿勢情報補正部３２４は、第１の位置姿勢情報と第２の位置姿勢情報との平均を、ビデオシースルー型ＨＭＤ３１０或いはＨＭＤ装着者の位置姿勢情報として補正することができる。
【０１７６】
画像処理装置３２０の動体歪み推定部３２５は、左位置姿勢情報生成部３２３Ｌで生成された第１の位置姿勢情報と右位置姿勢情報生成部３２３Ｒで生成された第２の位置姿勢情報と、位置姿勢情報補正部３２４で補正された位置姿勢情報との差異に基づいて、動体歪み量及び動体歪み方向を推定する。
【０１７７】
画像処理装置３２０の奥行情報生成部３２６は、左ＣＭＯＳイメージセンサ３１１Ｌにより取得された左目の撮像画像（第１の撮像画像）と、右ＣＭＯＳイメージセンサ３１１Ｒにより取得された右目の撮像画像（第２の撮像画像）を用いたステレオ法により、撮像画像中の任意の対象点の奥行情報を生成する。
【０１７８】
画像処理装置３２０の奥行情報補正部３２７は、動体歪み推定部３２５で推定された動体歪み量及び動体歪み方向と、対応関係情報記憶部３２８に記憶されている対応関係情報を参照して、撮像画像中の任意の対象点に対してステレオ法により生成することができる奥行情報の補正量を抽出し、当該補正量に基づいて奥行情報生成部３２６で生成された奥行情報の補正を行う。
【０１７９】
画像処理装置３２０の対応関係情報記憶部３２８は、動体歪み量及び動体歪み方向と、撮像画像中の任意の対象点に対してステレオ法により生成することができる奥行情報の補正量との対応関係を表す対応関係情報を予め記憶する記憶手段である。
【０１８０】
画像処理装置３２０のコンテンツＤＢ３２９は、ＣＧ描画用のコンテンツを格納するデータベースである。
【０１８１】
画像処理装置３２０のＣＧ描画合成部３３０は、まず、位置姿勢情報補正部３２４で補正された位置姿勢情報及び奥行情報補正部３２７で補正された奥行情報に基づいて、コンテンツＤＢ３２９に格納されているコンテンツから左目のＣＧ画像及び右目のＣＧ画像をそれぞれ描画する。そして、ＣＧ描画合成部３３０は、左目の撮像画像と左目のＣＧ画像とを合成するとともに、右目の撮像画像と右目のＣＧ画像とを合成し、ＭＲ画像を生成する。ＣＧ描画合成部３３０で得られたＭＲ画像は、装置側インタフェース３２１を介してビデオシースルー型ＨＭＤ３１０に送信され、ビデオシースルー型ＨＭＤ３１０において表示ユニット３１３に表示される。
【０１８２】
本実施形態によれば、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得される撮像画像の動体歪みが対称となる性質を利用して、位置姿勢情報のズレ補正を行うことができる。さらに、補正前後の位置姿勢情報の差異を用いて動体歪み量及び動体歪み方向を推定し、推定した動体歪み量及び動体歪み方向に基づいて左右の撮像画像中に含まれる任意の対象に対してステレオ法により生成することができる奥行情報を補正することができる。これにより、違和感のないＭＲ画像をＨＭＤ装着者に提示することが可能となる。
【０１８３】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
【０１８４】
上述の第２の実施形態では、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得される撮像画像の動体歪みが対称となる性質を利用して、動体歪み量及び動体歪み方向を推定し、左右の目の撮像画像の補正を行っていた。さらに、左右の目の補正撮像画像を用いて再度、ＭＲシステムにおけるマーカーの位置合わせを行うことで、動体歪みの影響が除去された位置姿勢情報の生成を行っていた。
【０１８５】
これに対して、本実施形態では、推定した動体歪み量及び動体歪み方向に基づいて、左右の目の補正撮像画像中に含まれる任意の対象に対してステレオ法により生成することができる奥行情報を補正することが可能である。以下、この点を中心に説明を行う。
【０１８６】
図１６は、本発明の第４の実施形態に係るビデオシースルー型複合現実システムの機能構成の一例を示すブロック図である。この図１６に示すビデオシースルー型複合現実システム４００は、本発明に係る画像処理システムに相当する。
【０１８７】
図１６のビデオシースルー型複合現実システム（画像処理システム）４００は、図１６に示すように、ビデオシースルー型ＨＭＤ４１０と、画像処理装置４２０を有して構成されている。
【０１８８】
ビデオシースルー型ＨＭＤ４１０は、図１６に示すように、ＣＭＯＳイメージセンサ４１１Ｌ及び４１１Ｒ、制御部４１２、表示ユニット４１３、三次元位置姿勢センサ４１４、及び、ＨＭＤ側インタフェース４１５を有して構成されている。ここで、ビデオシースルー型ＨＭＤ４１０は、本発明における撮像装置に相当する。
【０１８９】
画像処理装置４２０は、例えば、パソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置である。この画像処理装置４２０は、装置側インタフェース４２１、制御部４２２、位置姿勢情報生成部４２３、動体歪み推定部４２４、撮像画像補正部４２５、位置姿勢情報再生成部４２６、奥行情報生成部４２７、対応関係情報記憶部４２８、コンテンツＤＢ４２９、及び、ＣＧ描画合成部４３０を有して構成されている。また、位置姿勢情報生成部４２３は、左位置姿勢情報生成部（第１の位置姿勢情報生成部）４２３Ｌと、右位置姿勢情報生成部（第２の位置姿勢情報生成部）４２３Ｒを有して構成されている。
【０１９０】
ビデオシースルー型ＨＭＤ４１０のＣＭＯＳイメージセンサ４１１Ｌ及び４１１Ｒは、外界を撮像する複数のローリングシャッター方式の撮像手段である。左ＣＭＯＳイメージセンサ４１１Ｌは、現実空間を撮像した左目の撮像画像（第１の撮像画像）を取得する第１の撮像手段である。右ＣＭＯＳイメージセンサ４１１Ｒは、第１の実施形態と同様に図１に示すように、左ＣＭＯＳイメージセンサ４１１Ｌにおける露光方向と異なる露光方向で現実空間を撮像した右目の撮像画像（第２の撮像画像）を取得する第２の撮像手段である。本実施形態においては、右ＣＭＯＳイメージセンサ４１１Ｒは、左ＣＭＯＳイメージセンサ４１１Ｌの撮像面に対して面内で１８０度回転させた位置に配置する。即ち、左ＣＭＯＳイメージセンサ４１１Ｌにおける露光方向と右ＣＭＯＳイメージセンサ４１１Ｒにおける露光方向とが逆方向となるように、左ＣＭＯＳイメージセンサ４１１Ｌ及び右ＣＭＯＳイメージセンサ４１１Ｒを配置する。
【０１９１】
また、本実施形態では、第２の実施形態において図８を用いて説明したものと同様に、右ＣＭＯＳイメージセンサ４１１Ｒ及び左ＣＭＯＳイメージセンサ４１１Ｌは、表示ユニット４１３に表示させてＨＭＤ装着者が観察する領域よりも広い領域を撮像する。
【０１９２】
ビデオシースルー型ＨＭＤ４１０の制御部４１２は、ビデオシースルー型ＨＭＤ４１０の各構成部（４１１Ｌ及び４１１Ｒ，４１３〜４１５）を制御して、ビデオシースルー型ＨＭＤ４１０の動作を統括的に制御する。
【０１９３】
ビデオシースルー型ＨＭＤ４１０の表示ユニット４１３は、ＣＧが重畳されたＭＲ画像を表示するものである。図１６では省略しているが、表示ユニット４１３は、右目用表示デバイス及び左目用表示デバイスの２組の表示デバイスと光学系から構成される。ここで、この表示デバイスは、例えば、小型の液晶ディスプレイや有機ＥＬディスプレイ、ＭＥＭＳによる網膜スキャンタイプのデバイスが使用される。
【０１９４】
ビデオシースルー型ＨＭＤ４１０の三次元位置姿勢センサ４１４は、ＣＧ描画位置を算出するためのものである。具体的に、三次元位置姿勢センサ４１４は、ビデオシースルー型ＨＭＤ４１０或いはＨＭＤ装着者の位置姿勢情報を取得する。この三次元位置姿勢センサ４１４としては、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。
【０１９５】
ビデオシースルー型ＨＭＤ４１０のＨＭＤ側インタフェース４１５は、ＣＧを描画や合成するための画像処理装置４２０とのインタフェースである。具体的に、ＨＭＤ側インタフェース４１５は、左ＣＭＯＳイメージセンサ４１１Ｌ及び右ＣＭＯＳイメージセンサ４１１Ｒで撮像された撮像画像や、三次元位置姿勢センサ４１４で取得された位置姿勢情報を、画像処理装置４２０に送信する。また、ＨＭＤ側インタフェース４１５は、画像処理装置４２０で合成されたＭＲ画像を画像処理装置４２０から受信する。
【０１９６】
画像処理装置４２０の装置側インタフェース４２１は、左ＣＭＯＳイメージセンサ４１１Ｌ及び右ＣＭＯＳイメージセンサ４１１Ｒで撮像された撮像画像や三次元位置姿勢センサ４１４で取得された位置姿勢情報を、ビデオシースルー型ＨＭＤ４１０から受信する。また、装置側インタフェース４２１は、合成したＭＲ画像をビデオシースルー型ＨＭＤ４１０に送信する。
【０１９７】
画像処理装置４２０の制御部４２２は、画像処理装置４２０の各構成部（４２１，４２３〜４２７，４３０）を制御して、画像処理装置４２０の動作を統括的に制御する。
【０１９８】
画像処理装置４２０の位置姿勢情報生成部４２３は、ビデオシースルー型ＨＭＤ４１０或いはＨＭＤ装着者の位置姿勢情報を生成する。具体的に、位置姿勢情報生成部４２３の左位置姿勢情報生成部４２３Ｌは、左ＣＭＯＳイメージセンサ４１１Ｌにより取得された左目の撮像画像（第１の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ４１０或いはＨＭＤ装着者の位置姿勢を表す第１の位置姿勢情報を生成する。また、位置姿勢情報生成部４２３の右位置姿勢情報生成部４２３Ｒは、右ＣＭＯＳイメージセンサ４１１Ｒにより取得された右目の撮像画像（第２の撮像画像）に基づいて、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ４１０或いはＨＭＤ装着者の位置姿勢を表す第２の位置姿勢情報を生成する。
【０１９９】
画像処理装置４２０の動体歪み推定部４２４は、左位置姿勢情報生成部４２３Ｌで生成された第１の位置姿勢情報と右位置姿勢情報生成部４２３Ｒで生成された第２の位置姿勢情報との差異情報を用いて、１フレームの撮像期間で発生した動体歪み量及び動体歪み方向の推定を行う。
【０２００】
画像処理装置４２０の撮像画像補正部４２５は、動体歪み推定部４２４で推定された動体歪み量及び動体歪み方向に応じて、それぞれ左目の撮像画像及び右目の撮像画像に対して切り出し領域を設定する。そして、撮像画像補正部４２５は、左目の撮像画像及び右目の撮像画像の動体歪みを補正して、左目の補正撮像画像（第１の補正撮像画像）及び右目の補正撮像画像（第２の補正撮像画像）を得る。即ち、撮像画像補正部４２５は、第１の位置姿勢情報と第２の位置姿勢情報とに基づいて、左目の撮像画像及び右目の撮像画像の動体歪みを補正して、左目の補正撮像画像及び右目の補正撮像画像を得る。
【０２０１】
画像処理装置４２０の位置姿勢情報再生成部４２６は、撮像画像補正部４２５で得られた左目の補正撮像画像や右目の補正撮像画像から、マーカーの位置合わせにより、ビデオシースルー型ＨＭＤ４１０或いはＨＭＤ装着者の位置姿勢情報の再生成を行う。具体的に、位置姿勢情報再生成部４２６は、撮像画像補正部４２５で得られた左目の補正撮像画像及び右目の補正撮像画像のうちの両方の補正撮像画像またはいずれかの補正撮像画像に基づいて、上述した位置姿勢情報の再生成を行う。即ち、位置姿勢情報再生成部４２６による位置姿勢情報の再生成では、左目の補正撮像画像及び右目の補正撮像画像の両方に対して、それぞれマーカーの位置合わせを行って、上述した位置姿勢情報の再生成を行うようにしてもよい。また、位置姿勢情報再生成部４２６による位置姿勢情報の再生成では、左目の補正撮像画像及び右目の補正撮像画像の一方に対してのみマーカーの位置合わせを行い、他方の補正撮像画像に対しては、左右のＣＭＯＳイメージセンサの視差情報を利用して位置姿勢情報を再生成することも可能である。
【０２０２】
画像処理装置４２０の奥行情報生成部４２７は、撮像画像補正部４２５により補正された左目の撮像画像と右目の撮像画像を用いたステレオ法により、撮像画像中の任意の対象点の奥行情報を生成する。この時、動体歪み推定部４２４で推定された動体歪み量及び動体歪み方向と、対応関係情報記憶部４２８に記憶されている対応関係情報を参照して、奥行情報の生成を行う。
【０２０３】
本実施形態における切り出しによる撮像画像の補正は、マーカー領域の奥行を基準として補正が行われるため、マーカーと異なる奥行を有する領域については補正後においても動体歪みの影響を完全に除去することはできない。これは、奥行の大きさによって動体歪み量が異なることに起因する。例えば、マーカーよりも奥行が大きい領域では、マーカー領域と比較して動体歪み量が小さくなるため、マーカーを基準に撮像画像の補正が行われると、元々の動体歪み方向とは逆方向の歪みを有することとなる。したがって、補正後の撮像画像を用いてステレオ法により算出される任意の対象点の奥行情報には、誤差が含まれる。ここで、補正後の撮像画像を用いて算出される任意の対象点の奥行情報が有する誤差は、補正後の撮像画像中の任意の対象点における動体歪み量及び動体歪み方向と対応付けが可能である。また、補正後の撮像画像中の任意の対象点における動体歪み量及び動体歪み方向は、補正時の基準奥行、ここではマーカー領域の奥行における動体歪み量及び動体歪み方向と対応付けを行うことも可能である。このことから、本実施形態では、補正時の基準奥行における動体歪み量及び動体歪み方向と、補正後の撮像画像を用いて算出される任意の対象点における奥行情報の誤差を対応関係情報として利用することで、誤差が補正された奥行情報を生成することができる。
【０２０４】
画像処理装置４２０の対応関係情報記憶部４２８は、動体歪み量及び動体歪み方向と、撮像画像中の任意の対象点に対してステレオ法により生成することができる奥行情報の補正量との対応関係を表す対応関係情報を予め記憶する記憶手段である。
【０２０５】
画像処理装置２２０のコンテンツＤＢ４２９は、ＣＧ描画用のコンテンツを格納するデータベースである。
【０２０６】
画像処理装置４２０のＣＧ描画合成部４３０は、まず、位置姿勢情報再生成部４２６で再生成された位置姿勢情報及び奥行情報生成部４２７で生成された奥行情報に基づいて、コンテンツＤＢ４２９に格納されているコンテンツから左目のＣＧ画像及び右目のＣＧ画像をそれぞれ描画する。そして、ＣＧ描画合成部４３０は、左目の補正撮像画像と左目のＣＧ画像とを合成するとともに、右目の補正撮像画像と右目のＣＧ画像とを合成し、ＭＲ画像を生成する。ＣＧ描画合成部４３０で得られたＭＲ画像は、装置側インタフェース４２１を介してビデオシースルー型ＨＭＤ４１０に送信され、ビデオシースルー型ＨＭＤ４１０において表示ユニット４１３に表示される。
【０２０７】
本実施形態によれば、露光開始位置が回転対称に配置された左右のＣＭＯＳイメージセンサにより取得される撮像画像の動体歪みが対称となる性質を利用して、動体歪み量及び動体歪み方向を推定し、左右の目の撮像画像の補正を行うことができる。そして、左右の目の補正撮像画像を用いてＭＲシステムにおけるマーカーの位置合わせを行うことで、動体歪みの影響が除去された位置姿勢情報を生成することができる。さらに、推定した動体歪み量及び動体歪み方向に基づいて左右の撮像画像中に含まれる任意の対象に対してステレオ法により生成することができる奥行情報を補正することができる。これにより、違和感のないＭＲ画像をＨＭＤ装着者に提示することが可能となる。
【０２０８】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。
【０２０９】
上述した第１乃至第４の実施形態は、左ＣＭＯＳイメージセンサにおける露光方向と右ＣＭＯＳイメージセンサにおける露光方向とが逆方向となるように、左ＣＭＯＳイメージセンサ及び右ＣＭＯＳイメージセンサを物理的に配置することを想定したものであった。しかしながら、本発明においては、この形態に限定されるものではない。
【０２１０】
本発明においては、本質的に、各水平ラインもしくは各画素の露光方向が左右のＣＭＯＳイメージセンサで逆方向となるものであればよい。即ち、本実施形態では、図１に示す露光方向になるように、ＣＭＯＳイメージセンサのＸ−Ｙ読み出しアドレッシングを制御することにより、左ＣＭＯＳイメージセンサにおける露光方向と右ＣＭＯＳイメージセンサにおける露光方向とを逆方向とする形態を採る。本実施形態の場合、図７に示す制御部１１２や図９に示す制御部２２２が、ＣＭＯＳイメージセンサのＸ−Ｙ読み出しアドレッシングを制御することになる。
【０２１１】
本実施形態では、ＣＭＯＳイメージセンサの物理的な配置の変更が必要ないため、既存のハード構成を適用できるという利点がある。また、露光方向は、図１に示す水平方向に限られるものではなく、左右のＣＭＯＳイメージセンサの間で露光方向が逆方向となっていれば、垂直方向や斜め方向等であっても同様の効果を得ることができる。
【０２１２】
本実施形態によれば、上述した第１乃至第４の実施形態における効果と同様の効果を得ることができる。
【０２１３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
【０２１４】
なお、上述した本発明の各実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０２１５】
１００  ビデオシースルー型複合現実システム（画像処理システム）、１１０  ビデオシースルー型ＨＭＤ（撮像装置）、１１１Ｌ  左ＣＭＯＳイメージセンサ、１１１Ｒ  右ＣＭＯＳイメージセンサ、１１２  制御部、１１３  表示ユニット、１１４  三次元位置姿勢センサ、１１５  ＨＭＤ側インタフェース、１２０  画像処理装置、１２１  装置側インタフェース、１２２  制御部、１２３  位置姿勢情報生成部、１２３Ｌ  左位置姿勢情報生成部、１２３Ｒ  右位置姿勢情報生成部、１２４  位置姿勢情報補正部、１２５  対応関係情報記憶部、１２６  コンテンツＤＢ、１２７  ＣＧ描画合成部
【図３】
2016052114.tif 000003
【図６】
2016052114.tif 000004
【図７】
2016052114.tif 000005
【図８】
2016052114.tif 000006
【図９】
2016052114.tif 000007
【図１０】
2016052114.tif 000008
【図１４】
2016052114.tif 000009
【図１５】
2016052114.tif 000010
【図１６】
2016052114.tif 000011
【図１】
2016052114.tif 000012
【図２】
2016052114.tif 000013
【図４】
2016052114.tif 000014
【図５】
2016052114.tif 000015
【図１１】
2016052114.tif 000016
【図１２】
2016052114.tif 000017
【図１３】
2016052114.tif 000018