(57)【要約】【課題】  ビデオカメラとディスプレイの光軸にずれが生じた場合でも、幾何学的整合性のずれを抑制しながら、表示画角を維持することができる。【解決手段】  第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得し、前記第１の撮像画像と前記第２の撮像画像から表示画像を切り出す位置の初期値を取得し、前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価し、該評価結果に基づいて、前記第１の撮像画像と前記第２の撮像画像から表示画像を切り出すための切り出し位置を決定する。【選択図】  図４
2018023084.tif 000002
【特許請求の範囲】
【請求項１】
第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得する画像取得手段と、
前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置の初期値を取得する初期値取得手段と、
前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価する評価手段と、
前記評価手段による評価結果に基づいて、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置を決定する決定手段とを備える事を特徴とする画像処理装置。
【請求項２】
前記評価手段は、前記第１のはみ出し量と前記第２のはみ出し量の和を求め、
前記決定手段は、前記評価手段によって評価された和に基づいて、前記切り出し位置を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記評価手段によって評価された和を最小にするように前記切り出し位置を決定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記評価された和を最小にする切り出し位置が閾値を超えている場合に、前記閾値を前記切り出し位置として決定することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記決定手段は、前記評価手段の結果に基づいて前記切り出し位置の初期値を補正する補正量を決定し、前記初期値を前記補正量に基づいて補正した値を前記切り出し位置として決定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得する画像取得手段と、
前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置の初期値を取得する取得手段と、
第１のモードが設定されている場合には、前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価し、該評価された結果に基づいて、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置を決定し、
前記第１のモードとは異なる第２のモードが設定されている場合には、前記初期値を前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置として決定する決定手段とを備える事を特徴とする画像処理装置。
【請求項７】
更に、前記第１のモードまたは前記第２のモードのいずれかを設定する設定手段を備えることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記設定手段は、ユーザによる入力に基づいて設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１の撮像画像を撮像する第１の撮像装置と前記第２の撮像画像を撮像する第２の撮像装置とは頭部装着型表示装置に備えつけられていることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項１０】
更に、前記決定された切り出し位置に基づいて、前記第１の視点から撮像された画像と、前記第２の視点から撮像された画像それぞれから表示画像を切り出す切り出し手段と、
前記切り出し手段で切り出された画像と仮想物体の画像とに基づいて生成された画像を表示装置に出力する出力手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得する画像取得工程と、
前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置の初期値を取得する初期値取得工程と、
前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価する評価工程と、
前記評価工程の結果に基づいて、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置を決定する決定工程とを備える事を特徴とする画像処理方法。
【請求項１２】
第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得する画像取得工程と、
前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置の初期値を取得する取得工程と、
第１のモードが設定されている場合には、前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価し、該評価された結果に基づいて、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置を決定し、
前記第１のモードとは異なる第２のモードが設定されている場合には、前記初期値を前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置として決定する決定工程とを備える事を特徴とする画像処理方法。
【請求項１３】
コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、撮像装置によって撮像された画像から表示装置に表示させるための画像を切り出すための切り出し位置を決定する技術に関する。
【背景技術】
【０００２】
現実世界と仮想世界とをリアルタイムに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間を繋ぎ目なく融合する技術である。これらは、工場等の組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援、また病院等において患者の体表面に体内の様子を重畳表示する手術支援等、様々な分野への応用が期待されている。
【０００３】
観察者が、仮想物体を現実空間に実在するように感じるためには、仮想物体と現実空間との間の幾何学的な整合性が重要である。現実空間の座標系と仮想空間の座標系を一致させるための整合性を扱う問題は、複合現実感における位置合わせ問題とも呼ばれ、種々の研究報告が行われている。位置合わせ問題は、観察者視点映像を撮影するための撮像装置と、仮想の情報を重畳表示させようとする対象である現実物体との間の、位置と姿勢を求める問題である。
【０００４】
また、観察者が、仮想物体を現実空間に実在するように感じるための装置の一つとして、ビデオシースルー型の画像表示装置がある。これは、ビデオカメラで現実世界を撮影し、その画像に、仮想物体を重畳した合成画像を、リアルタイムにディスプレイ等の表示手段に表示させ、観察者に提示する装置である。一般にこのような画像表示装置としては、背面にビデオカメラを有するタブレット端末と呼ばれる携帯型情報端末や、頭部搭載型のビデオシースルー型ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）などが用いられる。
【０００５】
ＭＲ技術（以降、複合現実技術や拡張現実技術を総称してＭＲ技術と呼称する）において、現実世界と仮想世界の一体感を高めるためには、幾何学的整合性を保つことが求められる。ここでいう幾何学的整合とは、観察者が実際に現実を見る場合に知覚する世界や物体の大きさや位置、パース感と、ＭＲ技術を通して知覚する世界や物体の大きさや位置、パース感の一致を意味する。ここで、ビデオカメラのレンズ中心から、画像面に垂直に引いた直線を光軸と呼び、光軸と画像面との交点を画像中心または主点（Ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）と呼ぶ。
【０００６】
特許文献１では、ビデオカメラの光軸と、体験者の瞳中心とディスプレイの中心を通る軸を一致するように配置設計されたビデオシースルー型ＨＭＤの構成が開示されている。ビデオカメラとディスプレイの光軸を一致するように設計することで、理論的には、幾何学的整合性を保つことが可能になる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３９８４９０７号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１で開示される構成によれば、上記の通り、理論的には幾何学的整合を保つことができる。しかしながら、ＨＭＤを製造する工程における組み立ての誤差などの影響により、ビデオカメラとディスプレイの光軸の間にずれが生じる場合があり、このような場合には、幾何学的整合を保つことができなくなる。これに対しては、ディスプレイに表示する画像を撮像画像から切り出して表示する範囲を調整することで、整合を保つことは可能である。しかしながら、ビデオカメラとディスプレイの光軸ずれが大きく、画像の中心から切り出し位置を大きさずらすような場合には、切り出される範囲が撮像領域をはみ出すことにより、ディスプレイに表示される映像の有効画角が減る場合がある。
【０００９】
本発明は、上記の課題に鑑みてなされたものであり、ビデオカメラとディスプレイの光軸にずれが生じた場合でも、幾何学的整合性のずれを抑制しながら、表示画角を維持することができる。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本願発明の画像処理装置は、例えば、第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得する画像取得手段と、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置の初期値を取得する初期値取得手段と、前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価する評価手段と、前記評価手段による評価結果に基づいて、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置を決定する決定手段とを備える事を特徴とする。
【００１１】
本願発明の別の側面の画像処理装置は、例えば、第１の視点から撮像された第１の撮像画像と、前記第１の視点と異なる第２の視点から撮像された第２の撮像画像とを取得する画像取得手段と、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置の初期値を取得する取得手段と、第１のモードが設定されている場合には、前記初期値に基づき前記第１の撮像画像から第１の表示画像を切り出した場合の前記第１の表示画像の領域が前記第１の撮像画像の領域からはみ出した量を示す第１のはみ出し量と、前記初期値に基づき前記第２の撮像画像から第２の表示画像を切り出した場合の前記第２の表示画像の領域が前記第２の撮像画像の領域からはみ出した量を示す第２のはみ出し量とを評価し、該評価された結果に基づいて、前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置を決定し、前記第１のモードとは異なる第２のモードが設定されている場合には、前記初期値を前記第１の撮像画像と前記第２の撮像画像それぞれから表示画像を切り出すための切り出し位置として決定する決定手段とを備える。
【発明の効果】
【００１２】
本発明によれば、ビデオカメラとディスプレイの光軸にずれが生じた場合でも、幾何学的整合性のずれを抑制しながら、表示画角を維持することができる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態における画像処理装置を用いたシステム構成図。
【図２】第１実施形態におけるＨＭＤ１０１構成図。
【図３】第１実施形態における画像処理装置１０２のハードウェア構成図。
【図４】第１実施形態における画像表示装置の機能ブロック図。
【図５】第１実施形態における撮像光学系と表示光学系の光軸ずれの図。
【図６】第１実施形態における単眼の画像切り出しの概念図。
【図７】第１実施形態における単眼のはみ出し領域の概念図。
【図８】第１実施形態における左右両眼の画像切り出しの概念図。
【図９】第１実施形態における左右両眼のはみ出し領域の概念図。
【図１０】第１実施形態における画像処理装置の処理の流れを示すフローチャート。
【図１１】第１実施形態における上部はみ出し量関数のグラフ。
【図１２】第１実施形態における下部はみ出し量関数のグラフ。
【図１３】第１実施形態におけるはみ出し量関数Ｆ（ｄ）のグラフ。
【図１４】第３の実施形態における画像処理装置の処理の流れを示すフローチャート。
【図１５】第３の実施形態の画像処理装置のＧＵＩの一例。
【発明を実施するための形態】
【００１４】
（第１の実施形態）
以下、本発明の好適な第１の実施形態について、添付図面に従って説明する。
【００１５】
第１の実施形態では、ＨＭＤ（頭部装着型表示装置）に表示する表示画像を撮像画像の領域から切り出す位置を、撮像画像の領域から表示画像の領域がはみ出した量を左右の画像で加算しその値が最小になるように切り出す位置を決定する実施例を説明する。
【００１６】
図１は、本実施形態に係る画像処理装置１０２とその画像処理装置に有線または無線で接続されたＨＭＤ１０１とを有するシステムの構成図である。ＨＭＤ１０１はユーザが頭部に装着して現実の画像に仮想物体が合成された合成画像を観察するためのものであり、その合成画像は画像処理装置１０２によって生成される。
【００１７】
図２は、ＨＭＤ１０１を観察する観察者を真上から俯瞰した図であり、ＨＭＤ１０１の筐体内部のビデオカメラ、ディスプレイの配置がわかるように示してある。図２に示すとおり、ＨＭＤ１０１は、左右の目に対応させた１組のビデオカメラとディスプレイを備えており、以下では、ビデオカメラ内部の光学系を撮像光学系、ディスプレイ内部の光学系を表示光学系と称する。右目光学系２０１と左目光学系２０２から構成される。さらに、右目光学系２０１および左目光学系２０２は、それぞれ右目撮像光学系２０３と右目表示光学系２０４、および左目撮像光学系２０５と左目表示光学系２０６から構成される。光軸２０７、２０８は、それぞれ右目光軸および左目光軸である。光軸２０７は、右目撮像光学系２０３、右目表示光学系２０４の光軸と一致し、さらに観察者２０９の右目視線とも一致する。また、光軸２０８は、左目撮像光学系２０５と左目表示光学系２０６の光軸と一致し、さらに観察者２０９の左目視線とも一致する。以後、この両目の光軸および視線の一致のことを、光軸一致と称する。
【００１８】
次に図３を参照して、本実施形態の画像処理装置１０２のハードウェア構成について説明する。入力部３０１は例えばキーボードやマウス等である。記憶部３０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）であり、本実施形態で示す手法を実現するためのプログラムや、処理対象データなどを格納する。ＣＰＵ３０３は、記憶部３０２に格納されたデータに対し、記憶部３０２に格納されたプログラムに従って本願明細書で説明する処理を実行する。Ｉ／Ｆ３０４は、ＨＭＤ１０１とのデータ入出力を制御するインターフェースである。外部記憶装置（または補助記憶装置）３０５はハードディスクやフラッシュメモリである。データバス３０６はデータバスである。
【００１９】
図４は、本実施形態に係る画像処理装置１０２と、その画像処理装置１０２に有線または無線で接続されたＨＭＤ１０１の機能構成を示すブロック図である。同図に示すように、画像処理装置１０２は、画像入力部４０１、初期切り出し位置保存部４０２、補正量決定部４０３、画像切り出し部４０４、画像処理部４０５、画像合成部４０６、画像出力部４０７とから構成される。
【００２０】
まずＨＭＤ１０１の機能構成について説明する。
【００２１】
撮像部４１０は、現実の空間を撮像して撮像画像を生成するステレオカメラであ利、撮像した動画像を構成する各フレームの画像（フレーム画像）を順次、画像処理装置１０２に対して送出する。本実施形態では、ＨＭＤ１０１に搭載されるステレオカメラで説明するが、スマートフォンやタブレット端末装置などの携帯型端末装置に搭載されるステレオカメラであってもよく、その実施形態は特定の実装形態に限るものではない。そして撮像画像を画像処理装置１０２に出力する。
【００２２】
表示部４１１は、画像処理装置１０２から画像を受け取り表示する。表示部４１１は、ＣＲＴ、有機ＥＬ、液晶などにより構成されており、画像処理装置１０２から出力された画像を表示する。本実施形態のＨＭＤ１０１はディスプレイを備えており、このディスプレイが表示部４１１として機能する。
【００２３】
次に画像処理装置１０２の機能構成について説明する。
【００２４】
画像入力部４０１は、ＨＭＤ１０１が有するステレオカメラで撮像した画像を入力する（画像取得）。なお、この画像入力部４０１で入力する撮像画像の画角は、ＨＭＤ１０１が有するディスプレイの表示画角よりも広角である。
【００２５】
初期切り出し位置保存部４０２は、撮像画像から表示画像を切り出すための切り出し位置の初期値を保存する。なお、初期切り出し位置保存部４０２に保存されている切り出し位置は、撮像画像と表示画像の見た目上の光軸一致が保たれた位置であるとする。この切り出し位置の調整は、幾何学的整合を保つために重要である。また、この調整は工場組み立て時におけるキャリブレーション工程や、ＨＭＤ組み立て後のキャリブレーション処理（左右カメラのリアライメント）において実行される。ただし、図５で示すように、撮像光学系５０１の光軸５０２と表示光学系５０３の光軸５０４が大きくずれた状態でキャリブレーションが行われると、撮像領域に対して切り出し領域がはみ出す場合がある。このずれは、ＨＭＤ１０１の製造における組みつけ精度等により発生する。なお、切り出し領域のはみ出しの詳細については、図７および図９で後述する。
【００２６】
補正量決定部４０３は、初期切り出し位置保存部４０２から初期位置を取得（初期値取得）して、この初期位値（初期値）シフトさせる補正量を、左右の画像のはみ出し量を評価した評価結果に基づいて決定する。
【００２７】
画像切り出し部４０４は、画像入力部４０１から入力された画像から、補正量決定部４０３で決定した補正量で切り出し位置をシフトさせた位置を中心とした予め決められた範囲の領域を切り出す。
【００２８】
画像処理部４０５は、画像切り出し部４０２によって切り出された領域の画像に対して、色調整やノイズリダクションなど、必要に応じた画像処理を行う。
【００２９】
画像合成部４０６は、画像処理部４０５で処理が施された画像とＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）のような仮想画像とを合成した合成画像を生成する。
【００３０】
画像出力部４０７は、画像合成部４０６によって処理された画像を表示部４１１に出力する。
【００３１】
図６に、単眼を想定した画像切り出し処理の概念図を示す。
【００３２】
撮像領域６０１は、撮像光学系によって撮像される撮像領域である。この撮像領域６０１上に、左上隅を原点とし、右方向と下方向を正とするｘｙ座標系を定義する。なお、６０１の水平方向長さおよび垂直方向長さは、それぞれｗｃおよびｈｃとする。
【００３３】
切り出し領域６０２は、画像切り出し部４０２によって切り出される切り出し領域である。なお、６０２の水平方向長さおよび垂直方向長さは、それぞれｗｔおよびｈｔとする。
【００３４】
中心点６０３は、切り出し領域６０２の中心に存在する切り出し中心点である。本実施形態では、この切り出し中心点６０３を画像切り出し部４０２に与えることによって、切り出し領域６０２を一意に特定する。また、切り出し中心点の座標Ｐ（Ｘ，Ｙ）は、撮像領域６０１を基準とした座標系で表現する。なお、切り出し領域６０２を一意に特定するためには、本実施形態の切り出し中心点以外に、切り出し領域の左上角の点など、他の適切な点を用いても良い。
【００３５】
図７に、単眼を想定した、切り出し領域が撮像領域からはみ出した場合の概念図を示す。すなわち、ビデオカメラとディスプレイの光軸がある程度大きくずれた場合には、図７のように切り出し領域が撮像領域をはみ出すことがある。図７では、撮像領域６０１の上側にはみ出し領域７０１が発生している。このとき、Ｙ＜ｈｔ／２である。なお、本実施形態では、図７に示すような垂直方向のはみ出しのみを考慮し、水平方向に対するはみ出しは考慮しない。
【００３６】
図８は、本願発明のようにＨＭＤ１０１の左右のビデオカメラで撮像したそれぞれの画像に対して切り出し処理を行う場合の概念図を示す。撮像領域８０１は右目撮像光学系２０３によって撮像される撮像領域である。右目切り出し領域８０２は画像切り出し部４０２によって切り出される領域である。中心点８０３は、右目切り出し領域８０２の中心を表す右目切り出し中心点である。同様に、撮像領域８０４、切り出し領域８０５、および中心点８０６は、それぞれ左目撮像光学系２０５によって撮像される撮像領域、左目切り出し領域、および左目切り出し中心点である。なお、撮像領域８０１と撮像領域８０４の垂直方向長さは等しくｈｃであり、切り出し領域８０２と切り出し領域８０５の垂直方向長さは等しくｈｔであるとする。撮像領域８０１と撮像領域８０４の垂直方向の位置関係は、図５の説明ですでに述べた通り、ＨＭＤ１０１の製造における左右の光学系の組み立て精度等により、若干のずれを伴う。だが、切り出し領域８０２と切り出し領域８０５については、その垂直方向に位置ずれがないよう、切り出し中心点ＰＲ８０３およびＰＬ８０６を調整する。ここで、中心点８０３の座標を（ＸＲ，ＹＲ）、中心点８０６の座標を（ＸＬ，ＹＬ）とする。この調整工程は、ＨＭＤ１０１の組み立て後のキャリブレーション処理時に行われる。これより、撮像領域８０１と撮像領域８０４の垂直方向ずれ量は、｜ＹＲ−ＹＬ｜として計算することができる。
【００３７】
図１０は、本実施形態における画像処理装置１０２により行われる処理を示すフローチャートである。以下、図１０に従って処理の流れを説明する。
【００３８】
まず、画像入力部４０１が、ＨＭＤ１０１から送られてくる撮像画像を入力する（Ｓ１００１）。
【００３９】
次に、補正量決定部４０３が、初期切り出し位置保存部４０２から、右目切り出し中心点を取得する（ステップＳ１００２）。
【００４０】
次に、補正量決定部４０３が、初期切り出し位置保存部４０２から、左目切り出し中心点を取得する（ステップＳ１００３）。なお、このステップＳ１００３は、ステップＳ１００２の前に実行しても良い。
【００４１】
次に、補正量決定部４０３が、切り出し領域に関するはみ出し量関数Ｆ（ｄ）を定義する（ステップＳ１００４）。図９に、左右両眼を想定した、切り出し領域が撮像領域からはみ出した場合の概念図を示す。例えば、図８に示した状態と比べて、左右の撮像光学系の光軸がともに表示光学系光軸に対して下方向にずれた場合、図９に示すように、はみ出し領域９０１および９０２が発生する場合がある。
【００４２】
なお、この関数の独立変数ｄは、初期切り出し位置保存部４０２に格納されている初期切り出し中心点に対する垂直方向補正量であり、このｄの絶対値が小さいほど、仮想物体と現実空間の幾何学的整合性のずれが小さくなる。本実施形態では、このはみ出し量関数Ｆ（ｄ）を、右目切り出し領域の上部はみ出し量ＵＲ（ｄ）と、下部はみ出し量ＤＲ（ｄ）と、左目切り出し領域の上部はみ出し量ＵＬ（ｄ）と、下部はみ出し量ＤＬ（ｄ）の和として、以下の通りに定義する。
【００４３】
Ｆ（ｄ）＝ＵＲ（ｄ）＋ＤＲ（ｄ）＋ＵＬ（ｄ）＋ＤＬ（ｄ）
さらに、ＵＲ（ｄ）、ＤＲ（ｄ）、ＵＬ（ｄ）、およびＤＬ（ｄ）は、それぞれ以下の通りに定義する。
【００４４】
【数１】
2018023084.tif 000003
【００４５】
【数２】
2018023084.tif 000004
【００４６】
【数３】
2018023084.tif 000005
【００４７】
【数４】
2018023084.tif 000006
【００４８】
次に、補正量決定部４０３が、切り出し領域に関するはみ出し量Ｆ（ｄ）を最小化する補正量ｄの候補点を決定する（Ｓ１００５）。以下、このＳ１００５の詳細な処理について述べる。
【００４９】
図１１は、ＵＲ（ｄ）とＵＬ（ｄ）をグラフに図示したものである。この図１１から分かるように、ＵＲ（ｄ）とＵＬ（ｄ）は、それぞれｄ＝Ｈｔ／２−ＹＲとｄ＝Ｈｔ／２−ＹＬにおいてグラフの傾きが変わる変曲点を持つ。また、図１２は、ＤＲ（ｄ）とＤＬ（ｄ）をグラフに図示したものである。この図１２から分かるように、ＤＲ（ｄ）とＤＬ（ｄ）は、それぞれｄ＝Ｈｔ／２−（ｈｃ−ＹＲ）とｄ＝Ｈｔ／２−（ｈｃ−ＹＬ）においてグラフの傾きが変わる変曲点を持つ。よって、これらの和で表されるＦ（ｄ）は、図１３に示すようにｄ＝Ｈｔ／２−ＹＲ（点１３０１）、ｄ＝Ｈｔ／２−ＹＬ（点１３０２）、ｄ＝ＹＲ−Ｈｔ／２（１３０３）、およびｄ＝ＹＬ−Ｈｔ／２（１３０４）において、グラフの傾きが変わる変曲点を持つ。そして、Ｆ（ｄ）は、これらの点１３０１〜点１３０４と、Ｆ（ｄ）の切片１３０５のどこかにおいて、最小値を取る。点１３０１は、図９において８０１と８０２の上辺が重なった状態である。同様に、点１３０２は図９において８０４と８０５の上辺が重なった状態、点１３０３は８０１と８０２の下辺が重なった状態、点１３０４は８０４と８０５の下辺が重なった状態を表す。
【００５０】
以上より、Ｓ１００５において、補正量決定部４０３は、Ｆ（ｄ）の傾きが変わる点１３０１〜点１３０４と、Ｆ（ｄ）の切片１３０５を求めて、これらの点の中からＦ（ｄ）を最小にするｄの値を補正量の候補点とする。なお、この補正量ｄの候補点の数は、ただ一つに確定するとは限らない。図１３を例に取れば、補正量ｄの候補点の数は２（点１３０２と点１３０３）である。
【００５１】
以上がＳ１００５の処理である。
【００５２】
次に、補正量決定部４０３が、Ｓ１００５で決めたｄの候補点の中から、ｄの絶対値が最小であるものを選択する（Ｓ１００６）。すでに説明したように、切り出し位置の初期位値は、ビデオカメラ（撮像光学系）の光軸とディスプレイ（表示光学系）の光軸とがずれている場合に、ビデオカメラで撮像した画像の切り出し領域の中心がディスプレイの光軸に一致するように設定された位置である。そのため、その初期位置からのずらす量ｄを大きくしてしまうほど、切り出し領域の中心位置とディスプレイの光軸とのずれが大きくなり、現実世界と仮想世界との幾何学的な整合性を保つことが難しくなる。したがって、ｄの絶対値は最小であるものを選択することが望ましい。図１３ではＦ（ｄ）が最小でかつｄの絶対値も最小である点は、点１３０２であるため、点１３０２が選択される。
【００５３】
次に、画像切り出し部４０４が、補正量決定部４０３から、Ｓ１００６で決定した最適な切り出し位置補正量ｄを受け取り、右目切り出し中心点の修正を行う（Ｓ１００７）。すなわち、初期切り出し位置保存部４０２に保存された初期の切り出し位置に補正量ｄだけシフトさせた位置を右目画像切り出し中心点とする。
【００５４】
次に、Ｓ１００７と同様に、画像切り出し部４０４が、切り出し補正量決定部４０３から、Ｓ１００６で決定した最適な切り出し位置補正量ｄを受け取り、左目切り出し中心点の修正を行う（Ｓ１００８）。すなわち、初期切り出し位置保存部４０２に保存された左目画像の初期の切り出し位置に補正量ｄだけシフトさせた位置を左目切り出し中心点とする。
【００５５】
なお、Ｓ１００７とＳ１００８の実行の順序は入れ替えても良い。
【００５６】
次に、画像切り出し部４０４が、Ｓ１００７およびＳ１００８で修正された切り出し位置に基づいて、それぞれの撮像画像の切り出しを行う（Ｓ１００９）。
【００５７】
次に、画像処理部４０５が、切り出された画像に対して、色調整やノイズリダクションなど、必要に応じた画像処理を行う（Ｓ１０１０）。Ｓ１０１０における画像処理は、撮像画像の切り出し処理の前に行っても良い（すなわちＳ１００９の前に行っても良い）。園場合には、撮像画像全体に対して画像処理が行われる。
【００５８】
次に、画像合成部４０６が画像処理が施された画像とＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）画像とを合成した合成画像を生成する。
【００５９】
次に、画像出力部４０７が、画像合成部４０６で生成された合成画像をＨＭＤ１０１に出力し、ＨＭＤ１０１の表示部に画像を表示させる（Ｓ１０１１）。
【００６０】
以上が本実施形態における画像処理装置１０２による処理である。
【００６１】
以上に述べたように、本実施形態によれば、撮像光学系と表示光学系の配置ずれが発生した場合でも、仮想物体と現実空間の幾何学的整合性のずれを抑えながら、表示画角を維持した映像を使用者に表示することが可能になる。
【００６２】
（第２の実施形態）
第１の実施形態では、ディスプレイの光軸と一致するように設定された切り出し領域の初期位置を、切り出した領域が撮像領域からはみ出たはみ出し量に基づいて修正した。第２の実施形態では、はみ出し量を最小にする切り出し位置が閾値を超えていたら、閾値を切り出し位置として決定する実施例である。
【００６３】
第２の実施形態にかかる装置の構成は第１の実施形態で説明した画像処理装置１０２と同様である。また、第２の実施形態における処理手順も第１の実施形態と同様である。第１の実施形態と第２の実施形態で異なる主な部分は図２のフローチャートにおけるＳ１００３である。
【００６４】
本実施形態では、補正量決定部４０３が、あらかじめ補正量ｄの絶対値の閾値ｄｍａｘ（ｄｍａｘ≧０）を保持している。このｄｍａｘの値は、ユーザーが設定しても良いし、システムが自動的に設定しても良い。
【００６５】
さらに、本実施形態では、図１０における最適補正量の決定（Ｓ１００６）処理が変わるため、以下その点について具体的に述べる。
【００６６】
第１の実施形態におけるＳ１００６では、補正量決定部４０９が、Ｓ１００５で決めたｄの候補点の中から、ｄの絶対値が最小であるものを選択し、これを最適な切り出し位置補正量としていた。これに対し本実施例では、選択されたｄがｄｍａｘよりも大きい場合は、ｄｍａｘを最適な切り出し位置補正量とする。これ以外の処理は、第１の実施形態と同様である。
【００６７】
以上に述べたように、本実施形態によれば、撮像光学系と表示光学系の光軸が大きくずれた場合にも、幾何学的整合性のずれを確実に許容範囲内に収めながら、表示画角を維持した映像を使用者に表示することが可能になる。
【００６８】
（第３の実施形態）
第３の実施形態では、画像表示装置の構成やハードウェア図、機能ブロック図、処理の流れのフローチャート等は、第１の実施形態とほぼ同じである。そのため以下では、第１の実施形態と異なる点のみ述べる。
【００６９】
本実施形態では、第１および第２の実施形態で述べた切り出し位置補正処理を行うかどうかを選択することができる。図１４は、本実施形態における処理の流れの概要を示すフローチャートである。
【００７０】
図１４で示したフローチャートは、ほぼ図１０で示したものと同じである。唯一、条件分岐Ｓ１４０１が、Ｓ１００３とＳ１００４の間に入ることのみが異なる。Ｓ１４０１では、切り出し位置補正量最適化部４０６が、内部に保持している切り出し位置補正処理フラグを参照し、フラグが有効である場合はＳ１００４に進む。有効でない場合はＳ１００９に進む。フラグが有効でないとき、結果的に切り出し位置の補正は行われないため、画像切り出し部４０２は撮像光学系と表示光学系の光軸を一致するように切り出し処理を行う。
【００７１】
なお、上記切り出し位置補正処理フラグは、たとえば図１５に示すようなＧＵＩプログラムで設定することが可能である。本実施例の場合、図１５の「切り出し補正を行う」を選択すれば、フラグを有効にできる。また、「切り出し補正を行わない」を選択すれば、フラグを無効にできる。
【００７２】
以上に述べたように、本実施形態によれば、撮像光学系と表示光学系の配置ずれが発生した場合に、仮想物体と現実空間の幾何学的整合性のずれ抑制を最優先にしつつ、表示画角の垂直方向減少量を最小にする補正処理を行うかどうかを選択することができる。これにより、光軸ずれを最小化するようにしたいユースケースやはみ出し量を最小化するようにしたいユースケースそれぞれに応じて切り出し位置を決定することができる。
【００７３】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018023084.tif 000007
【図２】
2018023084.tif 000008
【図３】
2018023084.tif 000009
【図４】
2018023084.tif 000010
【図５】
2018023084.tif 000011
【図６】
2018023084.tif 000012
【図７】
2018023084.tif 000013
【図８】
2018023084.tif 000014
【図９】
2018023084.tif 000015
【図１０】
2018023084.tif 000016
【図１１】
2018023084.tif 000017
【図１２】
2018023084.tif 000018
【図１３】
2018023084.tif 000019
【図１４】
2018023084.tif 000020
【図１５】
2018023084.tif 000021