(57)【要約】【課題】遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できるようにする。【解決手段】  ヘッドマウントディスプレイ１００に、コンテンツ処理装置２００から画像を受信し表示パネル１２２に表示する処理経路Ｂと異なる処理経路Ａを設ける。処理経路Ａは、ステレオカメラ１１０による撮影画像を補正し、表示パネル１２２に即時出力する画像処理用集積回路１２０により実現する。画像処理用集積回路１２０は、補正に必要な画素の変位を表す変位ベクトルマップを参照し、複数の補正を１度に実施して、画素列ごとに表示パネル１２２に出力する。【選択図】図３
2020167657.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像のデータを取得する撮影画像取得部と、
記憶部に格納された、前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正する補正部と、
補正された画像を表示パネルに表示させる画像表示制御部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記変位ベクトルは、撮像装置のレンズによる第１の歪みを解消するのに必要な変位ベクトルに、接眼レンズを介して鑑賞される表示画像に与えるべき第２の歪みを付加するのに必要な変位ベクトルを加算してなる変位ベクトルを含み、
前記補正部は、前記第１の歪みを有する撮影画像を前記第２の歪みを有する画像に補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変位ベクトルは、前記撮影画像を前記表示パネルの画面サイズに合わせるのに必要な変位ベクトルを含み、
前記補正部は、前記撮影画像を前記表示パネルの画面サイズに補正することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正部は、前記表示パネルが表す原色ごとに異なる前記変位ベクトルに基づき前記撮影画像を補正することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記記憶部は、前記表示パネルが表す原色のうち１つの色に対する前記変位ベクトルマップと、当該変位ベクトルマップが表す変位ベクトルと他の色に必要な変位ベクトルとの差分を表す差分ベクトルを画像平面に表した差分ベクトルマップと、を格納し、
前記補正部は、前記変位ベクトルマップを参照して前記撮影画像の各色成分を補正し、前記差分ベクトルマップを参照して前記他の色の成分をさらに補正することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項６】
前記補正部は、補正してなる画像のデータを、画素値の決定とともに順次前記画像表示制御部に供給することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記補正部は、前記変位ベクトルマップにおいて変位ベクトルが設定されている離散的な位置の画素の変位先を求めたうえ、その中間にある画素の変位先を、先に変位先を求めた画素を補間することにより求めることを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
前記補正部が補正により生成した画素のデータを、生成された順に格納する部分画像記憶部と、
前記撮影画像の全画素数より少ない所定数の画素のデータが前記部分画像記憶部に格納される都度、当該データが送出されるように制御するデータ転送制御部と、
をさらに備えたことを特徴とする請求項１から７のいずれかに記載の画像処理装置。
【請求項９】
前記補正部は、前記表示画像の１行分の画素値を決定するのに必要な行数の画素のデータが取得された時点で、当該行のデータの生成を開始することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記補正部はさらに、ユーザの瞳孔間距離および前記表示パネルとユーザの目の距離の少なくともいずれかに基づき前記撮影画像を補正することを特徴とする請求項１から９のいずれかに記載の画像処理装置。
【請求項１１】
請求項１から９のいずれかに記載の画像処理装置と、
前記撮影画像取得部に撮影画像を供給する撮像装置と、
前記表示パネルと、
を備えたことを特徴とするヘッドマウントディスプレイ。
【請求項１２】
前記画像処理装置は、外部の装置から送信された合成用画像を、前記補正部による補正後の画像に合成することを特徴とする請求項１１に記載のヘッドマウントディスプレイ。
【請求項１３】
前記画像処理装置は、前記撮影画像を解析しその結果を前記外部の装置に送信し、
前記合成用画像は、当該結果に基づき生成されることを特徴とする請求項１２に記載のヘッドマウントディスプレイ。
【請求項１４】
撮影画像のデータを取得するステップと、
前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップをメモリから読み出し、それを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正するステップと、
補正された画像を表示パネルに表示させるステップと、
を含むことを特徴とする、画像処理装置による画像表示方法。
【請求項１５】
撮影画像のデータを取得する機能と、
記憶部に格納された、前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正する機能と、
補正された画像を表示パネルに表示させる機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、装着したユーザの眼前に画像を表示するヘッドマウントディスプレイ、表示画像を処理する画像処理装置、およびそこでなされる画像表示方法に関する。
【背景技術】
【０００２】
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
【０００３】
ヘッドマウントディスプレイには、ユーザの視界を覆うようにして外界からの光を遮蔽する遮蔽型と、外界からの光を取り込み周囲の様子も見えるようにした光学透過型がある。遮蔽型のヘッドマウントディスプレイの場合、鑑賞者にはディスプレイに表示された画像のみが見えるため、表示させた仮想世界をより高い没入感で楽しむことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
遮蔽型のヘッドマウントディスプレイでは基本的に、表示パネルの発光のみが視覚刺激となる。したがって、例えばヘッドマウントディスプレイを装着してからコンテンツの画像を表示させるまでの間や、表示が終了した後など画像が表示されない期間があると、鑑賞者は当然何も見えない状態となる。その結果、そのような期間において、周囲にある物につまずいたりぶつかったりする危険がある。また、仮想世界の画像が表示された状態で、近くに置いたコントローラを手に取りたいなど周囲の状況を見たければ、その都度ヘッドマウントディスプレイを外す必要がある。
【０００５】
そこでヘッドマウントディスプレイの前面にカメラを設け、その撮影画像を表示させることにより周囲の状況を確認できるようにすることが考えられる。しかしながら撮影から表示までの遅延時間が大きいと、自身の挙動と表示画像に時間差があることをユーザが認識し、違和感を覚えたり実用性が低下したりすることが考えられる。
【０００６】
本発明はこうした課題に鑑みてなされたものであり、その目的は、遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できる技術を低遅延、低コスト、低消費電力で提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある態様は画像処理装置に関する。この画像処理装置は、撮影画像のデータを取得する撮影画像取得部と、記憶部に格納された、撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、撮影画像を補正する補正部と、補正された画像を表示パネルに表示させる画像表示制御部と、を備えたことを特徴とする。
【０００８】
本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記画像処理装置と、その撮影画像取得部に撮影画像を供給する撮像装置と、表示パネルと、を備えることを特徴とする。
【０００９】
本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は画像処理装置が、撮影画像のデータを取得するステップと、撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップをメモリから読み出し、それを参照して、または前記変位ベクトルを計算して、撮影画像を補正するステップと、補正された画像を表示パネルに表示させるステップと、を含むことを特徴とする。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できる。
【図面の簡単な説明】
【００１２】
【図１】本実施の形態のヘッドマウントディスプレイの外観例を示す図である。
【図２】本実施の形態のコンテンツ処理システムの構成例を示す図である。
【図３】本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示す図である。
【図４】本実施の形態の画像処理用集積回路において、撮影画像から表示画像を生成する処理を説明するための図である。
【図５】本実施の形態の画像処理用集積回路の回路構成を示す図である。
【図６】本実施の形態におけるデータの流れを示す図である。
【図７】本実施の形態におけるヘッドマウントディスプレイが内蔵する画像処理装置の機能ブロックの構成を示す図である。
【図８】本実施の形態における表示処理の手順を説明するための図である。
【図９】歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。
【図１０】本実施の形態の補正回路が撮影画像を補正する処理手順の例を説明するための図である。
【図１１】本実施の形態において、補正処理に必要なバッファメモリの容量について説明するための図である。
【図１２】本実施の形態において、色収差補正として変位ベクトルに含める要素の例を説明するための図である。
【図１３】本実施の形態の変位ベクトルマップ用メモリに格納するデータを模式的に示す図である。
【発明を実施するための形態】
【００１３】
図１はヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。
【００１４】
筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ１００はモーションセンサを内蔵し、ヘッドマウントディスプレイ１００を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出してもよい。
【００１５】
ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。本実施の形態では、ステレオカメラ１１０が撮影した画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。コンテンツの画像を表示していない期間、ヘッドマウントディスプレイ１００は基本的にシースルーモードへ移行する。
【００１６】
ヘッドマウントディスプレイ１００が自動でシースルーモードへ移行することにより、ユーザはコンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ１００を外すことなく周囲の状況を確認できる。シースルーモードへの移行タイミングはこのほか、ユーザが明示的に移行操作を行ったときなどでもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、コントローラを見つけて手に取るなど必要な作業を行える。
【００１７】
ステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかは、コンテンツの画像としても利用できる。例えば写っている実空間と対応するような位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実（ＡＲ：Augmented Reality）や複合現実（ＭＲ：Mixed Reality）を実現できる。このように撮影画像を表示に含めるか否かによらず、撮影画像の解析結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることができる。
【００１８】
例えば、撮影画像にステレオマッチングを施すことにより対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を取得してもよい。また物体認識や物体深度測定なども行える。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。
【００１９】
なお本実施の形態のヘッドマウントディスプレイ１００は、ユーザの視界を遮蔽する遮蔽型のヘッドマウントディスプレイであり、かつユーザの顔の位置や向きに対応する視野で実空間を撮影するカメラを備えれば、実際の形状は図示するものに限らない。また、シースルーモードにおいて左目の視野、右目の視野の画像を擬似的に生成すれば、ステレオカメラ１１０の代わりに単眼カメラや４つのカメラ１１２を用いることもできる。
【００２０】
図２は、本実施の形態におけるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ１００は、無線通信またはＵＳＢ  Ｔｙｐｅ−Ｃなどの周辺機器を接続するインターフェース３００によりコンテンツ処理装置２００に接続される。コンテンツ処理装置２００には平板型ディスプレイ３０２が接続される。コンテンツ処理装置２００は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置２００に提供してもよい。
【００２１】
コンテンツ処理装置２００は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に送信する。ある態様においてコンテンツ処理装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。
【００２２】
ヘッドマウントディスプレイ１００は当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。例えばコンテンツ処理装置２００は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。
【００２３】
なおコンテンツ処理装置２００とヘッドマウントディスプレイ１００の距離やインターフェース３００の通信方式は限定されない。例えばコンテンツ処理装置２００は、個人が所有するゲーム装置などのほか、クラウドゲームなど各種配信サービスを提供する企業などのサーバや、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってコンテンツ処理装置２００とヘッドマウントディスプレイ１００の間の通信は上述した例のほか、インターネットなどの公衆ネットワークやＬＡＮ（Local Area Network）、携帯電話キャリアネットワーク、街中にあるＷｉ−Ｆｉスポット、家庭にあるＷｉ−Ｆｉアクセスポイントなど、任意のネットワークやアクセスポイントを経由して実現してもよい。
【００２４】
図３は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ１００は上述のとおりステレオカメラ１１０と表示パネル１２２を備える。ただし上述のとおりカメラはステレオカメラ１１０に限らず、単眼カメラ１１１や４つのカメラ１１２のいずれかまたは組み合わせであってもよい。以後の説明も同様である。表示パネル１２２は、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示機構を有するパネルであり、ヘッドマウントディスプレイ１００を装着したユーザの目の前に画像を表示する。また内部には画像処理用集積回路１２０を備える。
【００２５】
画像処理用集積回路１２０は例えば、ＣＰＵを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ１００はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、ＤＲＡＭ（Dynamic Random Access Memory）などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。
【００２６】
拡張現実や複合現実を遮蔽型のヘッドマウントディスプレイで実現する場合、一般にはステレオカメラ１１０などによる撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示するシステムにおいてコンテンツを処理する主体はコンテンツ処理装置２００のため、矢印Ｂに示すように、ステレオカメラ１１０で撮影された画像は、画像処理用集積回路１２０を経て一旦、コンテンツ処理装置２００に送信される。
【００２７】
そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ１００に返され、表示パネル１２２に表示される。一方、本実施の形態ではシースルーモードとして、コンテンツの処理とは異なるデータの経路を設ける。すなわち矢印Ａに示すように、ステレオカメラ１１０で撮影された画像を、画像処理用集積回路１２０で適宜処理し、そのまま表示パネル１２２に表示させる。このとき画像処理用集積回路１２０は、撮影画像を表示に適した形式に補正する処理のみ実施する。
【００２８】
矢印Ａの経路によれば、矢印Ｂと比較しデータの伝送経路が格段に短縮するため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。さらに本実施の形態では、画像処理用集積回路１２０での補正処理を、ステレオカメラ１１０における１フレーム分の撮影を待たずに撮影と並行して実施し、表示パネル１２２に順次出力する。
【００２９】
これらの構成により、ユーザの顔の向きに対応する撮影画像を即座に表示でき、ディスプレイを介さずに周囲を見ているのと同様の状態を作り出すことができる。なお矢印Ａの経路はシースルーモードに限らず、コンテンツ処理装置２００が生成した画像と撮影画像を合成する際にも利用できる。すなわちコンテンツ処理装置２００からは合成すべき画像のデータのみを送信し、ヘッドマウントディスプレイ１００の画像処理用集積回路１２０において撮影画像と合成したうえ表示パネル１２２に出力する。
【００３０】
このようにすると、ヘッドマウントディスプレイ１００からコンテンツ処理装置２００へは、撮影画像のデータの代わりに、撮影画像を解析することにより取得した、実空間に係る情報のみを送信すればよくなる。結果として、撮影画像のデータ自体を送信してコンテンツ処理装置２００で合成する場合と比較し、データ伝送に要する時間や消費電力を軽減できる。したがって本実施の形態では矢印Ａと矢印Ｂの双方の経路を設け、表示の目的や内容に応じて適切に切り替える。
【００３１】
図４は、画像処理用集積回路１２０において、撮影画像から表示画像を生成する処理を説明するための図である。実空間において、物が置かれたテーブルがユーザの前にあるとする。ステレオカメラ１１０はそれを撮影することにより、左視点の撮影画像１６ａ、右視点の撮影画像１６ｂを取得する。ステレオカメラ１１０の視差により、撮影画像１６ａ、１６ｂには、同じ被写体の像の位置に水平方向のずれが生じている。
【００３２】
また、カメラのレンズにより、被写体の像には歪曲収差が発生する。一般には、そのようなレンズ歪みを補正し、歪みのない左視点の画像１８ａ、右視点の画像１８ｂを生成する（Ｓ１０）。ここで元の画像１６ａ、１６ｂにおける位置座標（ｘ，ｙ）の画素が、補正後の画像１８ａ、１８ｂにおける位置座標（ｘ＋Δｘ，ｙ＋Δｙ）へ補正されたとすると、その変位ベクトル（Δｘ，Δｙ）は次の一般式で表せる。
【００３３】
【数１】
2020167657.tif 000003
【００３４】
ここでｒは、画像平面におけるレンズの光軸から対象画素までの距離、（Ｃｘ，Ｃｙ）はレンズの光軸の位置である。またｋ１、ｋ２、ｋ３、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。なお本実施の形態において補正に用いる式を式１に限定する趣旨ではない。平板型ディスプレイに表示させたり画像解析をしたりする場合、このように補正された一般的な画像が用いられる。一方、ヘッドマウントディスプレイ１００において、接眼レンズを介して見た時に歪みのない画像１８ａ、１８ｂが視認されるためには、接眼レンズによる歪みと逆の歪みを与えておく必要がある。
【００３５】
例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、画像を樽型に湾曲させておく。したがって歪みのない画像１８ａ、１８ｂを接眼レンズに対応するように歪ませ、表示パネル１２２のサイズに合わせて左右に接続することにより、最終的な表示画像２２が生成される（Ｓ１２）。表示画像２２の左右の領域における被写体の像と、補正前の歪みのない画像１８ａ、１８ｂにおける被写体の像の関係は、カメラのレンズ歪みを有する画像と歪みを補正した画像の関係と同等である。
【００３６】
したがって式１の変位ベクトル（Δｘ，Δｙ）の逆ベクトルにより、表示画像２２における歪みのある像を生成できる。ただし当然、レンズに係る変数は接眼レンズの値とする。本実施の形態の画像処理用集積回路１２０は、このような２つのレンズを踏まえた歪みの除去と付加を、一度の計算で完了させる（Ｓ１４）。詳細には、元の撮影画像１６ａ、１６ｂ上の画素が、補正によって表示画像２２のどの位置に変位するかを示す変位ベクトルを画像平面に表した変位ベクトルマップを作成しておく。
【００３７】
カメラのレンズによる歪みを除去する際の変位ベクトルを（Δｘ，Δｙ）、接眼レンズのために歪みを付加する際の変位ベクトルを（−Δｘ’，−Δｙ’）とすると、変位ベクトルマップが各位置で保持する変位ベクトルは（Δｘ−Δｘ’，Δｙ−Δｙ’）となる。なお変位ベクトルは、画素の変位の方向と変位量を定義するのみであるため、事前にそれらのパラメータを決定できるものであれば、レンズ歪みに起因する補正に限らず様々な補正や組み合わせを、同様の構成で容易に実現できる。
【００３８】
例えば撮影画像１６ａ、１６ｂを拡縮し表示パネル１２２のサイズに合わせる補正や、表示パネル１２２における発光素子の色の配列を踏まえた色収差の補正についても、変位ベクトルの要素に含めてよい。この場合も、画像平面の位置に対してそれぞれの補正における変位ベクトルを求め、それらを合計することにより最終的な変位ベクトルマップを生成できる。これにより、１度の処理で複数の補正を施すことができる。表示画像２２を生成する際は変位ベクトルマップを参照して、撮影画像１６ａ、１６ｂの各位置の画素を変位ベクトル分だけ移動させる。
【００３９】
撮影画像１６ａ、１６ｂと表示画像２２は、歪みの分の変位はあるものの像が表れる位置や形状に大きな変化はないため、画像平面の上の行から順に撮影画像の画素値が取得されるのと並行して、その画素値を取得し補正を施すことができる。そして上の段から順に、補正処理と並行して表示パネル１２２へ出力することにより、低遅延での表示を実現できる。
【００４０】
ただし上述の変位ベクトルマップに代えて、歪みを与えた画像と撮影画像における、対応する画素の位置関係を導出するための変換式を設定してもよい。また表示画像の画素値を決定する要因は、歪みの有無による画素の変位のみに限定されない。例えば、次のパラメータを適宜組み合わせて画素値を決定する。
１．モーションセンサの出力値やＳＬＡＭの計算結果に基づくユーザの姿勢や向いている方向
２．ユーザ固有の左右の瞳孔間距離（目と目の間の距離）
３．ヘッドマウントディスプレイ１００の装着機構部１０４（装着バンド１０６）を、ユーザの頭や目の関係に基づき調整した結果として定まるパラメータ
【００４１】
上記１については、モーションセンサ出力およびＳＬＡＭ計算結果に基づいてユーザ動態を把握する。カメラが撮影した瞬間から、その画像がディスプレイ表示され、更にユーザに認識されるまでには、微小な遅延が存在する。把握したユーザ動態に基づき、この微小期間における、視野移動量を予測する。画像を生成する際に、予測した視野移動量をパラメータとして、変移量に補正をかける。例えばユーザが正面から右に首をふっている途中なら、撮影からユーザ認知までの期間に、右方向にどれだけ視野がずれるか予測計算し、その分だけ撮影画像をずらして生成する。
【００４２】
上記２の瞳孔間距離は次のように取得する。すなわちヘッドマウントディスプレイ１００が視線追跡用ステレオカメラを内蔵している場合、ヘッドマウントディスプレイ１００を装着したユーザの瞳孔を当該視線追跡用ステレオカメラにより撮影する。または、ヘッドマウントディスプレイ１００の前面に設けたステレオカメラ１１０などをユーザが自分の顔に向けることにより、目が開いた顔を撮影する。または、コンテンツ処理システム外の図示しないカメラをユーザにむけて、目が開いた顔を撮影する。そのようにして撮影した画像を、コンテンツ処理システムで動く、瞳孔の画像認識ソフトウェアが処理し、瞳孔間距離を自動測定・記録する。
【００４３】
視線追跡用ステレオカメラやステレオカメラ１１０のカメラ間距離を用いた場合、三角測量する。もしくは、撮影した画像を、コンテンツ処理システムが平板型ディスプレイ３０２に表示し、ユーザが左右瞳孔の位置を指定することで、コンテンツ処理装置２００が、指定に基づき、左右の瞳孔間距離を計算して記録する。ユーザが自分の瞳孔間距離を直接登録することがあってもよい。このようにして取得した瞳孔間距離は、図４の表示画像２２における左目用画像と右目用画像の距離に反映させる。
【００４４】
上記３については、ヘッドマウントディスプレイ１００が内蔵する図示しないロータリーエンコーダやロータリーボリュームなどの計測器が、装着機構部１０４や装着バンド１０６のメカニカルな調整結果を取得する。コンテンツ処理システムは、当該調整結果に基づき接眼レンズから目までの距離や角度を計算する。このようにして取得したパラメータは、図３の表示画像２２における画像の拡大率や像の位置に反映させる。
【００４５】
上記１〜３は、ヘッドマウントディスプレイ１００を装着するユーザ固有のパラメータであり、事前にマップに反映させることが難しい。したがって、変位ベクトルマップを参照してなされる変換と、上記１〜３の少なくともいずれかのパラメータに基づく変換を組み合わせて最終的な画素値を決定してよい。
【００４６】
図５は、本実施の形態の画像処理用集積回路１２０の回路構成を示している。ただし本実施の形態に係る構成のみ図示し、その他は省略している。画像処理用集積回路１２０は、入出力インターフェース３０、ＣＰＵ３２、補正回路３６、バッファメモリ３８、変位ベクトルマップ用メモリ４０、イメージ信号処理回路４２、およびディスプレイコントローラ４４を備える。
【００４７】
入出力インターフェース３０は有線または無線通信によりコンテンツ処理装置２００と通信を確立し、データの送受信を実現する。ＣＰＵ３２は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路を制御する。イメージ信号処理回路４２は、ステレオカメラ１１０の左右のイメージセンサから撮影画像のデータを取得し、それぞれにデモザイク処理などの必要な処理を施す。ただしレンズ歪み補正は実施せず、画素値が決定した画素列順にバッファメモリ３８にそのデータを格納する。イメージ信号処理回路４２はＩＳＰ（Image Signal Processor）と同義である。
【００４８】
補正回路３６は撮影画像を補正して表示画像を生成する。バッファメモリ３８は撮影画像のデータを一時的に格納する。変位ベクトルマップ用メモリ４０は変位ベクトルマップを格納する。なおバッファメモリ３８と変位ベクトルマップ用メモリ４０はメインメモリと一体的に構成してもよい。補正回路３６は上述のとおり、撮影画像における各画素を、変位ベクトル分だけ変位させることにより表示画像を生成する。変位ベクトルマップにおいて変位ベクトルを設定する対象は、撮影画像平面の全ての画素でもよいし、所定間隔の離散的な画素のみでもよい。
【００４９】
後者の場合、補正回路３６はまず、変位ベクトルが設定されている画素について変位先を求め、それらの画素との位置関係に基づき、残りの画素の変位先を補間により求める。色収差を補正する場合、赤、緑、青の原色ごとに変位ベクトルが異なるため、変位ベクトルマップを３つ準備する。また補正回路３６は表示画像のうち、このような画素の変位によって値が決定しない画素については、周囲の画素値を適宜補間して画素値を決定する。
【００５０】
なお補正回路３６は、別途バッファメモリ３８に格納されているＵＩ（User Interface）プレーン画像（あるいはＯＳＤ（On Screen Display)プレーン画像とも呼ぶ)を参照し、撮影画像に合成（スーパーインポーズ）してもよい。合成は、変位ベクトルマップによる補正後のＵＩプレーン画像と、変位ベクトルマップによる補正後の撮影画像の間で行う。ＵＩプレーン画像は、変位ベクトルマップによる補正後の画像をバッファメモリ３８にあらかじめ格納しておいてもよいし、ＵＩプレーン画像用の変位ベクトルマップと歪みのないＵＩプレーン画像をあらかじめ格納しておき、それらを参照したＵＩプレーン画像の補正を、撮影画像の補正と並列に実施してもよい。
【００５１】
補正回路３６は、そのようにして決定した画素値を上の行から順に、ディスプレイコントローラ４４に出力していく。この際のディスプレイコントローラ４４へのデータ送出には、実際には、図示しないハンドシェークコントローラなどを利用し、両者の通信を適切に制御する。
【００５２】
すなわち補正回路は、図示しないハンドシェークコントローラを内蔵してもよい。ハンドシェークコントローラは、バッファメモリ３８に対して、イメージ信号処理回路４２がデータを書き込んでいる位置、バッファメモリ３８に格納されている画素量が、撮影画像のうち、表示画像の１行分の画素値を決定するのに必要な量を満たしていること、および、補正回路３６がデータを読み出している位置、を常に監視し、データ欠乏、すなわちバッファアンダーランや、データ溢れ、すなわちバッファオーバーランが起きることを防止する。
【００５３】
もし、バッファアンダーランやバッファオーバーランが起きてしまった場合は、ＣＰＵ３２に通知する。ＣＰＵ３２は、ユーザへの異常発生の通達や、転送の再開処理を行う。ディスプレイコントローラ４４は、送出されたデータを順次電気信号に変換して、適切なタイミングで表示パネル１２２の画素を駆動させることにより画像を表示させる。
【００５４】
図６は本実施の形態におけるデータの流れを示している。まずステレオカメラ１１０のイメージセンサから出力された撮影画像の信号は、イメージ信号処理回路４２に入力され、デモザイク処理など必要な処理が施されて順次、バッファメモリ３８に格納される。補正回路３６は、バッファメモリ３８に必要なデータが格納された時点で、変位ベクトルマップに基づき当該データを読み出して表示画像の画素値を決定し、上の行から順にディスプレイコントローラ４４に出力する。これが表示パネル１２２に順次表示されることにより低遅延で画像が表示される。
【００５５】
図７は、ヘッドマウントディスプレイが内蔵する画像処理装置１２８の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図５に示した画像処理用集積回路１２０などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリなどにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００５６】
画像処理装置１２８のうち撮影画像取得部１３０はＣＰＵ３２、イメージ信号処理回路４２、バッファメモリ３８により実現され、撮影画像のデータを取得して必要な前処理を施す。変位ベクトルマップ記憶部１４０は変位ベクトルマップ用メモリ４０で実現され、撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを記憶する。補正部１４４はＣＰＵ３２、補正回路３６で実現され、変位ベクトルマップを参照して撮影画像を補正し表示画像の画素のデータを生成する。
【００５７】
部分画像記憶部１４２はバッファメモリ３８で実現され、補正後の画素のデータを生成された順に格納する。データ転送制御部１４６はＣＰＵ３２、ハンドシェークコントローラ、バッファメモリ３８で実現され、表示画像の全画素数より少ない所定数の画素のデータが部分画像記憶部１４２に格納される都度、当該データが送出されるように制御する。画像表示制御部１４８は、ディスプレイコントローラ４４、表示パネル１２２で実現され、送出された画素のデータに基づき画像を表示する。
【００５８】
図８は、本実施の形態における表示処理の手順を説明するための図である。まず撮影画像取得部１３０は、イメージセンサから入力された撮影画像９０を上の行から順に処理しバッファメモリ３８に格納する。すると補正部１４４は、図４で説明したようにして接眼レンズの歪みを与えた表示画像９２を生成する。ここで補正部１４４は、１フレーム分の撮影画像９０が全てバッファメモリ３８に格納されるのを待たず表示画像９２の生成を開始する。
【００５９】
撮影画像９０のうち、表示画像９２の１行分の画素値を決定するのに必要な行数の画素のデータがバッファメモリ３８に格納された時点で当該行の描画を開始すれば、表示までのレイテンシをより抑えることができる。例えばあるタイミングで、表示画像９２のうちある行９４の画素値が決定したら、それに基づく電気信号で表示パネル１２２の対応する行を駆動させる。以後、画像の下方へ向かい同様の処理を繰り返すことにより、表示画像９２全体が表示されることになる。
【００６０】
図９は、歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。図の横方向は時間経過を表し、補正部１４４による表示画像の描画時間を実線矢印、表示パネル１２２への出力時間を破線矢印で示している。また「描画」や「出力」に併記する括弧内の記載は、フレーム番号ｍの１フレーム分の処理を（ｍ）、フレーム番号ｍのうちｎ行目の処理を（ｍ／ｎ）としている。（ａ）は、１フレーム分の撮影画像が入力されてから表示パネルに出力する態様を比較として示している。
【００６１】
具体的には時刻ｔ０から時刻ｔ１にかけて、１フレーム目が描画されるとともにそのデータがメインメモリなどに格納される。時刻ｔ１において、２フレーム目の描画が開始されるとともに、１フレーム目がメインメモリから順次読み出され表示パネル１２２へ出力される。それらの処理は時刻ｔ２で完了し、続いて３フレーム目が描画されるとともに、２フレーム目が出力される。以後、同じ周期で各フレームが描画、出力される。この場合、１フレーム分の表示画像の描画開始から出力完了までに要する時間は、２フレーム分の出力周期と等しくなる。
【００６２】
（ｂ）に示す本実施の形態によれば、１フレーム目の１行目のデータの描画が完了した時点で表示パネル１２２へ出力する。その間、２行目のデータが描画されるため、１行目のデータに続き、２行目のデータを表示パネル１２２へ出力できる。これを繰り返していくと、最後（ｎ行目）のデータの描画が完了する時刻ｔ１には、１つ前（ｎ−１行目）のデータの出力までが終わっていることになる。以後のフレームも同様に、描画処理と並行に表示パネル１２２への出力を進捗させる。
【００６３】
結果として、１フレーム分の表示画像の描画開始から出力完了までに要する時間は、１フレーム分の出力周期に、１行分のデータの出力時間を加えた値となる。すなわち（ａ）の態様と比較すると、１フレーム分の出力周期に近いΔｔだけ所要時間が短縮される。これにより、撮影画像を極めて低遅延で表示でき、ユーザには周囲の状況を違和感なく視認させることができる。
【００６４】
図１０は、補正部１４４が撮影画像を補正する処理手順の例を説明するための図である。（ａ）は撮影画像、（ｂ）は表示画像の平面を示している。撮影画像平面におけるＳ００、Ｓ０１、Ｓ０２・・・は変位ベクトルマップにおいて変位ベクトルを設定する位置を表す。例えば撮影画像平面の水平方向、垂直方向に離散的に（例えば８画素あるいは１６画素ごとなど等間隔に）変位ベクトルを設定する。表示画像平面におけるＤ００、Ｄ０１、Ｄ０２、・・・はそれぞれ、Ｓ００、Ｓ０１、Ｓ０２、・・・の変位先の位置を表す。図では一例として、Ｓ００からＤ００への変位ベクトル（Δｘ，Δｙ）を白抜き矢印で示している。
【００６５】
補正部１４４は、変位ベクトルを設定する画素を頂点とする最小の三角形の単位で、撮影画像を表示画像にマッピングする。例えば撮影画像のＳ００、Ｓ０１、Ｓ１０を頂点とする三角形を、表示画像のＤ００、Ｄ０１、Ｄ１０を頂点とする三角形にマッピングする。ここで三角形の内部の画素は、Ｄ００、Ｄ０１、Ｄ１０との距離に応じて線形に、あるいはバイリニア、トライリニアなどにより補間した位置に変位させる。そして補正部１４４は、バッファメモリ３８に格納された、補正前の撮影画像の対応する画素の値を読み出すことにより、表示画像の画素値を決定する。この際、撮影画像上の読み出し先の位置から所定範囲内にある複数の画素の値を、バイリニア、トライリニアなどにより補間することで表示画像の画素値を導出する。
【００６６】
これにより補正部１４４は、撮影画像の三角形の変位先である三角形の単位で、表示画像をラスタ順に描画していくことができる。解像度を調整する場合も同様に、最小の三角形ごとに画素をマッピングしていけばよい。色収差を補正する場合は、原色ごとに異なる変位ベクトルマップを用いることにより、変位先の三角形の位置や形状が微小量変化する。図１１は、本実施の形態において、補正処理に必要なバッファメモリの容量について説明するための図である。同図は最も補正が必要なケースとして、補正後の画像が円形の場合を示している。
【００６７】
補正前の画像の垂直方向のサイズをｈ、補正後の画像の半径をｒ（＝ｈ／２）とする。補正によって変位する距離が最も大きいのは、補正前の画像における四隅の画素である。例えば左上の位置Ｓ００の画素は、補正によりレンズの径方向に変位し、補正後の画像の円周上の位置Ｄ００に表れる。このためＳ００の画素のデータは、位置Ｄ００の画素を描画するまで保持しておく必要がある。Ｓ００からＤ００までの垂直方向の距離ｗ＝ｒ−ｒ／２１／２は、補正前の画像のサイズｈのおよそ１５％である。
【００６８】
例えば垂直方向が２１６０画素の撮影画像の場合、バッファメモリ３８にはその１５％の、３２４行分のデータを格納する領域が必要となる。またＳ００が撮影されてからＤ００が出力されるまでに要する時間は距離ｗに比例する。例えばフレームレートを１２０ｆｐｓとすると、撮影から出力までの遅延時間は１．２５ｍｓｅｃとなる。ただしこれらの値はあくまで最大値であり、一般的にはこれより小さい容量、遅延時間ですむ。また図３の矢印Ｂの経路と比較すると処理遅延時間を大幅に削減できる。なおバッファメモリ３８にはこのほか、補正処理のための領域や、解像度を上げる場合の画素の追加分の領域なども必要となる。
【００６９】
いずれにしろ、本実施の形態では撮影画像の１フレーム分のデータを取得する前に、順次補正処理を施し表示パネル１２２に出力するため、極めて小さい遅延時間での表示が可能となる。また必要なメモリ容量を１フレーム分のデータサイズより格段に小さくできるため、ＳＲＡＭ（Static Random Access Memory）など小容量のバッファメモリを補正回路３６から近い位置に搭載することが可能となり、データ伝送のための時間や消費電力を抑えることができる。
【００７０】
なおこれまで述べた態様は、画像処理装置１２８が撮影画像に必要な補正を施し表示させることに着目していたが、コンテンツ処理装置２００から送信された画像を表示に含める場合もおよそ同様の構成で実現できる。例えばクラウドサーバなどのコンテンツ処理装置２００において圧縮符号化されストリーミング転送されたデータを、画像処理装置１２８が復号伸張し、撮影画像と同様に補正し出力してよい。このときコンテンツ処理装置２００および画像処理装置１２８は、フレーム平面を分割してなる単位領域ごとに圧縮符号化、復号伸張、動き補償を行ってよい。
【００７１】
ここで単位領域は、例えば画素の１行分、２行分など、所定行数ごとに横方向に分割してなる領域、あるいは、１６×１６画素、６４×６４画素など、縦横双方向に分割してなる矩形領域などとする。コンテンツ処理装置２００および画像処理装置１２８はそれぞれ、単位領域分の処理対象のデータが取得される都度、圧縮符号化処理および復号伸張処理を開始し、処理後のデータを当該単位領域ごとに出力する。これにより、コンテンツ処理装置２００から送信された画像を表示に含める場合であっても、表示までの遅延時間をより短縮させることができる。
【００７２】
図１２は、色収差補正として変位ベクトルに含める要素の例を説明するための図である。図示するように表示パネル１２２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の発光素子の組み合わせにより画素を形成する。図では１つの画素７０を拡大して示している。ただし発光素子の配列は表示パネルによって様々である。表示画像のデータが表す画素値は、画素７０の領域全体に対し与えられる赤、緑、青の輝度値であるが、厳密には当該画素領域の中心７２における像の色を表す。
【００７３】
しかし図示する配列の場合、赤の輝度は本来、画素領域の中心７２より微小量、左にずれた位置７４での像の色によって定まる。したがって、表示画像のうち赤の成分の画像を微小量右にずらすことにより、赤の輝度に左側の画素の値も反映させる。同様に、青の輝度は本来、画素領域の中心７２より微小量、右にずれた位置７６での像の色によって定まる。したがって、表示画像のうち青の成分の画像を微小量左にずらすことにより、青の輝度に右側の画素の値も反映させる。
【００７４】
これにより、画像平面上の位置と、そこに表れる色の情報をサブピクセル単位で正確に表すことができる。上述のように画素を構成する発光素子の色の配列は表示パネルによって様々であるため、当該配列を踏まえて変位ベクトルを算出する。色収差の補正としてはこのほか、式１を用いたレンズ歪みのための補正において、接眼レンズの歪み係数を色ごとに異ならせたときの変位の差分を含める。すなわち光の波長による屈折率の差に依存して、レンズに対する軸上色収差や倍率色収差が発生し像に色ずれを発生させる。変位ベクトルにはこの色ずれを補正するための成分を含める。
【００７５】
なおヘッドマウントディスプレイ１００が備える接眼レンズは一般的な凸レンズ以外にフレネルレンズでもよい。フレネルレンズは薄型化が可能な反面、解像度の低下や同心円状に視野周辺部にいくほど画像歪みが発生しやすく、輝度が非線形に変わり得る。この非線形な同心円状の輝度変化は、赤、緑、青のそれぞれに別の特性を持ち得る（例えば”ディストーション”、エドモンド・オプティクス技術資料、［online]、インターネットURL:https://www.edmundoptics.jp/resources/application-notes/imaging/distortion/参照）。そこで変位ベクトルには、これを色ごとに補正する成分を含めてもよい。
【００７６】
また表示パネル１２２として液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。補正部１４４は上述したレンズ歪みに加え、このような接眼レンズや表示パネルによる様々な悪影響を解消するように補正を行ってもよい。この場合、補正部１４４は接眼レンズの特性とともに表示パネル１２２の特性を内部で保持する。例えば液晶パネルの場合、補正部１４４はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ＥＬパネルの場合、補正部１４４は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。
【００７７】
図１３は、変位ベクトルマップ記憶部１４０（変位ベクトルマップ用メモリ４０）に格納するデータを模式的に示している。（ａ）に示す変位ベクトルマップ用メモリ４０ａは、赤、緑、青に対する変位ベクトルマップ８０を格納する。この変位ベクトルマップ８０は、撮影画像から表示画像（あるいはその左右の領域の画像）への画素の変位を表す。補正部１４４は、それらの変位ベクトルマップ８０を参照し、撮影画像の赤、緑、青の成分の画像をそれぞれ補正して表示画像を生成する。
【００７８】
（ｂ）に示す変位ベクトルマップ用メモリ４０ｂは、特定色（図では緑）の変位ベクトルマップ８２と、当該変位ベクトルマップ８２が表す変位ベクトルとその他の色（図では赤および青）の変位ベクトルとの差分ベクトルの分布を表す差分ベクトルマップ８４を格納する。すなわち差分ベクトルマップ８４は、赤の変位ベクトルから緑の変位ベクトルを減算した赤用の差分ベクトル、青の変位ベクトルから緑の変位ベクトルを減算した青用の差分ベクトルを、画像平面に表したデータである。
【００７９】
この場合、補正部１４４はまず、これから処理する画素の補正に必要な、緑用の変位ベクトルマップ８２の一部と、それに対応する赤用および青用の差分ベクトルマップ８４の一部も参照し、赤、緑、青がそろった変位ベクトルマップ８０の一部相当を動的に生成する。そして補正部１４４は、動的に生成した変位ベクトル値に基づいて画像の補正を行う。
【００８０】
もしくは、補正部１４４はまず、変位ベクトルマップ８２を参照して、撮影画像の赤、緑、青の成分の画像を補正する。そして補正部１４４は、補正後の画像のうち赤および青の成分の画像を、赤用および青用の差分ベクトルマップ８４を参照してそれぞれ補正することにより、最終的な表示画像を生成する。
【００８１】
ただし色収差補正は赤、緑、青の画像が適切な分だけ相対的にずれていればよいため、最初に補正する際に参照する変位ベクトルマップの色は限定されない。そして差分ベクトルマップは、当該色以外の２色に対し生成すればよい。（ｂ）に示す１つの変位ベクトルマップ８２および差分ベクトルマップ８４の構成は、（ａ）に示す３つの変位ベクトルマップ８０よりデータ量を削減でき、メモリ容量を節約できる。
【００８２】
以上述べた本実施の形態によれば、カメラを備えたヘッドマウントディスプレイにおいて、コンテンツ処理装置から送信された画像を表示させる経路と別に、撮影画像をヘッドマウントディスプレイ内で処理して表示させる経路を設ける。これによりコンテンツの画像を表示していない期間などに、容易に低遅延の撮影画像を表示できる。結果として、ヘッドマウントディスプレイを装着したままでも、装着していないときと同様に周囲の状況を確認することができ、利便性、安全性を高めることができる。
【００８３】
また本実施の形態では、カメラのレンズによる歪みの除去、接眼レンズのための歪みの付加、解像度の調整、色収差補正など、必要な補正要素による画素の変位を画像平面に表した変位ベクトルマップにより補正を一度に行う。当該補正は画素ごとに独立した処理が可能なため、撮影から表示までを画素列単位などで並行して行える。結果として、カメラから表示パネルへの経路短縮に加え、補正処理に要する時間自体を短縮できる。また１フレーム分のデータを溜めてから出力する場合と比較し、メモリ容量とともに、データ伝送のための消費電力も節約できる。
【００８４】
コンテンツ処理装置から送信された画像を表示対象に含める場合も、撮影画像に対する処理はヘッドマウントディスプレイ内で完結させる。これにより、撮影画像のデータをコンテンツ処理装置に送信せずとも、高品質な合成画像を表示できる。結果として表示結果に影響を与えることなく、上述と同様の効果を得ることができる。さらに撮影画像にコンテンツ処理装置からの画像を合成するモードと合成しないモードを、最小限の変更で容易に切り替えられる。
【００８５】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００８６】
３０  入出力インターフェース、  ３２  ＣＰＵ、  ３６  補正回路、  ３８  バッファメモリ、  ４０  変位ベクトルマップ用メモリ、  ４２  イメージ信号処理回路、  ４４  ディスプレイコントローラ、  １１０  ステレオカメラ、  １２０  画像処理用集積回路、  １２２  表示パネル、  １２８  画像処理装置、  １３０  撮影画像取得部、  １４０  変位ベクトルマップ記憶部、  １４２  部分画像記憶部、  １４４  補正部、  １４６  データ転送制御部、  １４８  画像表示制御部、  ２００  コンテンツ処理装置。
【図１】
2020167657.tif 000004
【図２】
2020167657.tif 000005
【図３】
2020167657.tif 000006
【図４】
2020167657.tif 000007
【図５】
2020167657.tif 000008
【図６】
2020167657.tif 000009
【図７】
2020167657.tif 000010
【図８】
2020167657.tif 000011
【図９】
2020167657.tif 000012
【図１０】
2020167657.tif 000013
【図１１】
2020167657.tif 000014
【図１２】
2020167657.tif 000015
【図１３】
2020167657.tif 000016