(57)【要約】【課題】距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにする。【解決手段】本技術の一側面の情報処理装置は、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、左眼用の画像の表示領域に含まれる、右眼用の画像の表示領域と重なる領域である第１の表示領域と、右眼用の画像の表示領域に含まれる、左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を位置情報に基づいて設定する。本技術は、例えば透過型のHMDに適用することができる。【選択図】図９
2019118004.tif 000002
【特許請求の範囲】
【請求項１】
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部と
を備える情報処理装置。
【請求項２】
前記輝度補正領域を対象として輝度補正を行う輝度補正部をさらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記輝度補正部は、前記輝度補正領域の輝度を下げるように輝度補正を行う
請求項２に記載の情報処理装置。
【請求項４】
前記輝度補正部は、前記輝度補正領域が設定された表示領域の端に近づくにつれて輝度が下がるように輝度補正を行う
請求項２に記載の情報処理装置。
【請求項５】
前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の広い前記輝度補正領域を設定する
請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、前記第１の表示領域の右端と前記第２の表示領域の左端に前記輝度補正領域を設定する
請求項１に記載の情報処理装置。
【請求項７】
前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の狭い前記輝度補正領域を設定する
請求項１に記載の情報処理装置。
【請求項８】
前記制御部は、前記第１の表示領域の左端と前記第２の表示領域の右端に前記輝度補正領域を設定する
請求項１に記載の情報処理装置。
【請求項９】
前記制御部は、前記輝度補正領域の幅を、線形的に、または、段階的に変化させる
請求項５に記載の情報処理装置。
【請求項１０】
前記制御部は、前記位置情報とともに、前記オブジェクトの形状と大きさのうちの少なくともいずれかを用いて、前記輝度補正領域を設定する
請求項１に記載の情報処理装置。
【請求項１１】
輝度補正が行われた前記左眼用の画像と前記右眼用の画像の歪み補正を行う歪み補正部をさらに備える
請求項２に記載の情報処理装置。
【請求項１２】
前記制御部は、両眼視領域となる前記第１の表示領域と前記第２の表示領域の内側に前記輝度補正領域を設定する
請求項１に記載の情報処理装置。
【請求項１３】
前記制御部は、前記オブジェクトの位置に応じた幅の前記両眼視領域を設定し、
前記両眼視領域と、前記両眼視領域の外側の領域である単眼視領域との境界を表す所定の画像を生成する画像生成部をさらに備える
請求項１２に記載の情報処理装置。
【請求項１４】
前記制御部は、前記オブジェクトを見ている前記ユーザの両眼の輻輳角に応じた幅の前記両眼視領域を設定する
請求項１３に記載の情報処理装置。
【請求項１５】
前記制御部は、前記位置情報により表される、前記オブジェクトの奥行き方向の位置に応じた幅の前記両眼視領域を設定する
請求項１３に記載の情報処理装置。
【請求項１６】
前記画像生成部は、前記オブジェクトに応じて異なる画像を前記所定の画像として生成する
請求項１３に記載の情報処理装置。
【請求項１７】
前記画像生成部は、前記オブジェクトの輝度を変化させた画像を前記所定の画像として生成する
請求項１３に記載の情報処理装置。
【請求項１８】
前記画像生成部は、前記オブジェクトの色度と彩度のうちの少なくともいずれかを変化させた画像を前記所定の画像として生成する
請求項１３に記載の情報処理装置。
【請求項１９】
情報処理装置が、
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
情報処理方法。
【請求項２０】
コンピュータに、
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
処理を実行させるためのプログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、および記録媒体に関し、特に、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにした情報処理装置、情報処理方法、および記録媒体に関する。
【背景技術】
【０００２】
左眼用と右眼用のそれぞれのディスプレイが設けられたHMD(Head Mounted Display)がある。左眼用のディスプレイに表示する画像と右眼用のディスプレイに表示する画像にオフセットが設定されている場合、ユーザは、両眼の視差により、画像に含まれるオブジェクトの立体視が可能になる。
【０００３】
特許文献１には、広い視野角を確保することを目的として、ユーザの眼の前に配置される左眼用の光学系と右眼用の光学系をそれぞれ外側に傾ける技術が開示されている。
【０００４】
オブジェクトを無理なく融像させるために、光学系を構成するデバイスの配置や画像処理に工夫が必要となる。例えば、左眼用の画像と右眼用の画像のそれぞれの端の一定の範囲に輝度補正を施すことにより、オブジェクトを自然な形で融像させる技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２５１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
オブジェクトの距離を変えて提示する場合において、輝度補正の範囲を提示距離に関わらず一定の範囲とすると、融像や画質に影響を与えてしまうことがある。
【０００７】
本技術はこのような状況に鑑みてなされたものであり、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部とを備える。
【０００９】
本技術の一側面においては、左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報が取得され、左眼用の画像の表示領域に含まれる、右眼用の画像の表示領域と重なる領域である第１の表示領域と、右眼用の画像の表示領域に含まれる、左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域が位置情報に基づいて設定される。
【発明の効果】
【００１０】
本技術によれば、距離によらず自然につながった融像状態になりやすいオブジェクトを提示することができる。
【００１１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【図２】オブジェクトの見え方の例を示す図である。
【図３】コンテンツの表示例を示す図である。
【図４】オブジェクトの見え方の他の例を示す図である。
【図５】左眼用画像と右眼用画像の例を示す図である。
【図６】HMDの表示方式を模式的に示す平面図である。
【図７】輝度補正パターンの例を示す図である。
【図８】輝度補正処理の例を示す図である。
【図９】オブジェクトの提示距離に応じた輝度補正パターンの変化の例を示す図である。
【図１０】オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
【図１１】オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
【図１２】HMDの構成例を示すブロック図である。
【図１３】出力制御部の機能構成例を示すブロック図である。
【図１４】左眼用画像と右眼用画像を対象とした処理の例を示す図である。
【図１５】HMDの表示処理について説明するフローチャートである。
【図１６】視線非交差方式による左眼用画像と右眼用画像の表示例を示す図である。
【図１７】視線交差方式による左眼用画像と右眼用画像の表示例を示す図である。
【図１８】左眼用画像と右眼用画像の他の表示例を示す図である。
【図１９】左眼用画像と右眼用画像の他の表示例を示す図である。
【図２０】視線非交差方式における補助画像の表示例を示す図である。
【図２１】注視距離が近い場合の補助画像の表示例を示す図である。
【図２２】出力制御部の機能構成例を示すブロック図である。
【図２３】HMDの視線認識処理について説明するフローチャートである。
【図２４】HMDの表示処理について説明するフローチャートである。
【図２５】補助画像の表示例を示す図である。
【図２６】補助画像の表示例を示す図である。
【図２７】HMDの表示処理について説明するフローチャートである。
【図２８】左眼用画像と右眼用画像の例を示す図である。
【図２９】補助画像の他の表示例を示す図である。
【図３０】補助画像の他の表示例を示す図である。
【図３１】補助画像の他の表示例を示す図である。
【図３２】コンテンツ配信サーバの構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態  輝度補正（シェーディング）について
２．第２の実施の形態  補助画像の表示について
【００１４】
両眼視領域と単眼視領域の境界近傍において、単眼視領域側の映像の一部が透明に見える現象や、暗い帯状が見えるLuningと呼ばれる現象が視野闘争によって生じることがある。これらの現象を抑制するために、境界近傍に線状の画像である補助画像を表示する手法が知られている。補助画像を表示することによってLuningを抑制する技術は、例えば軍用航空機のHMDなどで採用されている。
【００１５】
＜＜第１の実施の形態  輝度補正（シェーディング）について＞＞
図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【００１６】
図１の情報処理システムは、HMD１とコンテンツ配信サーバ２が、インターネットなどのネットワーク３を介して接続されることによって構成される。
【００１７】
図１に示すように、HMD１は、透過型の表示デバイスを備えた眼鏡型のウエアラブル端末である。HMD１は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたコンテンツを受信する。HMD１は、コンテンツを再生し、各種のオブジェクトを含む画像を表示デバイスに表示する。ユーザは、自分の前方の風景に重ねてオブジェクトを見ることになる。
【００１８】
オブジェクトを含む画像の投影方式は、虚像投影方式であってもよいし、ユーザの目の網膜に直接結像させる網膜投影方式であってもよい。
【００１９】
HMD１が再生するコンテンツは、コンテンツ配信サーバ２から送信されてきたコンテンツに限られるものではない。例えば、HMD１に搭載されたメモリに記憶されたコンテンツがHMD１において再生される。また、ユーザが携帯しているスマートホンやタブレット端末などの携帯端末に記憶されているコンテンツ、あるいはPCに記憶されているコンテンツがHMD１により取得され、再生されるようにしてもよい。
【００２０】
＜コンテンツの投影方式について＞
図２は、オブジェクトの見え方の例を示す図である。
【００２１】
図２に示す横長長方形の範囲は、ユーザが実際に見ている風景の範囲のうち、HMD１によって各種の情報を重ねて表示可能な範囲を示している。実際には、ユーザは、図２に示す範囲よりもさらに広い風景を見ていることになる。
【００２２】
図２の例においては、バイクの画像であるオブジェクトＯが、ユーザの前方の風景に重ねて提示されている。オブジェクトＯは、二次元の画像であってもよいし、立体視が可能な３次元の画像であってもよい。
【００２３】
図３は、図２に示すような風景の見え方を実現するためのコンテンツの表示例を示す図である。
【００２４】
図３のＡは、ユーザの前方に見える風景を示している。図３のＡの例においては、道を挟んで左右に建物が並ぶ風景をユーザは見ていることになる。
【００２５】
このような風景に重ねて、図３のＢに示すようなオブジェクトＯを含む画像が表示され、図３のＣに示すように、図２と同じ、風景の手前にオブジェクトＯが存在する見え方が実現される。図３のＢに示す画像のうち、オブジェクトＯが表示されている部分以外の部分は、透過度が高い部分（画面の見た目上、画像のある部分と比べて完全に風景が透過して見える部分）である。
【００２６】
HMD１は、このようなオブジェクトを、提示距離を様々な距離に設定して提示する。提示距離は、目の位置からオブジェクトの位置までの、ユーザに知覚させる奥行き方向の距離である。
【００２７】
図４は、オブジェクトの見え方の他の例を示す図である。
【００２８】
図４のＡは、提示距離が近い場合のオブジェクトＯの見え方を示す。例えば、図４のＡのオブジェクトＯの提示距離は３０ｃｍである。提示距離が近い場合、図４のＡに示すように、広い範囲を占めるような形でオブジェクトＯが表示される。
【００２９】
図４のＢは、提示距離が例えば２ｍである場合のオブジェクトＯの見え方を示し、図４のＣは、提示距離が例えば１０ｍである場合のオブジェクトＯの見え方を示す。図４のＢおよび図４のＣに示すように、提示距離に応じて、異なる大きさのオブジェクトＯが表示される。
【００３０】
このようなオブジェクトの提示は、左眼用の画像である左眼用画像をユーザの左眼に届け、右眼用の画像である右眼用画像をユーザの右眼に届けることによって行われる。HMD１には、左眼用画像を表示するための表示部と右眼用画像を表示するための表示部が設けられる。
【００３１】
図５は、左眼用画像と右眼用画像の例を示す図である。
【００３２】
図５の例においては、説明の便宜上、オブジェクトの背景にユーザの前方の風景が示されている。それぞれの風景の範囲が異なることは、左眼用画像と右眼用画像が、視差に応じた、異なる視野角を想定した画像であることを示している。左眼用画像に含まれる風景の範囲と、右眼用画像に含まれる風景の範囲は、一部において重複する範囲となる。
【００３３】
左眼用画像におけるオブジェクトＯLの位置と、右眼用画像におけるオブジェクトＯRの位置も、視差に応じて異なる位置となる。
【００３４】
図６は、HMD１の表示方式を模式的に示す平面図である。
【００３５】
図６に示すように、前方の風景と左眼用画像を左眼に導く左眼用光学系１１Ｌと、前方の風景と右眼用画像を右眼に導く右眼用光学系１１Ｒは、ユーザの両眼の中心を通る垂直線に対して外側を向くように、所定の角度をつけた状態で設けられる。後述するように、左眼用光学系１１Ｌと右眼用光学系１１Ｒには、それぞれ、左眼用画像と右眼用画像を表示するための表示部が設けられる。
【００３６】
直線＃１と＃２で示すように、破線の枠Ｆ１で囲んで示す左眼用画像がユーザの左眼に導かれる。また、直線＃１１と＃１２で示すように、一点鎖線の枠Ｆ２で囲んで示す右眼用画像がユーザの右眼に導かれる。
【００３７】
左眼用画像の領域と右眼用画像の領域が重なる領域が、表示内容が両眼に導かれる両眼視領域となる。また、左眼用画像の領域と右眼用画像の領域のうちの、両眼視領域以外の領域が、表示内容が片方の眼に導かれる単眼視領域となる。左眼用画像において、右眼用画像と表示領域が重なる領域である両眼視領域は表示領域全体のうちの右側に形成され、右眼用画像において、左眼用画像と表示領域が重なる領域である両眼視領域は表示領域全体のうちの左側に形成される。
【００３８】
このように、左眼用画像と右眼用画像に視差を設定し、一部の領域において重なるように左眼用画像と右眼用画像を表示することによって、左右で同様の画像を表示する場合と比べて広い視野角を確保することができる。
【００３９】
ここでは、バイクの画像を提示する場合について説明したが、HMD１は、バイクの画像以外の各種の画像をオブジェクトとしてユーザに提示することができる。また、HMD１は、複数のオブジェクトを含む画像を表示することによって、複数のオブジェクトを同時にユーザに提示することができる。
【００４０】
＜輝度補正について＞
HMD１においては、左眼用画像に含まれるオブジェクトと右眼用画像に含まれるオブジェクトが自然な形でつながって認知されるようにするために、それぞれの画像に対していわゆるシェーディングと呼ばれる輝度補正処理が施される。
【００４１】
図７は、輝度補正パターンの例を示す図である。
【００４２】
図７に示すように、左眼用画像の右端から所定の幅の領域が左眼側輝度補正領域として設定される。左眼用画像に対しては、右端に近づくにつれて輝度が徐々に下がるように、グラデーション状の輝度補正パターンに従って輝度補正処理が施される。図７においては、色が濃い部分ほど、その部分の画像の輝度が低くなる（透過度が高くなる）ような処理が施されることを表している。
【００４３】
同様に、右眼用画像の左端から所定の幅の領域が右眼側輝度補正領域として設定される。右眼用画像に対しては、左端に近づくにつれて輝度が徐々に下がるように、グラデーション状の輝度補正パターンに従って輝度補正処理が施される。図７の例においては、左眼側輝度補正領域の幅と右眼側輝度補正領域の幅は同じ幅とされている。
【００４４】
図８は、輝度補正処理の例を示す図である。
【００４５】
図８の上段に示すグラフは、図７の輝度補正パターンを用いて輝度補正を行った場合の輝度の変化を示すグラフである。縦軸は、輝度の補正値を示し、横軸は、表示部上（画像上）の水平方向の位置を示す。
【００４６】
図８の例においては、画像の端に近づくにつれて輝度が直線状に下がるような輝度補正パターンが用いられるものとしているが、輝度が段階的に下がる輝度補正パターンや輝度が曲線状に下がる輝度補正パターンが用いられるようにしてもよい。
【００４７】
このような輝度補正パターンを用いた輝度補正が行われることによって、図８の中段に示すような、輝度補正後の左眼用画像と右眼用画像が生成される。
【００４８】
輝度補正後の左眼用画像に示すように、オブジェクトＯLの輝度補正領域内の部分は、右端に近づくにつれて輝度が徐々に下がる状態になる。図８の例においては、オブジェクトが、人の顔を表すイラストの画像とされている。また、輝度補正後の右眼用画像に示すように、オブジェクトＯRの輝度補正領域の部分は、左端に近づくにつれて輝度が徐々に下がる状態になる。
【００４９】
輝度補正後の左眼用画像が左眼用光学系１１Ｌに設けられた表示部に表示され、右眼用画像が右眼用光学系１１Ｒに設けられた表示部に表示されることにより、図８の下段に示すような、両眼視領域の両端において輝度が補正されたオブジェクトＯが提示される。
【００５０】
図８の下段は、ユーザが認知するオブジェクトＯの状態を示している。左眼用画像の両眼視領域と右眼用画像の両眼視領域を重ねて示した場合、左眼側輝度補正領域の位置は、左眼用画像の右端と右眼用画像との境界を基準として、左眼用画像の両眼視領域内の位置（両眼視領域の内側の位置）となる。また、右眼側輝度補正領域の位置は、右眼用画像の左端と左眼用画像との境界を基準として、右眼用画像の両眼視領域内の位置となる。
【００５１】
輝度補正を行うことによって境界部分の輝度差を抑えた左眼用画像と右眼用画像を表示することにより、２つの画像上のオブジェクトをユーザの眼に適切に融像させることができ、オブジェクトを自然な形で認知させることが可能になる。ここで、融像は、左右の網膜に映った像を融合し、１つの像として認識する働きのことである。
【００５２】
上述したように、HMD１においては、提示距離を様々な距離に設定してオブジェクトの提示が行われる。左眼用画像と右眼用画像の輝度補正に用いられる輝度補正パターンが、オブジェクトの提示距離に応じて切り替えられる。
【００５３】
・輝度補正領域の幅を線形的に変化させる例
図９は、オブジェクトの提示距離に応じた輝度補正パターンの変化の例を示す図である。
【００５４】
図９の下方に示す破線Ｌ１が、提示距離の基準となるユーザの眼の位置を示す。破線Ｌ２は、オブジェクトの提示距離として３５ｃｍを想定した場合の位置を示し、破線Ｌ３は、オブジェクトの提示距離として５ｍを想定した場合の位置を示す。
【００５５】
上述したように、直線＃１と＃２の間の範囲がユーザの左眼に届く光の範囲（左目用画像の範囲）に相当し、直線＃１１と＃１２の間の範囲がユーザの右眼に届く光の範囲（右目用画像の範囲）に相当する。左眼用画像の右端には左眼側輝度補正領域が設定され、右眼用画像の左端には右眼用輝度補正領域が設定される。
【００５６】
斜線を付して示すように、左眼用画像の右端に設定された左眼側輝度補正領域は、オブジェクトの提示距離が長いほど、広い幅（角度）の領域として設定される。また、右眼用画像の左端に設定された右眼側輝度補正領域は、オブジェクトの提示距離が長いほど、広い幅の領域として設定される。図９の例においては、提示距離が３５ｃｍから５ｍまでの範囲において、輝度補正領域の幅が線形的（リニア）に変化する。
【００５７】
図９の右側に示す輝度補正パターンＰ１は、提示距離が３５ｃｍである場合の輝度補正パターンを示す。輝度補正パターンＰ２は、提示距離が５ｍである場合の輝度補正パターンを示す。輝度補正パターンＰ１と輝度補正パターンＰ２から分かるように、オブジェクトの提示距離が５ｍである場合、提示距離が３５ｃｍである場合より広い範囲において輝度補正が行われることになる。
【００５８】
オブジェクトの提示距離に関わらず輝度補正領域の幅を一定とした場合、提示距離が近いときには、両眼視領域に対して輝度補正領域が広すぎることによって左右の画像差が大きくなり、それにより融像が阻害されることがある。オブジェクトの提示距離に応じて輝度補正領域の幅を変化させることにより、HMD１は、オブジェクトの提示距離が近い場合であっても適切に融像させることが可能になる。
【００５９】
・輝度補正領域の幅を段階的に変化させる例
図１０は、オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
【００６０】
図１０の例においては、輝度補正領域の幅が、オブジェクトの提示距離に応じて段階的に変化するものとされている。
【００６１】
例えば、オブジェクトの提示距離が３５ｃｍ以上、１ｍ未満の範囲においては、輝度補正領域の幅が線形的（リニア）に変化する。オブジェクトの提示距離が３５ｃｍである場合に用いられる輝度補正パターンＰ１１は、例えば図９の輝度補正パターンＰ１より細幅の領域を輝度補正領域とする輝度補正パターンである。
【００６２】
オブジェクトの提示距離が１ｍである場合、提示距離が３５ｃｍ以上、１ｍ未満の範囲における輝度補正領域の幅の変化と不連続となる幅の領域が輝度補正領域として設定される。提示距離が１ｍから５ｍまでの範囲においては、輝度補正領域の幅が線形的に変化する。オブジェクトの提示距離が５ｍである場合に用いられる輝度補正パターンＰ１２は、例えば図９の輝度補正パターンＰ２と同じ幅の領域を輝度補正領域とする輝度補正パターンである。
【００６３】
このように、融像が一般的に難しくなる１ｍ未満とそれ以上の２段階で輝度補正領域の幅を切り替えるようにすることも可能である。輝度補正領域の幅の変化が不連続となる提示距離は１ｍ以外の他の距離であってもよい。また、輝度補正領域の幅が、３段階以上の変化を持たせて設定されるようにしてもよい。
【００６４】
図１１は、オブジェクトの提示距離に応じた輝度補正パターンの他の変化の例を示す図である。
【００６５】
図１１の例においては、オブジェクトの提示距離が、破線Ｌ１１で示す閾値ＴＨ１、破線Ｌ１２で示す閾値ＴＨ２、破線Ｌ１３で示す閾値ＴＨ３のそれぞれの距離において、輝度補正領域の幅が段階的に変化するものとされている。
【００６６】
このように、HMD１は、各種の提示距離において輝度補正領域の幅を段階的に変化させることが可能である。例えば、オブジェクトの提示距離が３５ｃｍ、５０ｃｍ、７５ｃｍ、１ｍ、２ｍの各距離で輝度補正領域の幅が段階的に切り替えられるようにしてもよい。さらに、３５ｃｍ、５０ｃｍ、１ｍ、２ｍの各距離、３５ｃｍ、５０ｃｍ、２ｍの各距離などの、所定の提示距離の組み合わせを用いて輝度補正領域の幅が切り替えられるようにしてもよい。
【００６７】
オブジェクトの提示距離が２ｍ以上である場合、ユーザの眼の輻輳角が大きく変化しないため、輝度補正領域の幅が一定の幅として設定されるようにしてもよい。輻輳角は、左眼とオブジェクトを結ぶ直線と、右眼とオブジェクトを結ぶ直線とにより形成される角度である。
【００６８】
また、ユーザの眼の輻輳角をモニタリングし、モニタリング値に応じて輝度補正領域の幅が切り替えられるようにしてもよい。例えば、輻輳角が５度以上である場合と５度未満である場合とで輝度補正領域の幅が切り替えられるようにすることが可能である。
【００６９】
さらに、輝度補正領域の幅がユーザの設定に応じて切り替えられるようにしてもよい。この場合、例えば、オブジェクトを徐々に近付けて提示し、融像が難しくなる距離をユーザに設定させる処理が初期設定として行われる。オブジェクトを実際に提示する場合、初期設定時に記録された情報が参照され、ユーザが設定した提示距離の前後で輝度補正領域の幅が段階的に切り替えられる。
【００７０】
このように、各種の方法で輝度補正領域が設定されるようにすることが可能である。
【００７１】
＜HMDの構成＞
図１２は、HMD１の構成例を示すブロック図である。
【００７２】
図１２に示すように、HMD１は、センサ５１、カメラ５２、ユーザ情報取得部５３、周辺情報取得部５４、出力制御部５５、左眼用表示部５６Ｌ、右眼用表示部５６Ｒ、通信部５７、および電源部５８から構成される。センサ５１とカメラ５２については、HMD１に設けられるのではなく、ユーザが持つ携帯端末などの外部の装置に設けられるようにしてもよい。
【００７３】
センサ５１は、加速度センサ、ジャイロセンサ、測位センサなどにより構成される。センサ５１には、ユーザの視線の方向を検出する視線検出デバイス５１Ａも設けられる。センサ５１は、各種の測定結果を表す情報をユーザ情報取得部５３と周辺情報取得部５４に出力する。
【００７４】
カメラ５２は、ユーザの前方の風景を撮影する。カメラ５２は、撮影することによって得られた画像をユーザ情報取得部５３と周辺情報取得部５４に供給する。
【００７５】
ユーザ情報取得部５３は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの位置、ユーザがとっている行動などのユーザの状態を特定する。
【００７６】
また、ユーザ情報取得部５３は、視線検出デバイス５１Ａから供給された情報に基づいて、ユーザがどの被写体を見ているのかを特定する。左眼用画像と右眼用画像を表示することによって提示したオブジェクト、カメラ５２により撮影された画像に写っている被写体などが、ユーザが見ている被写体として特定される。ユーザ情報取得部５３は、ユーザの状態を表す情報と、ユーザが見ている被写体を表す情報を含むユーザ情報を出力制御部５５に出力する。
【００７７】
周辺情報取得部５４は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの周辺の状況を特定する。例えば、カメラ５２により撮影された画像を解析することによって、建物、道路、看板の位置などが特定される。周辺情報取得部５４は、ユーザの周辺の状況を表す周辺情報を出力制御部５５に出力する。
【００７８】
出力制御部５５は、通信部５７から供給されたコンテンツに基づいて、ユーザに提示するオブジェクトを決定する。また、出力制御部５５は、ユーザ情報取得部５３から供給されたユーザ情報と、周辺情報取得部５４から供給された周辺情報に基づいて、オブジェクトの提示位置を決定する。
【００７９】
ゲームなどの所定のアプリケーションの実行中において、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置をオブジェクトの提示位置として決定するような処理が行われる。
【００８０】
出力制御部５５は、通信部５７から供給されたコンテンツに基づいて、オブジェクトを含む左眼用画像と右眼用画像を生成する。また、出力制御部５５は、オブジェクトの提示距離に基づいて設定した輝度補正パターンを用いて、左眼用画像と右眼用画像の輝度補正を行う。
【００８１】
出力制御部５５は、輝度補正を行うことによって得られた左眼用画像を左眼用表示部５６Ｌに出力し、右眼用画像を右眼用表示部５６Ｒに出力する。
【００８２】
左眼用表示部５６Ｌは、左眼用光学系１１Ｌに設けられるディスプレイである。左眼用表示部５６Ｌは、出力制御部５５から供給された左眼用画像を表示する。
【００８３】
右眼用表示部５６Ｒは、右眼用光学系１１Ｒに設けられるディスプレイである。右眼用表示部５６Ｒは、出力制御部５５から供給された右眼用画像を表示する。
【００８４】
通信部５７は、ネットワークのインタフェースである。通信部５７は、ネットワーク３を介してコンテンツ配信サーバ２と通信を行い、コンテンツ配信サーバ２から送信されてきたコンテンツを受信する。通信部５７において受信されたコンテンツは、出力制御部５５に供給される。
【００８５】
電源部５８は、バッテリと電源回路から構成される。電源部５８は、駆動に必要な電源を各部に供給する。
【００８６】
図１３は、図１２の出力制御部５５の機能構成例を示すブロック図である。
【００８７】
図１３に示す機能部のうちの少なくとも一部は、例えば、出力制御部５５に設けられるCPU(Central Processing Unit)により所定のプログラムが実行されることによって実現される。出力制御部５５には、CPUが実行するプログラムなどが記録されるROM(Read Only Memory)、プログラムの実行に用いられるRAM(Random Access Memory)、および、GPU(Graphics Processing Unit)などの構成も設けられる。
【００８８】
図１３に示すように、出力制御部５５は、表示画像取得部８１、表示位置決定部８２、画像生成部８３、制御部８４、輝度補正部８５、および歪み補正部８６から構成される。ユーザ情報取得部５３から出力されたユーザ情報と周辺情報取得部５４から出力された周辺情報は、それぞれ、表示画像取得部８１と表示位置決定部８２に入力される。
【００８９】
表示画像取得部８１は、ユーザ情報により表されるユーザの状態と周辺情報により表される周辺の状況に基づいて、ユーザに提示するオブジェクトを決定する。ユーザに提示するオブジェクトは、通信部５７から供給されたコンテンツに含まれるオブジェクトから選択される。
【００９０】
上述したように、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置に提示するオブジェクトが決定される。表示画像取得部８１は、ユーザに提示するオブジェクトの情報を画像生成部８３と制御部８４に出力する。表示画像取得部８１から出力される情報にはオブジェクトの画像データが含まれる。
【００９１】
表示位置決定部８２は、ユーザ情報と周辺情報に基づいて、オブジェクトの表示位置を決定する。
【００９２】
上述したように、ユーザが歩いていることがユーザ情報により表され、ユーザの前方に看板があることが周辺情報により表されている場合、その看板の位置がオブジェクトの表示位置として決定される。表示位置決定部８２は、オブジェクトの表示位置を表す情報を画像生成部８３と制御部８４に出力する。
【００９３】
画像生成部８３は、表示画像取得部８１から供給された情報に基づいて、表示位置決定部８２により決定された表示位置に応じた大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。左眼用画像に含まれるオブジェクトと右眼用画像に含まれるオブジェクトには、適宜、視差が設定される。画像生成部８３は、左眼用画像と右眼用画像を輝度補正部８５に出力する。
【００９４】
制御部８４は、表示位置決定部８２により決定された表示位置に基づいて、オブジェクトの提示距離を特定する。オブジェクトの表示位置は、オブジェクトの提示距離と、オブジェクトの画像上の位置により表される。
【００９５】
また、制御部８４は、オブジェクトの提示距離に応じた幅の輝度補正領域を左眼用画像と右眼用画像のそれぞれに設定する。制御部８４は、輝度補正の対象となる輝度補正領域を、オブジェクトの提示距離に基づいて設定する制御部として機能する。
【００９６】
制御部８４は、輝度補正領域の部分において輝度補正を行うための輝度補正パターンを表す情報を輝度補正部８５に出力する。
【００９７】
輝度補正部８５は、画像生成部８３により生成された左眼用画像と右眼用画像に対して、制御部８４により設定された輝度補正パターンに従って輝度補正を施す。輝度補正部８５は、輝度補正を行うことによって得られた輝度補正後の左眼用画像と右眼用画像を歪み補正部８６に出力する。
【００９８】
歪み補正部８６は、輝度補正部８５から供給された輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。歪み補正部８６による歪み補正は、光学系の特性に応じた射影変換などの処理である。歪み補正部８６は、歪み補正後の左眼用画像を左眼用表示部５６Ｌに出力し、右眼用画像を右眼用表示部５６Ｒに出力する。
【００９９】
図１４は、左眼用画像と右眼用画像を対象とした処理の例を示す図である。
【０１００】
図１４に示すように、左眼用画像と右眼用画像に対する輝度補正は、歪み補正の前に行われる。歪み補正の後に輝度補正を行うとした場合、輝度補正領域の設定が複雑になる。歪み補正の前に輝度補正が行われるようにすることにより、輝度補正領域の設定に要する計算量を抑えることができる。
【０１０１】
また、歪み補正の前に輝度補正が行われるようにすることにより、画像端から等幅の範囲に輝度補正を施すことができ、これにより、融像しやすい画像を生成することが可能になる。補正すべき歪みが軽微である場合、歪み補正の後に輝度補正が行われるようにしてもよい。
【０１０２】
＜HMDの動作＞
ここで、図１５のフローチャートを参照して、以上のような構成を有するHMD１の表示処理について説明する。
【０１０３】
ステップＳ１において、周辺情報取得部５４は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの周辺の状況を表す周辺情報を取得する。
【０１０４】
ステップＳ２において、ユーザ情報取得部５３は、センサ５１とカメラ５２から供給された情報に基づいて、ユーザの状態を表すユーザ情報を取得する。
【０１０５】
ステップＳ３において、出力制御部５５の表示画像取得部８１と表示位置決定部８２は、それぞれ、ユーザの周辺の状況を周辺情報に基づいて特定する。また、表示画像取得部８１と表示位置決定部８２は、それぞれ、ユーザの状態をユーザ情報に基づいて特定する。
【０１０６】
ステップＳ４において、表示画像取得部８１は、ユーザの状態と周辺の状況に基づいて、ユーザに提示するオブジェクトを決定する。
【０１０７】
ステップＳ５において、表示位置決定部８２は、ユーザの状態と周辺の状況に基づいて、オブジェクトの表示位置を決定する。
【０１０８】
ステップＳ６において、制御部８４は、ステップＳ５で決定された表示位置に基づいてオブジェクトの提示距離を特定し、提示距離に応じた輝度補正パターンを決定する。輝度補正パターンの決定に際しては、適宜、オブジェクトの形状なども考慮される。提示距離以外の要素に基づいて輝度補正パターンを決定する処理については後述する。
【０１０９】
ステップＳ７において、画像生成部８３は、所定の大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。
【０１１０】
ステップＳ８において、輝度補正部８５は、輝度補正パターンに従って、左眼用画像と右眼用画像に対して輝度補正を施す。
【０１１１】
ステップＳ９において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
【０１１２】
ステップＳ１０において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。ここで表示される左眼用画像と右眼用画像は歪み補正後の画像である。左眼用画像と右眼用画像が表示されることによってオブジェクトの提示が行われた後、ステップＳ１に戻り、それ以降の処理が行われる。
【０１１３】
HMD１の電源がオンとなり、コンテンツのオブジェクトを提示する所定のアプリケーションが実行されている間、ステップＳ１乃至Ｓ１０の処理が繰り返される。
【０１１４】
以上のように、輝度補正の対象となる領域の幅をオブジェクトの提示距離に応じて変化させることにより、HMD１は、オブジェクトをユーザの眼に適切に融像させることができる。
【０１１５】
＜変形例＞
・オブジェクトの形状に基づく輝度補正の例
オブジェクトのアスペクト比（縦の長さと横の長さの比）に応じて輝度補正領域の幅が切り替えられるようにしてもよい。
【０１１６】
例えば、オブジェクトを囲む矩形領域のアスペクト比が１：２より横長である場合、１：２より縦長である場合より細幅の輝度補正領域が設定される。２：３のアスペクト比を基準として、輝度補正領域の幅が切り替えられるようにしてもよい。
【０１１７】
・オブジェクトの大きさに基づく輝度補正の例
オブジェクトの大きさに応じて、輝度補正領域の幅が切り替えられるようにしてもよい。
【０１１８】
例えば、オブジェクトの提示距離が近く、オブジェクトが両眼視領域に収まらない場合、両眼視領域に収まる場合より細幅の輝度補正領域が設定される。
【０１１９】
表示領域全体の面積に対するオブジェクトの面積の比が４割以上である場合には、４割未満である場合より細幅の輝度補正領域を設定するといったように、オブジェクトの面積の比に応じて輝度補正領域の幅が切り替えられるようにしてもよい。
【０１２０】
・オブジェクトの形状と大きさに基づく輝度補正の例
オブジェクトの形状と面積の比を組み合わせて用いて輝度補正領域の幅が切り替えられるようにしてもよい。
【０１２１】
例えば、オブジェクトのアスペクト比が１：２より横長であり、かつ、画像全体の面積に対するオブジェクトの面積の比が４割以上である場合に、それらの条件を満たさない場合より細幅の輝度補正領域が設定される。
【０１２２】
このように、輝度補正領域の設定は、オブジェクトの提示距離、オブジェクトのアスペクト比、および、画像全体の面積に対するオブジェクトの面積の比のうちの少なくともいずれかに基づいて行われる。
【０１２３】
単眼視領域と両眼視領域を跨ぐ部分の表示によって融像のしやすさが変化する。このように、オブジェクトの形状や画像に占める割合に応じて輝度補正領域の幅を変えることにより、より融像のしやすいオブジェクトを提示することが可能になる。
【０１２４】
提示距離が異なる複数のオブジェクトを提示する場合、最も近いオブジェクトの形状や大きさに基づいて、輝度補正領域の幅が決定されるようにしてもよい。
【０１２５】
・視線非交差方式／視線交差方式による例
図１６は、視線非交差方式による左眼用画像と右眼用画像の表示例を示す図である。
【０１２６】
なお、図６等を参照して説明した左眼用画像と右眼用画像の表示方式が視線非交差方式である。図１６の中段に示すように両眼視領域を重ねて配置した場合、視線非交差方式においては、左眼用画像は右眼用画像の左側に配置され、ユーザの左眼に導かれる。また、右眼用画像は左眼用画像の右側に配置され、ユーザの右眼に導かれる。両眼視領域は、左眼用画像においては右端に寄せて形成され、右眼用画像においては左端に寄せて形成される。
【０１２７】
視線非交差方式の場合、上述したように、左眼用画像の右端に輝度補正領域が設定され、左眼用画像の輝度補正が行われるとともに、右眼用画像の左端に輝度補正領域が設定され、右眼用画像の輝度補正が行われる。
【０１２８】
図１７は、視線交差方式による左眼用画像と右眼用画像の表示例を示す図である。
【０１２９】
図１７の中段に示すように両眼視領域を重ねて配置した場合、視線交差方式においては、左眼用画像は右眼用画像の右側に配置され、ユーザの左眼に導かれる。また、右眼用画像は左眼用画像の左側に配置され、ユーザの右眼に導かれる。両眼視領域は、左眼用画像においては左端に寄せて形成され、右眼用画像においては右端に寄せて形成される。
【０１３０】
視線交差方式の場合、左眼用画像の左端に輝度補正領域が設定され、左眼用画像の輝度補正が行われるとともに、右眼用画像の右端に輝度補正領域が設定され、右眼用画像の輝度補正が行われる。
【０１３１】
このように、オブジェクトの提示方式が視線交差方式であり、左眼用画像の左端と右眼用画像の右端にそれぞれ輝度補正領域が設定される場合も、輝度補正領域の幅が、上述したようにオブジェクトの提示距離に応じて設定される。
【０１３２】
なお、視線交差方式の場合、視線非交差方式の場合とは反対に、オブジェクトの提示距離が遠いほど、狭い幅の輝度補正領域が設定される。視線交差方式の場合も、オブジェクトの提示距離に応じて線形的に変化するように、または段階的に変化するように、輝度補正領域の幅が設定される。オブジェクトの提示距離だけでなく、オブジェクトの形状と大きさのうちの少なくともいずれかを用いて輝度補正領域の幅が設定されるようにしてもよい。
【０１３３】
これによっても、より融像のしやすいオブジェクトを提示することが可能になる。
【０１３４】
・輝度補正領域の設定の他の例
オブジェクトが単眼視領域のみに収まる場合、輝度補正処理が行われないようにしてもよい。これにより、GPUの負荷を低減することが可能になる。
【０１３５】
図１８は、左眼用画像と右眼用画像の他の表示例を示す図である。
【０１３６】
図１８の左眼用画像においては、オブジェクトが右方に寄せて配置され、オブジェクトの右側の一部が表示領域に収まっていない。左眼用画像に収まっていないオブジェクトの右側の部分は、右眼用画像を用いて提示されることになる。
【０１３７】
一方、右眼用画像においては、オブジェクトが表示領域に収まるように配置されている。
【０１３８】
この場合、図１８の下段に示すように、両眼視領域の左右の境界のうち、オブジェクトが跨がって表示される右側の境界の内側の領域のみを対象として輝度補正が施される。すなわち、左眼用画像の右端に輝度補正領域が設定され、左眼用画像を対象とした輝度補正が行われるのに対して、右眼用画像を対象とした輝度補正は行われない。
【０１３９】
このように、オブジェクトが表示領域の端（左眼用画像の右端、右眼用画像の左端）にかからない場合、その領域を対象とした輝度補正が行われないようにすることが可能である。輝度補正処理は、左眼用画像と右眼用画像のうちの少なくともいずれかに対して行われることになる。
【０１４０】
図１９は、左眼用画像と右眼用画像の他の表示例を示す図である。
【０１４１】
図１９の例においては、ユーザの利き眼が右眼であるものとする。この場合、例えば初期設定時に利き目の選択が行われ、ユーザの利き目を表す情報がHMD１に記録される。
【０１４２】
なお、図１９の例においては、左眼用画像のオブジェクトは右端にかかり、右眼用画像のオブジェクトは左端にかかるものとされている。左眼用画像の右端に輝度補正領域が設定されるとともに、右眼用画像の左端に輝度補正領域が設定され、左眼用画像と右眼用画像のそれぞれに対して輝度補正が施される。
【０１４３】
ユーザの利き目が右眼である場合、図１９に示すように、利き目側である右眼用画像に対しては、左眼用画像に設定される輝度補正領域より幅の狭い輝度補正領域が設定される。
【０１４４】
一般的に、人の脳内では利き眼側の情報の方が優先されやすい。このように利き眼側の画像の輝度補正領域の幅を狭くすることによっても、近距離でも融像しやすくなるといった効果が期待できる。
【０１４５】
＜＜第２の実施の形態  補助画像の表示について＞＞
以下、HMD１における補助画像の表示について説明する。
【０１４６】
＜補助画像の表示位置を注視距離に応じて変化させる例＞
図２０は、視線非交差方式における補助画像の表示例を示す図である。
【０１４７】
図２０の上段に示すように、左眼用画像と右眼用画像のそれぞれの両眼視領域と単眼視領域の境界には、オブジェクトを含む主画像に重ねて、補助画像が表示される。図２０の例においては、垂直方向の細線が補助画像として表示されている。
【０１４８】
両眼視領域の幅は、ユーザの注視距離によって異なる。HMD１においては、ユーザが注視する距離に応じて両眼視領域と単眼視領域の幅が変化し、これに伴って、補助画像の表示位置も調整される。
【０１４９】
ユーザがどこに注視しているかは、例えば、左眼用光学系１１Ｌと右眼用光学系１１Ｒの近傍に設けられた視線検出デバイス５１Ａにより検出された視線方向に基づいて特定される。両眼の視線方向に基づいて輻輳角が算出され、算出された輻輳角に基づいてユーザの注視距離が特定される。
【０１５０】
図２０は、ユーザの注視距離が、５ｍといったように遠い場合の補助画像の表示位置を示している。例えば、複数のオブジェクトを含む主画像が表示され、５ｍの位置にあるオブジェクトをユーザが注視している場合、図２０に示すような間隔で補助画像が表示される。
【０１５１】
なお、図２０の中段においては補助画像の上下に破線が示されているが、この破線は左眼用画像と右眼用画像の表示領域の範囲を示す線であって、主画像に合成される画像を表すものではない。
【０１５２】
図２１は、ユーザの注視距離が近い場合の補助画像の表示例を示す図である。
【０１５３】
複数のオブジェクトのうち、３５ｃｍといったように近い位置にあるオブジェクトをユーザが注視している場合、図２１に示すように、両眼視領域の幅が図２０の場合より狭くなり、これに伴って補助画像の表示位置も変更される。なお、視線交差方式の場合、ユーザが注視するオブジェクトが近いほど、両眼視領域の幅が広くなる。
【０１５４】
ユーザが注視している距離に応じて補助画像の表示位置を変えることにより、オブジェクトの提示距離が上述したように切り替わる場合であっても、視野闘争による弊害を抑制することができる。
【０１５５】
なお、図２０、図２１においては、補助画像が黒色の実線として表されているが、透過型のHMDにおいては黒色を表示することができない。補助画像の表示は、実際には、補助画像を示す実線部分の輝度、色度、および彩度のうちの少なくともいずれかを変更することによって実現される。
【０１５６】
例えば、元の画像（オブジェクトの画像）のうち、補助画像を表示させる部分である、両眼視領域と単眼視領域の境界の輝度を５０％に減少させることにより、補助画像の表示が実現される。これにより、元の画像の輝度と相関のある輝度の補助画像を表示することになり、視野闘争による弊害を抑制するための十分なコントラストを実現することができる。
【０１５７】
HMD１においては、このような補助画像の表示とともに、上述した輝度調整も行われる。
【０１５８】
＜HMDの構成＞
図２２は、出力制御部５５の機能構成例を示すブロック図である。
【０１５９】
図２２に示す出力制御部５５の構成は、補助画像生成部８３Ａが画像生成部８３に設けられている点を除いて、図１３を参照して説明した構成と同じである。重複する説明については適宜省略する。視線検出デバイス５１Ａにより検出されたユーザの視線方向の情報を含むユーザ情報は、例えば表示位置決定部８２を介して画像生成部８３に入力される。
【０１６０】
画像生成部８３は、表示画像取得部８１から供給された画像に基づいて、表示位置決定部８２により決定された表示位置に応じた大きさと形状のオブジェクトを含む左眼用画像と右眼用画像の主画像を生成する。
【０１６１】
また、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に、補助画像生成部８３Ａにより生成された補助画像を合成する。画像生成部８３は、補助画像を含む左眼用画像と右眼用画像を輝度補正部８５に出力する。
【０１６２】
補助画像生成部８３Ａは、左眼用画像と右眼用画像のそれぞれの両眼視領域と単眼視領域の境界に合成するための補助画像を生成する。補助画像生成部８３Ａにより生成された補助画像が、左眼用画像と右眼用画像のそれぞれの主画像に合成される。
【０１６３】
＜HMDの動作＞
ここで、以上のような補助画像が合成された左眼用画像と右眼用画像を表示することによってオブジェクトを提示するHMD１の処理について説明する。
【０１６４】
はじめに、図２３のフローチャートを参照して、HMD１の視線認識処理について説明する。図２３の処理は、例えば、図２４を参照して後述する処理と並行して行われる。
【０１６５】
ステップＳ５１において、視線検出デバイス５１Ａは、オブジェクトを見ているユーザの視線を認識する。
【０１６６】
ステップＳ５２において、補助画像生成部８３Ａは、ユーザの視線の方向に基づいて両眼の輻輳角を検出し、注視距離を特定する。
【０１６７】
ステップＳ５３において、補助画像生成部８３Ａは、補助画像の表示位置をユーザの注視距離に基づいて決定する。以上のような処理が、オブジェクトの表示が行われている間繰り返される。
【０１６８】
次に、図２４のフローチャートを参照して、HMD１の表示処理について説明する。
【０１６９】
図２４の処理は、補助画像の合成が行われる点を除いて、図１５を参照して説明した処理と同様の処理である。
【０１７０】
ステップＳ６１乃至Ｓ６７において図１５のステップＳ１乃至Ｓ７の処理と同様の処理が行われた後、ステップＳ６８において、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に補助画像を合成する。
【０１７１】
ステップＳ６９において、輝度補正部８５は、輝度補正パターンに従って、補助画像が合成された左眼用画像と右眼用画像に対して輝度補正を施す。
【０１７２】
ステップＳ７０において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
【０１７３】
ステップＳ７１において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。これにより、両眼視領域と単眼視領域の境界に補助画像が合成された左眼用画像と右眼用画像が表示され、オブジェクトが提示される。
【０１７４】
ユーザは、視野闘争による弊害が抑制された形でオブジェクトを見ることができる。
【０１７５】
＜補助画像の表示位置をオブジェクトの距離に応じて変化させる例＞
以上においては、ユーザの注視距離を特定して補助画像の表示位置を調整するものとしたが、オブジェクトの提示距離に応じて、補助画像の表示位置が調整されるようにしてもよい。この場合、オブジェクトの提示距離とユーザの注視距離が一致するとの前提で処理が行われることになる。
【０１７６】
複数のオブジェクトが提示される場合、最も大きいオブジェクトや画像の中心に最も近いオブジェクトなどの、主となるオブジェクトの提示距離に応じて補助画像の表示位置が調整される。この場合、視線検出デバイス５１Ａは不要となる。
【０１７７】
図２５および図２６は、補助画像の表示例を示す図である。
【０１７８】
図２５は、主となるオブジェクトの提示距離が遠い場合の補助画像の表示例を示し、図２６は、主となるオブジェクトの提示距離が近い場合の補助画像の表示例を示している。視線交差方式の場合、ユーザが注視するオブジェクトが近いほど、両眼視領域の幅が広くなる。
【０１７９】
図２５および図２６に示すように、主となるオブジェクトの提示距離に応じて両眼視領域の幅が変化し、これに伴って補助画像の表示位置が調整される。なお、図２5、図２６に示す補助画像の表示は、図２０、図２１を参照して説明した表示とそれぞれ同じである。
【０１８０】
＜HMDの動作＞
図２７のフローチャートを参照して、主となるオブジェクトの提示距離に応じて補助画像の表示位置を調整するHMD１の処理について説明する。
【０１８１】
図２７の処理は、補助画像の表示位置をオブジェクトの提示距離に応じて決定する処理が行われる点を除いて、図２４を参照して説明した処理と同様の処理である。ステップＳ８１乃至Ｓ８６において、図２４のステップＳ６１乃至Ｓ６６の処理と同様の処理が行われる。
【０１８２】
ステップＳ８７において、画像生成部８３は、補助画像の表示位置を主となるオブジェクトの提示距離に応じて決定する。
【０１８３】
ステップＳ８８において、画像生成部８３は、所定の大きさと形状のオブジェクトを含む左眼用画像と右眼用画像を生成する。左眼用画像と右眼用画像には、それぞれ、主となるオブジェクトが少なくとも含まれている。
【０１８４】
ステップＳ８９において、画像生成部８３は、左眼用画像と右眼用画像のそれぞれの主画像に補助画像を合成する。補助画像の合成位置は、主となるオブジェクトの提示距離に応じて設定された両眼視領域と、単眼視領域の境界となる。
【０１８５】
ステップＳ９０以降の処理は、図２４のステップＳ６９以降の処理と同様である。すなわち、ステップＳ９０において、輝度補正部８５は、輝度補正パターンに従って、補助画像が合成された左眼用画像と右眼用画像に対して輝度補正を施す。
【０１８６】
ステップＳ９１において、歪み補正部８６は、輝度補正後の左眼用画像と右眼用画像に対して歪み補正を施す。
【０１８７】
ステップＳ９２において、左眼用表示部５６Ｌは左眼用画像を表示し、右眼用表示部５６Ｒは右眼用画像を表示する。これにより、両眼視領域と単眼視領域の境界に補助画像が合成された左眼用画像と右眼用画像が表示され、オブジェクトが提示される。
【０１８８】
図２８は、以上の処理により、補助画像の合成とともに輝度調整が行われた左眼用画像と右眼用画像の例を示す図である。
【０１８９】
図２８の中段に示すように、左眼用画像のうち、オブジェクトＯLの左眼側輝度補正領域の部分は、右端に近づくにつれて輝度が徐々に下がる状態になる。また、両眼視領域と単眼視領域の境界を跨ぐ、オブジェクトＯL上の位置には補助画像が重ねて表示される。
【０１９０】
一方、右眼用画像のうち、オブジェクトＯRの右眼側輝度補正領域の部分は、左端に近づくにつれて輝度が徐々に下がる状態になる。また、両眼視領域と単眼視領域の境界を跨ぐ、オブジェクトＯR上の位置には補助画像が重ねて表示される。
【０１９１】
このように、補助画像が合成されるとともに輝度補正が行われた左眼用画像と右眼用画像を表示することにより、視野闘争をより効果的に低減させることが可能となる。
【０１９２】
また、補助画像の合成と組み合わせることにより、輝度補正によって輝度を下げるときの補正量を減らすことができ、境界部分の明るさの変化が少ない画像を提示することが可能になる。
【０１９３】
図２８の上段に示すように、補助画像の合成と輝度補正とを組み合わせる場合の輝度補正パターンは、表示部の端の部分（左眼用表示部５６Ｌの右端、右眼用表示部５６Ｒの左端）において、図８を参照して説明した、補助画像の合成を行わない場合の補正量と比べて補正量を抑えたパターンになっている。
【０１９４】
補助画像の合成と組み合わせた場合には、このように補正量を抑えた輝度補正パターンを用いたとしても、十分な効果を得ることが可能になる。
【０１９５】
＜変形例＞
図２９は、補助画像の他の表示例を示す図である。
【０１９６】
図２９の例においては、補助画像が破線の画像とされている。このように、実線の画像ではなく、破線などの他の線種の画像を補助画像として用いることが可能である。
【０１９７】
図３０は、補助画像の他の表示例を示す図である。
【０１９８】
図３０の例においては、補助画像が、矢印形状の画像や星形状の画像とされている。このように、各種の形状のアイコンやマークなどの画像を補助画像として用いることも可能である。補助画像の種類や形状は、オブジェクトの種類に応じて適宜選択される。
【０１９９】
以上においては、オブジェクトの大きさが両眼視領域の左右の両方の境界に跨がる大きさである場合について説明したが、左右のいずれかの境界にのみ跨がる大きさである場合、オブジェクトが跨がる境界部分には同様にして補助画像が表示される。
【０２００】
図３１は、補助画像の他の表示例を示す図である。
【０２０１】
図３１の例においては、両眼視領域の左端に跨がるようにオブジェクトが配置されている。この場合、図３１の左上に示すように、左眼用画像にのみ補助画像が合成される。補助画像の合成位置は、両眼視領域と単眼視領域の境界の位置である。
【０２０２】
このように、補助画像の合成は、両眼視領域と単眼視領域の境界にオブジェクトが跨っている画像に対してのみ行われる。
【０２０３】
補助画像として表示される線の輝度をユーザが好みに応じて調整することができるようにしてもよい。また、補助画像の表示／非表示をユーザが選択することができるようにしてもよい。
【０２０４】
＜＜その他の例＞＞
左眼用画像と右眼用画像の生成がHMD１により行われるものとしたが、コンテンツ配信サーバ２において行われるようにしてもよい。
【０２０５】
図３２は、コンテンツ配信サーバ２の構成例を示すブロック図である。
【０２０６】
CPU１００１、ROM１００２、RAM１００３は、バス１００４により相互に接続されている。
【０２０７】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。
【０２０８】
また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
【０２０９】
図３２に示す構成を有するコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムをRAM１００３にロードして実行することにより、図１３または図２２に示す構成を有する出力制御部５５が実現される。
【０２１０】
コンテンツ配信サーバ２において実現される出力制御部５５は、通信部１００９を制御し、HMD１と通信を行う。出力制御部５５は、HMD１から送信されてきたユーザ情報と周辺情報に基づいて左眼用画像と右眼用画像を生成し、HMD１に送信して表示させる。
【０２１１】
HMD１においては、コンテンツ配信サーバ２から送信されてきた左眼用画像と右眼用画像が通信部５７により受信され、それぞれ左眼用表示部５６Ｌと右眼用表示部５６Ｒに供給されて表示される。
【０２１２】
このように、オブジェクトの提示がコンテンツ配信サーバ２による制御に従って行われるようにすることが可能である。
【０２１３】
また、以上においては、HMD１が透過型の表示デバイスを有するARヘッドマウントディスプレイであるものとしたが、非透過型の表示デバイスを有するVRヘッドマウントディスプレイであってもよい。VRヘッドマウントディスプレイに設けられる左眼用と右眼用のそれぞれの表示デバイスも、視野角の拡大のために左右にオフセットが設定された状態で設けられる。
【０２１４】
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０２１５】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図３２に示されるリムーバブルメディア１０１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０２１６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２１７】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２１８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２１９】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２２０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２２１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２２３】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
【０２２４】
（１）
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得する取得部と、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する制御部と
を備える情報処理装置。
（２）
前記輝度補正領域を対象として輝度補正を行う輝度補正部をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記輝度補正部は、前記輝度補正領域の輝度を下げるように輝度補正を行う
前記（２）に記載の情報処理装置。
（４）
前記輝度補正部は、前記輝度補正領域が設定された表示領域の端に近づくにつれて輝度が下がるように輝度補正を行う
前記（２）または（３）に記載の情報処理装置。
（５）
前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の広い前記輝度補正領域を設定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記制御部は、前記第１の表示領域の右端と前記第２の表示領域の左端に前記輝度補正領域を設定する
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記制御部は、前記オブジェクトの奥行き方向の位置が離れるに従って、幅の狭い前記輝度補正領域を設定する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
（８）
前記制御部は、前記第１の表示領域の左端と前記第２の表示領域の右端に前記輝度補正領域を設定する
前記（１）乃至（４）、（７）のいずれかに記載の情報処理装置。
（９）
前記制御部は、前記輝度補正領域の幅を、線形的に、または、段階的に変化させる
前記（５）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記制御部は、前記位置情報とともに、前記オブジェクトの形状と大きさのうちの少なくともいずれかを用いて、前記輝度補正領域を設定する
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
輝度補正が行われた前記左眼用の画像と前記右眼用の画像の歪み補正を行う歪み補正部をさらに備える
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（１２）
前記制御部は、両眼視領域となる前記第１の表示領域と前記第２の表示領域の内側に前記輝度補正領域を設定する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記制御部は、前記オブジェクトの位置に応じた幅の前記両眼視領域を設定し、
前記両眼視領域と、前記両眼視領域の外側の領域である単眼視領域との境界を表す所定の画像を生成する画像生成部をさらに備える
前記（１２）に記載の情報処理装置。
（１４）
前記制御部は、前記オブジェクトを見ている前記ユーザの両眼の輻輳角に応じた幅の前記両眼視領域を設定する
前記（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記位置情報により表される、前記オブジェクトの奥行き方向の位置に応じた幅の前記両眼視領域を設定する
前記（１３）に記載の情報処理装置。
（１６）
前記画像生成部は、前記オブジェクトに応じて異なる画像を前記所定の画像として生成する
前記（１３）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
前記画像生成部は、前記オブジェクトの輝度を変化させた画像を前記所定の画像として生成する
前記（１３）乃至（１６）のいずれかに記載の情報処理装置。
（１８）
前記画像生成部は、前記オブジェクトの色度と彩度のうちの少なくともいずれかを変化させた画像を前記所定の画像として生成する
前記（１３）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
情報処理装置が、
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
情報処理方法。
（２０）
コンピュータに、
左眼用の画像と右眼用の画像を出力することによってユーザに知覚させる、オブジェクトの奥行き方向の位置情報を取得し、
前記左眼用の画像の表示領域に含まれる、前記右眼用の画像の表示領域と重なる領域である第１の表示領域と、前記右眼用の画像の表示領域に含まれる、前記左眼用の画像の表示領域と重なる領域である第２の表示領域とのうちの少なくともいずれかの表示領域に、輝度補正の対象となる輝度補正領域を前記位置情報に基づいて設定する
処理を実行させるためのプログラムが記録された記録媒体。
【符号の説明】
【０２２５】
１  HMD，  ５１  センサ，  ５１Ａ  視線検出デバイス，  ５２  カメラ，  ５３  ユーザ情報取得部，  ５４  周辺情報取得部，  ５５  出力制御部，  ５６Ｌ  左眼用表示部，  ５６Ｒ  右眼用表示部，  ５７  通信部，  ５８  電源部，  ８１  表示画像取得部，  ８２  表示位置決定部，  ８３  画像生成部，  ８３Ａ  補助画像生成部，  ８４  制御部，  ８５  輝度補正部，  ８６  歪み補正部
【図１】
2019118004.tif 000003
【図２】
2019118004.tif 000004
【図３】
2019118004.tif 000005
【図４】
2019118004.tif 000006
【図５】
2019118004.tif 000007
【図６】
2019118004.tif 000008
【図７】
2019118004.tif 000009
【図８】
2019118004.tif 000010
【図９】
2019118004.tif 000011
【図１０】
2019118004.tif 000012
【図１１】
2019118004.tif 000013
【図１２】
2019118004.tif 000014
【図１３】
2019118004.tif 000015
【図１４】
2019118004.tif 000016
【図１５】
2019118004.tif 000017
【図１６】
2019118004.tif 000018
【図１７】
2019118004.tif 000019
【図１８】
2019118004.tif 000020
【図１９】
2019118004.tif 000021
【図２０】
2019118004.tif 000022
【図２１】
2019118004.tif 000023
【図２２】
2019118004.tif 000024
【図２３】
2019118004.tif 000025
【図２４】
2019118004.tif 000026
【図２５】
2019118004.tif 000027
【図２６】
2019118004.tif 000028
【図２７】
2019118004.tif 000029
【図２８】
2019118004.tif 000030
【図２９】
2019118004.tif 000031
【図３０】
2019118004.tif 000032
【図３１】
2019118004.tif 000033
【図３２】
2019118004.tif 000034