(57)【要約】  表示装置は、両眼視差に基づく立体像が含まれる画像を表示する表示部と、立体像を遮蔽する遮蔽物を検出する検出部と、検出部による検出結果に基づいて、前記遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御する制御部と、を備える。
2013077338.tif 000002
【特許請求の範囲】
【請求項１】
両眼視差に基づく立体像が含まれる画像を表示する表示部と、
前記立体像を遮蔽する遮蔽物を検出する検出部と、
前記検出部による検出結果に基づいて、前記遮蔽物による前記立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて前記立体像に関連する関連像の表示を制御する制御部と、
を備えることを特徴とする表示装置。
【請求項２】
前記制御部は、前記立体像の表示位置に基づいて、前記関連像の表示位置を制御する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記制御部は、前記画像の領域のうち、前記遮蔽物によって遮蔽されない領域において前記関連像の表示を制御する
ことを特徴とする請求項１または請求項２に記載の表示装置。
【請求項４】
前記制御部は、前記検出結果に基づいて、前記遮蔽物によって前記立体像が遮蔽されているか否かを判定し、遮蔽されていると判定した場合、前記関連像が前記遮蔽物によって遮蔽されないように前記関連像を表示させる
ことを特徴とする請求項１から請求項３までのいずれか１項に記載の表示装置。
【請求項５】
前記制御部は、前記遮蔽物によって遮蔽される前記画像の遮蔽領域を判定し、前記画像の領域のうち、前記遮蔽領域とは異なる領域に前記関連像を表示させる
ことを特徴とする請求項１から請求項４までのいずれか１項に記載の表示装置。
【請求項６】
前記制御部は、前記立体像に隣接する領域に前記関連像を表示させる
ことを特徴とする請求項１から請求項５までのいずれか１項に記載の表示装置。
【請求項７】
前記制御部は、前記表示部に対する奥行き方向において、前記立体像の表示位置とは異なる表示位置に前記関連像を立体表示させる
ことを特徴とする請求項１から請求項６までのいずれか１項に記載の表示装置。
【請求項８】
前記制御部は、前記表示部に対する奥行き方向において、前記立体像の表示位置よりも前記表示部から遠い表示位置に、前記関連像を立体表示させる
ことを特徴とする請求項１から請求項７までのいずれか１項に記載の表示装置。
【請求項９】
前記制御部は、前記表示部に対する奥行き方向において、前記立体像の表示位置よりも前記表示部に近い表示位置に、前記関連像を立体表示させる
ことを特徴とする請求項１から請求項８までのいずれか１項に記載の表示装置。
【請求項１０】
前記制御部は、前記表示部に対する奥行き方向における前記関連像の表示位置を時間とともに変化させて立体表示させる
ことを特徴とする請求項１から請求項９までのいずれか１項に記載の表示装置。
【請求項１１】
前記関連像には、前記立体像と同一の像が含まれる
ことを特徴とする請求項１から請求項１０までのいずれか１項に記載の表示装置。
【請求項１２】
前記制御部は、前記立体像を拡大した像を前記関連像として表示させる
ことを特徴とする請求項１から請求項１１までのいずれか１項に記載の表示装置。
【請求項１３】
前記制御部は、前記遮蔽物によって遮蔽される前記立体像の遮蔽領域を判定し、前記立体像に対する前記遮蔽領域の割合に基づいて、前記関連像を表示させる
ことを特徴とする請求項１から請求項１２までのいずれか１項に記載の表示装置。
【請求項１４】
表示装置のコンピュータに、
両眼視差に基づく立体像が含まれる画像を表示するステップと、
前記立体像を遮蔽する遮蔽物を検出するステップと、
検出結果に基づいて、前記遮蔽物による前記立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて前記立体像に関連する関連像の表示を制御するステップと、
を実行させる表示制御プログラム。
【請求項１５】
前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像の周囲のテクスチャーの密度及び分布を含むことを特徴とする表示装置。
【請求項１６】
前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像と前記遮蔽物との相対的なサイズ差を含むことを特徴とする表示装置。
【請求項１７】
前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像と前記遮蔽物との相対的な位置関係を含むことを特徴とする表示装置。
【請求項１８】
前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像が前記遮蔽物によって遮蔽され続けた時間の長さを含むことを特徴とする表示装置。
【請求項１９】
前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像と、前記表示部に表示される周囲の表示物との相対的な位置関係を含むことを特徴とする表示装置。
【請求項２０】
前記立体像の表示状態及び遮蔽状態の少なくとも一方は、前記立体像を見つめるユーザの右目像と左目像の一致度を含むことを特徴とする表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示制御プログラムに関する。
本願は、２０１１年１１月２１日に出願された日本国特願２０１１−２５３８０５号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
左右の眼に異なる画像を見せることで、ユーザに立体像を見せる三次元ディスプレイが存在する。特許文献１には、シャッタ式眼鏡を用いて映像を視聴する際、手によって映像が遮蔽されるとシャッタ式眼鏡の片側のシャッタを閉じ、片眼にのみ映像が届くようにして二重像の発生を防ぐことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開２０１１−９０６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、三次元ディスプレイが、例えばユーザの操作ジェスチャーによる入力を受け付ける操作子を立体像として表示する場合、指等により操作子を押下しようとすれば、指等により操作子が遮蔽され視認できなくなってしまう。【０００５】
本発明の態様は、遮蔽物により遮蔽される立体像を確認できるように表示する表示装置、表示制御プログラムを提供する。
【課題を解決するための手段】
【０００６】
本発明の態様は、両眼視差に基づく立体像が含まれる画像を表示する表示部と、立体像を遮蔽する遮蔽物を検出する検出部と、検出部による検出結果に基づいて、遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御する制御部と、を備えることを特徴とする表示装置である。【０００７】
また、本発明の態様は、表示装置のコンピュータに、両眼視差に基づく立体像が含まれる画像を表示するステップと、立体像を遮蔽する遮蔽物を検出するステップと、検出結果に基づいて、遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御するステップと、を実行させる表示制御プログラムである。
【発明の効果】
【０００８】
本発明の態様によれば、遮蔽物により遮蔽される立体像を確認できるように表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態による表示装置の構成例を示すブロック図である。
【図２】本発明の一実施形態による表示装置の外観を示す図である。
【図３】本発明の一実施形態による表示装置とユーザとの位置関係を示す図である。
【図４】本発明の一実施形態による表示装置とユーザとの位置関係を示す図である。
【図５】本発明の一実施形態による表示部が表示する立体像の概要を示す図である。
【図６】本発明の一実施形態による表示部が表示する画面の例を示す図である。
【図７】本発明の一実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図８】本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。
【図９】本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。
【図１０】本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。
【図１１】本発明の一実施形態による立体像と、遮蔽物と、補助表示する関連像との関係を示す図である。
【図１２】本発明の一実施形態による表示装置の動作例を示すフローチャートである。
【図１３】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図１４】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図１５】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図１６】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図１７】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図１８】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図１９】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図２０】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図２１】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図２２】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図２３】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【図２４】本発明の別の実施形態による表示部が関連像を補助表示する画面の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態による表示装置１００の構成を示すブロック図である。表示装置１００は、撮影部１０１と、検出部１０２と、操作判定部１０３と、表示部１０４と、表示画像記憶部１０５と、制御部１０６とを備えている。
【００１１】
図２は、表示装置１００の外観を示す図である。表示装置１００は、表示部１０４の表示面に視差画像を表示し、ユーザＡの左右の眼に両眼視差のある画像を見せることで、ユーザＡに立体像Ｂを見せる三次元ディスプレイである。表示装置１００は、裸眼式と眼鏡式とのいずれの方式により三次元表示を行うものでもよいが、本実施形態では裸眼式による例を説明する。また、表示装置１００は、ＬＣＤ（Liquid Crystal Display）、プラズマ、有機ＥＬ（Electro Luminescence）等のいずれのディスプレイ表示原理を適用するものでもよい。また、表示装置１００は、前面上部にユーザＡを撮影する撮影部１０１を備えている。ただし、撮影部１０１は、前面上部でなくとも、画面の表示方向を撮像できる位置に備えられていればよい。本実施形態においては、表示装置１００の表示部１０４に対して平行（水平）方向をＸ軸方向、垂直方向をＹ軸方向、奥行き方向をＺ軸方向として説明する。
【００１２】
図１に戻り、撮影部１０１は、表示部１０４による表示方向における所定領域を撮影して撮影画像を生成するカメラである。ここで、所定領域とは、表示部１０４によって表示される立体像をユーザが視認する際に、物体が存在すれば立体像を遮蔽することとなる空間領域を含む領域である。撮影部１０１は、動画を撮影してもよいし、一定時間毎に静止画を撮影してもよい。また、撮影部１０１は、ひとつのカメラでもよいし、複数のカメラでもよい。また、撮影部１０１は、チルト式のカメラでもよいし、魚眼式のカメラでもよい。
【００１３】
検出部１０２は、表示部１０４によって表示される立体像を遮蔽する遮蔽物を検出する。例えば、検出部１０２は、撮影部１０１が撮影した撮影画像に基づいて、表示部１０４の表示方向における所定領域の遮蔽物の位置とユーザの目線位置とを検出する。例えば、検出部１０２は、撮影部１０１が撮影した撮影画像を解析し、撮影画像に含まれる動体を検出する。検出部１０２は、撮影部１０１が撮影した動画のフレーム毎の差分領域を抽出し、差分が生じている領域に動体が存在すると判定することができる。例えば、検出部１０２は、図３（ａ）に示すように、撮影部１０１による撮影画像から、表示装置１００の表示方向に存在するユーザＡを検出する。このとき、表示装置１００の撮影部１０１には、例えば図３（ｂ）に示すような撮影画像が撮影される。
【００１４】
さらに、検出部１０２は、表示部１０４に対する奥行き方向（Ｚ軸方向）における遮蔽物の位置と、表示部１０４の表示面に対する平行方向（Ｘ軸方向）における遮蔽物の位置と、遮蔽物の大きさと、遮蔽物の形状とのうち、少なくとも１つの特徴量を検出する。検出部１０２は、顔検出アルゴリズムや手領域検出アルゴリズム等を用いて、撮影画像に含まれるユーザＡの顔領域や、遮蔽物である手の領域を検出し、三次元空間における、顔の位置や手の位置、顔や手の大きさ、顔や手の形状を検出する。ここで、検出部１０２は、撮影画像からユーザＡの顔領域が検出できない場合、ユーザＡの胴体または腕の位置を検出し、ユーザＡの顔の推定位置を算出することもできる。また、検出部１０２は、このように検出したユーザＡの顔の位置から、ユーザＡの目線位置を検出することもできる。
【００１５】
ここで、立体像を裸眼式により表示させる場合、図４に示すように、立体像が観察可能なユーザＡの目線位置の領域は限定される。すなわち、このような観察可能領域Ｒの位置は既知であり、ユーザＡの目線位置は予め定められる。そこで、このような観察可能領域の位置を、ユーザＡの目線位置として予め表示装置１００の記憶領域に記憶しておくようにしてもよい。
【００１６】
操作判定部１０３は、検出部１０２が検出した動体の動きに応じて、表示装置１００に対する操作を判定する。すなわち、操作判定部１０３は、ユーザＡの動作による操作ジェスチャーの入力を受け付ける。例えば、操作判定部１０３は、検出部１０２が検出した遮蔽物の位置に操作子の立体像が表示されていれば、その操作子が押下されたものと判定する。
【００１７】
表示部１０４は、表示する画像の視差量を変化させて両眼視差に基づく立体像を表示する。図５は、表示部１０４が表示する立体像の概要を示す図である。ユーザＡの位置から表示装置１００の表示部１０４を視認するとき、ユーザＡの右眼に与える右眼像をＰ１の位置に、ユーザＡの左眼に与える左眼像をＰ２の位置に表示させることで、奥行き方向におけるＰ３の表示位置に、両眼視差に基づく立体像を飛び出し表示させることができる。
【００１８】
図６は、表示部１０４が表示する画面の例を示す図である。図６（ａ）は、複数のアイコン（例えば、Ｇ等）が表示されている例である。表示部１０４は、それぞれのアイコンＧを立体像として表示させることができる。図６（ｂ）は、複数の操作子（例えば、Ｈ等）が表示されている例である。表示部１０４は、それぞれの操作子Ｈを立体像として表示させることができる。
図１に戻り、表示画像記憶部１０５には、表示部１０４に表示させる表示画像が記憶される。表示画像は、表示画像記憶部１０５に予め記憶されていてもよいし、無線または有線のネットワークを介して外部から受信して記憶されるようにしてもよい。
【００１９】
制御部１０６は、表示画像記憶部１０５に記憶されている表示画像を読み出し、右眼像と左眼像との視差画像を生成して表示部１０４に表示させる。制御部１０６は、検出部１０２による検出結果に基づいて、遮蔽物による立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、この判定結果に基づいて立体像に関連する関連像の表示を制御する。
【００２０】
例えば、検出部１０２によって検出された遮蔽物（例えば、手など）の位置と、ユーザの目線位置と、予め定められた表示部１０４の位置とに基づいて、制御部１０６は、ユーザの目線位置から表示部１０４に対する視認方向における遮蔽物によって遮蔽される画像の遮蔽領域を判定する。ユーザの目線位置は、上述したように、ユーザの胴体または腕の位置に基づいて算出されたユーザの顔の推定位置でもよいし、予め定められた観察可能領域でもよい。例えば、ユーザの目線位置と、表示部１０４における表示画面を直線上に結び、その直線上に存在する遮蔽物の位置、大きさ、形状等に基づいて遮蔽物を表示画面上に射影することで、画像の遮蔽領域を判定することができる。
【００２１】
また、制御部１０６は、遮蔽物によって立体像が遮蔽されているか否かを判定し、遮蔽されていると判定した場合、関連像が遮蔽物によって遮蔽されないように表示させる。ここで、制御部１０６は、遮蔽された立体像の表示位置に基づいて、遮蔽物によって遮蔽されない領域において関連像の表示位置を制御する。つまり、制御部１０６は、遮蔽物によって遮蔽された立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、関連像の表示を制御する。
【００２２】
例えば、図７に示すように、制御部１０６は、立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物によって遮蔽されず、立体像に隣接する領域に、関連像を補助的に表示させる。図７（ａ）、（ｂ）は、図６（ａ）、（ｂ）に示す立体像に指が近接した場合の表示例を示している。
【００２３】
図７（ａ）において、立体像Ｇ１（以下、単にアイコンＧ１と称す）が指（遮蔽物）に遮蔽されている。そのため、遮蔽物（本実施形態では、指）によって遮蔽されず、アイコンＧ１に隣接する領域であるアイコンＧ１の上部に、遮蔽されたアイコンＧ１の関連像Ｇ２（以下、単にアイコンＧ２と称す）を、制御部１０６が補助表示させる。このとき、補助表示されるアイコンＧ２は、例えば、図７（ａ）に示すように遮蔽されたアイコンＧ１と同様のアイコンを吹き出し状（ポップアップ表示）にして、アイコンＧ１の上部に表示させたものである。すなわち、制御部１０６は、図７（ａ）のアイコンＧ２や図７（ｂ）のアイコンＨ２のように、遮蔽物によって遮蔽されず、立体像に隣接する領域に、関連像をポップアップさせて表示させる。このように、制御部１０６が、遮蔽物（本実施形態では、指）によって遮蔽される画像（アイコンＧ１）の遮蔽領域を判定し、画像の領域のうち、遮蔽領域とは異なる領域に関連像（アイコンＧ２）を表示させることで、ユーザは、遮蔽された立体像（アイコンＧ１）がどのようなものであるかを、補助表示された関連像（アイコンＧ２）を視認して確認することができる。
【００２４】
表示させる関連像には、遮蔽された立体像と同一の像が含まれるようにしてもよい。例えば、遮蔽された立体像に関連し、遮蔽された立体像を想起させるようなものであればよい。例えば、表示させる関連像は、遮蔽された立体像を文字によって表す像であっても良い。
【００２５】
また、図７（ａ）では、遮蔽された立体像（アイコンＧ１）にＹ軸方向（垂直方向）に隣接する領域に関連像を表示する例を示したが、Ｘ軸方向（平行方向）においてに隣接する領域に関連像を表示しても良い。すなわち、遮蔽物に遮蔽されない領域に表示される関連像は、ＸＹ軸平面上における任意の位置に表示させることができる。
【００２６】
同様に、図７（ｂ）においては、立体像Ｈ１（以下、単に操作子Ｈ１と称す）が指に遮蔽されているので、遮蔽物（本実施形態では、指）によって遮蔽されず、アイコンＨ１に隣接する領域であるアイコンＨ１の上部に、遮蔽されたアイコンＨ１の関連像Ｈ２（以下、単にアイコンＨ２と称す）を、制御部１０６が補助表示させる。
【００２７】
補助表示される関連像は、立体像と同様に立体表示させても良いし、表示部１０４の表示面上に二次元表示させても良い。また、制御部１０６は、検出部１０２が検出した遮蔽物が立体像を遮蔽しないと判定すると、関連像の補助表示を非表示にする。
【００２８】
図８は、立体像Ｊを表示する表示装置１００と、遮蔽物である手Ｋと、補助表示する関連像Ｌとの奥行距離Ｄの関係を示す図である。奥行距離Ｄとは、Ｚ軸方向における奥行き方向の距離である。図８に示すように、補助表示する関連像Ｌの奥行距離は、立体像Ｊと同様にすることができる。このように、奥行距離の急激な変化を少なくすることで、眼への疲労感を軽減することができる。
【００２９】
また、図９に示すように、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、立体像Ｊ（立体像の表示位置）よりも表示部１０４から遠い位置に表示させることができる。
【００３０】
また、図１０に示すように、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、立体像Ｊよりも表示部１０４に近い位置に表示させることができる。また、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、表示部１０４上の位置に表示させることもできる。
【００３１】
このように、表示部１０４に対する奥行き方向において、立体像Ｊの表示位置とは異なる表示位置に関連像Ｌを立体表示させることで、補助表示させる関連像Ｌを強調することができる。また、ユーザの両眼視野闘争を抑制することができる。
【００３２】
また、図１１に示すように、制御部１０６は、表示部１０４に対する奥行き方向において、補助表示する関連像Ｌを、立体像Ｊよりも表示部１０４から遠い位置と、立体像Ｊよりも表示部１０４に近い位置とを時間とともに（フレーム毎に）動的に変化させるように表示させることができる。このように、立体像Ｊと補助表示させる立体像Ｌとの奥行距離を変化させることで、補助表示させる立体像Ｌを強調することができる。
【００３３】
また、制御部１０６は、立体像が遮蔽領域に含まれると判定すると、立体像を、遮蔽物に遮蔽されないように拡大した像を関連像として表示させることもできる。
また、制御部１０６は、操作判定部１０３が判定した操作に応じた動作を行う。例えば、入力された操作ジェスチャーに応じて表示部１０４に表示する画像を制御する。
【００３４】
次に、図面を参照して、本実施形態による表示装置１００の動作例を説明する。図１２は、表示装置１００が関連像を補助表示する動作例を示すフローチャートである。
【００３５】
制御部１０６は、表示画像記憶部１０５に記憶されている表示画像を読み出して視差画像を生成し、表示部１０４に表示させる。撮影部１０１は、表示部１０４が表示されている表示方向（例えば、表示部１０４から向かって、ユーザが立っている方向）を撮影して撮影画像を生成する。検出部１０２が、撮影部１０１によって生成された撮影画像から遮蔽物を検出すると（ステップＳ１）、制御部１０６は、遮蔽物による立体像の遮蔽領域を判定する（ステップＳ２）。制御部１０６は、立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物により遮蔽されていない表示部１０４の領域に、関連像を補助表示させる（ステップＳ３）。また、検出部１０２が遮蔽物を検出しないと判定すると、制御部１０６は、関連像の補助表示を非表示にする。
【００３６】
以上説明したように、本実施形態によれば、表示装置１００が表示する立体像が指等によって遮蔽された場合、表示部１０４が表示する画像における遮蔽されていない領域に関連像を補助表示する。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかを確認することができる。ここで、補助表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００３７】
なお、本実施形態における表示装置１００である三次元ディスプレイには、例えばデジタルフォトフレーム、デジタルサイネージ、家庭用テレビ等が適用できる。あるいは、三次元表示可能なスマートフォンを適用してもよい。この場合、例えばタッチパネルにより触れられている部分を遮蔽領域として判定することができる。あるいは、非接触の空間感度を持つタッチパネルを適用すれば、非接触の状態でも同様に遮蔽領域を判定することができる。この場合、例えば、操作判定部１０３は、指が操作子である立体像に触った（タップした）場合に立体像を表示させ、押下した場合にその操作子が選択されたように制御することができる。または、例えば指等の遮蔽物を所定領域に検出した場合、指の位置に立体像を近接させるように制御し、立体像が指に遮蔽されたら関連像の補助表示を行い、押下されたら操作子が選択されたように制御することができる。
【００３８】
また、制御部１０６は、補助表示する関連像の表示位置を、ＸＹ軸平面上において動的に変化させることもできる。
また、本実施形態では、立体像が遮蔽される場合に、関連像が、立体像に対してＸ軸方向またはＹ軸方向に隣接する領域に表示させる例を示した。しかし、ユーザの目線位置と、遮蔽物と、表示部との角度により、Ｚ軸方向に変化させることでユーザに視認可能に表示することができる場合には、表示位置をＺ軸方向に変更しても良い。
【００３９】
また、制御部１０６は、立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物によって遮蔽される立体像の遮蔽領域を判定し、立体像に対する遮蔽領域の割合に基づいて、補助表示する関連像を表示させるようにしてもよい。例えば、立体像に対する遮蔽領域の割合が大きければ関連像をより大きく表示し、立体像に対する遮蔽領域の割合が小さければ、関連像が遮蔽されない程度において関連像を小さく表示するようにしても良い。
【００４０】
関連像を表示する別の方法としては、以下のような例が考えられる。例えば、立体像が遮蔽物によって遮蔽された場合に、制御部１０６が、遮蔽された立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽される前に立体像が表示されていた位置から、遮蔽物によって遮蔽されていない領域へ、立体像が移動するような関連像を、シフト表示として表示させる例が考えられる。
【００４１】
図１３（ａ）において、アイコンＭ１は、遮蔽される前に表示されていた立体像を示し、アイコンＭ２は、アイコンＭ１をシフト表示させて表示した関連像を示し、シフト量ＳＦは、アイコンＭ１の位置からアイコンＭ２の位置まで、アイコンＭ１がシフト表示されてシフトした距離を示している。例えば、指などの遮蔽物によってアイコンＭ１が遮蔽された場合に、制御部１０６は、遮蔽された立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽される前にアイコンＭ１（立体像）が表示されていた位置から、アイコンＭ１（立体像）をシフト量ＳＦだけ移動したアイコンＭ２（関連像）の位置に、シフト表示としてアイコンＭ２（関連像）を表示する。
【００４２】
図１３（ａ）では、アイコンＭ１が垂直方向にシフトしたような、アイコンＭ２をシフト表示させる例を示した。しかし、アイコンＭ２をシフト表示させる方向は、垂直方向に限らず、図１３（ｂ）及び図１３（ｃ）に示すように、アイコンＭ１に対して平行方向を含む任意の方向であってもよい。
【００４３】
なお、図１３では、アイコンＭ１の表示を消して、関連像であるアイコンＭ２をシフト表示させる例を示した。しかし、アイコンＭ１の表示を残したまま、関連像であるアイコンＭ２をシフト表示してもよい。
【００４４】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、遮蔽される前に立体像が表示されていた位置から、遮蔽物によって遮蔽されない領域へ、立体像が移動するような関連像を、シフト表示として表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像をシフト表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、シフト表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００４５】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽物によって遮蔽されている立体像の領域が相対的に少なくなるように、遮蔽されている立体像を拡大させた関連像を、拡大表示として表示する例が考えられる。
【００４６】
図１４において、アイコンＮ１は、遮蔽される前に表示されていた立体像を示し、アイコンＮ２は、アイコンＮ１を拡大表示させて表示した関連像を示し、拡大量ＥＬは、アイコンＮ２までアイコンＮ１を拡大させた拡大量を示している。例えば、指などの遮蔽物によってアイコンＮ１が遮蔽された場合に、制御部１０６は、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、遮蔽される前のアイコンＮ１（立体像）を拡大表示したアイコンＮ２を、関連像として表示させる。
【００４７】
なお、図１４では、アイコンＮ１の表示を消して、関連像であるアイコンＮ２を拡大表示させる例を示した。しかし、アイコンＮ１の表示を残したまま、関連像であるアイコンＮ２を拡大表示してもよい。
【００４８】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、遮蔽物によって遮蔽されている立体像の領域が相対的に少なくなるように、遮蔽されている立体像を拡大させた関連像を、拡大表示として表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を拡大表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、拡大表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００４９】
なお、両眼視野闘争は、ユーザが見つめる対象物が遮蔽物によって遮蔽される領域が少ないほど生じにくくなる。そのため、図１４で示した例のように、遮蔽されている立体像を拡大表示させた関連像を表示させることによって、立体像全体の領域に占める遮蔽物によって遮蔽された領域が相対的に少なくなり、両眼視野闘争の発生を抑制することができる。
【００５０】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１５に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像の周囲のテスクチャーの密度や分布が大きいほど、補助表示する関連像を、立体像から離れた位置に表示させる例が考えられる。より具体的には、例えば、遮蔽物によって遮蔽された立体像の周囲が、テクスチャーの密度や分布が大きい文書などである場合には、遮蔽された立体像を見つめるユーザの視野闘争が生じやすくなる。そのため、遮蔽される立体像の周囲のテクスチャー密度や分布の大きさに応じて、制御部１０６が、補助表示する関連像の表示方法を選択または変更して、関連像を表示する例が考えられる。
【００５１】
図１５において、アイコンＱ１は、遮蔽された立体像を示し、アイコンＱ２は、アイコンＱ１をポップアップ表示及び拡大表示を組み合せて表示した関連像を示している。また、アイコンＱ１の周囲には、テクスチャーの密度や分布が大きい、例えば文書などが表示されている。例えば、このように遮蔽された立体像の周囲のテクスチャーの密度や分布が大きい場合には、指などの遮蔽物によってアイコンＱ１が遮蔽されたときに、制御部１０６は、遮蔽されたアイコンＱ１（立体像）をポップアップ表示及び拡大表示させて、アイコンＱ２を関連像として表示する。
【００５２】
図１５では、ポインティングされる対象物である立体像の周囲のテスクチャーの密度や分布が大きいほど、補助表示する関連像を、立体像から離れた位置に表示させる例として、ポップアップ表示と拡大表示を組み合せた表示方法を示している。
【００５３】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、ポインティングされる対象物である立体像の周囲のテスクチャーの密度や分布が大きいほど、立体像から離れた位置に関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像をポップアップ表示及び拡大表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００５４】
なお、テクスチャーの密度や分布が高い領域では、より一層視野闘争が生じやすくなる。図１５に示す表示方法の例では、ポップアップ表示及び拡大表示を組み合せた補助表示を利用することによって、両眼視野闘争が生じやすい領域から離れた位置に、拡大された関連像が表示されている。そのため、より効果的に視野闘争を抑制することができる。
【００５５】
一方、ポインティングされる対象物である立体像のテスクチャーの密度や分布が小さい場合には、補助表示する関連像を立体像に近い位置に表示させても、視野闘争が生じにくい。そのため、関連像をポップアップ表示のみやシフト表示のみを用いて表示してもよい。
【００５６】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１６に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的なサイズ差に応じて、関連像を補助表示させる例が考えられる。より具体的には、例えば、同じ立体像に対して遮蔽する遮蔽物が、子供の指である場合と、遮蔽物が大人の指である場合とでは、指によって隠される立体像の領域が異なる。このように、遮蔽される立体像と遮蔽物との相対的なサイズ差に応じて、制御部１０６が、補助表示する関連像の表示方法を選択または変更して、関連像を表示する例が考えられる。
【００５７】
図１６において、アイコンＱ１は、遮蔽される前に表示されていた立体像を示し、アイコンＱ２は、アイコンＱ１をシフト表示させて表示した関連像を示している。また、アイコンＱ１の周囲には、テクスチャーの密度や分布が大きい、例えば文書などが表示されている。例えば、このように遮蔽された立体像の周囲のテクスチャーの密度や分布が大きい場合には、指などの遮蔽物によってアイコンＱ１が遮蔽されたときに、制御部１０６は、遮蔽される前のアイコンＱ１（立体像）をシフト表示及び拡大表示させて、アイコンＱ２を関連像として表示する。
【００５８】
図１６では、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的なサイズ差が小さいほど、補助表示する関連像を、立体像から離れた位置に表示させる例として、シフト表示と拡大表示を組み合せた表示方法を示している。
【００５９】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、ポインティングされる対象物である立体像と遮蔽物との相対的なサイズ差に応じて、遮蔽物から離れた位置に関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像をシフト表示及び拡大表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００６０】
なお、立体像と遮蔽物（例えば、指など）との相対的なサイズ差が小さく、立体像の大部分が遮蔽物によって隠されてしまうような場合には、より一層両眼視野闘争が生じやすくなる。図１６に示す表示方法の例では、シフト表示及び拡大表示を組み合せた補助表示を利用することによって、両眼視野闘争が生じやすい領域から離れた位置に、拡大された関連像が表示されている。そのため、より効果的に両眼視野闘争を抑制することができる。
【００６１】
一方、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的なサイズ差が大きく、立体像の大部分が遮蔽物によって隠されないような場合には、補助表示する関連像を立体像に近い位置に表示させても、両眼視野闘争が生じにくい。そのため、関連像をポップアップ表示のみやシフト表示のみを用いて表示してもよい。
【００６２】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１７に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的な位置関係に応じて、制御部１０６が、関連像を補助表示させる例が考えられる。より具体的には、例えば、遮蔽物によって遮蔽された立体像の部位に応じて、制御部１０６が、補助表示する関連像の表示位置や表示方法を選択または変更して、関連像を表示する例が考えられる。
【００６３】
図１７（ａ）において、アイコンＭ１は、遮蔽される前に表示されていた立体像を示し、アイコンＭ２は、アイコンＭ１をシフト表示させて表示した関連像を示し、シフト量ＳＦは、アイコンＭ１の位置からアイコンＭ２の位置まで、アイコンＭ１がシフト表示されてシフトした距離を示している。
【００６４】
図１７（ａ）では、ポインティングされる対象物である立体像と遮蔽物（例えば、指など）との相対的な位置関係に応じて関連像が表示される一つの例として、立体像の右下部が遮蔽物によって遮蔽された場合には、制御部１０６が、遮蔽された立体像の左上方向へ立体像をシフト表示させて表示する表示方法を示している。
【００６５】
図１７（ｂ）において、アイコンＭ１は、遮蔽された立体像を示し、アイコンＭ２は、アイコンＭ１をポップアップ表示させて表示した関連像を示している。
【００６６】
図１７（ｂ）では、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）との相対的な位置関係に応じて関連像を表示させる別の例として、立体像の右下部が遮蔽物によって遮蔽された場合には、制御部１０６が、遮蔽された立体像の右上方向へ立体像をポップアップ表示させて表示する表示方法を示している。
【００６７】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、遮蔽される立体像と遮蔽物との相対的な位置関係に応じて関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００６８】
なお、図１７で示した、遮蔽される立体像と遮蔽物との相対的な位置関係に応じた関連像が表示される方向は、上記の例に限らず、表示する関連像が遮蔽されない任意の方向であってもよい。
【００６９】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１８に示すように、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）によって遮蔽された場合に、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、最初に立体像をシフト表示し、そのまま遮蔽物が立体像を遮蔽した状態を一定時間以上維持した場合には、表示方法を変更させて関連像を補助表示させる例が考えられる。すなわち、立体像が遮蔽物によって遮蔽され続けた経過時間の長さに応じて、制御部１０６が、補助表示する関連像の表示方法を変更して、関連像を表示する例が考えられる。
【００７０】
図１８（ａ）において、アイコンＭ１は、遮蔽された立体像を示し、アイコンＭ２は、アイコンＭ１をシフト表示させて表示した関連像を示し、シフト量ＳＦは、アイコンＭ１の位置からアイコンＭ２の位置まで、アイコンＭ１がシフト表示されてシフトした距離を示している。
【００７１】
図１８（ａ）では、ポインティングされる対象物である立体像が、遮蔽物（例えば、指など）によって、遮蔽開始時点から所定時間Ｔ１よりも短い時間の間だけ遮蔽され続けている場合に、制御部１０６が、遮蔽された立体像をシフト表示して表示する表示方法を示している。
【００７２】
図１８（ｂ）において、アイコンＭ１は、図１８（ａ）の状況からそのまま遮蔽物によって遮蔽され続けている立体像を示し、アイコンＭ２は、アイコンＭ１をポップアップ表示させて表示した関連像を示している。
【００７３】
図１８（ｂ）では、ポインティングされる対象物である立体像が、遮蔽物（例えば、指など）によって、遮蔽開始時点から所定時間Ｔ１よりも長い時間に渡って遮蔽され続けている場合に、制御部１０６が、遮蔽され続けている立体像の関連像を図１８（ａ）で示されるシフト表示からポップアップ表示へ移行する表示方法を示している。
【００７４】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像が遮蔽物によって遮蔽され続けた経過時間の長さに応じて、補助表示する関連像の表示方法を変更させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００７５】
また、図１８では、立体像が遮蔽されている時間が所定時間Ｔ１よりも長い時間に渡って遮蔽され続けた場合に、関連像がシフト表示からポップアップ表示へ移行する例を示した。しかし、関連像の表示方法は上記に限られず、例えば、関連像がポップアップ表示からシフト表示へ移行するなど、別の表示方法を用いて表示してもよい。
【００７６】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図１９に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像が、ユーザに遮蔽物（例えば、指など）で指示された指示開始から実際の立体像のポインティングまでの時間に応じて、関連像を補助表示させる例が考えられる。すなわち、立体像が遮蔽物で指示され始めてから実際に立体像がポインティングされるまでの経過時間の長さに応じて、制御部１０６が、補助表示する関連像の表示方法を変更して、関連像を表示する例が考えられる。一例として、図１９を参照して、立体像が遮蔽物で指示され始めてから実際に立体像がポインティングされるまでの経過時間が所定時間よりも長い場合に、制御部１０６が、立体像をポップアップ表示させる関連像の表示方法を説明する。
【００７７】
図１９は、立体像Ｊ１を表示する表示装置１００と、遮蔽物である手Ｋ１と、補助表示する関連像Ｌ１との奥行距離Ｄ１の関係を示す図である。奥行距離Ｄ１とは、Ｚ軸方向における奥行き方向の距離である。また、奥行距離Ｄ１は、検出部１０２が、遮蔽物Ｋ１が指示を開始したかどうか判定するための指示開始位置である。検出部１０２は、図１９（ａ）のように、奥行距離Ｄ１よりも表示装置１００に近い位置に遮蔽物Ｋ１が存在した場合に、ユーザが立体像Ｊ１の指示を開始したと判定する。遮蔽物Ｋ１の位置が、表示装置１００に関して指示開始位置（奥行距離Ｄ１）よりも近くにあるか遠くにあるかに応じて、検出部１０２は、遮蔽物Ｋ１による指示開始を判定する。そして、制御部１０６は、図１９（ｂ）のように、ユーザが立体像Ｊ１の指示を開始したと検出部１０２によって判定された時間から、実際にユーザが遮蔽物Ｋ１で立体像Ｊ１を奥行距離Ｄ´１の位置でポインティングするまでにかかった経過時間Ｔ２を計測する。制御部１０６は、経過時間Ｔ２が所定時間よりも長かった場合には、関連像Ｌ１を、ポップアップ表示として補助表示する。
【００７８】
一方、例えば、立体像Ｊ１が遮蔽物Ｋ１で指示され始めてから実際に立体像Ｊ１がポインティングされるまでの経過時間Ｔ２が所定時間よりも短い場合には、制御部１０６は、関連像Ｌ１を、シフト表示として補助表示する（不図示）。
【００７９】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像が遮蔽物で指示され始めてから実際に立体像がポインティングされるまでの経過時間の長さに応じて、補助表示する関連像の表示方法を変更して、関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽されている立体像の関連像を補助表示することによって、ユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００８０】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図２０に示すように、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、ポインティングされる対象物である立体像と、立体像の周囲に表示されている立体像とは別の表示物との位置関係に応じて、補助表示する関連像の表示位置を選択して表示する例が考えられる。
【００８１】
より具体的には、例えば、制御部１０６が遮蔽物によって遮蔽された立体像を補助表示する際に、立体像の周囲に別のアイコンが画面に表示されている場合には、別のアイコンと離れた位置に関連像を補助表示することによって、別のアイコンとの干渉を防ぎ、より視認性を高めることができる。一例として、図２０を参照して、遮蔽される立体像の周囲に別の表示物（アイコン）が表示されている場合に、制御部１０６が、関連像をポップアップ表示させる表示方法を説明する。
【００８２】
図２０において、アイコンＭ１は、遮蔽された立体像を示し、アイコンＭ２は、アイコンＭ１をポップアップ表示させて表示した関連像を示している。また、アイコンＭ１の周囲には、例えばアイコンＭ３のような、遮蔽されるアイコンＭ１とは別のアイコンが表示されている。
【００８３】
例えばこのような場合には、指などの遮蔽物によってアイコンＭ１が遮蔽されたときに、制御部１０６は、遮蔽されたアイコンＭ１（立体像）をポップアップ表示させたアイコンＭ２を関連像として表示する。その際、制御部１０６は、アイコンＭ３が表示されている位置を考慮して、アイコンＭ３と干渉しない位置にアイコンＭ２をポップアップさせる。
【００８４】
図２０の例では、ポインティングされる対象物である立体像Ｍ１の右側に別のアイコンＭ３が表示されているため、補助表示する関連像Ｍ２を、別のアイコンＭ３が表示されている位置の逆方向の位置に表示させる例として、ポップアップ表示を用いた表示方法を示している。補助表示する関連像の表示方法は、ポップアップ表示に限られず、制御部１０６は、遮蔽される立体像の周囲の画面表示状況に応じて、補助表示する関連像が周囲の表示物と干渉しないように適切な表示方法を判断して、関連像を表示させることができる。
【００８５】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、ポインティングされる対象物である立体像と、立体像の周囲に表示されている立体像とは別の表示物との位置関係に応じて、補助表示する関連像の表示方法を変更して、関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。
【００８６】
特に、遮蔽される立体像の周囲の画面表示状況に応じて、補助表示する関連像が周囲の表示物と干渉しないように適切な表示方法を判断して、関連像を表示させることができるため、ユーザが認識しやすいように、より目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００８７】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図２１に示すように、ポインティングされる対象物である立体像が、ユーザに遮蔽物（例えば、指など）で遮蔽された場合に、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、立体像と同一の視差量で補助表示を表示させた後に続いて、所定の表示視差まで視差量を連続的に変化させながら関連像を表示する例が考えられる。一例として、図２１を参照して、制御部１０６が、立体像と同一の視差量でポップアップ表示を表示させた後に続いて、このポップアップ表示を所定の表示視差まで視差量を連続的に変化させながら、ポップアップ表示を表示する関連像の表示方法を説明する。
【００８８】
図２１は、立体像Ｊ２を表示する表示装置１００と、遮蔽物である手Ｋ２と、補助表示する関連像Ｌ２との奥行距離Ｄ２の関係を示す図である。奥行距離Ｄ２は、Ｚ軸方向における表示装置１００から立体像Ｊ２が表示される位置までの奥行き方向の距離である。また、関連像Ｌ２から所定の表示視差まで視差量を連続的に変化させて表示された関連像Ｌ３は、奥行距離Ｄ３の位置に表示される。
【００８９】
立体像Ｊ２が遮蔽物である手Ｋ２によって遮蔽されると、制御部１０６が、奥行距離Ｄ２の位置に、立体像Ｊ２と同一の視差量で関連像Ｌ２をポップアップ表示する。続いて、制御部１０６は、奥行距離Ｄ２の位置でポップアップ表示されている関連像Ｌ２の視差量を所定の表示視差まで視差量を連続的に変化させながら、奥行距離Ｄ３の位置に関連像Ｌ３をポップアップ表示として表示する。すなわち、制御部１０６は、遮蔽物によって遮蔽された立体像の関連像を、立体像と同一の視差量から、ユーザにとって浮かび上がって来るように見えるように所定の表示視差まで視差量を連続的に変化させながら関連像を表示する。
【００９０】
また、例えば、奥行距離Ｄ２の位置でポップアップ表示されている関連像Ｌ２の視差量を連続的に変化させる方向は、奥行距離Ｄ３の位置のように、表示装置１００から遠ざかる方向に限られず、表示装置１００に近づく方向に関連像Ｌ２の視差量を連続的に変化させて関連像を表示する表示方法としてもよい。
【００９１】
また、図２１では、関連像がポップアップ表示される例を示したが、例えば、連続的に視差を変化させながら表示する関連像は、シフト表示などの別の表示方法を用いて表示してもよい。
【００９２】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像と同一の視差量で補助表示を表示させた後に続いて、所定の表示視差まで視差量を連続的に変化させながら関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽された立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。
【００９３】
遮蔽される立体像と異なる視差量で関連像を補助表示する場合、立体像の周囲に、立体像の視差量と視差量が異なる関連像を瞬時に表示させると、立体像から関連像へのユーザの視差視が追従できず、補助表示される関連像をユーザが視認しにくい恐れがある。そのため、上記の表示方法のように、立体像の視差量から所定の関連像の視差量までを時間的に連続して変化させることによって、補助表示される関連像をユーザがより視認しやすくすることができる。
【００９４】
また、関連像を表示する別の方法としては、以下のような例が考えられる。例えば、図２２に示すように、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）によって遮蔽された場合に、制御部１０６が、遮蔽されている立体像の表示状態及び遮蔽状態の少なくとも一方を判定し、補助表示された関連像の周囲の表示物を暈して表示する例が考えられる。より具体的には、例えば、三次元表示で目立たせたい部分（関連像）以外の周囲の表示物の表示を薄くすることによって、関連像が目立つように表示する例が考えられる。なお、関連像の周囲の表示物を暈す方法の一例としては、例えば、周囲の表示物の表示を薄くしたり、周囲の表示物の表示のコントラスト値を変更したり、周囲の表示物の表示のα値（透明度）を変更したりする表示方法が考えられる。
【００９５】
図２２は、上述の図１５と同様に、立体像Ｑ１の周囲のテスクチャー密度や分布が大きいほど、制御部１０６が、補助表示する関連像Ｑ２を、立体像Ｑ１から離れた位置に表示させる表示方法で表示する例を示している。さらに図２２においては、制御部１０６が、遮蔽された立体像Ｑ１の周囲の表示物の表示を薄くする（暈す）ことによって、補助表示された関連像Ｑ２が目立つように表示している。
【００９６】
このように、本実施形態によれば、立体像が遮蔽物によって遮蔽された場合に、立体像を拡大し、遮蔽物から離れた位置に関連像をポップアップさせて表示し、さらに、関連像の周囲に表示されている表示物を薄くして（暈して）表示する。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽されている立体像の関連像を補助表示することによって、ユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。また、遮蔽された立体像の周囲の表示物が薄く（暈して）表示されるため、遮蔽物と周囲の表示物との境界で発生するユーザの両眼視野闘争をより効果的に抑制することができる。
【００９７】
なお、遮蔽された立体像の周囲の表示物を暈して表示する方法は、図２２に示した周囲の表示物の表示を薄くする表示方法に限られず、周囲の表示物のコントラスト値やα値を変更して、補助表示された関連像が目立つように表示してもよい。また、補助表示された関連像と周囲の表示物とのコントラスト値の比やα値の比を変更して、補助表示された関連像が目立つように表示してもよい。
【００９８】
また、関連像を表示する別の方法としては、以下のような例が考えられる。ユーザの両眼視野闘争は、ユーザの右眼に与える右眼像と左眼に与える左眼像との差異が大きいほど、一般的に生じやすくなる。例えば、ユーザの右眼像と左眼像のマッチング度（一致度）が高ければ、両眼視野闘争は生じにくくなる。一方、ユーザの右眼像と左眼像のマッチング度（一致度）が低ければ、両眼視野闘争が生じやすくなる。すなわち、ユーザの右眼像と左眼像の差異が大きいほど、両眼視野闘争が生じやすくなる。
【００９９】
そのため、例えば、ポインティングされる対象物である立体像が遮蔽物（例えば、指など）によって遮蔽された場合に、制御部１０６が、ユーザの右眼に与えられる右眼像と左眼に与えられる左眼像との差異を判定して、この差異の大小に応じて、補助表示される関連像の表示方法を選択したり、変更したりする例が考えられる。すなわち、遮蔽物によって遮蔽されている立体像を見つめるユーザの右眼像と左眼像のマッチング度（一致度）に応じて、補助表示される関連像の表示方法を変更する例が考えられる。
【０１００】
このように、本実施形態によれば、遮蔽物によって遮蔽されている立体像を見つめるユーザの右眼像と左眼像のマッチング度（一致度）に応じて、ユーザの両眼視野闘争が生じにくい表示方法を、選択したり、変更したりして関連像を表示させる。これにより、ユーザは、補助表示された関連像を視認することで、遮蔽された立体像がどのようなものであるかをより明確に確認することができる。また、遮蔽されている立体像の関連像を補助表示することによって、立体像の内容をユーザが認識しやすいように、目立たせることができる。さらに、表示された関連像は遮蔽物によって遮蔽されないため、ユーザは両眼から関連像を視認することができ、両眼視野闘争などの違和感を生じることがなく、眼の疲労感を軽減することができる。また、ユーザの両眼視野闘争の生じやすさに応じて、表示方法を選択したり、変更したりできるため、より適切な表示方法で関連像を表示することができる。
【０１０１】
図２３は、遮蔽物によって立体像が遮蔽されたときに、立体像であるアイコンＭ１をポップアップ表示して表示した関連像であるアイコンＭ２の例である。例えば、アイコンＭ１が表示されている領域をユーザが遮蔽している間は、制御部１０６が、図２３（ａ）のようにアイコンＭ２の中央部にマーカーＶ１を表示するようにしてもよい。図２３（ａ）では、マーカーＶ１の一例として、アイコンＭ２の中央部に×印が表示される例が示されている。
【０１０２】
また、図２３（ｂ）は、遮蔽物によって立体像が遮蔽されたときに、立体像であるアイコンＭ１をシフト表示して表示した関連像であるアイコンＭ２の例である。このとき、アイコンＭ１が表示されていた領域をユーザが遮蔽している間は、制御部１０６が、図２３（ｂ）のようにアイコンＭ２の中央部にマーカーＶ２を表示するようにしてもよい。図２３（ｂ）では、マーカーＶ２の一例として、アイコンＭ２上に遮蔽物（指など）の輪郭が半透明に表示される例が示されている。
【０１０３】
また、図２４のように、例えば、ポインティングされる対象物である立体像としてキーボードＫＢ１を表示し、このキーボードＫＢ１上でキーを打つ動作を行なうユーザの指を遮蔽物とし、ユーザの指によって遮蔽されたキーボードに対応した関連像であるキーボードＫＢ２を表示することもできる。このとき、制御部１０６が、図２４のように補助表示したキーボードＫＢ２上にマーカーＷを表示するようにしてもよい。図２４では、マーカーＷの一例として、関連像ＫＢ２上に遮蔽物（指など）の輪郭が半透明に表示される例が示されている。
【０１０４】
図２３〜図２４で示したようなマーカーを表示された関連像上に表示することによって、ユーザは、自分が遮蔽物によって遮蔽している立体像をより把握しやすくなる。すなわち、ユーザは、自分が遮蔽物によって選択または指示している立体像をより把握しやすくなる。そのため、遮蔽された立体像の周囲にポップアップ表示やシフト表示によって関連像が表示された際に、ユーザは自分が指示した立体像と表示された関連像とを関連付けて認識しやすくなる。したがって、ユーザは、自分が指示した立体像が関連像として表示されている状況が理解しやすいため、ポップアップ表示やシフト表示などの関連像が表示された際のユーザの混乱や戸惑いを防ぐことができる。
【０１０５】
なお、上記のいずれの実施例においても、立体像が遮蔽物によって遮蔽されている場合に、立体像に隣接する領域に補助表示される関連像の一部は、遮蔽されている立体像と重なった状態で表示されてもよい。また、立体像に隣接する領域に補助表示される関連像の一部は、立体像を遮蔽している遮蔽物と重なった状態で表示されてもよい。すなわち、補助表示される関連画像のすべてが、遮蔽されている立体像に重ならない領域に表示されなくてもよい。また、補助表示される関連画像のすべてが、遮蔽物によって遮蔽されない領域に表示されなくてもよい。
【０１０６】
なお、上記のいずれの実施例における関連像の表示方法は、あくまで表示方法の一例である。上記で説明した関連像の表示方法は、すべて適宜に組み合わせて関連像の表示に用いることができる。
【０１０７】
なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより表示制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１０８】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１０９】
１００…表示装置、１０１…撮影部、１０２…検出部、１０３…操作判定部、１０４…表示部、１０５…表示画像記憶部、１０６…制御部
【図１】
2013077338.tif 000003
【図２】
2013077338.tif 000004
【図３】
2013077338.tif 000005
【図４】
2013077338.tif 000006
【図５】
2013077338.tif 000007
【図６】
2013077338.tif 000008
【図７】
2013077338.tif 000009
【図８】
2013077338.tif 000010
【図９】
2013077338.tif 000011
【図１０】
2013077338.tif 000012
【図１１】
2013077338.tif 000013
【図１２】
2013077338.tif 000014
【図１３】
2013077338.tif 000015
【図１４】
2013077338.tif 000016
【図１５】
2013077338.tif 000017
【図１６】
2013077338.tif 000018
【図１７】
2013077338.tif 000019
【図１８】
2013077338.tif 000020
【図１９】
2013077338.tif 000021
【図２０】
2013077338.tif 000022
【図２１】
2013077338.tif 000023
【図２２】
2013077338.tif 000024
【図２３】
2013077338.tif 000025
【図２４】
2013077338.tif 000026
【国際調査報告】
2013077338.tif 000027
2013077338.tif 000028
2013077338.tif 000029
2013077338.tif 000030
2013077338.tif 000031
2013077338.tif 000032