(57)【要約】【課題】  表示画面の前面で操作する表示装置において、操作によってディスプレイ上に死角領域が生れても操作や閲覧の妨げにならない表示を行う。【解決手段】  表示画面上の項目に対して表示画面の前面で指示手段によって指示を行う表示装置であって、指示手段によって前記表示画面の隠れてしまう死角領域を検出（ＳＴＥＰ１６０）し、検出された死角領域と、前記項目の位置関係から前記表示画面を変更して表示（ＳＴＥＰ１７０）する。【選択図】  図２
2012038025.tif 000002
【特許請求の範囲】
【請求項１】
表示画面上の項目に対して前記表示画面の前面で指示手段によって指示を行う表示装置であって、
前記表示画面に前記項目を表示する表示手段と、
前記指示手段によって前記表示画面の隠れてしまう死角領域を検出する検出手段と、
前記検出手段で検出された死角領域と、前記表示手段で表示された項目の位置関係から前記表示手段で表示された項目の表示を変更して表示する変更手段と
を備えることを特徴とする表示装置。
【請求項２】
前記変更手段は、前記項目の少なくとも一部の領域が前記死角領域の中に入った場合に該項目を移動することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記移動は、少しずつ移動することを特徴とする請求項２に記載の表示装置。
【請求項４】
前記変更手段は、少なくとも前記項目の移動、変形、色や透明度の変更、点滅のいずれかを行うことを特徴とする請求項１に記載の表示装置。
【請求項５】
視点位置検出手段を更に備え、
前記検出手段は、前記視点位置検出手段によって検出された視点の位置から前記指示手段が死角になる領域を検出することを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項６】
前記視点位置検出手段は複数の視点の位置を検出し、
前記視点位置検出手段によって複数の視点を検出された場合、複数の視点の中から優先する視点を選択する選択手段を更に有する請求項１〜５のいずれか１項に記載の表示装置。
【請求項７】
前記検出手段は、前記指示手段の先端を死角領域に含めないことを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
【請求項８】
復元手段を更に有し、
該復元手段は、前記変更手段によって表示画面が変更された後に、前記死角領域から前記項目が出た場合、前記変更手段によって表示される前の表示画面に復元するよう表示を制御することを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
【請求項９】
前記視点位置検出手段は、２つの撮像手段を有し、該２つの撮像手段それぞれが前記指示手段を使用しているユーザを撮像した視差から人物の位置を検出し、検出された人物から顔の位置を検出し、該顔の位置から視点の位置を検出することを特徴とする請求項５に記載の表示装置。
【請求項１０】
前記視点位置検出手段は、撮像手段を有し、該撮像手段によって撮像された顔の大きさから視点の位置を検出することを特徴とする請求項５に記載の表示装置。
【請求項１１】
前記指示は、少なくともジェスチャ指示またはタッチパネルに対するタッチ指示であり、前記指示手段は、該指示手段を指示する操作者の腕または指であることを特徴とする請求項１〜１０のいずれか１項に記載の表示装置。
【請求項１２】
表示画面の前面で前記表示画面上の項目に対して指示手段によって指示を行う表示装置の制御方法であって、
前記表示画面に前記項目を表示手段が表示する表示工程と、
前記指示手段によって前記表示画面の隠れてしまう死角領域を検出手段が検出する検出工程と、
前記検出手段で検出された死角領域と、前記表示工程で表示された項目の位置関係から前記表示画面を変更手段が変更して表示する変更工程と
を備えることを特徴とする表示装置の制御方法。
【請求項１３】
請求項１２に記載された表示装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画面の前面で操作を行う表示装置及び表示装置の制御方法、プログラムに関する。
【背景技術】
【０００２】
パーソナルコンピュータを代表とする情報処理装置において、操作者が操作を入力する装置としてキーボードとマウスが、操作者が情報を受け取る装置として液晶モニタをはじめとするディスプレイが従来からの形態として備わっている。その一方で、装置を操作するためにキーボードやマウスを用いない形態も多く提案されている。
【０００３】
その具体例のひとつとして、タッチパネル方式がある。タッチパネルとは、透明な触覚センサ（タッチセンサとも呼ばれる）を従来のディスプレイの表面に重ねた装置である。一見すると従来のディスプレイと同様であるが、情報の表示装置であるとともに入力装置である特徴がある。操作者が自身の指あるいは棒状の器具をディスプレイに触れると、指や器具が触れたディスプレイ上の位置がタッチセンサによって検出される。つまり従来のポインティングデバイスであるマウスによってディスプレイ上の位置を指定する代わりに、操作者の指などが直接的なポインティングデバイスとなる。
【０００４】
このことによりディスプレイに表示されている内容に直接触れて操作ができることから、グラフィカルユーザインターフェイスと組み合わせて直感的な操作ができることが期待できる。またタッチパネルは表示装置と入力装置が一体となっていることから、操作すべき内容に合ったボタンや選択肢などのユーザインターフェースを自由にソフトウェアで制御して提示することができる。応用例として、銀行ＡＴＭの多くにタッチパネル方式が採用されている。画面上に現在おこなうべき操作や文字入力のキーボードが動的に表示され、迷うことのない直感的な操作が実現できている。操作タッチパネルを実現するタッチセンサの方式として、タッチによる圧力で変形して接触する機械的なスイッチを用いる形式（特許文献１）や、人体に導電性があることを利用してタッチセンサ表面の電気的状態の変化を観測する方式がある。近年は後者の方式がほぼ全てを占めている。
【０００５】
操作するために特別な装置を用いない形態の別の具体例として、ジェスチャ認識がある。ジェスチャ認識とは、操作者の手や体の動き・形状を取得し、その状態を認識することで、状態に対応する情報の入力を受け付けることである。多くの場合操作者は特別な装置を持つ必要もなく、タッチパネルのようにディスプレイに触れる必要もない。またマウスのようにポインティングするだけではなく、手が取りうる複数の形状・状態に応じた複数種類の操作を入力することもできる。例えばディスプレイに表示されている物体に手を伸ばし掴むような動作をすれば、物体は掴まれたものとして手を移動させると物体も移動するようなことが実現できる。
【０００６】
応用例としてパーソナルコンピュータの操作はもちろん、テレビゲームの分野で多数のボタンを持つコントローラの代わりにジェスチャ認識を用いることなどが検討されている。ジェスチャを認識するために手の状態を取得する方式としていくつかのものがある。広く一般的に入手可能な可視光領域のカメラで撮影した２次元の画像について、画像処理を行う方法（非特許文献１）がある。また赤外線を能動的に被写体に向けて放射して３次元形状を取得し処理する方法や、画像処理と併せて超音波を能動的に被写体に向けて放射して３次元形状の情報を補うものなどがある。
【０００７】
ジェスチャ認識では、マウスやタッチパネルでは実現できない、奥行きを利用した３次元の操作・入力が可能になる。先の例で説明したような、手を伸ばして項目を掴むような操作が例としてあげられる。その一方で表示装置にも、従来の平面に表示するものではなく、奥行きを持つ３次元的な表示が可能な３次元ディスプレイが提案されている。３次元ディスプレイとは、見る者に奥行きを知覚できる映像を提示するディスプレイであり、実現する方法としていくつかの方法が提案されている。
【０００８】
ひとつとして、実際に発光点を３次元空間上に配置する方法である。回転する物体に光をあてることで発光点を実際に３次元空間上に分布させる体積型のディスプレイを用いる方式や、レーザーで空気を焼くことで発生する光を３次元空間上に分布させる方法が挙げられる。もうひとつは、右目と左目で異なる、つまり視差のある平面の映像を見せ、見た人間が視差を脳内で補完して３次元映像を知覚させる方式がある。この方法の例に、特殊なメガネを通して見ることで奥行きが知覚できる方式がある。その例に左右の目それぞれに対して独立した小さなディスプレイを２つ備えるヘッドマウントディスプレイを装着し、左右で異なる映像を表示されるものを見ることで奥行きが知覚できる方式がある。
【０００９】
また平面ディスプレイに表示される映像を特殊なレンズを通して見る方法（特許文献２）がある。また一方、特殊なメガネを用いないものがある。平面ディスプレイの表面に画素サイズの微小な障壁を一定間隔に配置し、右目と左目にそれぞれ異なる映像が入るようにする方法がある。３次元ディスプレイは近年テレビや映画の分野で応用例が積極的に提案されており、多くは特殊なメガネを通して見る方式のものである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第０２６８９９００号公報
【特許文献２】特許第０２６６１６０５号公報
【非特許文献】
【００１１】
【非特許文献１】山田寛，島田伸敬，白井良明：画像処理による手話認識のための手形状識別：電子情報通信学会２００９年総合大会，Ａ＿１９＿００１，ｐｐ．３３１，２００９
【発明の概要】
【発明が解決しようとする課題】
【００１２】
タッチパネルやジェスチャ認識を用いて操作者が情報を入力する例では、グラフィカルユーザインターフェイス上に表示されている特定の項目に対して操作を行う場合、ディスプレイに向かって手を伸ばして操作する方法が考えられる。タッチパネルでは項目が表示されているディスプレイ上の領域に触れる必要がある。ジェスチャ認識においては、操作者から見て項目が表示されている方向に向かって手を伸ばし何らかの動作を行う必要がある。
【００１３】
しかしながら、その際、自身の手がディスプレイにかかり、表示されている項目の一部が隠されてしまう場合がある。具体例として、右利きの操作者が手をディスプレイの左上に伸ばすと、手がディスプレイ右に覆いかぶさってしまい死角が生まれることが挙げられる。このとき死角領域に重要な項目がある場合、操作者がそれを見失ってしまい操作が妨げられてしまう可能性がある。従来からのポインティングデバイスであるマウスを用いる場合では、マウスや手の実体はディスプレイと離れた場所にある。ポインティングしている位置を示すカーソルがディスプレイ上に表示されているのみであり、このようなディスプレイが隠れる現象は起こらない。
【００１４】
つまり課題は、操作者が操作する手がディスプレイ上に伸びることにより生まれる死角領域で操作が妨げられてしまうことである。さらに、操作者とは別にディスプレイを閲覧する人物が存在する場合、複数の異なる視点がディスプレイを見ていることとなる。操作者の操作が操作者自身にとって問題となる死角領域を生まなくても、閲覧者にとって重要な項目を隠す死角領域を生む可能性がある。つまり、操作者以外の人物にとっても視点によってはディスプレイ上に死角領域が生まれ、妨げとなることも課題である。
【００１５】
本発明は、本発明は上記問題を鑑みてなされたものであり、その目的は、表示画面の前面で操作する表示装置において、操作によってディスプレイ上に死角領域が生れても操作や閲覧の妨げにならない表示を可能とすることである。
【課題を解決するための手段】
【００１６】
上記の目的を達成するための本発明の一態様による表示装置は以下の構成を備える。すなわち、
表示画面上の項目に対して前記表示画面の前面で指示手段によって指示を行う表示装置であって、前記表示画面に前記項目を表示する表示手段と、前記指示手段によって前記表示画面隠れてしまう死角領域を検出する検出手段と、前記検出手段で検出された死角領域と、前記表示手段で表示された項目の位置関係から前記表示手段で表示された項目の表示を変更して表示する変更手段とを備える。
【００１７】
また、上記の目的を達成するための本発明の他の態様による表示装置の制御方法は以下の構成を備える。すなわち、
表示画面の前面で前記表示画面上の項目に対して指示手段によって指示を行う表示装置の制御方法であって、前記表示画面に前記項目を表示手段が表示する表示工程と、前記指示手段によって前記表示画面の隠れてしまう死角領域を死角領域検出手段が検出する検出工程と、前記検出手段で検出された死角領域と、前記表示工程で表示された項目の位置関係から前記表示画面を変更手段が変更して表示する変更工程とを備える。
【発明の効果】
【００１８】
本発明により、表示画面の前面で操作する表示装置において、操作によってディスプレイ上に死角領域が生れても操作や閲覧の妨げにならない表示を可能とする。
【図面の簡単な説明】
【００１９】
【図１】表示装置１０００と、それに対して指示する手段の構成を示す図である。
【図２】処理の流れを示すフローチャートである。
【図３】操作者の視点から見た際の死角領域を示す図である。
【図４】表示部１１００上における項目の状態遷移図である。
【図５】グラフィカルユーザインターフェイス上の操作例を示す図である。
【図６】グラフィカルユーザインターフェイス上の操作例を示す図である。
【図７】死角領域に基づくグラフィカルユーザインターフェイスの制御を示す図である。
【図８】グラフィカルユーザインターフェイス上の操作例を示す図である。
【図９】閲覧者視点の死角領域に基づくグラフィカルユーザインターフェイスの制御を示す図である。
【図１０】表示装置３０００を示す図である。
【図１１】処理の流れを示すフローチャートである。
【図１２】操作者の視点について近似検出された死角領域を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の好適な実施形態について添付の図面を参照して詳細に説明する。
【００２１】
（実施例１）
本実施例では、デスクトップ型のパーソナルコンピュータにおいて、操作者が手のジェスチャを認識させることでグラフィカルユーザインターフェイスを操作する場合に、本手法を適用する例で説明する。
【００２２】
＜全体の構成＞
図１は、本手法を適用する表示装置１０００と、それに対して指示する手段の構成を示す図である。図１に示すように、表示装置１０００は、操作者と入出力する情報を映し出す表示部１１００（表示画面とも呼ぶ）と、操作者の指示を取得する撮像部１２００を備える。さらに、グラフィカルユーザインターフェイスの制御およびオペレーティングシステムの制御を担う制御部１３００を表示部１１００とは別に備え、表示部１１００と接続されている。そして表示装置１０００を構成するものではないが、表示装置に指示を与える操作者の手である指示手段１４００が図示される。
【００２３】
＜表示装置１０００＞
表示装置１０００は、典型的なパーソナルコンピュータが備えるポインティングデバイスとしてのマウスと、文字入力デバイスとしてのキーボードを備えない。操作者は表示画面の前面で指示手段１４００を動かし、ジェスチャ操作を入力することでマウスの機能を代替する。操作者がキーボードの代替として文字を入力する方法としていくつかの例がある。典型的には、表示部１１００に従来のキーボードと同じ映像を表示し、操作者がその映像に対してキーを打つジェスチャ操作をすることで文字を入力可能にすることが挙げられる。また別の方法としては、操作者が入力する文字を声にして発し、表示装置１０００がそれを認識して文字に変換する方法もある。
【００２４】
典型的なパーソナルコンピュータは、ディスプレイの上に、現在ポインティングしている位置を示すカーソルと呼ばれる画像を表示画面上に表示する。本実施例でも同様に表示部１１００の上にカーソルを表示することが望ましい。本実施例の表示装置１０００はポインティングデバイスとしてマウスを備えない代わりに、撮像部１２００で得た画像から、操作者の手である指示手段１４００の位置を認識・追尾して、動きに応じてカーソルを移動させる。ただし単純に指示手段１４００の位置を追尾して対応する動きをカーソルに反映させると、操作者がカーソルを動かそうとしていない時もカーソルが動いてしまう。
【００２５】
具体的には、操作者が何らかの操作を終えて手を戻そうとするときなどである。従って、指示手段１４００がある特定の形状を取っていることを認識して、その状態である場合に限り指示手段１４００の動きをカーソルに反映させることが望ましい。例えば指示手段１４００が指差すような形状になっている場合などがよい。撮像部１２００から得た画像から指示手段１４００の位置を検出し、形状を認識する技術としては公知のものを用いる。画像内から人間の手を検出する方法として、「Ｖｉｏｌａ＆Ｊｏｎｅｓ（２００１）“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ．」がある。詳細は文献に記載されているが、概要は以下のとおりである。
【００２６】
この方法は、与えられた画像が手かそうでないかをランダムよりはやや良い精度で２クラスに判別できる弱い判別器を複数組み合わせて、与えられた画像が、手かそうでないかを高精度に２クラスに判別できる強い判別器を構成する方法である。弱い判別器を組み合わせる方法は人手で行うのではなく自動で行う。予め手かそうでないか人手で判別しておいた画像群を教師データとして、教師データについて良く判別できる弱い判別器の組み合わせを探索する方法であり、概要は以上である。検出結果として、撮像部１２００から得られた画像に手が写っていれば、その一部領域が手として検出される。
【００２７】
続いて、検出された手が写る画像の一部領域に基づいて、手の形状を認識する技術として前記非特許文献１などの手法を用いればよい。詳細は文献に記載されているが、概要は以下のとおりである。ジェスチャとして意味を持ち指示手段１４００が取りうる形状の数だけ、先程の文献で述べた強い判別器を用意する方法である。それら強い判別器群のうちひとつは、例えば与えられた手の画像が指差ししている形状であるかそれ以外の手の形状であるかを２クラスに判別するものである。与えられた画像について、強い判別器それぞれに手の形状を判別させ、それら結果を統合して手の形状を認識する。概要は以上である。
【００２８】
＜表示部１１００＞
表示部１１００は定位置に置かれて映像を操作者に提示するもので、典型的には、人間が認識できる十分な解像度で、ある程度の作業領域を確保できる対角２０インチ前後の液晶ディスプレイなどがよい。本実施例では表示部１１００が、操作者が裸眼あるいは特殊なメガネを装着してその映像を見ることで奥行きのある３次元映像を知覚できるディスプレイである例を述べる。ただし後の実施例でも述べるが、表示部１１００が３次元映像を投影するディスプレイである必要はなく、典型的な２次元映像を投影するディスプレイでも構わない。また本実施例において操作者が裸眼あるいは特殊なメガネを装着してその映像を見ることで奥行きのある３次元映像を知覚できるものであれば、その大きさや方式は限定しない。
【００２９】
三次元映像を提示する方式としては、前記特許文献２で示したような公知の方法を用いる。詳細は文献に記載があるが、概要は以下のとおりである。このディスプレイは典型的な２次元映像を投影するディスプレイと同様に、微小な画素を縦横等間隔に隙間なく敷き詰めて構成される。異なる点はディスプレイの画素の表面に画素と同等の幅の障壁と隙間を縦に並べたスリットを設け、左目に入るべき映像縦一列分と、右目に入るべき映像縦一列分とをディスプレイ上で互い違いに表示する方法である。右目では、右目に入るべき映像がスリットを通過して見ることができ、左目に入るべき映像が障壁に阻まれて見えなくなる。そのため右目では右目に入るべき映像のみが見える。左目についても同様の見え方をするため、操作者は右目と左目で異なった、視差がある映像を見る。これにより、操作者は視差を脳で解釈し、見える映像に３次元の奥行きがあると知覚することができる。
【００３０】
ただし単純にディスプレイ表面にスリットを設けただけでは、操作者の視点が左右に移動すると映像とスリットの位置関係がずれて見え方が変わる問題がある。そこでレンティキュラレンズと呼ばれるかまぼこ型の細長い凸レンズを、縦に画素の前に設置することでこの問題を軽減できることが知られている。
【００３１】
＜撮像部１２００＞
撮像部１２００は典型的にはＣＣＤカメラなどの光学的な映像を得る装置であり、操作者の頭部あるいは指示手段１４００や胴体が撮像装置の視野内に写る位置に設置されていることが望ましい。本実施例では図１に示すように、表示部１１００の脇に正面を向いて設置する。撮像部の視野角は、操作者がジェスチャで指示を出す距離に合わせて適切に選択することが良い。操作者がジェスチャ操作をする位置が表示装置１０００に極端に近い場合には、視野外になってしまうことも考えられる。その際には魚眼レンズを用いるなどを用いて視野角を確保することが必要である。また本実施例では、操作者の視点および指示手段１４００の３次元空間上の位置を取得するために撮像部を２つ備える。
【００３２】
ただし３次元空間上の位置を取得するために最低２個必要であるのであり、可能であればより多くの撮像部を備えれば高精度に位置を取得できる。複数の撮像部１２００は、近い位置にまとめて設置することは望ましくない。後述するが、撮像部それぞれから得られる画像に視差が生まれず３次元位置の検出が難しくなるためである。ただし後ほどの実施例で述べるが、操作者の手や視点の位置が制約される状況で表示装置１０００が使用され３次元位置の検出が容易である場合には、逆に１つの撮像装置のみを用いて近似的に３次元位置を検出することもよい。なお、操作者の視点や指示手段１４００の位置を検出する方法の詳細はこの実施例で後ほど述べる。
【００３３】
＜制御部１３００＞
制御部１３００は情報の入出力全ての演算を行い、フローチャートにより後述する各種処理を制御する。オペレーティングシステムの実行やグラフィカルユーザインターフェイスの実現、操作者からのジェスチャ指示の認識、およびジェスチャ操作により生まれる死角領域に対するグラフィカルユーザインターフェイス上の項目の制御などである。制御部１３００は典型的には単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよいが、専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。
【００３４】
プログラムとして存在する場合、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むＰＣ用ＣＰＵによる制御のためのプログラムを格納する。このメモリは図示しないＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）であってもよいし、外部記憶装置などからプログラムがロードされる図示しないＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）であってもよい。あるいは、これらの組合せで実現しても構わない。
【００３５】
図１では表示部１１００とは別の外装に格納され、表示部１１００と接続されている実施例で述べているが、制御部１３００を設置する場所や方法は限定しない。ただし操作者と表示部１１００の間に設置するなど表示を妨げるような場所は望ましくない。
【００３６】
＜指示手段１４００＞
指示手段１４００は、典型的には表示装置１０００を操作する操作者の手である。典型的には操作者は表示装置１０００の正面から数十センチメートルあるいは１メートル前後の位置につき、表示装置１０００に向かって手を伸ばして操作をする。なお、ジェスチャ操作と認識の具体的な実施例は後述する。指示手段１４００は裸の手でもよいが、認識の目印となるマーカーを手に付けて操作することもよい。周囲の環境と区別しやすい色のマーカーが指先に付いたグローブを装着することや、塗料を塗るなどの方法が挙げられる。
【００３７】
＜全体の流れ＞
図２は、表示装置１０００が、操作者の操作により生まれる死角領域を検出し、表示部１１００の表示内容を制御する全体の流れを示すフローチャートである。図２に示す処理は全て撮像部１２００を通して得た画像を処理することにより行い、その処理は全て制御部１３００が行う。なお、図２に示す一連の処理以外にも制御部１３００はオペレーティングシステム本来の処理も並列に実行しており、図２の処理が動いている場合にはオペレーティングシステム本来の処理は止まっているわけではない。また、図２の処理が止まっている場合もオペレーティングシステム本来の処理は動いている。
【００３８】
まず初めに制御部１３００は撮像部１２００から画像を得て、表示装置１０００を操作する人物あるいは表示装置１０００を見る人物がいるかどうか判断する（ＳＴＥＰ１１０）。この処理については後で詳しく述べる。少なくとも１人以上の人物が検出された場合（ＳＴＥＰ１２０でＹＥＳ）には、現在操作者からジェスチャ指示が出されているかを判断し、ジェスチャ指示の三次元位置を検出する（ＳＴＥＰ１３０）。この処理についても後で詳しく述べる。
【００３９】
この処理で操作者からのジェスチャ指示が検出された場合（ＳＴＥＰ１４０でＹＥＳ）には、死角領域を検出するための処理に移る。なお、（ＳＴＥＰ１２０）あるいは（ＳＴＥＰ１４０）でＮＯであった場合には、死角領域を検出せずに、グラフィカルユーザインターフェイス上の項目の表示方法を制御する処理に移る（ＳＴＥＰ１７０）。この（ＳＴＥＰ１７０）の処理については、後ほど詳しく説明する。
【００４０】
説明を戻して（ＳＴＥＰ１４０でＹＥＳ）であった場合のフローについて続きを述べる。まず、先程（ＳＴＥＰ１１０）で検出された人物それぞれについて、視点位置、つまり人物の目の三次元位置を検出する（ＳＴＥＰ１５０）。この処理についても詳しい説明は別途述べることとする。ここまで（ＳＴＥＰ１３０）で得られた指示手段の位置と、（ＳＴＥＰ１５０）で得られた視点の位置から、その視点から見た場合に指示手段が表示部１１００を覆い隠す領域を検出する（ＳＴＥＰ１６０）。最後に、検出された死角領域内にあるグラフィカルユーザインターフェイス上の項目について、表示方法を変更する制御を行う。ここで死角領域を検出する具体的な方法と、表示方法を具体的にどのように変更するかの説明は、別途詳しく説明することとする。
【００４１】
図２に示した一連の処理は、表示装置１０００がある時点で１回のみ行うものではない。操作者の状況は常に変わるものであり、表示装置１０００は図２の処理を定期的に絶え間なく行う必要がある。操作者の素早いジェスチャ操作に対応するために、図２に示す処理（ＳＴＥＰ１１０）から（ＳＴＥＰ１７０）までの間は典型的にはごく短時間で終了し、１秒間の間に数十回絶えず繰り返し実行されることが望ましい。
【００４２】
＜人物の検出処理＞
図２のフローチャート中の（ＳＴＥＰ１１０）で示した人物検出処理について、ここで説明する。この処理は制御部１３００で行われ、撮像部１２００から得た画像を処理して、人物の存在を検出し、その３次元位置を特定する。その大まかな流れは以下のとおりである。本実施例では、２つの撮像部１２００を備えるため、同時に２つの画像が得られる。まず画像それぞれに対して、画像中のどの領域に人物が存在するか検出する。そして２つの画像についての検出結果を突き合わせ、実際に人物が存在する３次元位置を特定する。ただしこの処理の目的は、表示装置１０００を操作するあるいは見る人物の存在を検出することである。人物が検出されてもその位置が表示装置１０００からあまりにも遠い場合には、人物を検出したこととしない。典型的にはその距離は数メートルと設定するとよい。
【００４３】
撮像部１２００から得られた画像１つについて、画像内から人物の存在を検出するためには、ある程度正面を向いた人物の顔を検出する方法がよい。なぜならば人体全体を画像内から検出する方法も考えられるが、表示装置１０００に対して背を向けた人物は表示装置１０００を見ていないことになり、検出しても意味が無いためである。画像内から人間の顔を検出する方法としては公知のものを用いる。例として表示装置１０００の説明で挙げた、手を検出する方法と同じものを用いることができる。弱い判別器の組み合わせを決定する教師データとして、予め人手で顔であるかそうでないか判別した画像群を用いればよい。
【００４４】
２つの撮像部１２００からそれぞれ得られた画像と、それに対する顔検出結果を突き合わせることで、検出された顔の表示部１１００を原点とする３次元位置を検出する。その方法として、顔検出結果のステレオマッチング法を用いるとよい。２つの撮像部１２００で得た２つの画像において、ある３次元位置に存在する顔が画像内に写る位置は異なる。これは２つの撮像部１２００が設置される位置が異なり、視差が生まれているためである。３次元位置の検出は、この視差を利用して行う。制御部１３００において２つの撮像部１２００の位置関係が既知であれば、１つの画像における画像内の点ともう１つの画像における画像内の点の組み合わせから、３次元空間上にその点が存在する位置を割り出すことができる。このことを利用して、２つの画像で対応する顔検出結果について、３次元空間上にその点が存在する顔の位置を割り出すことができる。
【００４５】
ところで、上記で示した顔検出の方法でまれに起こる現象として顔の未検出や顔でないものの誤検出がある。片方の撮像部１２００から得た画像では検出された領域が、もう片方の撮像部１２００で得た画像で検出されない場合には、その領域の三次元位置は特定できない。また撮像部１２００が表示装置１０００に対して固定されておらず、ある程度可搬性がある場合には、制御部１３００において２つの撮像部１２００の位置関係が既知でなくなる場合がある。その際には予め２つの撮像部１２００の位置関係を制御部１３００に記憶させる校正処理が必要となる。
【００４６】
＜指示手段の位置の検出処理＞
図２のフローチャート中の（ＳＴＥＰ１３０）で示した指示手段１４００の位置の検出処理について、ここで説明する。この処理は制御部１３００で行われ、撮像部１２００から得た画像を処理して、指示手段１４００の存在を検出し、その３次元位置を特定する。その大まかな流れは前記＜視点位置の検出処理＞の説明と同様であり、２つの撮像部１２００それぞれから得られた画像中の指示手段１４００の位置から、その３次元位置を特定する。
【００４７】
なお＜表示装置１０００＞の説明で述べたように、オペレーティングシステムがジェスチャを認識するために手の位置を予め検出しているのであれば、（ＳＴＥＰ１３０）の処理で改めて指示手段１４００の位置を検出する必要はない。予め求められている指示手段１４００の位置を流用することが望ましい。ただしここでは、後に述べる＜死角領域の検出処理＞の部分で正確に死角領域を推定させるために、画像内で手が映っている領域と指先とを可能な限り正確に検出しておくことが望ましい。
【００４８】
画像内の手の領域を抽出する方法としては公知のものを用いる。たとえば単純なものとして、手として検出された領域付近で肌色の色味を持つ画素を全て手の領域として抽出するなどがあげられる。また指先を検出する方法も公知のものを用いればよい。この方法の単純な例として、画像処理で一般的に用いられる細線化アルゴリズムを用いる方法がある。画像内の手の領域とそれ以外の領域を２値で塗り分けた２値画像について、手の領域に対して細線化処理を施す。手の領域が骨のような細い線に変換されるので、細線の先端位置を指先とすればよい。
【００４９】
＜視点位置検出処理＞
図２のフロー中の（ＳＴＥＰ１５０）で示した視点位置の検出処理について説明する。この処理は制御部１３００で行われ、撮像部１２００から得た画像を処理して、表示装置１０００を見る人物の目の３次元位置を特定する。前述した＜人物の検出処理＞の説明で述べたとおり、撮像部１２００で得た画像の中から人物の顔がある領域が特定されている。この顔の領域から、目の位置を正確に検出する手法として、特許３０７８１６６号公報に記載の畳み込み神経回路網を用いた方法などを用いることが出来る。
【００５０】
あるいは、正確の目の位置は検出せず、顔検出結果を近似する方法も取りうる選択肢としてある。顔は画面上で正立しており、顔の中にある目の位置は個人の間で違いが無いという仮定に基づいて、顔として検出された画像内の領域にある特定の一点を目の位置とする。続いて２つの撮像部１２００で得られた目の位置から目の三次元位置を検出する方法は、前述の＜人物の検出処理＞と同様の方法で行う。
【００５１】
＜死角領域の検出処理＞
図２のフロー中の（ＳＴＥＰ１６０）で示した死角領域の検出処理について説明する。この処理は制御部１３００で行われ、前述の＜指示手段の位置の検出処理＞で得た指示手段１４００の三次元位置と、前述の＜視点位置の検出処理＞で得た人物の視点位置の１つに基づいて、指示手段が表示部１１００を覆い隠す領域を推定する。表示部１１００の表示可能領域の位置・大きさと、撮像部１２００の３次元位置が既知である。また先ほど述べた＜指示手段位置の検出処理＞と＜視点位置の検出処理＞から、人物の視点位置と指示手段１４００の位置が検出されている。これらの位置関係から、人物の視点でみたときの表示部１１００と指示手段１４００の位置関係を仮想的に推定する。そして、指示手段１４００が表示部１１００の表示可能な領域に重なる死角領域を求めることができる。ここで得られる死角領域とは具体的には、表示部１１００上の表示可能な領域内の一部の領域である。
【００５２】
図３に、操作者の視点から見た場合の死角領域の例を図示する。ここでの処理に用いる、ある視点からの物体の見え方を推定する方法としては、画像処理とアフィン変換の分野で公知である透視変換の方法を用いればよい。なお、死角領域を推定する際には、指示手段１４００の指先付近が表示部１１００を覆い隠す領域を、死角領域として含めないことが望ましい。その理由は以下のとおりである。ひとつとして、指先は細く指と指の間に隙間があり、操作や閲覧の邪魔になる死角領域としてはいえない。また詳細はあとの＜表示内容の制御処理＞で述べるが、指先の死角領域付近にある表示部１１００の項目の表示方法が変更されると操作が困難であるということである。例えば死角領域に重なる項目が死角領域から逃げるように移動する場合、指先でその項目を選択しようとしてもいつまでも触れられないことが起こる。
【００５３】
＜視点位置の検出処理＞において検出されていた人物の視点が一人分しかない場合には、その視点位置から見たときの死角領域を推定すればよい。ただしさきほど述べた＜視点位置の検出処理＞において、複数の人物が検出された場合は以下のような対応をとる必要がある。典型的な例として複数の人物とは、表示装置１０００を操作する操作者と、それを周囲から閲覧する閲覧者である場合が想定できる。複数の人物が表示装置１０００の周囲に存在する場合、表示装置１０００がどの視点を優先して死角領域を推定すべきか判断することは難しい。したがって、表示装置１０００を操作する操作者にどの人物の視点を優先するべきか指定させることが良いといえる。
【００５４】
具体的には、表示部１１００に、今周囲に存在する人物を図示し、操作者に選択させるグラフィカルユーザインターフェイスを提供することがよい。このグラフィカルユーザインターフェイスは常に表示部１１００に表示されるのではなく、操作者が予め決められた特定のジェスチャをした場合に出現させることが望ましい。またこのグラフィカルユーザインターフェイスが操作者により呼び出されない場合には、自動的に表示装置１０００に最も位置が近い人物の視点を優先して死角領域を推定すればよい。その人物は典型的には操作者であると考えられるためである。
【００５５】
＜表示内容の制御処理＞
図２のフロー中の（ＳＴＥＰ１７０）で示した表示内容の制御処理について説明する。この処理は制御部１３００で行われる。前述の＜死角領域の検出処理＞で得られた表示部１１００の表示領域上の死角領域に基づいて、表示部１１００に表示されている各項目の表示方法を変更する。表示方法を変更する対象となる項目とは具体的に何か、具体的にどのような見え方で変更するかについて、本実施例では以下のようになる。
【００５６】
表示方法を変更する対象となる項目とは、操作者が生成・移動・選択・変形・削除等の操作ができる表示部１１００上の領域である。それはウインドウ・システムを備える典型的なグラフィカルユーザインターフェイスを備えるオペレーティングシステムにおいては、ウインドウや、デスクトップ上のファイルやフォルダ、アイコン等がそれにあたる。また具体的にどのような見え方で変更するかは、死角領域を避けるように項目がずれ動き、死角領域が遠くなると元あった位置に向かって動き出す変更方法を例に、さらに詳細に図を交えて後ほど説明する。
【００５７】
まず制御部１３００が項目の表示方法を変更する方法について説明する。制御部１３００は、表示部１１００で表示しているグラフィカルユーザインターフェイス上に表示されている項目（以降本節では表示部１１００上の項目と略す）それぞれについて独立に、項目が図４に示す３つの状態のうちどれにあるかを管理する。
【００５８】
図４には、項目が本来あるべき表示方法で表示されている初期の表示（ＳＴＡＴＥ１１０）の状態が示される。さらに、死角領域によって表示方法が変更されつつある表示方法の変更中（ＳＴＡＴＥ１２０）の状態と、本来あるべき表示方法に復元されつつある表示方法の復元中（ＳＴＡＴＥ１３０）の状態が示される。以降この図４に沿って、ある項目ひとつの表示方法を変更する方法について説明する。
【００５９】
その説明に入る前に補足を記す。まず図２と前述の＜全体の流れ＞で、フロー（ＳＴＥＰ１１０）から（ＳＴＥＰ１７０）は絶え間なく微小な時間の間隔をおいて繰り返し実行されていることを述べた。したがって、表示内容の制御処理（ＳＴＥＰ１７０）は繰り返し実行されている。またさらに、制御部１３００は（ＳＴＥＰ１７０）において、表示部１１００上に存在するそれぞれの項目の状態を並列して管理することを予め述べておく。補足は以上であり図４の説明に戻る。
【００６０】
図４における項目の開始状態とは、典型的にはウインドウが開かれる、新しいファイルやフォルダが作成されることである。項目が表示部１１００上に生成され状態が開始されると、まず（ＳＴＡＴＥ１１０）に自動遷移する。これ以降操作者の操作がない場合には（ＳＴＥＰ１７０）が実行される度に（ＳＴＡＴＥ１１０）は（ＳＴＡＴＥ１１０）に自己遷移する。この間、項目の表示方法に変化はない。ただし操作者の操作により死角領域が表示部１１００上に発生し、項目が死角領域の中に没入すると、状態が（ＳＴＡＴＥ１２０）に遷移する。（ＳＴＡＴＥ１２０）では、項目が死角領域の中に入っている限り（ＳＴＥＰ１７０）が実行される度に（ＳＴＡＴＥ１２０）に自己遷移する。ただし（ＳＴＡＴＥ１１０）と異なるのは、（ＳＴＡＴＥ１２０）にあるとき、項目の表示方法は一定ではなく、変更されることである。
【００６１】
具体的には、項目の状態が（ＳＴＡＴＥ１２０）に遷移すると、項目が死角領域から抜け出るように微小な距離だけ移動する。（ＳＴＥＰ１７０）が小さい時間的間隔をおいて繰り返し実行されると、項目は少しずつアニメーションのように死角領域から抜け出る動作を操作者が知覚することになる。一回の（ＳＴＡＴＥ１２０）への遷移で微小な表示方法の変更のみ行うのは、一回の（ＳＴＡＴＥ１２０）への遷移で項目を大きく死角領域外に移動すると項目が瞬間移動したように操作者を知覚させ混乱させるためである。瞬間移動ではなくアニメーションのように少しずつ変化していく動作を操作者に知覚させることで、項目が死角領域内に在り表示方法が変化していることを知らせる目的がある。
【００６２】
続いて、項目が死角領域の外に脱するまで移動を繰り返した、あるいは指示手段１４００が操作者の手元に戻り表示部１１００上の死角領域が消えた場合、項目の状態は（ＳＴＡＴＥ１３０）に遷移する。（ＳＴＡＴＥ１３０）では、項目が元あるべき初期の表示方法に完全に復元されない限り、（ＳＴＥＰ１７０）が実行される度に（ＳＴＡＴＥ１３０）に自己遷移する。この状態にあるときは、（ＳＴＡＴＥ１２０）にあるときと同様に項目の表示方法は一定ではなく変更される。具体的には、項目の状態が（ＳＴＡＴＥ１３０）に遷移すると、項目が元あるべき初期の表示位置に復元するよう、微小な距離だけ移動する。一回の（ＳＴＡＴＥ１３０）への遷移で微小な表示方法の変更のみ行うのは、（ＳＴＡＴＥ１２０）の場合の理由と同じである。
【００６３】
最後に、項目が（ＳＴＡＴＥ１３０）の状態で表示方法を復元すると、自動的に初期状態（ＳＴＡＴＥ１１０）に遷移する。なお（ＳＴＡＴＥ１２０）において、１回の移動で項目が移動する距離は常に一定である必要はない。死角領域の中に没入している度合いに応じて項目が移動する距離を大きくして、より速やかに項目が死角領域から脱するようにしてもよい。また（ＳＴＡＴＥ１１０）から（ＳＴＡＴＥ１２０）に遷移する条件として、死角領域に没入した瞬間ではなく、死角領域にある程度接近したことを条件にすることもよい。こうすることで項目が死角領域に没する前に表示方法を変更することができる。
【００６４】
ここまで、制御部１３００が死角領域に応じて表示装置１０００のグラフィカルユーザインターフェイスをどのように変更・制御するかについて述べた。ここでは、操作者の視点から、死角領域に応じてグラフィカルユーザインターフェイスがどのように変わるかについて図を交えて述べていく。ひとつの具体例として典型的なオペレーティングシステムが備えるグラフィカルユーザインターフェイス上で、あるファイルを離れた位置にあるフォルダにドラッグアンドドロップ（つかんで、移動して、離す）して格納する場合について述べる。
【００６５】
図５（ａ）は、指示手段１４００が表示部１１００の左上に位置しているファイル５ａを、表示部１１００の右下に位置するフォルダ５ｂに、ドラッグアンドドロップしようとする様を、表示装置１０００を操作する操作者の視点から示している。なお、図５（ａ）における指示手段１４００は右利きの人間の右手を想定して示しているが、本件の効果は右利きの人間対して限定されるものではないことは言うまでもない。
【００６６】
図５（ｂ）は、この操作を指示手段１４００によるジェスチャで行うとき、操作者の視点から見えるものを示す。図５（ｂ）に示すように、フォルダ５ｂに対して何も表示方法の変更をしなければ、指示手段１４００によりファイル５ａをジェスチャで選択すると死角領域がフォルダ５ｂを覆い隠すことが分かる。
【００６７】
そこで、本実施例では図５（ｃ）に示すようにファイルやフォルダなどの項目を死角領域から避けるように移動させることがよい。図５（ｃ）では、指示手段１４００がファイル５ａに向かって伸びていくと同時に、死角領域も表示部１１００の右下から伸びていく。それに応じて死角領域に接近したファイルやフォルダなどの項目が死角領域を避けるように移動していく様を示す。そして指示手段１４００が所望のファイル５ａをフォルダ５ｂにドラッグアンドドロップを終えて戻ると、表示部１１００上の死角領域がなくなる。それに従って位置を移動していたファイルやフォルダなどの項目が元の位置に戻っていく。
【００６８】
ただしこの一連の動作において、操作の対象であるファイル５ａおよびフォルダ５ｂは死角領域から避けるよう動いてはならない。そうなると選択できず操作ができないことになるからである。＜死角領域の検出処理＞で述べたように、指示手段１４００の先端、つまり指先は死角領域として検出しないことが望ましいことを述べた。このことにより、ファイル５ａおよびフォルダ５ｂを選択しようとする際に指先から逃げていく問題を解決できる。指先のどの近傍まで死角領域として考慮せず無視するかは、グラフィカルユーザインターフェイスでどのような項目をどのように表示方法を変更するかに依存する。
【００６９】
もうひとつの具体例として、グラフィカルユーザインターフェイス上で表示・編集中の文書に、画像をドラッグアンドドロップして適切な行間に挿入する例を、図を交えて説明する。図６（ａ）は指示手段１４００が表示部１１００の左上に位置している写真８ａを表示部１１００の右に位置する文書８ｂの適切な行間にドラッグアンドドロップしようとする様を、表示装置１０００を操作する操作者の視点から示している。
【００７０】
図６（ｂ）は、この操作を指示手段１４００によるジェスチャで行うとき、操作者の視点から見えるものを示す。この図に示すように、文書８ｂに対して何も表示方法の変更をしなければ、指示手段１４００により写真８ａをジェスチャで選択すると死角領域が文書８ｂを覆い隠すことが分かる。
【００７１】
そこで、指示手段１４００が写真８ａをドラッグ（移動）し、文書８ｂにさしかかった時点、図７（ａ）に示す状態になったときに、文書８ｂをぐるりと回りこませ、写真８ａの左側に位置するように移動させる。この移動を図７（ｂ）に示す。図７（ｂ）に示すような配置にすることで、死角領域にさえぎられることなく、操作者は写真８ａを適切な行間に挿入することができる。操作者のドラッグアンドドロップが終わり、指示手段１４００が表示部１１００から離れると死角領域もなくなり、文書８ｂの位置も元に戻ることが望ましい。
【００７２】
この２つの具体例では項目を移動させる例を示したが、制御部１３００が項目の表示方法を変更するために用いる方法は、本実施例のような見え方の変更に限って適用可能なものではないことを付け加えておく。項目を縦・横につぶす変形をして死角領域を避ける方法、死角領域と重なっている項目の色や透明度を変更、あるいは点滅させて別の視点からの閲覧者または操作者に知らせる方法でも、本発明の目的を達成できる。
【００７３】
＜閲覧者からの視点を優先する場合＞
上の２つの具体例では、表示装置１０００を操作する操作者からの視点で見える死角領域に対して表示部１１００の項目の表示方法を変更する場合を示した。別の場合として、操作者の周りで表示装置１０００を閲覧する閲覧者の視点を優先する場合についても述べる。図８は、表示装置１０００の前にいる操作者の視点から見た表示部１１００を表している。図中には文書１２ａと写真１２ｂ、写真１２ｃが示されている。操作者の横には閲覧者がひとりおり、その閲覧者の視点が破線矢印で示されている。さらに図には、指示手段１４００が表示部１１００の一部を指示した場合に、閲覧者の視点からは見えなくなってしまう領域が黒色半透明の領域として示される。操作者ではなく閲覧者の視点を優先する場合、写真１２ｂと写真１２ｃの表示方法を変更しなければ、指示手段１４００にさえぎられて見えなくなってしまうことがわかる。
【００７４】
そこで図９に示すように、黒色半透明で示す、閲覧者にとっての死角領域から避けるように写真１２ｂと写真１２ｃの位置を移動させることが望ましい。これはつまり表示装置１０００を操作する操作者にとっては写真１２ｂと写真１２ｃは死角領域の中ではないが、ただし視点を優先する対象である閲覧者にとっては死角領域の中にあるため、写真１２ｂと写真１２ｃを移動する例である。またこの例では操作者ではない閲覧者１人に対しての例を示したが、複数の閲覧者の視点を同時に優先することももちろんよい。ただし表示内容の制御によって望んだ結果を得られるのは、複数の閲覧者同士が近い距離にいて、なおかつ表示部１１００との距離が十分離れている場合である。そうであれば閲覧者の視点が正面からずれた角度はおのおの閲覧者でほぼ同じとなり、閲覧者おのおのからから見た表示装置１０００の見え方は、ほぼ同じとなるからである。
【００７５】
なお、閲覧者の視点の検出方法としては、＜視点位置の検出処理＞で検出された視点のうち、操作者以外で表示部１１００からの距離が一番近いものとして自動的に設定することが望ましい。また必要に応じてユーザが優先すべき閲覧者を選択できることが望ましい。
実施例１は以上である。
【００７６】
以上実施例１で説明したように、本発明は、表示画面の前面で操作する表示装置において、操作によってディスプレイ上に死角領域が生れても操作や閲覧の妨げにならない表示を可能とする。
【００７７】
（実施例２）
実施例１では視点およびジェスチャ指示を出す指示手段の三次元空間上の位置を検出するために、少なくとも２つ以上の撮像装置から得られる画像の視差を利用した。それに対して本実施例では、ひとつの撮像装置から指示手段や人物の視点の位置を検出する例を述べる。その方法をこれより具体的に述べる。本実施例における表示装置１０００の全体の構成について第１の実施例と異なる点は、撮像部において撮像装置を２つ備えない。その代わりに撮像装置をひとつだけ備えることである。なお重複を避けるため、以下の説明においては、前実施形態と同じ部分は省略する。本実施例に記されていない各部の機能は第１の実施例と同一であるため、各部の説明は第１の実施例を参照されたい。
【００７８】
＜撮像部１２００が単一の撮像装置で構成される場合＞
ひとつの撮像装置から構成される撮像部１２００で、指示手段の位置や視点の位置を検出する方法として、二つある。ひとつは、典型的なＣＣＤカメラではなく、物体までの深度情報を取得できる特殊なカメラを使用する方法である。もうひとつは、限定的な条件において検出対象との位置関係の仮定を用いて近似的に推定する方法である。
【００７９】
以下、順に具体的に述べていく。本実施例の撮像部１２００は、実施例１と異なりひとつしかないため、検出対象となる指示手段や顔の真正面になるような位置に配置することが望ましい。実施例１の図１では撮像部１２００を表示部１１００の両脇に設置したが、それは両方の撮像部１２００から得られる映像の視差を大きくするためである。
【００８０】
指示手段の位置や視点の位置を検出する方法のひとつ目として物体までの深度情報を取得できるカメラは、撮像部１２００に用いるにあたり公知の技術を用いればよい。例えばＴｉｍｅ  ｏｆ  Ｆｌｉｇｈｔと呼ばれる方法がある。この方法は特定の波長の光線を物体に向けて放射する送信部と、物体に反射して戻ってきた光線を受信する受信部を用いる。受信部は光線を放射してから物体に反射して戻ってくるまでの時間と光線の位相から、物体までの距離を推定する。受信部は典型的にはＣＣＤなどの受像素子であり、光線は典型的にはより電波に近い性質を持つ赤外線が用いられる。典型的なＣＣＤカメラなどの撮像装置では各画素の値として色の情報が得られるが、この方法で得られる画素の値は、色に加えて撮像装置からの距離、つまり奥行きが得られる。
【００８１】
なお、この方法では測定対象の物体の距離が撮像装置から離れれば離れるほど奥行きの解像度が下がる。典型的には数メートルが実用的とされている。本実施例で撮像部１２００から得られる画像は実施例１の撮像部１２００から得られる典型的な２次元の画像に奥行きを加えた情報である。そのため、実施例１で述べたような、画像からの顔検出などの技術はそのまま利用できることを補足しておく。
【００８２】
指示手段の位置や視点の位置を検出する方法のふたつ目として、典型的なＣＣＤカメラひとつを用いる方法を述べる。実施例１では撮像部１２００は複数の撮像装置からなっていた。撮像装置おのおのから得られる映像の視差を用いて、視点位置や指示手段の三次元空間上の位置を検出することを述べた。本実施例のように撮像部１２００を単一の撮像装置で構成すると、映像の視差が得られない。したがって、視点や指示手段の三次元的な位置は得られず、撮像部１２００からの二次元的な位置が得られるのみである。
【００８３】
しかしデスクトップ型のパーソナルコンピュータである本実施例では、ある場合においては操作者に限定すれば本実施例で述べた機能を維持できると考えられる。具体的には、操作者が表示装置１０００の真正面にいる場合であり、これは操作者としてはごく自然な位置である。人間の顔の大きさが個人によらず一定と仮定すれば、＜人物の検出処理＞で検出した顔の撮像装置から得られる映像内での大きさから、顔と表示装置１０００の間の距離が推定できることにより、操作者の視点位置が推定できる。
【００８４】
以上実施例２で説明したように、表示画面の前面で操作する表示装置において、操作によってディスプレイ上に死角領域が生れても操作や閲覧の妨げにならない表示を可能とする。更に、実施例１と比較して、簡易な構成で本発明を実現できる。実施例２は以上である。
【００８５】
（実施例３）
第１および第２の実施例では、典型的には机などに置いて固定された位置で用いるパーソナルコンピュータに対して、操作者が手によるジェスチャ操作を認識させて操作する実施例を述べた。それに対して本実施例では表示装置とは持ち運びできる携帯型の機器であり、操作者は表示装置に備わったタッチパネルに対するタッチ指示により操作する。その場合における本提案の適用例を、これより具体的に述べる。なお重複を避けるため、以下の説明においては、前実施形態と同じ部分は省略する。本実施例に記されていない各部の機能は第１の実施例と同一であるため、各部の説明は第１の実施例を参照されたい。
【００８６】
＜全体の構成＞
図１０は、本手法を適用する表示装置３０００と、それに対して指示する手段の構成を示す。図に示すように、表示装置３０００は、情報を映し出す表示部３１００と、操作者の指示を取得する接触感知部３２００を備える。なお、表示部３１００はタッチパネルであり、接触感知部３２００と統合されている。さらに、図示されてはいないが、グラフィカルユーザインターフェイスの制御およびオペレーティングシステムの制御を担う制御部３３００を内部に備える。そして表示装置３０００を構成するものではないが、表示装置に指示を与える操作者の手である指示手段３４００が図示される。
【００８７】
＜表示装置３０００＞
表示装置３０００は、表示装置３０００は操作者が手に持って携帯できる程度の大きさであり、典型的には手のひら程度の大きさ、つまり１０数センチメートル四方に収まることが望ましい。操作者は表示装置３０００を手に取り、もう片方の手で操作を行う。操作者の視点と表示装置３０００の間の距離は典型的には数十センチメートルとなり、また基本的には表示装置３０００を持つ人物以外に表示装置３０００を見る人物は稀であると想定してよい。典型的なパーソナルコンピュータが備えるポインティングデバイスとしてのマウスと、文字入力デバイスとしてのキーボードを備えない。操作者は指示手段３４００を動かし、タッチパネルである表示部３１００に触れることでポインティング操作を入力することでマウスの機能を代替する。操作者がキーボードの代替として文字を入力する方法としては実施例１と同様に、表示部１１００に従来のキーボードと同じ映像を表示し、操作者がその映像に対してキーを打つジェスチャ操作をすることで文字を入力可能にすることが挙げられる。また別の方法としては、操作者が入力する文字を声にして発し、表示装置１０００がそれを認識して文字に変換する方法もある。
【００８８】
＜表示部３１００および接触感知部３２００＞
表示部３１００は典型的には、２次元画像を表示できる平面的な形状の液晶ディスプレイである。画像を提示できる装置であれば液晶ディスプレイに限定しないが、例えばＣＲＴモニタを用いては持ち運びできることを実現することは難しい。表示部３１００は操作者に視覚情報を提示する装置であるが、接触感知部３２００と統合されることで操作者の操作を受け付ける装置でもある。具体的には、透明な薄膜で構成される接触感知部３２００を、表示部３１００にはりつけることでふたつの装置を統合することができる。なお、タッチパネルの方式については公知のものを用いればよく、前記紹介した技術のうちひとつを用いることが望ましい。接触感知部３２００は指示手段３４００が表示部３１００および接触感知部３２００に触れたことを感知し、その位置が表示部３１００の上のどこであるのかという位置情報を得る。
【００８９】
＜指示手段３４００＞
指示手段３４００は、典型的には表示装置３０００を操作する操作者の指である。ただし人間の指に限ったものではなく、タッチパネルに触れて位置を指定できるものであれば限定しない。例えば、ペン状の指示器具を手に持ってタッチパネルに触れるような実施例も考えられる。
【００９０】
＜全体の流れ＞
図１１は、表示装置３０００が、操作者の操作により生まれる死角領域を検出し、表示部３１００の表示内容を制御する全体の流れを示すフローチャートである。実施例１の全体フローを示す図２と共通の部分もあるため、その部分は割愛する。本実施例において、この図１１に示す処理は全て接触感知部３２００を通して得た情報を処理することにより行い、その処理は全て制御部３３００が行う。
【００９１】
まず初めに制御部３３００は、接触感知部３２００は指示手段３４００が表示部３１００上に触れている位置を検出する（ＳＴＥＰ３１０）。指示手段３４００の接触が検出された場合（ＳＴＥＰ３２０でイエス）には、指示手段３４００が表示部３１００を覆い隠す死角領域を検出する（ＳＴＥＰ３３０）。なお、（ＳＴＥＰ３２０）でノーであった場合には、死角領域を検出せずに、グラフィカルユーザインターフェイス上の項目の表示方法を制御する処理に移る（ＳＴＥＰ３４０）。この（ＳＴＥＰ３３０）については具体的に説明する。（ＳＴＥＰ３４０）の処理については、実施例１と同一の方法を用いることができるので割愛する。図１１に示した一連のフロー（ＳＴＥＰ３１０）から（ＳＴＥＰ３４０）は実施例１と同じように、典型的にはごく短時間で終了し１秒間の間に数十回絶えず繰り返し実行されることが望ましい。
【００９２】
＜死角領域の検出処理＞
図１１のフロー中の（ＳＴＥＰ３３０）で示した死角領域の検出処理について説明する。実施例１では、表示部１１００と指示手段１４００と操作者あるいは閲覧者の視点が、３次元空間上である程度の距離と自由度を持って存在している。そのため死角領域を検出するには、表示部１１００と指示手段１４００と操作者あるいは閲覧者の視点の位置関係を精密に検出する必要があった。本実施例では、指示手段３４００の３次元空間上の位置と、視点の３次元空間上の位置を検出せず、死角領域を求める。その理由は表示部３１００と指示手段３４００と操作者の視点の相対的な位置関係が３つの制約を持っているからである。
【００９３】
まず１つに、表示部３１００と指示手段３４００の位置関係である。このふたつは数センチメートルのきわめて近い距離にある。それは図１０に示すように、指示手段３４００がタッチパネルを操作する時に表示部３１００に触れるためである。また指示手段３４００は、操作者の利き手が右であれば表示部３１００の右下から、利き手が左であれば表示部３１００の左下から表示部３１００の上に向かって伸びている。
【００９４】
さらに典型的には、操作者は表示装置３０００を手に持ち、顔の正面に据えて操作する姿勢が負担のない楽な姿勢であるといえる。また表示部３１００が表示する文字や画像の方向から、操作者が表示装置３０００のどの辺を上にして手に持つかも限定できる。もう１つの制約として、操作者の視点と表示部３１００の位置関係である。これは典型的には数十センチメートルの距離である。この表示装置３０００の操作方法がタッチパネルである以上、指示手段３４００、つまり手と腕あるいは指示器具の長さ以上には２つは離れることができない。３つ目の制約として、表示部３１００の面積が小さく、操作者が手に持って扱うことから、複数の人間が表示装置３０００を見ることは少ないといえる。つまり、操作者のみの視点が存在すると限定することができる。
【００９５】
以上の３つの制約から、本実施例では表示部３１００と指示手段３４００と視点の位置関係がほぼ一定の位置関係にあると仮定し、接触感知部３２００のみで得た情報に基づいて操作者にとっての死角領域の検出を近似的に行う。
【００９６】
図１２は、操作者の視点から見た表示部３１００と、指示手段３４００と、表示部３１００上に推定された死角領域を示している。ここで説明する処理では具体的には、操作者の利き手と、接触感知部３２００から得られた位置情報から、死角領域を一意に求める。得られる情報は指示手段３４００の先端の位置のみであり、指示手段３４００の具体的な形状は得られない。そこで厳密な死角領域の形状の代わりに、例えば指示手段３４００の先端の位置に基づいて楕円形の領域を設定し、それを死角領域として設定するなどがよい。楕円の大きさや形は一定ではなく、表示部３１００上の位置によって動的に変えることもまたよい。また操作者の利き手がどちらかであるかは推定できないので、事前に操作者から収集しておくことがよい。
【００９７】
以上実施例３で説明したように、表示画面の前面に備わったタッチパネルに対してタッチすることにより操作する表示装置において、操作によってディスプレイ上に死角領域が生れても操作や閲覧の妨げにならない表示を可能とする。
【００９８】
（その他の実施例）
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００９９】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【符号の説明】
【０１０２】
１０００  表示装置
１１００  表示部
１２００  撮像部
１３００  制御部
１４００  指示手段
【図１】
2012038025.tif 000003
【図２】
2012038025.tif 000004
【図３】
2012038025.tif 000005
【図４】
2012038025.tif 000006
【図５】
2012038025.tif 000007
【図６】
2012038025.tif 000008
【図７】
2012038025.tif 000009
【図８】
2012038025.tif 000010
【図９】
2012038025.tif 000011
【図１０】
2012038025.tif 000012
【図１１】
2012038025.tif 000013
【図１２】
2012038025.tif 000014