(57)【要約】【課題】  ３次元画像として表示されるアイコンを指先で操作することができる表示装置および表示方法を提供する。【解決手段】  位置比較部１４は、指先位置検出部１１によって検出された指先５１の位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）と、第ｉ番目のアイコン４０の位置座標Ｐｉａ（ｘｉ，ｙｉ，ｚｉａ）とを比較し、指先５１が３次元画像のアイコン４０に触れたと判断すると、アイコンアクション生成部１６は、記録媒体１３から読み出した振動させる表示態様のデータに基づいて、指先５１が触れている３次元画像のアイコン４０を表示する位置を変化させる位置座標を算出し、算出した位置座標を画像生成部１７に送る。画像生成部１７は、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、アイコン選択可否分離部１５から受け取る位置座標に代えて、アイコンアクション生成部１６から受け取る位置座標に表示する。【選択図】      図２
2012088819.tif 000002
【特許請求の範囲】
【請求項１】
操作のためのアイコンの画像であるアイコン画像を表すアイコン画像情報、および該アイコン画像として表示される範囲を表す範囲情報を記憶する記憶手段と、
記憶手段に記憶されるアイコン画像情報が示すアイコン画像を３次元画像として表示する表示手段と、
表示手段によってアイコン画像が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する撮像手段と、
撮像手段によって生成される画像情報が示す画像の中に人体の指先の画像が含まれているとき、前記画像情報に基づいて前記指先の位置を特定する特定手段と、
特定手段によって特定される指先の位置が、記憶手段に記憶される範囲情報が示す範囲内にあるか否かを判定する判定手段と、
判定手段によって、特定手段によって特定される指先の位置が記憶手段に記憶される範囲情報が示す範囲内にあると判定されたとき、指先がアイコンに触れたと認識し、指先が触れたと認識したアイコン画像を予め定める第１の表示態様で表示手段に表示させる制御手段とを含むことを特徴とする表示装置。
【請求項２】
前記表示手段は、アイコン画像を３次元画像として認識させるための３次元画像情報を平面状の表示面に表示し、
前記記憶手段は、各アイコン画像が選択可能であるか否かを表す選択可否情報をさらに記憶し、
前記制御手段は、前記記憶手段に記憶される選択可否情報が選択可能であるとするアイコン画像を、前記記憶手段に記憶される範囲情報が示す範囲に表示させ、前記記憶手段に記憶される選択可否情報が選択可能でないとするアイコン画像を、前記表示面に近接する位置に表示させることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記記憶手段に記憶される範囲情報が示す範囲は、前記表示面に平行な予め定める形状の平面の範囲であり、
前記判定手段は、前記制御手段によって指先がアイコンに触れたと認識された後、前記特定手段によって特定される指先の位置が前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面側の位置に移動したか否かを判定し、
前記制御手段は、前記判定手段によって、前記特定手段によって特定される指先の位置が前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面側の位置に移動したと判定されたとき、指先が触れたと認識したアイコン画像を予め定める第２の表示態様で表示手段に表示させ、予め定める制御を行うことを特徴とする請求項２に記載の表示装置。
【請求項４】
前記第１の表示態様は、アイコン画像を振動させる表示態様であることを特徴とする請求項１〜３のいずれか１つに記載の表示装置。
【請求項５】
前記第２の表示態様は、前記表示面側に撓ませる表示態様であることを特徴とする請求項３に記載の表示装置。
【請求項６】
前記判定手段は、前記特定手段によって特定される指先の位置が、アイコンを移動するための予め定める移動条件を満たす位置に移動したか否かを判定し、
前記制御手段は、前記判定手段が、前記特定手段によって特定される指先の位置が予め定める移動条件を満たす位置に移動したと判定したとき、指先が触れたと認識したアイコン画像の位置を、前記特定された指先が移動した方向に移動させて表示させることを特徴とする請求項１〜４のいずれか１つに記載の表示装置。
【請求項７】
前記予め定める移動条件は、前記特定手段によって特定される指先の位置が、前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面に平行な方向に移動するという条件であることを特徴とする請求項５に記載の表示装置。
【請求項８】
操作のためのアイコンの画像であるアイコン画像を表すアイコン画像情報、および該アイコン画像として表示される範囲を表す範囲情報を記憶する記憶手段と、記憶手段に記憶されるアイコン画像情報が示すアイコン画像を３次元画像として表示する表示手段と、表示手段によってアイコン画像が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する撮像手段とを含む表示装置で実行される表示方法であって、
撮像手段によって生成される画像情報が示す画像の中に人体の指先の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する特定ステップと、
特定ステップで特定された指先の位置が、記憶手段に記憶される範囲情報が示す範囲内にあるか否かを判定する判定ステップと、
判定ステップで、特定ステップで特定された指先の位置が記憶手段に記憶される範囲情報が示す範囲内にあると判定されたとき、指先がアイコンに触れたと認識し、指先が触れたと認識したアイコン画像を予め定める第１の表示態様で表示手段に表示させる制御ステップとを含むことを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元画像を表示する表示装置および表示方法に関する。
【背景技術】
【０００２】
２次元画像を表示する表示装置では、タッチパネルを用いることによって、タッチパネルが設けられる画面に表示されるアイコンやメニューなどの部分を指先などで触れることによって、感覚的に操作することができる。
【０００３】
３次元画像に対する従来技術として、特許文献１に記載される裸眼立体映像表示装置がある。この裸眼立体映像表示装置は、裸眼立体ディスプレイとは別にプロジェクタおよびタッチパネルを用意し、裸眼立体ディスプレイを見る位置に設けられるタッチパネル上に、プロジェクタによって表示されるメニューなどの映像の部分にタッチ操作を行うものである。タッチパネルを備えているので、タッチパネルへの入力に応じ、表示する２次元映像と３次元映像とを変化させることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２６０１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、タッチパネルは、指先がパネルに触れるので、指紋が付いて汚れ、操作する度に画面が見難くなることや、公共の場で使用されるタッチパネルでは、複数人が触れるので、衛生上の問題がある。また、上述した従来技術では、ディスプレイの他に、プロジェクタを投影する空間を必要とする。この従来技術も、タッチパネルを用いるものであるが、３次元画像として表示されるアイコンに対して指先で操作することはできない。
【０００６】
本発明の目的は、３次元画像として表示されるアイコンを指先で操作することができる表示装置および表示方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、操作のためのアイコンの画像であるアイコン画像を表すアイコン画像情報、および該アイコン画像として表示される範囲を表す範囲情報を記憶する記憶手段と、
記憶手段に記憶されるアイコン画像情報が示すアイコン画像を３次元画像として表示する表示手段と、
表示手段によってアイコン画像が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する撮像手段と、
撮像手段によって生成される画像情報が示す画像の中に人体の指先の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する特定手段と、
特定手段によって特定される指先の位置が、記憶手段に記憶される範囲情報が示す範囲内にあるか否かを判定する判定手段と、
判定手段によって、特定手段によって特定される指先の位置が記憶手段に記憶される範囲情報が示す範囲内にあると判定されたとき、指先がアイコンに触れたと認識し、指先が触れたと認識したアイコン画像を予め定める第１の表示態様で表示手段に表示させる制御手段とを含むことを特徴とする表示装置である。
【０００８】
また本発明は、前記表示手段は、アイコン画像を３次元画像として認識させるための３次元画像情報を平面状の表示面に表示し、
前記記憶手段は、各アイコン画像が選択可能であるか否かを表す選択可否情報をさらに記憶し、
前記制御手段は、前記記憶手段に記憶される選択可否情報が選択可能であるとするアイコン画像を、前記記憶手段に記憶される範囲情報が示す範囲に表示させ、前記記憶手段に記憶される選択可否情報が選択可能でないとするアイコン画像を、前記表示面に近接する位置に表示させることを特徴とする。
【０００９】
また本発明は、前記記憶手段に記憶される範囲情報が示す範囲は、前記表示面に平行な予め定める形状の平面の範囲であり、
前記判定手段は、前記制御手段によって指先がアイコンに触れたと認識された後、前記特定手段によって特定される指先の位置が前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面側の位置に移動したか否かを判定し、
前記制御手段は、前記判定手段によって、前記特定手段によって特定される指先の位置が前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面側の位置に移動したと判定されたとき、指先が触れたと認識したアイコン画像を予め定める第２の表示態様で表示手段に表示させ、予め定める制御を行うことを特徴とする。
【００１０】
また本発明は、前記第１の表示態様は、アイコン画像を振動させる表示態様であることを特徴とする。
【００１１】
また本発明は、前記第２の表示態様は、前記表示面側に撓ませる表示態様であることを特徴とする。
【００１２】
また本発明は、前記判定手段は、前記特定手段によって特定される指先の位置が、アイコンを移動するための予め定める移動条件を満たす位置に移動したか否かを判定し、
前記制御手段は、前記判定手段が、前記特定手段によって特定される指先の位置が予め定める移動条件を満たす位置に移動したと判定したとき、指先が触れたと認識したアイコン画像の位置を、前記特定された指先が移動した方向に移動させて表示させることを特徴とする。
【００１３】
また本発明は、前記予め定める移動条件は、前記特定手段によって特定される指先の位置が、前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面に平行な方向に移動するという条件であることを特徴とする。
【００１４】
また本発明は、操作のためのアイコンの画像であるアイコン画像を表すアイコン画像情報、および該アイコン画像として表示される範囲を表す範囲情報を記憶する記憶手段と、記憶手段に記憶されるアイコン画像情報が示すアイコン画像を３次元画像として表示する表示手段と、表示手段によってアイコン画像が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する撮像手段とを含む表示装置で実行される表示方法であって、
撮像手段によって生成される画像情報が示す画像の中に人体の指先の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する特定ステップと、
特定ステップで特定された指先の位置が、記憶手段に記憶される範囲情報が示す範囲内にあるか否かを判定する判定ステップと、
判定ステップで、特定ステップで特定された指先の位置が記憶手段に記憶される範囲情報が示す範囲内にあると判定されたとき、指先がアイコンに触れたと認識し、指先が触れたと認識したアイコン画像を予め定める第１の表示態様で表示手段に表示させる制御ステップとを含むことを特徴とする表示方法である。
【発明の効果】
【００１５】
本発明によれば、記憶手段は、操作のためのアイコンの画像であるアイコン画像を表すアイコン画像情報、および該アイコン画像として表示される範囲を表す範囲情報を記憶する。表示手段は、記憶手段に記憶されるアイコン画像情報が示すアイコン画像を３次元画像として表示する。撮像手段は、表示手段によってアイコン画像が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する。特定手段は、撮像手段によって生成される画像情報が示す画像の中に人体の指先の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する。判定手段は、特定手段によって特定される指先の位置が、記憶手段に記憶される範囲情報が示す範囲内にあるか否かを判定する。そして、制御手段は、判定手段によって、特定手段によって特定される指先の位置が記憶手段に記憶される範囲情報が示す範囲内にあると判定されたとき、指先がアイコンに触れたと認識し、指先が触れたと認識したアイコン画像を予め定める第１の表示態様で表示手段に表示させる。したがって、操作者は、アイコンに触れたことを確実に認識することができ、３次元画像として表示されるアイコンを指先で操作することができる。
【００１６】
また本発明によれば、前記表示手段は、アイコン画像を３次元画像として認識させるための３次元画像情報を平面状の表示面に表示する。前記記憶手段は、各アイコン画像が選択可能であるか否かを表す選択可否情報をさらに記憶する。そして、前記制御手段は、前記記憶手段に記憶される選択可否情報が選択可能であるとするアイコン画像を、前記記憶手段に記憶される範囲情報が示す範囲に表示させ、前記記憶手段に記憶される選択可否情報が選択可能でないとするアイコン画像を、前記表示面に近接する位置に表示させる。したがって、選択可能なアイコンの操作性を向上することができ、また、選択不可のアイコンを間違って操作することを防止することができる。
【００１７】
また本発明によれば、前記記憶手段に記憶される範囲情報が示す範囲は、前記表示面に平行な予め定める形状の平面の範囲である。前記判定手段は、前記制御手段によって指先がアイコンに触れたと認識された後、前記特定手段によって特定される指先の位置が前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面側の位置に移動したか否かを判定する。そして、前記制御手段は、前記判定手段によって、前記特定手段によって特定される指先の位置が前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面側の位置に移動したと判定されたとき、指先が触れたと認識したアイコン画像を予め定める第２の表示態様で表示手段に表示させ、予め定める制御を行う。したがって、操作者は、アイコンを押下したことを確実に認識することができる。
【００１８】
また本発明によれば、前記第１の表示態様は、アイコン画像を振動させる表示態様であるので、操作者は、アイコンに触れたことをより感覚的に認識することができる。
【００１９】
また本発明によれば、前記第２の表示態様は、前記表示面側に撓ませる表示態様であるので、操作者は、アイコンを押下したことをより感覚的に認識することができる。
【００２０】
また本発明によれば、前記判定手段は、前記特定手段によって特定される指先の位置が、アイコンを移動するための予め定める移動条件を満たす位置に移動したか否かを判定する。そして、前記制御手段は、前記判定手段が、前記特定手段によって特定される指先の位置が予め定める移動条件を満たす位置に移動したと判定したとき、指先が触れたと認識したアイコン画像の位置を、前記特定された指先が移動した方向に移動させて表示させる。したがって、アイコンをスクロールして、隠れているアイコンを表示することができる。
【００２１】
また本発明によれば、前記予め定める移動条件は、前記特定手段によって特定される指先の位置が、前記記憶手段に記憶される範囲情報が示す範囲内の位置から前記表示面に平行な方向に移動するという条件である。したがって、指先を表示面と平行な方向に移動することによってスクロールすることができる。
【００２２】
また本発明によれば、操作のためのアイコンの画像であるアイコン画像を表すアイコン画像情報、および該アイコン画像として表示される範囲を表す範囲情報を記憶する記憶手段と、記憶手段に記憶されるアイコン画像情報が示すアイコン画像を３次元画像として表示する表示手段と、表示手段によってアイコン画像が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する撮像手段とを含む表示装置でアイコンを３次元画像として表示するにあたって、特定ステップでは、撮像手段によって生成される画像情報が示す画像の中に人体の指先の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する。判定ステップでは、特定ステップで特定された指先の位置が、記憶手段に記憶される範囲情報が示す範囲内にあるか否かを判定する。そして、制御ステップでは、判定ステップで、特定ステップで特定された指先の位置が記憶手段に記憶される範囲情報が示す範囲内にあると判定されたとき、指先がアイコンに触れたと認識し、指先が触れたと認識したアイコン画像を予め定める第１の表示態様で表示手段に表示させる。したがって、操作者は、アイコンに触れたことを確実に認識することができ、３次元画像として表示されるアイコンを指先で操作することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態である表示装置１の概略の構成を模式的に示す図である。
【図２】表示装置１の構成を示すブロック図である。
【図３】選択可能アイコン４０ａおよび選択不可アイコン４０ｂの表示位置の一例を示す図である。
【図４】アイコン４０のサイズの一例を示す図である。
【図５】アイコン４０が操作されたときの表示態様の例を示す図である。
【図６】アイコン４０のスクロールを説明するための図である。
【図７】ＰＣ１０が実行する表示制御処理の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２４】
図１は、本発明の一実施形態である表示装置１の概略の構成を模式的に示す図である。本発明に係る表示方法は、表示装置１で実行される。表示装置１は、３次元画像を表示することができる装置であり、パーソナルコンピュータ（以下「ＰＣ」という）１０、ディスプレイ２０およびカメラ３０を含んで構成される。
【００２５】
制御手段であるＰＣ１０は、図示しない中央処理装置（以下「ＣＰＵ」という）、図示しない記憶装置、図示しない入力装置および図示しない出力装置など、従来技術による装置を含んで構成される。ＣＰＵは、記憶装置に記憶されるプログラムを実行することによって、ディスプレイ２０、カメラ３０、入力装置および出力装置を制御する。記憶装置は、たとえば半導体メモリあるいはハードディスク装置などによって構成され、ＣＰＵによって実行されるプログラム、およびＣＰＵが処理を行うために必要な情報を記憶する。記憶装置に記憶される情報は、ＣＰＵによって書き込みおよび読み出しが行われる。入力装置は、たとえばキーボードあるいはマウスなどによって構成され、情報を入力するための装置であり、入力された情報をＣＰＵに送る。出力装置は、たとえばプリンタあるいは液晶ディスプレイなどによって構成され、ＣＰＵから受け取る情報を印刷あるいは表示して出力する。入力装置および出力装置は、タッチパネルなどを用いて一体化したものであってもよい。
【００２６】
表示手段であるディスプレイ２０は、たとえば液晶ディスプレイによって構成され、インフォーメイションディスプレイ（Information Display：略称ＩＰＤ）とも呼ばれる。ディスプレイ２０は、ＰＣ１０に接続される。ＰＣ１０は、３次元画像を表す３次元画像情報をディスプレイ２０に送る。ディスプレイ２０は、ＰＣ１０から受け取る３次元画像情報が示す３次元画像を、操作者５０が３次元画像として認識できる表示態様で表示する。ディスプレイ２０の表示態様としては、以下、右目用画像と左目用画像とを交互に平面状の表示面２１に表示する表示態様を例示として説明するが、この表示態様に限定されるものではなく、３次元画像として表示することができるものであればどのような表示態様であってもよい。
【００２７】
撮像手段であるカメラ３０は、ディスプレイ２０の周縁部に配置され、ディスプレイ２０の表示面２１に向かう空間の領域である撮像領域４１を撮像する。図１では、カメラ３０は、ディスプレイ２０の周縁部の上側中央に１台、およびディスプレイ２０の周縁部の下側中央に１台配置されている。ディスプレイ２０の周縁部の上側中央に配置されるカメラ３０は、ディスプレイ２０の表示面２１に向かう空間の領域を上側から撮像する。ディスプレイ２０の周縁部の下側中央に配置されるカメラ３０は、ディスプレイ２０の表示面２１に向かう空間の領域を下側から撮像する。
【００２８】
カメラ３０の台数は、人体、たとえば操作者５０の指先５１の位置を特定するために必要な台数であり、基本は２台であるが、２台に限定されるものではなく、３台あるいは４台であってもよい。また、１台で２画像、つまり３次元画像を撮影できるものであれば、精度は落ちるが１台であってもよい。
【００２９】
また、カメラ３０の配置は、図１に示すように、上下に各１台配置する構成に限定されるものではなく、たとえばディスプレイ２０の周縁部の左右に各１台配置する構成などでもよい。カメラ３０は、操作者５０の指先５１の位置を特定するとき、位置の精度を保つことができる位置に配置することが必要である。カメラ３０の解像度が高く、高性能である場合は、ディスプレイ２０の周縁部に配置しても、撮像した画像に基づいて特定する指先５１の位置の精度が落ちることはないが、カメラ３０の性能が悪い場合は、精度が落ちることのないように、３次元画像のアイコン４０が表示される位置に近い位置に配置する。アイコン４０は、操作者５０が操作するための画像であり、アイコン画像である。
【００３０】
各カメラ３０は、撮像した画像を表す画像情報である撮像画像情報を生成し、生成した撮像画像情報をＰＣ１０に送る。ＰＣ１０は、カメラ３０から受け取った撮像画像情報に基づいて、操作者５０の指先５１の位置を特定する。各カメラ３０が設置される設置位置、設置角度および視野角などの情報は、予め記憶装置に記憶させておく。記憶装置に記憶させた情報の変更が必要な場合は、調整メニューなどをタッチパネルに表示し、表示された調整メニューに応答してタッチパネルを操作して変更することができるようにしておく。
【００３１】
操作者５０の指先５１の位置および３次元画像のアイコン４０が表示される位置は、ＸＹＺ座標系によって表される。ＸＹＺ座標系は、ディスプレイ２０の表示面２１の中央の位置を原点とし、ディスプレイ２０の表示面２１の横方向をＸ軸とし、ディスプレイ２０の表示面２１の縦方向をＹ軸とし、表示面２１に直交する方向をＺ軸とする座標系である。このＸＹＺ座標系は、表示面２１に向かって右方向がＸ軸の正方向であり、表示面２１に向かって上方向がＹ軸の正方向であり、表示面２１に向かって手前方向がＺ軸の正方向である。
【００３２】
ディスプレイ２０は、アイコン４０を、ディスプレイ２０の表示面２１の前面側で、表示面２１から離れた位置に３次元画像として表示する。したがって、操作者５０は、３次元画像であるアイコン４０を、ディスプレイ２０の表示面２１よりも操作者５０に近い位置に表示されているように視認することができる。カメラ３０の撮像領域４１は、これらのアイコン４０が３次元画像として表示される空間の領域を含む領域になるように、各カメラ３０の設置位置、設置角度および視野角が設定される。撮像領域４１は、操作者５０が３次元画像を見るのに適した位置から、操作者５０が操作する３次元画像のアイコン４０が表示される位置よりも表示面２１側の位置までの領域である。
【００３３】
図２は、表示装置１の構成を示すブロック図である。表示装置１は、指先位置検出部１１、メモリ１２、記録媒体１３、位置比較部１４、アイコン選択可否分離部１５、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９を含んで構成される。
【００３４】
指先位置検出部１１、位置比較部１４、アイコン選択可否分離部１５、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９は、上述したＣＰＵが上述した記憶装置に記憶されるプログラムを実行することによって実行される機能である。メモリ１２および記録媒体１３は、上述した記憶手段に含まれる。
【００３５】
特定手段である指先位置検出部１１は、各カメラ３０から受け取る撮像画像情報に基づいて、撮像画像情報が示す画像の中に、操作者５０の指先５１の画像が含まれているか否かを判定する。操作者５０およびその操作者５０の指先５１の認識は、従来技術による認識技術を用いて行う。従来技術としての認識技術には、たとえば手の形状や動きを認識するハンドジェスチャ認識という技術、あるいは特開２００１−２８０４６号公報に記載される指を検出する技術などがある。
【００３６】
指先位置検出部１１は、撮像画像情報が示す画像に、操作者５０の指先５１の画像が含まれていることを認識したとき、撮像されている指先５１の位置を特定する。そして、特定した位置を表わす位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）を指先データとしてメモリ１２に書き込む。
【００３７】
メモリ１２は、たとえば半導体メモリによって構成され、指先位置検出部１１によって書き込まれた指先データを記憶する。メモリ１２に記憶された指先データは、位置比較部１４によって読み出される。記憶手段である記録媒体１３は、たとえばハードディスク装置（Hard Disk Drive：略称ＨＤＤ）あるいはソリッドステート装置（Solid State Drive：略称ＳＳＤ）などによって構成され、アイコンデータなどの情報が予め記憶されている。アイコンデータは、アイコン画像情報、選択可否情報、位置座標、サイズ、表示数、アクションデータおよび基準距離などの情報を含む。
【００３８】
アイコン画像情報は、アイコン４０の画像を表す情報であり、アイコン４０ごとにそれぞれ記憶される。アイコン４０は、予め定める形状、たとえば矩形の平面である。選択可否情報は、各アイコン４０が選択可能であるか否かをアイコン４０ごとに示す情報である。アイコン４０が選択可能であるか選択不可であるかは、アイコン４０が表示されるときの表示装置１の状態に依存する。表示装置１の状態は、どの画像を表示するかなど表示装置１全体を制御している図示しない制御部が決定する状態であり、たとえば、表示装置１に入力される情報、表示装置１に対する操作、あるいはアイコン４０に対する操作などによって決定される状態である。したがって、１つのアイコンは、表示装置１の状態変化に伴って、選択可能アイコン４０ａから選択不可アイコン４０ｂに変化することもあるし、逆に選択不可アイコン４０ｂから選択可能アイコン４０ａに変化することもあるし、変化しないこともある。たとえば操作者５０が１つの選択可能アイコン４０ａを選択して操作したことによって、表示装置１の状態が変化し、操作された選択可能アイコン４０ａが選択不可アイコン４０ｂに変化することがある。具体例としては、表示装置１が券売機である場合、一度に多くのアイコン４０が表示され、投入されるお金に応じて、選択することができるアイコン４０の数が増えるような例である。図示しない制御部は、上述したＣＰＵが上述した記憶装置に記憶されるプログラムを実行することによって実行される機能である。
【００３９】
位置座標は、アイコン４０を３次元画像として表示するときの位置をＸＹＺ座標系で表す情報であり、選択可能アイコン４０ａの位置座標Ｐｉａ（ｘｉ，ｙｉ，ｚｉａ）および選択不可アイコン４０ｂの位置座標Ｐｉｂ（ｘｉ，ｙｉ，ｚｉｂ）とを含む。選択可能アイコン４０ａは、操作者５０が選択して操作することができるアイコンであり、選択不可アイコン４０ｂは、操作者５０が選択して操作することができないアイコンである。選択可能アイコン４０ａのＸ座標およびＹ座標は、選択不可アイコン４０ｂのＸ座標およびＹ座標と同じであり、Ｚ座標のみが異なる。すなわち、選択可能アイコン４０ａと選択不可アイコン４０ｂとは、Ｚ軸方向、つまり表示面２１に対して前後方向にのみ移動させた異なる位置に表示される。記録媒体１３には、各アイコン４０について、選択可能アイコン４０ａの位置座標および選択不可アイコン４０ｂの位置座標がそれぞれ記憶される。
【００４０】
図３は、選択可能アイコン４０ａおよび選択不可アイコン４０ｂの表示位置の一例を示す図である。アイコン４０は、選択可能アイコン４０ａまたは選択不可アイコン４０ｂに分類され、選択可能アイコン４０ａは、操作者５０の指先５１が容易に届く位置、たとえば操作者５０に近い位置に表示される。選択不可アイコン４０ｂは、操作者５０の指先５１が容易に届かない位置、たとえば操作者５０から離れた表示面２１に近接する位置に表示される。
【００４１】
図４は、アイコン４０のサイズの一例を示す図である。サイズは、アイコン４０の画像であるアイコン画像の大きさであり、アイコン画像として表示される範囲を表す範囲情報である。アイコン４０を３次元画像として表示したときに表示面２１に平行となる矩形の平面の範囲である。アイコン４０のサイズは、Ｘ軸方向の長さおよびＹ軸方向の長さで表わされる。以下、Ｘ軸方向の長さおよびＹ軸方向の長さで表わされるアイコン画像の範囲をアイコン画像範囲という。図４に示したアイコン４０のサイズは、Ｘ軸方向の長さが「Ａ」であり、Ｙ軸方向の長さが「Ｂ」であり、「Ａ×Ｂ」で表わされる。長さの単位は、たとえば画素数である。アイコン４０のサイズは、各アイコン４０に共通である。
【００４２】
表示数ｎは、表示面２１に同時に表示されるアイコン４０の数である。表示数ｎは、通常、１０〜２０個程度である。アクションデータは、アイコン４０の３次元画像をどのような表示態様で表示させるかを表す情報である。操作者５０は、アイコン４０の表示態様によって、指先５１が３次元画像のアイコン４０に触れたか否か、つまり指先５１の位置が３次元画像のアイコン４０のアイコン画像範囲にあるか否か、あるいは、指先５１が３次元画像のアイコン４０を押下したか否か、つまり指先５１の位置が３次元画像のアイコン４０のアイコン画像範囲を超えて、表示面２１側に移動したか否かなどを認識することができる。具体的には、アクションデータには、指先５１が３次元画像のアイコン４０に触れた場合に表示する表示態様として、３次元画像のアイコン４０を振動させる表示態様を表す振動表示態様情報、および指先５１が３次元画像のアイコン４０を押下した場合に表示する表示態様として、３次元画像のアイコン４０を撓ませる表示態様を表す撓み表示態様情報がある。アクションデータは、各アイコン４０に共通である。
【００４３】
基準距離ｓは、指先５１が移動したか否かを判断するための基準となる距離であるとともに、スクロールが行われたときにアイコン４０を移動させる移動距離である。基準距離ｓは、たとえばアイコン４０の長辺の長さ、つまり長さＢと同程度の距離である。
【００４４】
図５は、アイコン４０が操作されたときの表示態様の例を示す図である。図５（ａ）は、３次元画像のアイコン４０を振動させる表示態様で表示させている状態を示す。３次元画像のアイコン４０を振動させる表示態様は、指先５１が３次元画像のアイコン４０に触れた場合、つまり指先５１の位置が３次元画像のアイコン４０のアイコン画像範囲にある場合に表示される表示態様である。３次元画像のアイコン４０の振動は、たとえば左右に５〜１０ｍｍの振動幅で、１０〜２０Ｈｚ程度の周波数で振動させる。
【００４５】
図５（ｂ）は、３次元画像のアイコン４０を撓ませる表示態様で表示させている状態を示す。３次元画像のアイコン４０を撓ませる表示態様は、指先５１が３次元画像のアイコン４０を押下した場合、つまり指先５１の位置が３次元画像のアイコン４０のアイコン画像範囲を超えて、表示面２１側に移動した場合に表示される表示態様である。
【００４６】
操作者５０が指先５１を３次元画像のアイコン４０に触れると、３次元画像のアイコン４０は振動するので、操作者５０は、指先５１が３次元画像のアイコン４０に触れたことを容易に認識することができる。また、操作者５０が振動している３次元画像のアイコン４０を超えて指先５１を押し込むと、３次元画像のアイコン４０はその押し込み量に応じて撓むので、操作者５０は、指先５１が３次元画像のアイコン４０を押し込んでいることを容易に認識することができる。
【００４７】
判定手段である位置比較部１４は、指先５１の位置と選択可能アイコン４０ａの位置とを比較し、指先５１が３次元画像のアイコン４０に触れたか否か、指先５１が３次元画像のアイコン４０を押し込んだか否か、および、指先５１が３次元画像のアイコン４０に対するスクロール操作を行ったか否かを判定し、判定結果をアイコンアクション生成部１６に送る。
【００４８】
具体的には、位置比較部１４は、メモリ１２に記憶されている指先データ、つまり位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）を読み出し、読み出した位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）と、選択可能アイコン４０ａごとの位置座標Ｐｉａ（ｘｉ，ｙｉ，ｚｉａ）とを比較する。変数ｉは、表示数ｎのアイコン４０のうちの第ｉ番目のアイコン４０であることを示す。位置比較部１４は、Ｘ座標ｘｆが「ｘｉ−Ａ／２」以上「ｘｉ＋Ａ／２」以下であり、Ｙ座標ｙｆが「ｙｉ−Ｂ／２」以上「ｙｉ＋Ｂ／２」以下であり、かつＺ座標ｚｆがｚｉａに一致するとき、指先５１が３次元画像のアイコン４０に触れたと判断し、その判断結果をアイコンアクション生成部１６に送る。
【００４９】
また、位置比較部１４は、指先５１が３次元画像のアイコン４０に触れたと判断した後、Ｘ座標ｘｆが「ｘｉ−Ａ／２」以上「ｘｉ＋Ａ／２」以下であり、Ｙ座標ｙｆが「ｙｉ−Ｂ／２」以上「ｙｉ＋Ｂ／２」以下であり、かつＺ座標ｚｆがｚｉａよりも小さいとき、指先５１が３次元画像のアイコン４０を押し込んだと判断し、その判断結果をアイコンアクション生成部１６に送る。
【００５０】
また、位置比較部１４は、指先５１が３次元画像のアイコン４０に触れたと判断した後、指先５１が予め定める移動条件を満たす位置に移動したとき、スクロール操作を行ったと判断し、その判断結果および移動方向をアイコンアクション生成部１６に送る。予め定める移動条件は、たとえばＺ座標ｚｆがｚｉａに一致した状態で、Ｘ座標ｘｆまたはＹ座標ｙｆが変化した距離が基準距離ｓより長いという条件である。
【００５１】
３次元画像のアイコン４０が表示されている位置は、操作者５０によって、若干異なることが予想されるので、実際に適用するときは、指先５１の位置と３次元画像のアイコン４０の位置とを比較するとき、ある程度の誤差を見込んで比較する必要がある。たとえば、Ｚ軸方向において、厳密にｚｆ＝ｚｉａを、指先５１がアイコン４０に触れたか否かを判断する条件にするのではなく、ある任意の距離ｒの余裕を持たせ、ｚｉａ＋ｒ≧ｚｆ≧ｚｉ−ｒを、指先５１がアイコン４０に触れたか否かを判断する条件にする。Ｘ軸方向およびＹ軸方向についても同じである。
【００５２】
アイコン選択可否分離部１５は、記録媒体１３に記憶される選択可否情報に基づいて、各アイコン４０を選択可能アイコン４０ａと選択不可アイコン４０ｂとに分類する。選択可能アイコン４０ａのアイコン画像情報および位置座標、ならびに選択不可アイコン４０ｂのアイコン画像情報および位置座標を記録媒体１３から読み出し、読み出したアイコン画像情報および位置座標を画像生成部１７に送る。
【００５３】
アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０に触れたことを示しているとき、記録媒体１３に記憶されるアクションデータのうち振動表示態様情報を読み出す。そして、読み出した振動表示態様情報に基づいて、指先５１が触れている３次元画像のアイコン４０を表示する位置を変化させる位置座標を算出し、算出した位置座標を画像生成部１７に送る。
【００５４】
また、アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０を押し込んだことを示しているとき、記録媒体１３に記憶されるアクションデータのうち撓み表示態様情報を読み出す。そして、読み出した撓み表示態様情報に基づいて、指先５１が触れている３次元画像のアイコン４０の形状を変化させる変化量を算出し、算出した変化量を画像生成部１７に送る。
【００５５】
また、アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０に対するスクロール操作を行ったことを示しているとき、すべてのアイコン４０について、位置比較部１４から受け取った移動方向に、基準距離ｓだけ移動した位置座標を算出し、算出した位置座標を画像生成部１７に送る。
【００５６】
図６は、アイコン４０のスクロールを説明するための図である。図６（ａ）は、アイコン４０を指先５１でフリックする動作を示している。フリックは、指先５１がアイコン４０に触れた状態のままで、指先５１を表示面２１と平行な方向に移動させる操作である。図６（ａ）では、指先５１は、アイコン４０ｆに触れた状態のまま、矢符Ｃで示す下方向、つまりＹ軸の負方向に移動している。
【００５７】
図６（ｂ）は、図６（ａ）のように指先５１が下方向にフリックされたときに、アイコン４０ｆがスクロールされて移動した後の状態を示している。アイコン４０ｆは、図６（ａ）に示した位置よりも矢符Ｄで示す下方向に移動している。アイコン４０ｆの移動に伴いアイコン４０ｇも同じ移動量だけ矢符Ｄで示す下方向にスクロールされて移動している。また、図６（ａ）で表示されていたアイコン４０ｅは、図６（ｂ）では、スクロールされて、操作者５０の視界から外れ、表示されていない。逆に、図６（ａ）では、操作者５０の視界に入っていなかったアイコン４０ｈが、スクロールされて、アイコン４０ｇの上側に表示されている。
【００５８】
画像生成部１７は、記録媒体１３から各アイコン４０のサイズを読み出し、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、アイコン選択可否分離部１５から受け取る位置座標が示す位置に、読み出したサイズで、上述した制御部から受け取る画像に合成して、合成画像データを生成し、生成した合成画像データを左目用画像生成部１８および右目用画像生成部１９に送る。
【００５９】
画像生成部１７は、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、上述した制御部から受け取る画像に合成する際、アイコンアクション生成部１６から位置座標を受け取っている場合は、指先５１が触れたと判断されたアイコン４０について、アイコン選択可否分離部１５から受け取る位置座標に代えて、アイコンアクション生成部１６から受け取る位置座標で合成する。また、画像生成部１７は、アイコン画像情報が示すアイコン４０の画像を、上述した制御部から受け取る画像に合成する際、アイコンアクション生成部１６から変化量を受け取っている場合は、指先５１が触れたと判断されたアイコンについて、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、アイコンアクション生成部１６から受け取った変化量だけ変化させて合成する。
【００６０】
左目用画像生成部１８は、画像生成部１７から受け取った合成画像データに基づいて、３次元画像として左目で見るための左目用画像を生成し、生成した左目用画像を表す左目用画像データをディスプレイ２０に送る。右目用画像生成部１９は、画像生成部１７から受け取った合成画像データに基づいて、３次元画像として右目で見るための右目用画像を生成し、生成した右目用画像を表す右目用画像データをディスプレイ２０に送る。
【００６１】
ディスプレイ２０は、左目用画像生成部１８から受け取る左目用画像データを左目用画像として、および右目用画像生成部１９から受け取る右目用画像データを右目用画像として表示する。アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９は、制御手段である。
【００６２】
図７は、ＰＣ１０が実行する表示制御処理の処理手順を示すフローチャートである。表示装置１の電源が投入されて動作準備が完了すると、ステップＡ１に移る。
【００６３】
ステップＡ１では、図示しない制御部は、アイコンデータを記録媒体１３に記憶する。具体的には、表示装置１に表示する画像を管理する管理者が、ＰＣ１０の入力装置を操作して、アイコンデータを入力する。図示しない制御部は、入力装置によって入力されたアイコンデータを記録媒体１３に記憶する。入力装置からの入力に代えて、着脱可能な記録媒体からアイコンデータを読み込んで記録媒体１３に記憶してもよいし、ネットワークなどの通信回線を介してアイコンデータを取得して記録媒体１３に記憶してもよい。記録媒体１３に記憶されるアクションデータは、アイコン画像情報、位置座標、サイズＡ×Ｂ、表示数ｎ、アクションデータおよび基準距離ｓを含む。位置座標は、選択可能アイコン４０ａの位置座標Ｐｉａ（ｘｉ，ｙｉ，ｚｉａ）および選択不可アイコン４０ｂの位置座標Ｐｉｂ（ｘｉ，ｙｉ，ｚｉｂ）を含む。
【００６４】
ステップＡ２では、アイコン選択可否分離部１５および画像生成部１７は、選択画面を表示する。選択画面は、表示数ｎのアイコン４０の中から１つのアイコン４０を選択するための画面である。具体的には、選択画面では、アイコン選択可否分離部１５および画像生成部１７は、選択可能アイコン４０ａについては、基準位置に対して、左目用の画像を右側に、右目用の画像を左側に寄せて表示する。また、選択不可アイコン４０ｂについては、選択可能アイコン４０ａよりも、左目用の画像を左に、右目用の画像を右に、基準位置側にずらして表示する。基準位置は、画像を２次元画像として表示面２１に表示するときの位置である。
【００６５】
選択可能アイコン４０ａおよび選択不可アイコン４０ｂをこのように表示することによって、操作者５０は、選択可能アイコン４０ａを選択不可アイコン４０ｂよりも手前側にある３次元画像として見ることができる。すなわち、操作者５０が選択することができるアイコン４０は、より近くに感じるように、そして、操作者５０が選択することができないアイコン４０は、奥に引っ込んでいるように表示し、選択可能アイコン４０ａが前に浮き上がってくるようにすることができる。
【００６６】
特定ステップであるステップＡ３では、指先位置検出部１１は、指先５１の位置を検出するとともに、変数ｉに「１」を代入する。具体的には、指先位置検出部１１は、各カメラ３０から受け取る撮像画像情報に基づいて、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されているか否かを判定する。指先位置検出部１１は、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されていることを認識したとき、撮像されている指先５１の位置を特定する。そして、特定した位置を表わす位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）を指先データとしてメモリ１２に書き込む。
【００６７】
判定ステップであるステップＡ４では、位置比較部１４は、第ｉ番目のアイコン４０について、指先５１の位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）のＸ座標ｘｆが「ｘｉ−Ａ／２」以上「ｘｉ＋Ａ／２」以下であり、Ｙ座標ｙｆが「ｙｉ−Ｂ／２」以上「ｙｉ＋Ｂ／２」以下であり、かつＺ座標ｚｆがｚｉａに一致するか否かを判定する。すなわち、位置比較部１４は、指先５１の位置と選択可能アイコン４０ａの位置とを比較し、指先５１が３次元画像のアイコン４０に触れたか否かを判定する。
【００６８】
指先５１の位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）のＸ座標ｘｆが「ｘｉ−Ａ／２」以上「ｘｉ＋Ａ／２」以下であり、Ｙ座標ｙｆが「ｙｉ−Ｂ／２」以上「ｙｉ＋Ｂ／２」以下であり、かつＺ座標ｚｆがｚｉａに一致するとき、すなわち、指先５１が３次元画像のアイコン４０に触れたとき、ステップＡ５に進む。指先５１の位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）のＸ座標ｘｆが「ｘｉ−Ａ／２」以上「ｘｉ＋Ａ／２」以下でないか、Ｙ座標ｙｆが「ｙｉ−Ｂ／２」以上「ｙｉ＋Ｂ／２」以下でないか、またはＺ座標ｚｆがｚｉａに一致しないとき、すなわち、指先５１が３次元画像のアイコン４０に触れなかったとき、ステップＡ１０に進む。
【００６９】
制御ステップであるステップＡ５では、第ｉ番目のアイコン４０について、アイコンアクション生成部１６および画像生成部１７は、指先５１が３次元画像のアイコン４０に触れたことを示すアイコンアクションをさせる。触れたことを示すアイコンアクションは、３次元画像のアイコン４０を振動させる表示態様であるが、振動させる表示態様に限定されるものではなく、アイコン４０を光らせる表示態様、もしくはアイコン４０の色を変化させた表示態様など、アイコン４０を触っていることが操作者５０に認識できる表示態様であればよい。
【００７０】
具体的には、アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０に触れたことを示しているとき、記録媒体１３に記憶されるアクションデータのうち振動表示態様情報を読み出す。そして、読み出した振動表示態様情報に基づいて、指先５１が触れている３次元画像のアイコン４０を表示する位置を変化させる位置座標を算出し、算出した位置座標を画像生成部１７に送る。画像生成部１７は、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、上述した制御部から受け取る画像に合成する際、アイコンアクション生成部１６から位置座標を受け取ると、アイコン選択可否分離部１５から受け取る位置座標に代えて、アイコンアクション生成部１６から受け取る位置座標で合成する。
【００７１】
ステップＡ６では、指先位置検出部１１は、指先５１の位置を検出する。具体的には、指先位置検出部１１は、各カメラ３０から受け取る新たな撮像画像情報に基づいて、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されているか否かを判定する。指先位置検出部１１は、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されていることを認識したとき、撮像されている指先５１の位置を特定する。そして、特定した位置を表わす位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）を新たな指先データとしてメモリ１２に書き込む。
【００７２】
ステップＡ７では、位置比較部１４は、ｚｉａ＞ｚｆであるか否かを判定する。すなわち、位置比較部１４は、指先５１のＺ座標ｚｆの値が、第ｉ番目のアイコン４０のＺ座標ｚｉａの値よりも小さいか否かを判定する。指先５１のＺ座標ｚｆの値が、第ｉ番目のアイコン４０のＺ座標ｚｉａの値よりも小さいとき、指先５１が第ｉ番目のアイコン４０を押し込んだ状態であり、ステップＡ８に進む。指先５１のＺ座標ｚｆの値が、第ｉ番目のアイコン４０のＺ座標ｚｉａの値よりも小さくないとき、指先５１が第ｉ番目のアイコン４０を押し込んだ状態ではなく、ステップＡ１２に進む。
【００７３】
ステップＡ８では、第ｉ番目のアイコン４０について、アイコンアクション生成部１６および画像生成部１７は、指先５１が３次元画像のアイコン４０を押し込んだことを示すアイコンアクションをさせる。押し込んだことを示すアイコンアクションは、３次元画像のアイコン４０を撓ませる表示態様にすることである。
【００７４】
具体的には、アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０に押し込んだことを示しているとき、記録媒体１３に記憶されるアクションデータのうち撓み表示態様情報を読み出す。そして、読み出した撓み表示態様情報に基づいて、指先５１が触れている３次元画像のアイコン４０の形状を変化させる変化量を算出し、算出した変化量を画像生成部１７に送る。この例では、変化量は、｜ｚｉａ−ｚｆ｜である。画像生成部１７は、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、上述した制御部から受け取る画像に合成する際、アイコンアクション生成部１６から変化量および位置座標を受け取ると、アイコン選択可否分離部１５から受け取るアイコン画像情報が示すアイコン４０の画像を、アイコンアクション生成部１６から受け取る変化量だけ変化させて合成する。
【００７５】
ステップＡ９では、図示しない制御部は、選択されたアイコンが押下されたことに伴う予め定める制御を行い、ステップＡ２に戻る。予め定める制御は、たとえば、次の選択画面に移行するための制御、発券処理の制御、あるいは写真を拡大表示するための制御など、表示装置１の機能および状態に応じて行われる制御である。
【００７６】
ステップＡ１０では、位置比較部１４は、変数ｉに代入されている値に「１」を加算し、加算後の値を変数ｉに代入する。ステップＡ１１では、位置比較部１４は、変数ｉの値が表示数ｎ以下であるか否かを判定する。変数ｉの値が表示数ｎ以下であるとき、ステップＡ４に戻り、次のアイコン４０について、指先５１が３次元画像のアイコン４０に触れたか否かを判定する。変数ｉの値が表示数ｎ以下でないとき、ステップＡ３に戻り、新たに指先５１の位置を検出する。
【００７７】
ステップＡ１２では、指先位置検出部１１は、指先５１の位置を検出する。具体的には、指先位置検出部１１は、各カメラ３０から受け取る新たな撮像画像情報に基づいて、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されているか否かを判定する。指先位置検出部１１は、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されていることを認識したとき、撮像されている指先５１の位置を特定し、特定した位置を、位置座標Ｐｆ１（ｘｆ１，ｙｆ１，ｚｆ１）とする。ステップＡ１２は、ステップＡ６が実行された時点から、操作者５０の指先５１の変化を捉えることができる最低限の時間以上、たとえば数ミリ秒程度以上の時間が経過した時点で実行させる。
【００７８】
ステップＡ１３では、位置比較部１４は、│ｘｆ１−ｘｆ│＞ｓであるか否か、つまり指先５１がＸ軸方向に基準距離ｓよりも長い距離を移動したか否かを判定する。位置比較部１４は、│ｘｆ１−ｘｆ│＞ｓであるとき、ステップＡ１４に進む。すなわち、ステップＡ６で検出した指先５１のＸ座標ｘｆの位置と、ステップＡ１２で検出した指先５１のＸ座標ｘｆ１の位置との距離が基準距離ｓよりも長いとき、指先５１が３次元画像のアイコン４０に対するスクロール操作を行ったことを示す判断結果および移動方向を、アイコンアクション生成部１６に送り、ステップＡ１４に進む。│ｘｆ１−ｘｆ│＞ｓでないとき、ステップＡ１６に進む。すなわち、ステップＡ６で検出した指先５１のＸ座標ｘｆの位置と、ステップＡ１２で検出した指先５１のＸ座標ｘｆ１の位置との距離が基準距離ｓよりも長くないとき、ステップＡ１６に進む。
【００７９】
ステップＡ１４では、アイコンアクション生成部１６は、各アイコン４０をＸ軸方向にスクロールする位置座標を算出する。具体的には、アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０に対するスクロール操作を行ったことを示しているとき、すべてのアイコン４０について、基準距離ｓだけ移動した位置座標を算出し、算出した位置座標を画像生成部１７に送る。移動方向は、位置比較部１４から受け取った移動方向のうち、Ｘ軸方向の成分が正のときは、Ｘ軸の正方向に移動し、Ｘ軸方向の成分が負のときは、Ｘ軸の負方向に移動する。
【００８０】
ステップＡ１５では、画像生成部１７は、各アイコンをＸ軸方向にスクロールして、ステップＡ２に戻る。すなわち、画像生成部１７は、各アイコン４０を、アイコンアクション生成部１６から受け取る位置座標にスクロール、つまり移動して、ステップＡ２に戻る。
【００８１】
ステップＡ１６では、位置比較部１４は、│ｙｆ１−ｙｆ│＞ｓであるか否か、つまり指先５１がＹ軸方向に基準距離ｓよりも長い距離を移動したか否かを判定する。位置比較部１４は、│ｙｆ１−ｙｆ│＞ｓであるとき、ステップＡ１７に進む。すなわち、ステップＡ６で検出した指先５１のＹ座標ｙｆの位置と、ステップＡ１２で検出した指先５１のＹ座標ｙｆ１の位置との距離が基準距離ｓよりも長いとき、指先５１が３次元画像のアイコン４０に対するスクロール操作を行ったことを示す判断結果および移動方向を、アイコンアクション生成部１６に送り、ステップＡ１７に進む。│ｙｆ１−ｙｆ│＞ｓでないとき、ステップＡ１９に進む。すなわち、ステップＡ６で検出した指先５１のＹ座標ｙｆの位置と、ステップＡ１２で検出した指先５１のＹ座標ｙｆ１の位置との距離が基準距離ｓよりも長くないとき、ステップＡ１９に進む。
【００８２】
ステップＡ１７では、アイコンアクション生成部１６は、各アイコン４０をＹ軸方向にスクロールする位置座標を算出する。具体的には、アイコンアクション生成部１６は、位置比較部１４から受け取った判断結果が、指先５１が３次元画像のアイコン４０に対するスクロール操作を行ったことを示しているとき、すべてのアイコン４０について、基準距離ｓだけ移動した位置座標を算出し、算出した位置座標を画像生成部１７に送る。移動方向は、位置比較部１４から受け取った移動方向のうち、Ｙ軸方向の成分が正のときは、Ｙ軸の正方向に移動し、Ｙ軸方向の成分が負のときは、Ｙ軸の負方向に移動する。
【００８３】
ステップＡ１８では、画像生成部１７は、各アイコンをＹ軸方向にスクロールして、ステップＡ２に戻る。すなわち、画像生成部１７は、各アイコン４０を、アイコンアクション生成部１６から受け取る位置座標にスクロール、つまり移動して、ステップＡ２に戻る。
【００８４】
ステップＡ１９では、指先位置検出部１１は、指先５１の位置を検出する。具体的には、指先位置検出部１１は、各カメラ３０から受け取る新たな撮像画像情報に基づいて、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されているか否かを判定する。指先位置検出部１１は、撮像画像情報が示す画像に、操作者５０の指先５１が撮像されていることを認識したとき、撮像されている指先５１の位置を特定する。そして、特定した位置を表わす位置座標Ｐｆ（ｘｆ，ｙｆ，ｚｆ）を新たな指先データとしてメモリ１２に書き込む。
【００８５】
ステップＡ２０では、位置比較部１４は、ｚｉａ＜ｚｆであるか否かを判定する。すなわち、位置比較部１４は、指先５１のＺ座標ｚｆの値が、第ｉ番目のアイコン４０のＺ座標ｚｉａの値よりも大きいか否かを判定する。指先５１のＺ座標ｚｆの値が、第ｉ番目のアイコン４０のＺ座標ｚｉａの値よりも大きいとき、指先５１が第ｉ番目のアイコン４０から離れた状態であり、ステップＡ３に戻る。指先５１のＺ座標ｚｆの値が、第ｉ番目のアイコン４０のＺ座標ｚｉａの値よりも大きくないとき、指先５１が第ｉ番目のアイコン４０から離れた状態ではなく、ステップＡ８に戻る。
【００８６】
上述した実施形態では、スクロールする場合、Ｘ軸方向を優先しているＸ軸方向またはＹ軸方向にのみスクロールしているが、Ｙ軸方向を優先するようにしてもよい。また、Ｘ軸方向またはＹ軸方向にのみスクロールしているが、実際の移動方向にスクロールするようにしてもよい。
【００８７】
また、スクロールする移動距離も固定長である基準距離ｓのみの移動としているが、実際に移動した距離としてもよいし、実際に移動した距離に基づいて算出する距離、たとえば実際に移動した距離に比例する距離としてもよい。
【００８８】
また、フリックされた距離が基準距離ｓより長い場合のみスクロールさせているが、フリックされた距離に応じてスクロールさせることも可能である。
【００８９】
このように、記録媒体１３は、操作のためのアイコン４０の画像であるアイコン画像を表すアイコン画像情報、およびアイコン４０として表示される範囲を表すサイズを記憶する。ディスプレイ２０は、記録媒体１３に記憶されるアイコン画像情報が示すアイコン４０を３次元画像として表示する。カメラ３０は、ディスプレイ２０によってアイコン４０が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成する。指先位置検出部１１は、カメラ３０によって生成される画像情報が示す画像の中に操作者５０の指先５１の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する。位置比較部１４は、指先位置検出部１１によって特定される指先５１の位置が、記録媒体１３に記憶されるサイズが示す範囲内にあるか否かを判定する。そして、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９は、位置比較部１４によって、指先位置検出部１１によって特定される指先５１の位置が記録媒体１３に記憶されるサイズが示す範囲内にあると判定されたとき、指先５１がアイコン４０に触れたと認識し、指先５１が触れたと認識したアイコン４０を予め定める第１の表示態様でディスプレイ２０に表示させる。したがって、操作者５０は、アイコン４０に触れたことを確実に認識することができ、３次元画像として表示されるアイコン４０を指先５１で操作することができる。
【００９０】
さらに、ディスプレイ２０は、アイコン４０を３次元画像として認識させるための３次元画像情報を平面状の表示面２１に表示する。記録媒体１３は、各アイコン４０が選択可能であるか否かを表す選択可否情報をさらに記憶する。そして、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９は、記録媒体１３に記憶される選択可否情報が選択可能であるとするアイコン４０を、記録媒体１３に記憶されるサイズが示す範囲に表示させ、記録媒体１３に記憶される選択可否情報が選択可能でないとするアイコン４０を、表示面２１に近接する位置に表示させる。したがって、選択可能なアイコン４０の操作性を向上することができ、また、選択不可のアイコン４０を間違って操作することを防止することができる。
【００９１】
さらに、記録媒体１３に記憶されるサイズが示す範囲は、表示面２１に平行な予め定める形状の平面の範囲である。位置比較部１４は、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９によって指先５１がアイコン４０に触れたと認識された後、指先位置検出部１１によって特定される指先５１の位置が記録媒体１３に記憶されるサイズが示す範囲内の位置から表示面２１側の位置に移動したか否かを判定する。そして、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９は、位置比較部１４によって、指先位置検出部１１によって特定される指先５１の位置が記録媒体１３に記憶されるサイズが示す範囲内の位置から表示面２１側の位置に移動したと判定されたとき、指先５１が触れたと認識したアイコン４０を予め定める第２の表示態様でディスプレイ２０に表示させ、予め定める制御を行う。したがって、操作者５０は、アイコン４０を押下したことを確実に認識することができる。
【００９２】
さらに、前記第１の表示態様は、アイコン４０を振動させる表示態様であるので、操作者５０は、アイコン４０に触れたことをより感覚的に認識することができる。
【００９３】
さらに、前記第２の表示態様は、表示面２１側に撓ませる表示態様であるので、操作者５０は、アイコン４０を押下したことをより感覚的に認識することができる。
【００９４】
さらに、位置比較部１４は、指先位置検出部１１によって特定される指先５１の位置が、アイコン４０を移動するための予め定める移動条件を満たす位置に移動したか否かを判定する。そして、アイコンアクション生成部１６、画像生成部１７、左目用画像生成部１８および右目用画像生成部１９は、位置比較部１４が、指先位置検出部１１によって特定される指先５１の位置が予め定める移動条件を満たす位置に移動したと判定したとき、指先５１が触れたと認識したアイコン４０の位置を、前記特定された指先５１が移動した方向に移動させて表示させる。したがって、アイコン４０をスクロールして、隠れているアイコン４０を表示することができる。
【００９５】
さらに、前記予め定める移動条件は、指先位置検出部１１によって特定される指先５１の位置が、記録媒体１３に記憶されるサイズが示す範囲内の位置から表示面２１に平行な方向に移動するという条件である。したがって、指先５１を表示面２１と平行な方向に移動することによってスクロールすることができる。
【００９６】
さらに、操作のためのアイコン４０の画像であるアイコン画像を表すアイコン画像情報、およびアイコン４０として表示される範囲を表すサイズを記憶する記録媒体１３と、記録媒体１３に記憶されるアイコン画像情報が示すアイコン４０を３次元画像として表示するディスプレイ２０と、ディスプレイ２０によってアイコン４０が３次元画像として表示される空間の領域を撮像し、撮像した画像を表す画像情報を生成するカメラ３０とを含む表示装置でアイコン４０を３次元画像として表示するにあたって、図７に示したフローチャートで、ステップＡ３では、カメラ３０によって生成される画像情報が示す画像の中に操作者５０の指先５１の画像が含まれているとき、前記画像に基づいて前記指先の位置を特定する。ステップＡ４では、ステップＡ３で特定された指先５１の位置が、記録媒体１３に記憶されるサイズが示す範囲内にあるか否かを判定する。そして、ステップＡ５では、ステップＡ４で、ステップＡ３で特定された指先５１の位置が記録媒体１３に記憶されるサイズが示す範囲内にあると判定されたとき、指先５１がアイコン４０に触れたと認識し、指先５１が触れたと認識したアイコン４０を予め定める第１の表示態様でディスプレイ２０に表示させる。したがって、操作者５０は、アイコン４０に触れたことを確実に認識することができ、３次元画像として表示されるアイコン４０を指先５１で操作することができる。
【符号の説明】
【００９７】
１  表示装置
１０  ＰＣ
１１  指先位置検出部
１２  メモリ
１３  記録媒体
１４  位置比較部
１５  アイコン選択可否分離部
１６  アイコンアクション生成部
１７  画像生成部
１８  左目用画像生成部
１９  右目用画像生成部
２０  ディスプレイ
２１  表示面
３０  カメラ
４０  アイコン
４０ａ  選択可能アイコン
４０ｂ  選択不可アイコン
４１  撮像領域
５０  操作者
５１  指先
【図１】
2012088819.tif 000003
【図２】
2012088819.tif 000004
【図３】
2012088819.tif 000005
【図４】
2012088819.tif 000006
【図５】
2012088819.tif 000007
【図６】
2012088819.tif 000008
【図７】
2012088819.tif 000009