(57)【要約】【課題】手の形状と処理内容との関係が容易に理解できる技術を提供する。【解決手段】表示方法は、（ａ）手を含む画像を撮影する工程と、（ｂ）手と操作面の距離である第１の距離を決定する工程と、（ｃ）前記画像に基づいて前記手の形状を認識する工程と、（ｄ）前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示する工程と、を備える。【選択図】図５
2020135096.tif 000002
【特許請求の範囲】
【請求項１】
使用者の手による操作面に対する操作を受け付ける表示方法であって、
（ａ）前記手を含む画像を撮影する工程と、
（ｂ）前記手と前記操作面の距離である第１の距離を決定する工程と、
（ｃ）前記画像に基づいて前記手の形状を認識する工程と、
（ｄ）前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示する工程と、
を備える表示方法。
【請求項２】
請求項１に記載の表示方法であって、
前記工程（ｄ）は、前記第１の距離に応じて、前記選択された操作アイコンの表示態様を変更する工程を含む、表示方法。
【請求項３】
請求項２に記載の表示方法であって、
前記工程（ｄ）は、前記第１の距離が小さい場合に、前記第１の距離が大きい場合よりも前記選択された操作アイコンを小さく表示する工程を含む、表示方法。
【請求項４】
請求項２に記載の表示方法であって、
前記工程（ｄ）は、前記第１の距離に応じて、前記選択された操作アイコンの傾きを変更する工程を含む、表示方法。
【請求項５】
請求項１〜４のいずれか一項に記載の表示方法であって、更に、
（ｅ）前記第１の距離が、前記第１距離閾値以下の値である予め定められた第２距離閾値以下の状態にある場合に、前記手と前記操作面は接触状態と判定し、前記操作アイコンで示される処理を実行する工程、を含む表示方法。
【請求項６】
請求項５に記載の表示方法であって、
前記工程（ｅ）は、前記接触状態と判定された前記操作面の位置で、前記操作アイコンで示される処理を実行し、前記接触状態と判定された前記操作面の位置と異なる位置に、前記操作アイコンを表示する工程を含む、表示方法。
【請求項７】
請求項５に記載の表示方法であって、
前記工程（ｅ）は、前記手の形状が変化されても、前記操作アイコンを変更しないで前記操作面に表示し、前記操作アイコンで示される処理を実行する工程を含む、表示方法。
【請求項８】
使用者の手による操作面に対する操作を受け付ける表示装置であって、
表示画像を前記操作面に表示する画像表示部と、
前記手を含む画像を撮影するカメラと、
前記手と前記操作面の距離である第１の距離を決定する距離決定部と、
前記画像に基づいて前記手の形状を認識する形状認識部と、
前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示するアイコン表示処理を前記画像表示部に実行させるアイコン表示実行部と、
を備える表示装置。
【請求項９】
請求項８に記載の表示装置であって、
前記アイコン表示実行部は、前記第１の距離に応じて、前記選択された操作アイコンの表示態様を変更する、表示装置。
【請求項１０】
請求項９に記載の表示装置であって、
前記アイコン表示実行部は、前記第１の距離が小さい場合に、前記第１の距離が大きい場合よりも前記選択された操作アイコンを小さく表示する、表示装置。
【請求項１１】
請求項９に記載の表示装置であって、
前記アイコン表示実行部は、前記第１の距離に応じて、前記選択された操作アイコンの傾きを変更する、表示装置。
【請求項１２】
使用者の手による操作面に対する操作を受け付けるインタラクティブプロジェクターであって、
投写画像を前記操作面に投写する投写部と、
前記手を含む画像を撮影するカメラと、
前記手と前記操作面の距離である第１の距離を決定する距離決定部と、
前記画像に基づいて前記手の形状を認識する形状認識部と、
前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示するアイコン表示処理を前記投写部に実行させるアイコン表示実行部と、
を備えるインタラクティブプロジェクター。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、使用者の手による操作面に対する操作を受け付けて画像を表示する技術に関するものである。
【背景技術】
【０００２】
特許文献１には、手の形状に応じて処理内容を変更するシステムが記載されている。具体的には、指先が１本であることを検出した場合には、指差し姿勢でのタッチであることを通知し、それらに応じた処理を実行する。一方、５本の指先を検出し、指差し姿勢でない姿勢でタッチ操作が行われたと判別した場合には、別の処理を実行する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１６２１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、手の形状とその形状に応じた処理内容との関係を使用者が予めすべて正確に記憶しておかなければならず、手の形状と処理内容との関係が容易に理解できないという問題があった。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、使用者の手による操作面に対する操作を受け付ける表示方法が提供される。この表示方法は、（ａ）前記手を含む画像を撮影する工程と、（ｂ）前記手と前記操作面の距離である第１の距離を決定する工程と、（ｃ）前記画像に基づいて前記手の形状を認識する工程と、（ｄ）前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示する工程と、を備える。
【０００６】
本開示は、表示方法以外の種々の形態で実現することも可能であり、例えば、表示装置やインタラクティブプロジェクター、それらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体等の様々な形態で実現することができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態におけるインタラクティブプロジェクションシステムの斜視図。
【図２】インタラクティブプロジェクションシステムの側面図。
【図３】インタラクティブプロジェクションシステムの正面図。
【図４】インタラクティブプロジェクターの機能ブロック図。
【図５】手の形状に応じて表示される操作アイコンの例を示す説明図。
【図６】手と操作面の距離に応じた操作アイコンサイズの変化の一例を示すグラフ。
【図７】手と操作面の距離に応じた操作アイコン角度の変化の一例を示すグラフ。
【図８】表示処理の手順を示すフローチャート。
【図９】第２実施形態における表示システムの正面図。
【図１０】表示システムの機能ブロック図。
【発明を実施するための形態】
【０００８】
A. 第１実施形態
図１は、第１実施形態におけるインタラクティブプロジェクションシステム８００の斜視図である。このシステム８００は、インタラクティブプロジェクター１００と、スクリーン板８２０とを有している。スクリーン板８２０の前面は、使用者の手９０や指８０を用いた指示の入力に使用される操作面ＳＳとして利用される。なお、本実施形態において、指８０や手９０を「指示体」とも呼ぶ。操作面ＳＳは、また、投写画面ＰＳが投写される投写面としても利用される。プロジェクター１００は壁面に固定されており、スクリーン板８２０の前方かつ上方に設置されている。なお、図１では操作面ＳＳを鉛直に配置しているが、操作面ＳＳを水平に配置してこのシステム８００を使用することも可能である。
【０００９】
プロジェクター１００は、画像をスクリーン板８２０に投写する投写レンズ２１０と、手９０を含む画像を撮影する２台のカメラ３１０，３２０と、赤外照明部４００とを有する。本実施形態において、プロジェクター１００は、使用者の手９０による操作面ＳＳに対する操作を受け付ける表示装置として機能する。
【００１０】
投写レンズ２１０は、操作面ＳＳ上に投写画面ＰＳを投写する。投写画面ＰＳは、プロジェクター１００内で描画された画像を含んでいる。プロジェクター１００内で描画された画像がない場合には、プロジェクター１００から投写画面ＰＳに光が照射されて、白色画像が表示される。本明細書において、「操作面ＳＳ」とは、手９０や指８０を用いた操作の入力に使用される表面を意味する。また、「投写画面ＰＳ」とは、プロジェクター１００によって操作面ＳＳ上に投写された画像の領域を意味する。
【００１１】
第１カメラ３１０と第２カメラ３２０は、操作面ＳＳを背景とした手９０の画像をそれぞれ撮影する機能を有する。すなわち、第１カメラ３１０と第２カメラ３２０は、赤外照明部４００から照射された赤外光のうち、操作面ＳＳと手９０で反射された光を受光することによって手９０を含む画像を作成する。第１カメラ３１０と第２カメラ３２０で撮影された２つの画像を用いると、三角測量等によって手９０や指８０の３次元位置を求めることが可能である。第１カメラ３１０と第２カメラ３２０は、それぞれ、操作面ＳＳを撮影可能に、操作面ＳＳの前方の異なる位置に配置される。なお、カメラの台数は３以上でもよい。
【００１２】
図２は、インタラクティブプロジェクションシステム８００の側面図であり、図３はその正面図である。本明細書では、操作面ＳＳの左端から右端に向かう方向をＸ方向と定義し、操作面ＳＳの下端から上端に向かう方向をＹ方向と定義し、操作面ＳＳの法線に沿った方向をＺ方向と定義している。なお、便宜上、Ｘ方向を「幅方向」とも呼び、Ｙ方向を「上方向」とも呼び、Ｚ方向を「距離方向」とも呼ぶ。なお、図２では、図示の便宜上、スクリーン板８２０のうちの投写画面ＰＳの範囲にハッチングを付している。
【００１３】
図３の例は、インタラクティブプロジェクションシステム８００がホワイトボードモードで動作している様子を示している。ホワイトボードモードは、手９０や指８０を用いて投写画面ＰＳ上にユーザーが任意に描画できるモードである。操作面ＳＳ上には、ツールボックスＴＢを含む投写画面ＰＳが投写されている。このツールボックスＴＢは、処理を元に戻す取消ボタンＵＤＢと、マウスポインターを選択するポインターボタンＰＴＢと、描画用のペンツールを選択するペンボタンＰＥＢと、描画された画像を消去する消しゴムツールを選択する消しゴムボタンＥＲＢと、画面を次に進めたり前に戻したりする前方／後方ボタンＦＲＢと、を含んでいる。ユーザーは、指８０を用いてこれらのボタンをクリックすることによって、そのボタンに応じた処理を行ったり、ツールを選択したりすることが可能である。なお、システム８００の起動直後は、マウスポインターがデフォールトツールとして選択されるようにしてもよい。図３の例では、ユーザーがペンツールを選択した後、指８０の先端を操作面ＳＳに接した状態で投写画面ＰＳ内で移動させることにより、投写画面ＰＳ内に線が描画されてゆく様子が描かれている。この線の描画は、後述する投写画像作成部によって行われる。
【００１４】
なお、インタラクティブプロジェクションシステム８００は、ホワイトボードモード以外の他のモードでも動作可能である。例えば、このシステム８００は、図示しないパーソナルコンピューターから通信回線を介して転送されたデータの画像を投写画面ＰＳに表示するＰＣインタラクティブモードでも動作可能である。ＰＣインタラクティブモードにおいては、例えば表計算ソフトウェアなどのデータの画像が表示され、その画像内に表示された各種のツールや操作アイコンを利用してデータの入力、作成、修正等を行うことが可能となる。
【００１５】
図４は、インタラクティブプロジェクター１００の機能ブロック図である。プロジェクター１００は、制御部７００と、投写部２００と、投写画像生成部５００と、位置検出部６００と、撮像部３００と、赤外照明部４００と、を有している。
【００１６】
制御部７００は、プロジェクター１００の各部の制御を行う。また、制御部７００は、撮像部３００と赤外照明部４００とを用いて手９０の画像を取得する撮影制御部７１０としての機能を有する。更に、制御部７００は、位置検出部６００で検出された手９０や指８０による操作面ＳＳ上での操作の内容を認識するとともに、その操作に応じた処理結果を示す投写画像を作成又は変更することを投写画像生成部５００に指令する操作実行部７２０としての機能を有する。
【００１７】
投写画像生成部５００は、投写画像を記憶する画像メモリー５１０を有しており、投写部２００によって操作面ＳＳ上に投写される投写画像を生成する機能を有する。投写画像生成部５００は、更に、投写画面ＰＳの台形歪みを補正するキーストーン補正部としての機能を有することが好ましい。
【００１８】
投写部２００は、投写画像生成部５００で生成された投写画像を操作面ＳＳ上に投写する機能を有する。投写部２００は、図２で説明した投写レンズ２１０の他に、光変調部２２０と、光源２３０とを有する。光変調部２２０は、画像メモリー５１０から与えられる投写画像データに応じて光源２３０からの光を変調することによって投写画像光ＩＭＬを形成する。この投写画像光ＩＭＬは、典型的には、ＲＧＢの３色の可視光を含むカラー画像光であり、投写レンズ２１０によって操作面ＳＳ上に投写される。なお、光源２３０としては、超高圧水銀ランプ等の光源ランプの他、発光ダイオードやレーザーダイオード等の種々の光源を採用可能である。また、光変調部２２０としては、透過型又は反射型の液晶パネルやデジタルミラーデバイス等を採用可能であり、色光別に複数の光変調部２２０を備えた構成としてもよい。
【００１９】
赤外照明部４００は、手９０や指８０を検出するための照射検出光ＩＤＬを操作面ＳＳとその前方の空間にわたってそれぞれ照射することが可能である。照射検出光ＩＤＬは赤外光である。
【００２０】
撮像部３００は、図２で説明した第１カメラ３１０と第２カメラ３２０とを有している。２台のカメラ３１０，３２０は、照射検出光ＩＤＬの波長を含む波長領域の光を受光して撮像する機能を有する。図４の例では、赤外照明部４００によって照射された照射検出光ＩＤＬが手９０や指８０で反射され、その反射検出光ＲＤＬが２台のカメラ３１０，３２０によって受光されて撮像される様子が描かれている。但し、カメラ３１０，３２０としては、赤外光の画像ではなく、可視光の画像を撮影するものを使用してもよい。この場合には、赤外照明部４００は省略可能である。
【００２１】
位置検出部６００は、２台のカメラ３１０，３２０で撮像された画像を用いて、手９０の代表点や指８０の先端の三次元位置を求める機能を有する。更に、位置検出部６００は、距離決定部６１０と、形状認識部６２０と、アイコン表示実行部６３０とを含んでいる。距離決定部６１０は、カメラ３１０，３２０で撮影された画像から、手９０と操作面ＳＳの距離を決定する。この距離の決定は、例えば、三角測量を利用して実行される。形状認識部６２０は、カメラ３１０，３２０で撮影された画像から手９０の形状を認識する。手９０の形状の認識は、例えばパターンマッチングを利用して実行される。アイコン表示実行部６３０は、手９０と操作面ＳＳが離間状態にある場合に、手９０の形状に応じて選択された操作アイコンを操作面ＳＳに表示するアイコン表示処理を画像表示部に実行させる。本実施形態では、投写画像生成部５００と投写部２００が「画像表示部」に相当する。これらの各部６１０〜６３０の機能の詳細は後述する。
【００２２】
制御部７００の各部の機能と位置検出部６００の各部の機能は、例えば、プロジェクター１００内のプロセッサーがコンピュータープログラムを実行することによって実現される。また、これらの各部の機能の一部をハードウェア回路で実現してもよい。
【００２３】
図５は、手９０の形状に応じて操作面ＳＳに表示される操作アイコンの例を示す説明図である。本明細書において、「操作アイコン」とは、操作面ＳＳ上での手９０の操作によって実行される処理の内容を示すアイコンを意味する。ここでは、手９０の形状として、互いに異なる４つの形状ＳＨ１〜ＳＨ４が示される。また、手９０の上部の操作面ＳＳに、手９０の形状ＳＨ１〜ＳＨ４に応じて予め選択された互いに異なる操作アイコンＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４が表示される。第１の操作アイコンＩＣ１は、図３に示した消しゴムボタンＥＲＢと同様に、描画された画像を消去する処理を示す操作アイコンである。第２の操作アイコンＩＣ２は、図３に示したペンボタンＰＥＢと同様に、ペンによる描画処理を示す操作アイコンである。第３の操作アイコンＩＣ３は、図３に示したポインターボタンＰＴＢと同様に、マウスポインターとしての処理を示す操作アイコンである。第４の操作アイコンＩＣ４は、図３に示した取消ボタンＵＤＢと同様に、処理を元に戻す取消処理を示す操作アイコンである。図３では、操作アイコンＩＣ１、ＩＣ２、ＩＣ３、ＩＣ４として、それぞれ、「消しゴム」、「ペン」、「ポインター」、「Ｕターン矢印」の画像が表示される。このような操作アイコンＩＣ１〜ＩＣ４の表示は、手９０と操作面ＳＳが離間状態にある場合に、形状認識部６２０が、手９０の形状を認識し、アイコン表示実行部６３０が、手９０の形状ＳＨ１〜ＳＨ４に応じて選択された操作アイコンＩＣ１〜ＩＣ４を操作面ＳＳに表示させる処理を画像表示部に実行させることによって行われる。こうすれば、手９０が操作面ＳＳから離間した離間状態にある場合に、手９０の形状に応じて選択された操作アイコンを操作面ＳＳに表示されるので、使用者は、その手９０の形状でどのような処理を行えるかを容易に理解できる。使用者が、手９０をそのままの形状で操作面ＳＳに近づけていき、手９０が操作面ＳＳに接触すると、操作アイコンＩＣ１〜ＩＣ４に応じた処理が実行される。操作アイコンＩＣ１〜ＩＣ４に応じた処理は、手９０が接触した操作面ＳＳの位置で実行される処理、または、手９０が接触した操作面ＳＳの位置とは関係なく実行される処理である。本実施形態では、例えば、プロジェクター１００は、手９０の形状を形状ＳＨ２と認識すると、第２の操作アイコンＩＣ２を操作面ＳＳに表示し、さらに、手９０の操作面ＳＳへの接触を認識すると、接触の位置で、描画処理を実行する。また、プロジェクター１００は、手９０の形状を形状ＳＨ４と認識すると、第４の操作アイコンＩＣ４を操作面ＳＳに表示し、さらに、手９０の操作面ＳＳへの接触を認識すると、接触の位置とは関係なく、処理を元に戻す取消処理を実行する。
【００２４】
操作面ＳＳ上の操作アイコンＩＣ１〜ＩＣ４の２次元座標Ｘ，Ｙは、位置検出部６００で検出される手９０の代表点の３次元座標Ｘ，Ｙ，Ｚのうちの２次元座標Ｘ，Ｙと同じであることが好ましい。こうすれば、手９０の形状に応じた操作アイコンによって、操作面ＳＳのどの位置に対してその操作アイコンで示される処理が実行されるのかを、使用者は容易に認識できる。なお、手９０の代表点としては、例えば、手９０のうちで操作面ＳＳに最も近い点や、手９０のうちで最もＹ座標値が大きい点などを使用できる。後述するように、手９０の代表点は、手９０と操作面ＳＳの距離を求める際にも利用される。
【００２５】
なお、図５に示した手９０の形状ＳＨ１〜ＳＨ４と操作アイコンＩＣ１〜ＩＣ４の対応関係は一例であり、これらの以外の他の対応関係を予め任意に定めておくことが可能である。また、手９０の特定の形状及び動作に応じて、図３のようにツールボックスＴＢを表示してツールボックスＴＢからツールを選択する操作モードと、図５のように手９０の形状に応じて操作アイコンを表示する操作モードとが切り換えられるようにしてもよい。手９０の特定の形状及び動作としては、例えば、手９０をグーの形にして操作面ＳＳを２回ノックする動作等の任意のものを使用可能である。
【００２６】
手９０と操作面ＳＳが離間状態にない場合、言い換えると、手９０と操作面ＳＳが接触状態にある場合、操作アイコンＩＣ１〜ＩＣ４は表示されても、表示されなくてもよい。例えば、ペンによる描画処理が実行されている時、対応する第２の操作アイコンＩＣ２の画像が表示されると、描画処理による画像と重なり、使用者の操作性が低下する可能性がある。この場合、接触状態では、第２の操作アイコンＩＣ２の画像が表示されない方が好ましい。また、第２の操作アイコンＩＣ２の画像が表示される場合は、描画処理による画像と重ならない位置に表示されてもよい。
【００２７】
手９０と操作面ＳＳが接触状態にある場合、形状認識部６２０は、手９０の形状の認識を継続しても、停止してもよい。例えば、形状認識部６２０が手９０の形状の認識を停止する場合、接触状態で手９０の形状が変化しても、形状認識部６２０が直前に認識した手９０の形状に対応した処理が実行されることが好ましい。形状認識部６２０が手９０の形状の認識を継続する場合、接触状態で手９０の形状が変化に従って、形状認識部６２０が認識した手９０の形状に対応した処理がその都度実行されてもよい。これらの場合、接触状態でも、操作アイコンを表示した方が好ましい。
【００２８】
アイコン表示実行部６３０は、更に、手９０と操作面ＳＳの距離に応じて、選択された操作アイコンの表示態様を変更するようにしても良い。こうすれば、手９０と操作面ＳＳの距離に応じて、使用者が認識し易い態様で操作アイコンを表示できる。操作アイコンの表示態様の変更例としては、例えば以下が考えられる。
（１）手９０と操作面ＳＳの距離が小さい場合に、手９０と操作面ＳＳの距離が大きい場合よりも操作アイコンを小さく表示する。
（２）手９０と操作面ＳＳの距離に応じて、操作アイコンの傾きを変更して表示する。
（３）手９０と操作面ＳＳの距離に応じて、操作アイコンの形状や色を変更して表示する。
なお、「手９０と操作面ＳＳの距離」とは、操作面ＳＳの法線に沿った方向の手９０の代表点と操作面ＳＳの距離を意味する。また、「手９０と操作面ＳＳの距離」は、「第１の距離」、「距離ΔＺ」とも呼ばれる。
【００２９】
図６は、手９０と操作面ＳＳの距離に応じた操作アイコンサイズの変化の一例を示すグラフである。横軸は手９０と操作面ＳＳの距離ΔＺを示し、縦軸は操作アイコンのサイズを示す。この例では、距離ΔＺが予め定められた第１距離閾値Ｔｈ１を超えている離間状態にある場合に、手９０の形状は、形状ＳＨ２と認識され、形状ＳＨ２に応じた操作アイコンＩＣ２である「ペン」の画像が操作面ＳＳに表示される。また、操作アイコンＩＣ２のサイズは、距離ΔＺが大きいほど大きくなる。換言すれば、手９０と操作面ＳＳの距離ΔＺが小さい場合に、手９０と操作面ＳＳの距離ΔＺが大きい場合よりも操作アイコンＩＣ２が小さく表示される。操作アイコンＩＣ２のサイズは、距離ΔＺの減少に伴って連続的に減少するようにしてもよく、或いは、階段状に減少するようにしてもよい。このように、手９０と操作面ＳＳの距離ΔＺが小さい場合に距離ΔＺが大きい場合よりも操作アイコンを小さく表示すれば、使用者は、手９０による操作面ＳＳ上での操作位置を認識し易くできるという利点がある。
【００３０】
なお、距離ΔＺが上限値ΔＺmaxを超えた場合には、操作アイコンＩＣ２を操作面ＳＳに表示しないことが好ましい。こうすれば、手９０が操作面ＳＳから大きく離れている場合に、不要な操作アイコンが操作面ＳＳに表示されてしまうことを防止できる。
【００３１】
図７は、手９０と操作面ＳＳの距離に応じた操作アイコン角度の変化の一例を示すグラフである。横軸は手９０と操作面ＳＳの距離ΔＺを示し、縦軸は操作アイコンの角度θを示す。この例でも、図６と同様に、距離ΔＺが予め定められた第１距離閾値Ｔｈ１を超えている離間状態にある場合に、手９０の形状は、形状ＳＨ２と認識され、形状ＳＨ２に応じた操作アイコンＩＣ２である「ペン」の画像が操作面ＳＳに表示される。また、距離ΔＺが上限値ΔＺmaxを超えた場合には、操作アイコンＩＣ２が操作面ＳＳに表示されない。操作アイコンＩＣ２の角度θは、距離ΔＺが増大するに従って変化している。角度θは、ペン形状の操作アイコンＩＣ２のペン先が左方向を向く場合を０度と定義しており、それよりも時計回りに操作アイコンＩＣ２のペン先が回転するに従って角度θが増加するものとしている。操作アイコンＩＣ２の角度θは、距離ΔＺの増大に伴って連続的に増加するようにしてもよく、或いは、階段状に増加するようにしてもよい。また、操作アイコンＩＣ２の角度θは、距離ΔＺの増大に伴って連続的又は階段状に減少するようにしてもよい。このように、手９０と操作面ＳＳの距離ΔＺに応じて操作アイコンの傾きを変更すれば、手９０による操作面ＳＳ上での操作位置を認識し易くできるという利点がある。
【００３２】
図８は、第１実施形態における表示処理の手順を示すフローチャートである。この処理は、インタラクティブプロジェクションシステム８００の稼働中に繰り返し実行される。
【００３３】
ステップＳ１００では、撮像部３００が操作面ＳＳを背景とした手９０を撮影することによって、手９０を含む画像を取得する。本実施形態では、２つのカメラ３１０，３２０を用いて２枚の画像が取得される。ステップＳ２００では、距離決定部６１０が、ステップＳ１００で得られた画像から、手９０と操作面ＳＳの距離ΔＺを決定する。この距離の決定は、例えば、２枚の画像を用いた三角測量等を利用して行われる。なお、ステップＳ２００では手９０の代表点の２次元座標Ｘ，Ｙも同時に求めるようにしても良い。ステップＳ３００では、形状認識部６２０が、ステップＳ１００で得られた画像から、手９０の形状を認識する。この認識は、例えばパターンマッチング等を利用して行われる。
【００３４】
ステップＳ４００では、手９０と操作面ＳＳの距離ΔＺが、予め定められた第１距離閾値Ｔｈ１を超えているか否かが判定される。距離ΔＺが第１距離閾値Ｔｈ１を超えている離間状態にある場合には、ステップＳ５００に進み、アイコン表示実行部６３０が、複数の操作アイコンの中から手９０の形状に応じて選択された操作アイコンを操作面ＳＳに表示するアイコン表示処理を画像表示部に実行させる。
【００３５】
一方、距離ΔＺが第１距離閾値Ｔｈ１以下の場合には、ステップＳ６００に進み、接触状態で操作アイコンの表示が設定されているか判定される。接触状態で操作アイコンの表示が設定されている場合は、ステップＳ６００からステップＳ７００に進む。ステップＳ７００では、操作実行部７２０によって、操作面ＳＳ上の手９０の位置において、手９０の形状に応じて選択されていた操作アイコンで示される処理が実行される。接触状態で操作アイコンの表示が設定されていない場合には、ステップＳ８００に進む。
【００３６】
ステップ８００では、距離ΔＺが第２距離閾値Ｔｈ２以下か否かが判定される。距離ΔＺが第２距離閾値Ｔｈ２よりも大きな場合には、図８の処理を終了する。一方、距離ΔＺが第２距離閾値Ｔｈ２以下の場合には、ステップＳ９００に進み、操作実行部７２０によって、操作面ＳＳ上の手９０の位置において、手９０の形状に応じて選択されていた操作アイコンで示される処理が実行される。ここで、「手９０の位置」は、手９０の代表点の位置を意味している。前述したように、手９０の代表点は、例えば、手９０の中で操作面ＳＳに最も近い点である。
【００３７】
第１距離閾値Ｔｈ１は、手９０が操作面ＳＳから離間していると判定できる値であり、例えば、５〜２０ｍｍの範囲に設定される。また、第２距離閾値Ｔｈ２は、手９０が操作面ＳＳに極めて近いと判定できる値であり、例えば３〜５ｍｍの範囲に設定される。第２距離閾値Ｔｈ２は、第１距離閾値Ｔｈ１以下の値に設定される。但し、２つの距離閾値Ｔｈ１，Ｔｈ２を等しい値に設定してもよい。この場合には、ステップＳ９００が省略される。第１の距離ΔＺが第１距離閾値Ｔｈ１を超えている離間状態を「手９と操作面ＳＳが離間状態」と呼ぶ。第１の距離ΔＺが第２距離閾値Ｔｈ２以下の状態を「手９と操作面ＳＳが接触状態」と呼ぶ。第１距離閾値Ｔｈ１と第２距離閾値Ｔｈ２を等しく設定すれば、「手９と操作面ＳＳが離間状態」でない状態が「手９と操作面ＳＳが接触状態」とされる。
【００３８】
以上のように、第１実施形態では、手９０が操作面ＳＳから離間した離間状態にある場合に、手９０の形状に応じて選択された操作アイコンを操作面ＳＳに表示するので、その手９０の形状でどのような処理を行えるかを使用者が容易に理解できる。
【００３９】
B. 第２実施形態
図９は、第２実施形態における表示システム９００の正面図である。表示システム９００は、画像表示パネル２００ａと、手９０を含む画像を撮影する２台のカメラ３１０，３２０と、赤外照明部４００とを有する。カメラ３１０，３２０と赤外照明部４００の構成は第１実施形態におけるこれらの構成と同じである。画像表示パネル２００ａは、いわゆるフラットパネルディスプレイである。画像表示パネル２００ａの画像表示面は、操作面ＳＳに相当する。
【００４０】
図１０は、表示システム９００の機能ブロック図である。この表示システム９００は、図４に示したインタラクティブプロジェクター１００の構成のうち、投写部２００を画像表示パネル２００ａに変更し、投写画像生成部５００を画像生成部５００ａに変更したものであり、他の構成はインタラクティブプロジェクター１００と同じである。また、表示システム９００による処理は、図５〜図８で説明した第１実施形態の処理と同様なので、説明を省略する。また、第２実施形態も、第１実施形態と同様の効果を奏する。
【００４１】
上述した第１実施形態と第２実施形態では、２台のカメラ３１０，３２０を用いて手９０や指８０の画像を取得していたが、他の撮像手段を用いて手９０の画像を取得しても良い。例えば、ＴＯＦカメラ（Time-of-Flight Camera）のように、光の飛行時間を利用して三次元位置を測定可能なカメラを用いて、手９０の画像を取得してもよい。また、単眼カメラを用いて手９０や指８０の画像を取得しても良い。この場合には、例えば、ライトカーテンタッチモジュールなどの他の位置検出手段を用いて、手９０や指８０の２次元座標Ｘ，Ｙや３次元座標Ｘ，Ｙ，Ｚを測定するようにしても良い。
【００４２】
C. 他の実施形態
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【００４３】
（１）本開示の第１の形態によれば、使用者の手による操作面に対する操作を受け付ける表示方法が提供される。この表示方法は、（ａ）前記手を含む画像を撮影する工程と、（ｂ）前記手と前記操作面の距離である第１の距離を決定する工程と、（ｃ）前記画像に基づいて前記手の形状を認識する工程と、（ｄ）前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示する工程と、を備える。
この表示方法によれば、手が操作面から離間した離間状態にある場合に、手の形状に応じて選択された操作アイコンを操作面に表示するので、その手の形状でどのような処理を行えるかを使用者が容易に理解できる。
【００４４】
（２）上記表示方法において、前記工程（ｄ）は、前記第１の距離に応じて、前記選択された操作アイコンの表示態様を変更する工程を含むものとしてもよい。
この表示方法によれば、手と操作面の距離に応じて使用者が認識し易い態様で操作アイコンを表示できる。
【００４５】
（３）上記表示方法において、前記工程（ｄ）は、前記第１の距離が小さい場合に、前記第１の距離が大きい場合よりも前記選択された操作アイコンを小さく表示する工程を含むものとしてもよい。
この表示方法によれば、手と操作面の距離が小さい場合に距離が大きい場合よりも操作アイコンを小さく表示するので、手による操作面での操作位置を認識し易くできる。
【００４６】
（４）上記表示方法において、前記工程（ｄ）は、前記第１の距離に応じて、前記選択された操作アイコンの傾きを変更する工程を含むものとしてもよい。
この表示方法によれば、手と操作面の距離に応じて操作アイコンの傾きを変更するので、手による操作面での操作位置を認識し易くできる。
【００４７】
（５）上記表示方法において、更に、（ｅ）前記第１の距離が、前記第１距離閾値以下の値である予め定められた第２距離閾値以下の状態にある場合に、前記手と前記操作面は接触状態と判定し、前記操作アイコンで示される処理を実行する工程、を含むものとしてもよい。
この表示方法によれば、手の形状に応じた処理を実行させることができる。
【００４８】
（６）上記表示方法において、前記工程（ｅ）は、前記接触状態と判定された前記操作面の位置で、前記操作アイコンで示される処理を実行し、前記接触状態と判定された前記操作面の位置と異なる位置に、前記操作アイコンを表示する工程を含むものとしてもよい。
この表示方法によれば、操作アイコンで示される処理の実行位置と操作アイコンの位置とが異なるので、操作アイコンに応じた処理の実行中に、使用者による操作性が低下する可能性を低減できる。
【００４９】
（７）上記表示方法において、前記工程（ｅ）は、前記手の形状が変化されても、前記操作アイコンを変更しないで前記操作面に表示し、前記操作アイコンで示される処理を実行する工程を含むものとしてもよい。
この表示方法によれば、手の形状のわずかな変化によって操作アイコンが変更される可能性を低減できる。
【００５０】
（８）本開示の第２の形態によれば、使用者の手による操作面に対する操作を受け付ける表示装置が提供される。この表示装置は、表示画像を前記操作面に表示する画像表示部と、前記手を含む画像を撮影するカメラと、前記手と前記操作面の距離である第１の距離を決定する距離決定部と、前記画像に基づいて前記手の形状を認識する形状認識部と、前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示するアイコン表示処理を前記画像表示部に実行させるアイコン表示実行部と、を備える。
この表示装置によれば、手が操作面から離間した離間状態にある場合に、手の形状に応じて選択された操作アイコンを操作面に表示するので、その手の形状でどのような処理を行えるかを使用者が容易に理解できる。
【００５１】
（９）上記表示装置において、前記アイコン表示実行部は、前記第１の距離に応じて、前記選択された操作アイコンの表示態様を変更するものとしてもよい。
この表示装置によれば、手と操作面の距離に応じて使用者が認識し易い態様で操作アイコンを表示できる。
【００５２】
（１０）上記表示装置において、前記アイコン表示実行部は、前記第１の距離が小さい場合に、前記第１の距離が大きい場合よりも前記選択された操作アイコンを小さく表示するものとしてもよい。
この表示装置によれば、手と操作面の距離が小さい場合に距離が大きい場合よりも操作アイコンを小さく表示するので、手による操作面での操作位置を認識し易くできる。
【００５３】
（１１）上記表示装置において、前記アイコン表示実行部は、前記第１の距離に応じて、前記選択された操作アイコンの傾きを変更するものとしてもよい。
この表示装置によれば、手と操作面の距離に応じて操作アイコンの傾きを変更するので、手による操作面での操作位置を認識し易くできる。
【００５４】
（１２）本開示の第３の形態によれば、使用者の手による操作面に対する操作を受け付けるインタラクティブプロジェクターが提供される。このインタラクティブプロジェクターは、投写画像を前記操作面に投写する投写部と、前記手を含む画像を撮影するカメラと、前記手と前記操作面の距離である第１の距離を決定する距離決定部と、前記画像に基づいて前記手の形状を認識する形状認識部と、前記第１の距離が予め定められた第１距離閾値を超えている離間状態にある場合に、複数の操作アイコンの中から前記手の形状に応じて選択された操作アイコンを前記操作面に表示するアイコン表示処理を前記投写部に実行させるアイコン表示実行部と、を備える。
このインタラクティブプロジェクターによれば、手が操作面から離間した離間状態にある場合に、手の形状に応じて選択された操作アイコンを操作面に表示するので、その手の形状でどのような処理を行えるかを使用者が容易に理解できる。
【符号の説明】
【００５５】
８０…指、１００…インタラクティブプロジェクター、２００…投写部、２００ａ…画像表示パネル、２１０…投写レンズ、２２０…光変調部、２３０…光源、３００…撮像部、３１０…第１カメラ、３２０…第２カメラ、４００…赤外照明部、４１０…第１照明部、４２０…第２照明部、５００…投写画像生成部、５００ａ…画像生成部、５１０…画像メモリー、６００…位置検出部、６１０…距離決定部、６２０…形状認識部、６３０…アイコン表示実行部、７００…制御部、７１０…撮影制御部、７２０…操作実行部、８００…インタラクティブプロジェクションシステム、８２０…スクリーン板、９００…表示システム
【図１】
2020135096.tif 000003
【図２】
2020135096.tif 000004
【図３】
2020135096.tif 000005
【図４】
2020135096.tif 000006
【図５】
2020135096.tif 000007
【図６】
2020135096.tif 000008
【図７】
2020135096.tif 000009
【図８】
2020135096.tif 000010
【図９】
2020135096.tif 000011
【図１０】
2020135096.tif 000012