(57)【要約】情報処理装置は、ユーザによる操作オブジェクトに対するポインティング操作の検出結果に基づいて、当該操作オブジェクトに関する表示情報を出力する出力制御部を有する。上記出力制御部は、上記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で上記操作オブジェクトが表示されるように、上記操作オブジェクトに関する表示情報を出力する。
2017141540.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる操作オブジェクトに対するポインティング操作の検出結果に基づいて、当該操作オブジェクトに関する表示情報を出力する出力制御部を備え、
前記出力制御部は、前記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で前記操作オブジェクトが表示されるように、前記操作オブジェクトに関する表示情報を出力する
情報処理装置。
【請求項２】
前記出力制御部は、前記第１の表示形態として、前記ポインティング操作に対する低遅延性を優先した表示形態を用い、前記第２の表示形態として、前記検出結果の安定性を優先した表示形態を用いる
請求項１に記載の情報処理装置。
【請求項３】
前記出力制御部は、前記ポインティング操作の操作状況に応じて、前記操作オブジェクトに関する表示情報を前記第１の表示形態と前記第２の表示形態との間で切り替える
請求項１に記載の情報処理装置。
【請求項４】
前記出力制御部は、前記ポインティング操作の操作状況に応じて、前記操作オブジェクトに関する表示情報を前記第１の表示形態と前記第２の表示形態の双方で出力する処理と、前記操作オブジェクトに関する表示情報を前記第１の表示形態と前記第２の表示形態のいずれかで出力する処理とを切り替える
請求項１に記載の情報処理装置。
【請求項５】
前記ポインティング操作の操作状況は、前記ユーザに関するユーザ情報、当該情報処理装置に関するデバイス情報、当該情報処理装置が置かれた環境に関する環境情報、前記ポインティング操作の対象に関するコンテンツ情報のいずれかを含む
請求項１に記載の情報処理装置。
【請求項６】
前記検出結果は、前記ポインティング操作の入力座標値に関する情報を含み、
前記操作オブジェクトは前記入力座標値に対応する位置に表示される
請求項５に記載の情報処理装置。
【請求項７】
前記出力制御部は、前記第１の表示形態として、前記検出された入力座標値から算出された予測値を基に前記操作オブジェクトに関する表示情報を描画し、前記第２の表示形態として、前記検出された入力座標値に所定の安定化フィルタを適用した座標値を基に前記操作オブジェクトに関する表示情報を描画する
請求項６に記載の情報処理装置。
【請求項８】
前記出力制御部は、前記第１の表示形態として、前記予測値と、当該予測値の周囲にランダムに配置された値を同時に用いて前記操作オブジェクトに関する表示情報を描画し、前記第２の表示形態として、前記安定化フィルタを適用した座標値を強調させた前記操作オブジェクトに関する表示情報を描画する
請求項７に記載の情報処理装置。
【請求項９】
前記ユーザ情報は、前記ポインティング操作の速度に関する速度情報を含み、
前記出力制御部は、前記速度情報に含まれる前記ポインティング操作の速度を示す値が所定の閾値以上である場合に前記第１の表示形態を用い、前記速度を示す値が前記所定の閾値未満である場合に前記第２の表示形態を用いる
請求項７に記載の情報処理装置。
【請求項１０】
前記出力制御部は、前記ポインティング操作の対象が第１のオブジェクトである場合に前記第１の表示形態を用い、前記ポインティング操作の対象が前記第１のオブジェクトとはことなる第２のオブジェクトである場合に前記第２の表示形態を用いる
請求項７に記載の情報処理装置。
【請求項１１】
前記ユーザ情報は、前記ポインティング操作の種類に関する操作種類情報を含み、
前記出力制御部は、前記ポインティング操作がオブジェクトを移動させる操作である場合に前記第１の表示形態を用い、前記ポインティング操作が前記オブジェクトを移動させる操作でない場合に前記第２の表示形態を用いる
請求項７に記載の情報処理装置。
【請求項１２】
前記デバイス情報は、当該情報処理装置のＣＰＵまたはバッテリの状態に関する情報を含み、
前記出力制御部は、前記ＣＰＵまたはバッテリが第１の状態である場合に前記第１の表示形態を用い、前記ＣＰＵまたはバッテリが前記第１の状態とは異なる第２の状態である場合に前記第２の表示形態を用いる
請求項７に記載の情報処理装置。
【請求項１３】
前記出力制御部は、第１の時刻における予測値と、前記第１の時刻よりも前の第２の時刻における予測値の補間値とを基に、前記第１の時刻における予測値の補間値を算出し、当該算出された補間値を基に前記第１の時刻における前記操作オブジェクトに関する表示情報を描画する
請求項７に記載の情報処理装置。
【請求項１４】
前記出力制御手段は、前記第１の表示形態として、前記操作オブジェクトに関する表示情報をパーティクル状またはドット状に描画し、前記第２の表示形態として、前記操作オブジェクトに関する表示情報をカーソル状またはフォーカス状に描画する
請求項８に記載の情報処理装置。
【請求項１５】
前記ポインティング操作は前記ユーザの指による操作であり、
前記出力制御手段は、前記第１の表示形態として、前記ポインティング操作の対象であるオブジェクトから前記ユーザの指に向かって徐々に細くかつ透明度を上げながら伸びた形態で前記操作オブジェクトに関する表示情報を描画し、前記第２の表示形態として、前記ポインティング操作の対象であるオブジェクト上に前記伸びた形態が縮んで収束した形態で前記操作オブジェクトに関する表示情報を描画する
請求項８に記載の情報処理装置。
【請求項１６】
ユーザによる操作オブジェクトに対するポインティング操作の検出結果を取得し、
前記検出結果に基づいて、前記操作オブジェクトに関する表示情報を、前記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で前記操作オブジェクトが表示されるように出力する
情報処理方法。
【請求項１７】
情報処理装置に、
ユーザによる操作オブジェクトに対するポインティング操作の検出結果を取得するステップと、
前記検出結果に基づいて、前記操作オブジェクトに関する表示情報を、前記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で前記操作オブジェクトが表示されるように出力するステップと
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、ユーザのポインティング操作に応じた表示制御を行うことが可能な情報処理装置、当該情報処理装置における情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
現在、人間とコンピュータとのインタラクションを実現する上で様々な選択操作が利用されている。例えば、ユーザにより把持されるデバイス（コントローラ）による操作や、タッチパネルによるタッチ操作等が挙げられる。また、今後、ジェスチャ入力、視線入力、次世代のポインティングデバイスによる操作等も普及していくと考えられる。【０００３】
このようなポインティング操作を実現する上では、ユーザの操作感を向上させるために、当該操作に対するユーザへの視覚的フィードバックが重要となるが、そのための課題も存在する。【０００４】
例えば、座標位置の安定化と遅延のトレードオフの問題がある。具体的には、ユーザからの入力をそのまま選択操作位置に適用すると、座標位置が安定しない。そこで、座標位置を安定化する処理（フィルタ処理）が適用可能であるが、その場合には遅延が発生する。【０００５】
低遅延で座標位置を安定化する手法は、例えば下記特許文献１等で提案されている。当該特許文献１には、タッチセンサからタッチ位置の座標を取得し、第（ｎ＋１）〜第（ｎ＋ｑ）番目に取得されたｑ個の座標Ｘ（ｎ＋１）〜Ｘ（ｎ＋ｑ）の関係を表す回帰直線を算出し、座標Ｘ（ｎ＋ｑ）に最も近い回帰直線上の座標Ｘ（ｎ＋ｑ）'を算出し、当該座標Ｘ（ｎ＋ｑ）'を用いて座標Ｘ（ｎ＋ｑ）を補正する情報処理装置が記載されている。この構成によれば、座標Ｘ（ｎ＋ｑ）が取得された時点で座標Ｘ（ｎ＋ｑ）'の算出を開始することが可能となるため、検出位置と実際一との間の誤差がリアルタイムに低減されることで、レスポンスの低下を招くことなく、ユーザが感じる違和感が抑圧される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１９４８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載の技術では、座標位置が安定した入力が得られたとしても、画面表示を含むシステム全体の遅延の影響を受けるため、遅延はやはり発生する。この問題を解決するために、過去から現在までの入力履歴から将来の座標位置を予測する技術も存在するが、この場合は座標位置が不安定になる問題が発生する。【０００８】
また、スマートフォンのタッチパネル操作のように、操作範囲が比較的狭い領域の場合、遅延は大きな問題にならないケースもあるが、大画面に対して選択操作する場合には、移動範囲が大きいため、遅延の問題が顕著になる。また、ジェスチャ入力や視線入力のように、不安定な入力座標に対しては、フィルタ処理が強めに適用されるため、遅延が問題になる。【０００９】
以上のような事情に鑑み、本技術の目的は、ユーザのポインティング操作の操作感を、視覚的フィードバックの表現上の工夫によって向上させることが可能な情報処理装置、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本技術の一形態に係る情報処理装置は、ユーザによる操作オブジェクトに対するポインティング操作の検出結果に基づいて、当該操作オブジェクトに関する表示情報を出力する出力制御部を有する。上記出力制御部は、上記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で上記操作オブジェクトが表示されるように、上記操作オブジェクトに関する表示情報を出力する。【００１１】
この構成により情報処理装置は、操作オブジェクトを、ユーザのポインティング操作の操作状況に応じて異なる表示形態で表示させることで、ポインティング操作の操作感を向上させることができる。【００１２】
上記出力制御部は、上記第１の表示形態として、上記ポインティング操作に対する低遅延性を優先した表示形態を用い、上記第２の表示形態として、上記検出結果の安定性を優先した表示形態を用いてもよい。【００１３】
これにより情報処理装置は、ポインティング操作の操作状況に応じて表示形態を異ならせることで、ポインティング操作に対する低遅延性とポインティング操作の検出結果の安定性とを両立させることができる。【００１４】
上記出力制御部は、上記ポインティング操作の操作状況に応じて、上記操作オブジェクトに関する表示情報を上記第１の表示形態と上記第２の表示形態との間で切り替えてもよい。【００１５】
これにより情報処理装置は、操作状況に応じて操作オブジェクトに関する表示情報の表示形態を動的に切り替えることで、ユーザにポインティング位置を容易に把握させることができる。【００１６】
上記出力制御部は、上記ポインティング操作の操作状況に応じて、上記操作オブジェクトに関する表示情報を上記第１の表示形態と上記第２の表示形態の双方で出力する処理と、上記操作オブジェクトに関する表示情報を上記第１の表示形態と上記第２の表示形態のいずれかで出力する処理とを切り替えてもよい。【００１７】
これにより情報処理装置は、操作状況に応じて操作オブジェクトに関する表示情報の異なる表示形態を同時に表示させたり一方のみ表示させたりすることでユーザにポインティング位置を容易に把握させることができる。【００１８】
上記ポインティング操作の操作状況は、上記ユーザに関するユーザ情報、当該情報処理装置に関するデバイス情報、当該情報処理装置が置かれた環境に関する環境情報、上記ポインティング操作の対象に関するコンテンツ情報のいずれかを含でもよい。【００１９】
上記検出結果は、上記ポインティング操作の入力座標値に関する情報を含み、上記操作オブジェクトは上記入力座標値に対応する位置に表示されてもよい。【００２０】
この場合上記出力制御部は、上記第１の表示形態として、上記検出された入力座標値から算出された予測値を基に上記操作オブジェクトに関する表示情報を描画し、上記第２の表示形態として、上記検出された入力座標値に所定の安定化フィルタを適用した座標値を基に上記操作オブジェクトに関する表示情報を描画してもよい。【００２１】
これにより情報処理装置は、予測値を用いることで低遅延性を実現しながら、安定化フィルタを用いることで入力座標値の安定性も実現することができる。【００２２】
上記出力制御部は、上記第１の表示形態として、上記予測値と、当該予測値の周囲にランダムに配置された値を同時に用いて上記操作オブジェクトに関する表示情報を描画し、上記第２の表示形態として、上記安定化フィルタを適用した座標値を強調させた上記操作オブジェクトに関する表示情報を描画してもよい。【００２３】
これにより情報処理装置は、第１の表示形態により、入力座標値の位置の不安定性をユーザに知覚されづらくすることができ、第２の表示態様により、ポインティング位置をユーザに明確に近くさせることができる。【００２４】
上記ユーザ情報は、上記ポインティング操作の速度に関する速度情報を含んでもよい。この場合上記出力制御部は、上記速度情報に含まれる上記ポインティング操作の速度を示す値が所定の閾値以上である場合に上記第１の表示形態を用い、上記速度を示す値が上記所定の閾値未満である場合に上記第２の表示形態を用いてもよい。【００２５】
これにより情報処理装置は、ポインティング操作の速度が速い場合には第１の表示形態により低遅延性を実現し、ポインティング操作の速度が遅い場合（静止している場合も含む）には第２の表示形態により入力座標値の安定性を実現することができる。【００２６】
上記出力制御部は、上記ポインティング操作の対象が第１のオブジェクトである場合に上記第１の表示形態を用い、上記ポインティング操作の対象が上記第１のオブジェクトとはことなる第２のオブジェクトである場合に上記第２の表示形態を用いてもよい。【００２７】
これにより情報処理装置は、ポインティング操作の対象が、低遅延性が重視されるオブジェクト（例えば比較的大きく移動可能なオブジェクト）なのか、入力座標値の安定性が重視されるオブジェクト（例えば比較的小さく細かいポインティング操作が必要なオブジェクト）なのかによって表示形態を異ならせることができる。【００２８】
上記ユーザ情報は、上記ポインティング操作の種類に関する操作種類情報を含んでもよい。この場合上記出力制御部は、上記ポインティング操作がオブジェクトを移動させる操作である場合に上記第１の表示形態を用い、上記ポインティング操作が上記オブジェクトを移動させる操作でない場合に上記第２の表示形態を用いてもよい。【００２９】
これにより情報処理装置は、低遅延性が要求される移動操作には第１の表示形態を用い、低遅延性よりも入力座標値の安定性が要求されるそれ以外の操作には第２の表示形態を用いることができる。【００３０】
上記デバイス情報は、当該情報処理装置のＣＰＵまたはバッテリの状態に関する情報を含んでもよい。この場合上記出力制御部は、上記ＣＰＵまたはバッテリが第１の状態である場合に上記第１の表示形態を用い、上記ＣＰＵまたはバッテリが上記第１の状態とは異なる第２の状態である場合に上記第２の表示形態を用いてもよい。【００３１】
これにより情報処理装置は、例えばＣＰＵの処理負荷が小さい場合やバッテリの残量が十分にある場合には比較的処理負荷の高い（消費電力の大きい）第１の表示形態を用い、ＣＰＵの処理負荷が高い場合やバッテリの残量が少ない場合には、処理負荷の低い（消費電力の小さい）第２の表示形態を用いることができる。【００３２】
上記出力制御部は、第１の時刻における予測値と、上記第１の時刻よりも前の第２の時刻における予測値の補間値とを基に、上記第１の時刻における予測値の補間値を算出し、当該算出された補間値を基に上記第１の時刻における上記操作オブジェクトに関する表示情報を描画してもよい。【００３３】
これにより情報処理装置は、補間値を用いることで、予測値を用いた第１の表示形態をより安定して追従性の高い表示形態とすることができる。【００３４】
上記出力制御手段は、上記第１の表示形態として、上記操作オブジェクトに関する表示情報をパーティクル状またはドット状に描画し、上記第２の表示形態として、上記操作オブジェクトに関する表示情報をカーソル状またはフォーカス状に描画してもよい。【００３５】
これにより情報処理装置は、第１の表示形態では、パーティクル状またはドット状の表現により、低遅延性を実現しながらも座標値の不安定性を目立たなくすることができ、第２の表示形態では、カーソル状またはフォーカス状の表現により、座標値の安定した位置に目立たせることができる。【００３６】
上記ポインティング操作は上記ユーザの指による操作であってもよい。この場合上記出力制御手段は、上記第１の表示形態として、上記ポインティング操作の対象であるオブジェクトから上記ユーザの指に向かって徐々に細くかつ透明度を上げながら伸びた形態で上記操作オブジェクトに関する表示情報を描画し、上記第２の表示形態として、上記ポインティング操作の対象であるオブジェクト上に上記伸びた形態が縮んで収束した形態で上記操作オブジェクトに関する表示情報を描画してもよい。【００３７】
これにより情報処理装置は、例えば操作オブジェクトが移動する場合には、伸縮性のあるゴム状、紐状または糸状のポインタが操作対象のオブジェクトからユーザの指に向かって伸びるようなアニメーションを表示させることで低遅延性を実現することができ、例えば操作オブジェクトが静止している場合には、上記ゴム状、紐状または糸状のポインタが縮んで収束し安定するようなアニメーションを表示させることで座標値の安定性を実現することができる。【００３８】
本技術の他の形態に係る情報処理方法は、
ユーザによる操作オブジェクトに対するポインティング操作の検出結果を取得し、
上記検出結果に基づいて、上記操作オブジェクトに関する表示情報を、上記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で上記操作オブジェクトが表示されるように出力することを含む。【００３９】
本技術のまた別の形態に係るプログラムは、情報処理装置に、
ユーザによる操作オブジェクトに対するポインティング操作の検出結果を取得するステップと、
上記検出結果に基づいて、上記操作オブジェクトに関する表示情報を、上記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で上記操作オブジェクトが表示されるように出力するステップとを実行させる。
【発明の効果】
【００４０】
以上のように、本技術によれば、ユーザのポインティング操作の操作感を、視覚的フィードバックの表現上の工夫によって向上させることができる。しかし、この効果は本技術を限定するものではない。
【図面の簡単な説明】
【００４１】
【図１】本技術の一実施形態におけるテーブルトップシステムの構成を示した図である。
【図２】上記テーブルトップシステムの出力制御装置のハードウェア構成を示した図である。
【図３】上記テーブルトップシステムの機能ブロックを示した図である。
【図４】上記テーブルトップシステムにおいて処理対象となる指先位置について説明した図である。
【図５】上記テーブルトップシステムにおいて用いられるポインタの表現例を示した図である。
【図６】上記テーブルトップシステムの出力制御装置によるポインタの出力制御処理の流れを示した図である。
【図７】上記出力制御装置による異なる表示形態のポインタの表示例を示した図である。
【図８】上記出力制御装置によるポインタの表示例の変形例を示した図である。
【図９】上記出力制御装置によるポインタの表示例の変形例を示した図である。
【図１０】上記出力制御装置によるポインタの表示例の変形例を示した図である。
【図１１】上記出力制御装置によるポインタの表示例の変形例を示した図である。
【図１２】上記出力制御装置によるポインタの表示例の変形例を示した図である。
【図１３】上記出力制御装置によるポインタの表示例の変形例において用いられる異なる座標値について説明した図である。
【図１４】上記出力制御装置によるポインタの表示例の変形例において用いられる複数の予測値について示した図である。
【図１５】上記出力制御装置によるポインタの表示例の変形例において用いられる複数の予測値について示した図である。
【図１６】上記図１４及び図１５において用いられる予測値の補間処理について説明した図である。
【図１７】上記出力制御装置によるポインタの表示例の更なる変形例を示した図である。
【図１８】上記出力制御装置によるポインタの表示例の更なる変形例を示した図である。
【発明を実施するための形態】
【００４２】
以下、本技術がテーブルトップシステムに適用された場合の実施形態について、図面を参照しながら説明する。
【００４３】
［システムの構成］
図１は、本実施形態におけるテーブルトップシステムの構成を示した図である。
【００４４】
同図に示すように、本システムは、出力制御装置１００、カメラ２００及びプロジェクタ３００から構成される。これらは例えば室内の天井等に設置されてもよいし、天井から吊下げられた照明装置と一体的に構成されてもよい。
【００４５】
当該システムでは、テーブルＴがスクリーンとして機能する。プロジェクタ３００によって、例えばアイコンやコンテンツ等のグラフィカルユーザインタフェースがテーブルＴ上の投影領域Ａに投影され、ユーザは当該投影されたインタフェースを指で操作する。
【００４６】
カメラ２００は、当該投影領域Ａの画像を取得し、当該画像が出力制御装置１００へ入力される。出力制御装置１００は、カメラ２００から入力された画像から、ユーザの指先の位置を検出し、当該検出した座標値に基づいて例えば選択処理やポインタの移動処理等の出力制御処理を行う。
【００４７】
［出力制御装置のハードウェア構成］
図２は、上記出力制御装置１００のハードウェア構成を示した図である。同図に示すように、出力制御装置１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。
【００４８】
ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら出力制御装置１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００４９】
入出力インタフェース１５には、表示部１６、操作受付部１７、記憶部１８、通信部１９等が接続される。
【００５０】
表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００５１】
操作受付部１７は、例えばキー、スイッチ等の入力装置であり、出力制御装置に対するユーザの操作を受け付け、その情報をＣＰＵ１１へ伝送する。
【００５２】
記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データに加えて、本実施形態におけるポインタ等の出力制御処理に必要なソフトウェアプログラム及びデータが記憶される。
【００５３】
通信部１９は、例えばEthernet用のＮＩＣ（Network Interface Card）や無線ＬＡＮ等の無線通信用の各種モジュールであり、カメラ２００やプロジェクタ３００といった周辺機器との間の通信処理を担う。
【００５４】
［システムの機能及び処理対象となる指先位置］
図３は、上記テーブルトップシステムの機能ブロックを示した図である。また図４は、当該システムにおいて処理対象となる指先位置について説明した図である。
【００５５】
図３に示すように、出力制御装置１００は、指先位置検出制御部１１０と、ポインタ表現制御部１２０を有する。
【００５６】
指先位置検出制御部１１０は、カメラ２００から入力された画像から、指でポインティング操作を行うユーザの指先の位置を検出する。
【００５７】
ポインタ表現制御部１２０は、上記検出された指先の位置を基に、上記ポインティング位置を示すポインタを、複数の表示形態のうち少なくともいずれかにより表現し、その表示情報をプロジェクタ３００へ出力する。
【００５８】
図４に示すように、本実施形態において処理対象となる指先位置は３種類存在する。指先位置検出制御部１１０によって検出された指先位置をI_r（生値）、安定化フィルタ処理を適用した指先位置をI_s（安定化フィルタ適用値）、カメラ２００による画像取得、出力制御装置による制御処理、プロジェクタ３００による表示処理等のシステム全体の遅延時間を考慮して予測された指先位置をI_e（予測値）と呼ぶ。
【００５９】
図４Ａは、上記I_r（生値）、I_s（安定化フィルタ適用値）、I_e（予測値）に関する、遅延と座標位置の安定性（真の値からの分散）との関係を示した表であり、図４Ｂは、上記I_r（生値）、I_s（安定化フィルタ適用値）、I_e（予測値）のテーブルＴにおける位置関係を示した図である。
【００６０】
同図Ａに示すように、予測値は生値と比較して、遅延は小さいが安定性に欠け、安定化フィルタ適用値は生値と比較して、遅延は大きいが安定性が増す特性を持つとする。したがって、同図Ｂに示すように、ユーザが指先を同図矢印方向へ移動する場合、安定化フィルタ値は生値に対して、上記遅延の分だけ前の位置を示し、予測値は生値に対してその予測の分だけ先の位置を示すことになる。
【００６１】
すなわち、生値をそのままユーザによるポインティング操作（選択操作等）の位置に適用すると座標位置が不安定になる点を考慮して、座標位置を安定化する上記安定化フィルタ処理を適用した安定化フィルタ値を適用すると遅延が発生し、遅延を最小限にするために予測値を適用すると座標位置が不安定になる、というトレードオフの問題が発生する。
【００６２】
本実施形態では、この遅延と安定化のトレードオフの問題を解決するために、２種類の表現手法が適用される。
【００６３】
具体的には、図３に示すように、出力制御装置１００のポインタ表現制御部１２０は、予測値のように遅延は少ないが安定性にかける座標値に対しては、座標位置の暴れ（不安定性）が許容される表現（低遅延ポインタ表現）を用いる。また、ポインタ表現制御部１２０は、安定化フィルタ値のように遅延はあるが安定した座標が適用できる座標値には、当該安定した座標を明確に示すような（強調するような）表現（安定化ポインタ表現）を適用する。
【００６４】
すなわち、図３に示すように、指先位置検出制御部１１０は、上記指先位置検出制御部１１０によって検出されたI_r（生値）を基に、上記I_e（予測値）及びI_s（安定化フィルタ適用値）の少なくともいずれかを生成し、ポインタ表現制御部１２０へ出力する。そしてポインタ表現制御部１２０は、ユーザによるポインティング操作の操作状況に応じて、上記I_e（予測値）及びI_s（安定化フィルタ適用値）のうち少なくとも一方を表示させるようにプロジェクタ３００を制御する。
【００６５】
図５は、当該低遅延ポインタ表現と安定化ポインタ表現の表示例を示した図である。同図に示すように、本実施形態では、低遅延ポインタ表現として、パーティクル表現が用いられ、安定化ポインタ表現として、カーソル表現が用いられる。
【００６６】
このような２種類の表現手法が適用されることで、本システムは、座標の不安定性をパーティクル表現で目立たなくし低遅延の座標位置をユーザに視覚的にフィードバックしつつ、かつ選択決定のような座標の安定性が重視される操作については、カーソル表現により明確な操作位置をユーザに視覚的にフィードバックすることができる。
【００６７】
［システムの動作］
次に、以上のように構成されたテーブルトップシステムの動作について説明する。当該動作は、出力制御装置１００のＣＰＵ１１等のハードウェアと、上記指先位置検出部１１０やポインタ制御部１２０として機能する、記憶部１８に記憶されたソフトウェア（プログラム）との協働により実行される。
【００６８】
前述した２種類のフィードバック手法は、例えば大きなスクリーン上でユーザが比較的高速に指を移動させる操作を行うことで、安定化ポインタと低遅延ポインタの間に距離差（以後、遅延による距離差と呼ぶ。）が生じる場合、それらポインタのうちユーザがどちらを用いて操作しているのか分からなくなる問題が発生する（主従関係の問題）。
【００６９】
この問題が顕著に発生するケースでは、ポインタ表現制御部１２０は、各ポインタ表現を適応的に制御してもよい。例えば、ユーザによる移動操作速度（単位時間当たりの移動距離）が閾値以上になった場合は、安定化ポインタ表現を非表示または透過表現を加えるなどして目立たなくしてもよい。
【００７０】
また、ユーザが対象を選択するケースなど、座標位置が上記閾値未満の低速になった場合は、ポインタ表現制御部１２０は、安定化ポインタ表現を再度表示してもよい。
【００７１】
また、ユーザが対象を選択しようとして静止している場合、安定化フィルタ値は静止しているが、予測値は微小な動きに反応して暴れるケースがある。このような場合、指先位置検出制御部１１０が静止している状態を検出して、ポインタ表現制御部１２０が安定化ポインタを表示し、低遅延ポインタ表現を非表示または透過表現してもよい。
【００７２】
図６は、以上の制御処理を加えた、出力制御装置１００の処理の流れを示したフローチャートである。同図の説明では、便宜上、出力制御装置１００のＣＰＵ１１を動作主体とする。
【００７３】
同図に示すように、出力制御装置１００のＣＰＵ１１は、カメラ２００から画像を取得する（ステップ６１）。
【００７４】
続いてＣＰＵ１１は、指先位置検出制御部１１０により、取得した画像からユーザの指先を検出する（ステップ６２）。
【００７５】
続いてＣＰＵ１１は、画像からユーザの指が検出されたか否かを判断する（ステップ６３）。
【００７６】
画像からユーザの指先が検出されたと判断した場合（Ｙｅｓ）、ＣＰＵ１１は、指先位置検出制御部１１０により、検出された指先の生値に対して安定化フィルタ及び予測フィルタをそれぞれ適用し、上記安定化フィルタ適用値及び予測値を生成する（ステップ６４）。
【００７７】
ここで、安定化フィルタ及び予測フィルタの各適用処理の具体例について説明する。
【００７８】
安定化フィルタについては、例えば、入力座標P(x,y)について、一次のIIR（Infinite Impulse Response）フィルタが以下の式に示すように適用される。
X't = αXt + (1-α)X't-1
Y't = αYt + (1-α)Y't-1
【００７９】
ここでX'及びY'は、安定化フィルタ適用後の座標であり、X及びYは生値である。ＣＰＵ１１は、一時刻前のX't-1及びY't-1に対し、Xt及びYtの値に重みαを与えて、安定化フィルタの座標値を更新することで、平滑な座標を生成する。
【００８０】
安定化フィルタの手法は、IIR（Infinite Impulse Response）フィルタに限られず、カルマンフィルタ、パーティクルフィルタ、FIR（Finite Impulse Response）フィルタ、機械学習を用いた手法等、様々な手法が適用されてもよい。
【００８１】
予測フィルタについては、例えば、入力座標P(x,y)について、等速直線運動が以下の式に示すように適用される。
X't+1 = Xt + (Xt - Xt-1)
Y't+1 = Yt + (Yt - Yt-1)
【００８２】
ここでX't+1及びY't+1は予測値であり、ＣＰＵ１１は、現在得られた座標に対し、過去の位置差分（速度×微小時間）を加えることで次の時刻の位置を予測する。
【００８３】
実際には、機械学習により座標位置が予測される。ＣＰＵ１１は、過去の微小時間の動きを学習し、現在得られた一定区間の軌跡と最もマッチする過去の軌跡を探索し、その軌跡を予測値として利用する。すなわち、ＣＰＵ１１は、大量にある過去の軌跡のデータから、現在の動きと最もマッチするものを探索して、それを未来の軌跡として利用する。予測値を算出する手法としては、上述した以外の手法が用いられてもよい。
【００８４】
図６に戻り、ＣＰＵ１１は、ユーザの操作速度が閾値以上であると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、ポインタ表現制御部１２０により、ユーザのポインティング操作を示すポインタとして、安定化ポインタ表現を非表示（または透過処理）とし、低遅延ポインタ表現を表示するようにプロジェクタ３００を制御する（ステップ６６）。
【００８５】
一方、ユーザの操作速度が閾値未満であると判断した場合（ステップ６５のＮｏ）、ＣＰＵ１１は、ユーザの指先が静止状態であるか否かを判断する（ステップ６７）。
【００８６】
ユーザの指先が静止状態であると判断した場合（Ｙｅｓ）、ＣＰＵ１１は、ポインタ表現制御部１２０により、上記ポインタとして、安定化ポインタ表現を表示し、低遅延ポインタ表現を非表示とするようにプロジェクタ３００を制御する（ステップ６８）。
【００８７】
一方、ユーザの指先が静止状態でないと判断した場合（ステップ６７のＮｏ）、ＣＰＵ１１は、上記ポインタとして、安定化ポインタ表現と低遅延ポインタ表現の両方を表示するようにプロジェクタ３００を制御する。
【００８８】
図７は、上記ポインタ表現の表示例を示した図である。
【００８９】
同図Ａに示すように、ユーザの操作速度が閾値以上でなく、かつユーザの指先が静止状態でない場合には、低遅延ポインタ表現としてのパーティクル表現と安定化ポインタ表現としてのカーソルの双方が表示される。
【００９０】
また同図Ｂに示すように、ユーザの操作速度が閾値以上である場合には、低遅延ポインタ表現としてのパーティクル表現が表示され、安定化ポインタ表現としてのカーソルは表示となる。
【００９１】
また同図Ｃに示すように、ユーザの指先が静止状態である場合には、低遅延ポインタ表現としてのパーティクル表現が非表示とされ、安定化ポインタ表現としてのカーソルが表示される。
【００９２】
ここで、パーティクル表現は、具体的には以下のように生成される。
【００９３】
各パーティクルは、位置x,y、速度vx,vy、透明度の各パラメータを有する。パーティクルの初期位置は、予測値群から得られた座標周辺にランダムな値を加えた位置とされる。またパーティクルの初期速度としては、ランダムな値が与えられる。
【００９４】
そして、ＣＰＵ１１は、上記各パラメータについて、以下のような処理を行うことで、パーティクルを更新する。
・速度：  以下の式により初期速度に摩擦力(Frcx)を加えて、時間経過で速度を落とす。
2017141540.tif 000003
・位置：  以下の式により更新された速度を加えて位置を更新する。これによりパーティクルの移動速度は、ユーザの指先から離れるにしたがって徐々に遅くなる。
2017141540.tif 000004
・透明度：  時間経過で透過度を上げる。これによりパーティクルは、ユーザの指先から離れるにしたがって徐々に消えることになる。
【００９５】
以上説明したように、本実施形態によれば、出力制御装置１００は、ユーザのポインティング操作を示すポインタ表現として、安定化ポインタ表現と低遅延ポインタ表現とを操作状況（操作速度）に応じて切り替えて表示させることで、座標の不安定性と遅延というトレードオフの問題に対処することができる。
【００９６】
［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。
【００９７】
（操作手法の変形例）
上述の実施形態は、テーブルトップシステムにおいて、プロジェクションされたテーブル面に対するタッチ操作について異なるポインタ表現の適用処理が示されたが、他の操作について同処理が適用されてもよい。例えば、タッチ操作による入力が、視線、指差しジェスチャによるポインティング、ポインティングリモコン、ゲームコントローラのようなアナログジョイスティックによる操作、タッチパッドによる操作等による入力に置き換えられてもよい。そのため、上述の実施形態では、カメラ２００が例に挙げられたが、入力部としては、それ以外のアナログジョイスティック、タッチパッド、タッチパネル、視線検出装置等が用いられてもよい。また、表示部としても、テーブルにプロジェクションするプロジェクタ３００以外にも、例えば、壁にプロジェクションするプロジェクタや、ディスプレイ、スマートフォン、タブレット、ヘッドマウントディスプレイ等の他のものが用いられてもよい。
【００９８】
（処理に用いる座標の種類の変形例）
上述の実施形態では、２種類の座標から２種類の表現手法が用いられたが、座標の種類はこれに限られず、n種類の座標から、m種類の表現手法に拡張されてもよい。例えば、図８に示すように、上述の安定化ポインタ表現として、カーソルに加えて新たに背景フォーカス表現が表示されてもよい。
【００９９】
（生値に対する処理の変形例）
上述の実施形態では、表現手法の制御には、予測値と安定化フィルタ適用値とが用いられが、これらの値と異なる値が用いられてもよい。また、遅延や安定性以外の性質を持つ入力値に対して上述の実施形態が適用されてもよい。
【０１００】
（ポインタ表現手法の変形例）
上述の実施形態では、低遅延ポインタ表現としてパーティクルが、安定化ポインタ表現としてカーソルが用いられたが、別の表現手法が用いられてもよい。例えば図９Ａに示すように、低遅延ポインタ表現としてのパーティクルの代わりにドットパターンが用いられてもよいし、図９Ｂに示すように輪郭表現が用いられてもよい。また、図９Ｂに示すように、安定化ポインタ表現としてのカーソルの代わりにフォーカスのような表現が用いてもよい。
【０１０１】
ここで、図９Ａに示すドットパターンとしては、予測値群から、マスク画像（ゴムのように伸びる画像）が生成され、ドットが敷き詰められた背景画像に対して、上記マスク画像が重畳されることで、マスク領域のみドットパターンが表示される表現が実現される。
【０１０２】
また、図１０Ａに示すように、安定化ポインタ表現として矢印状のカーソル（マウスカーソル）が用いられてもよいし、低遅延ポインタ表現として円のブラー表現が用いられてもよい。
【０１０３】
また、ポインタのような明確なカーソルが存在しないＵＩにおいては、図１０Ｂに示すように、フォーカス表現と追従する低遅延ポインタ表現手法として、ゴムのように伸びるような表現手法が用いられてもよい。
【０１０４】
（低遅延ポインタ表現と安定化ポインタ表現の両立表現）
上述の実施形態では、低遅延ポインタ表現と安定化ポインタ表現とは、別個のポインタ表現として表示された。しかし、上述した主従関係の問題（どちらのポインタが操作対象であるか分からなくなる問題）の発生が抑えられる場合、上記低遅延ポインタ表現と、安定化ポインタ表現を複合させた表現が用いられてもよい。
【０１０５】
具体的には、出力制御装置１００は、図１１及び図１２に示すように、操作対象のオブジェクトからゴムのように伸びるカーソル表現を用いることで、ゴム表現という単一の表現手法で、低遅延ポインタ表現と安定化ポインタ表現とを表示する。
【０１０６】
すなわち、図１２Ａに示すように、出力制御装置１００は、操作対象のオブジェクトを移動させる等、ユーザの指先が移動する際には、低遅延ポインタ表現として、ポインティング操作対象のオブジェクトからユーザの指に向かって徐々に細くかつ透明度を上げながら伸びた形態でポインタを描画する。また、図１２Ｂに示すように、ユーザの指先が静止状態の場合（例えば選択操作）、安定化フィルタ表現として、上記オブジェクト上に伸びた形態が縮んで収束した形態でポインタを描画する。また、安定化フィルタ表現としてのポインタは、図１２Ａに示す伸びた状態においても、操作対象のオブジェクト上に表示される。
【０１０７】
ここで、図１３に示すように、予測値は、上述したように遅延が少ないが座標値の暴れが発生し、安定化フィルタ値は、遅延が大きいが座標位置が安定している。そこで、出力制御装置１００は、上記のようなゴム表現の先端（移動時の予測値）について、先端に向かって細くし、かつ透明度を増加させるような処理を適用する。
【０１０８】
先端が透過しているため、上述した暴れが発生しても、その暴れをユーザが知覚しにくく、かつ先端が細くなっているため、カーソル先が指につながっているような感覚がユーザに提示されることで、遅延感の低減が実現される。
【０１０９】
また、予測値によって遅延が低減している効果に加えて、先端が細くかつ透過されることで、指につながっているような視覚的な効果が加えられ、さらに遅延感が低減することになる。また、操作の停止時や低速操作時においては、ゴムが円形のカーソルに収束するような表現が表示されることで、どの位置をポインティングしているかが明確にユーザにフィードバックされる。
【０１１０】
このゴム表現を用いた実装の詳細を以下説明する。
【０１１１】
出力制御装置１００は、ゴム表現を、安定化フィルタ値と複数の予測値を用いたアニメーションにより実現する。ここで複数の予測値とは、図１５に記すように、時刻tに得られた過去の軌跡から、1〜kフレーム先までの座標を予測した座標値のことである。出力制御装置１００は、予測するフレーム数が増加するごとに、透過度を強くし、先端を細らせている。
【０１１２】
このような複数の予測値が用いられることで、図１４Ａに示すようにユーザの指先が直線状に動いた際の直線のゴムの伸びの表現だけでなく、図１４Ｂに示すようにユーザの指先が円形に動いた際にゴムを彎曲させたような表現が実現されるため、ユーザがカーブのかかった動きをした場合でも、ユーザの指先にポインタが付いてくるような感覚が提示される。
【０１１３】
また、出力制御装置１００は、予測するフレーム数を固定としてもよいが、時刻ごとに適応的に変化させてもよい。上述の実施形態においては、予測値の信頼度が得られるため、出力制御装置１００は、閾値以上の予測値はゴム表現に利用し、閾値以下の予測値は利用しなくてもよい。比較的確度の高い予測値のみが用いられることで、暴れの少なく、かつ追従感のある表現が実現される。
【０１１４】
しかし、時刻毎に利用する予測値が変化した場合、ゴム先が急速に伸びたり、縮んだりしてしまう。また、予測値自体の暴れの影響も存在する。これを防止するために、出力制御装置１００は、ゴム表現を描画する各点（以下、コントロールポイント）として、単純に予測値を用いるのではなく、各時刻で得られた予測値を時間方向で補間し、補間された値を用いてゴムカーソルを描画する。
【０１１５】
この補間方法についての詳細を図１６に記す。同図Ａは、時刻t-1における補間値群、時刻tにおける予測値群を示す。単純に時刻t-1と時刻tにおける各フレーム先の予測値を補間すると、遅延の要因となるため、同図Ｂに示すように、出力制御装置１００は、時刻t, t-1で得られた生値を原点とする座標系に変換し、同図Ｃに示すように、この座標系における予測値と1時刻前の補間値から次の時刻の補間値を求める。最後に、出力制御装置１００は、同図Ｄに示すように、求めた補間値を時刻tにおける生値から相対的な位置に戻した値をゴム表現のコントロールポイントに利用する。このような処理により、出力制御装置は、生値の距離分の遅延の要素を受けることなく、各時刻の生値からの相対値のみを用いて、ゴムカーソルのアニメーションを補間できる。
【０１１６】
ここで、補間値をP't,k及びP't-1,k、予測値をPt,kとする。予測値は図１６Ｂに示すように生値を原点とした相対値で表される。tは時刻を表し、kは0〜1の値をとり予測の比率を表す。時刻tの例を用いて説明すると、この比率は、生値から4フレーム先の座標を0-1で表す。各フレーム先の座標は、例えば下記のようになる。
Pt,k=1        ：4フレーム先の座標
Pt,k=0.75      ：3フレーム先の座標
Pt,k=0.5      ：2フレーム先の座標
Pt,k=0.25      ：1フレーム先の座標
Pt,k=0        ：生値
【０１１７】
仮にk=0.8の値が必要になった場合は、出力制御装置１００は、3フレーム先の座標と4フレーム先の座標から線形補間を行って値を求める。時刻tにおける、予測の比率kを変えた場合の補間値は下記式で表される。
P't,k =αPt,k + (1 -α)P't-1,k
【０１１８】
ここで、αは補間パラメータであり、出力制御装置１００は、αが1のときは時刻tのみの情報を用い、αを0に近づけると、補間が強く働く。出力制御装置１００は、上述した予測の比率kを用いることで、時刻tとt-1で、フレーム数が異なるが、その影響を受けることなく、補間の座標値を求めることができる。ここで求めた補間の座標値は原点中心の値のため、出力制御装置１００は、最後に時刻tの生値の座標を加えることで、図１６Ｄに示すように、時刻t,t-1の生値の距離差の影響を受けることなく、予測値の補間値を得ることができる。
【０１１９】
この補間値が導入されることで、ゴムのようなアニメーションが実現される。つまり、αのパラメータの効果により、ポインタが動き出し時にゴムのように伸びたり、止まった時にゴムのように縮んだりする表現が実現される。
【０１２０】
上述した補間値の計算には、予測値と生値が用いられたが、予測値と安定化フィルタ値から補間値が算出されてもよい。また、補間手法としては線形補間が用いられているが、それ以外の方法が用いられてもよい。また、上記補間値の計算においては、予測値がフレームにより表現されているが、時間（t [ms]）により表現された予測値によって同様の処理が実現されてもよい。
【０１２１】
また、低遅延ポインタ表現と安定化ポインタ表現の両立表現として、上記ゴム表現以外の表現手法が用いられてもよい。
【０１２２】
例えば、図１７に示すように、複数の紐（以下、ネット）を用いた表現が用いられてもよい。同図Ａに示すように、ユーザの指先が低速または停止時には、ネットの先端が交差したような表現が用いられることで、ポインタ位置がユーザに明示的に提示され、同図Ｂに示すように、ユーザの指先の移動時は、指先に向かってネットが繋がっていくような表現が用いられてもよい。指先の移動時は、先端に行くほど、ネットが収束され、かつ先端が開放されるような表現が用いられることで、上記ゴム表現と同様に、指先への連続感が提示され、遅延感が低減される。ネット表現のコントロールポイントについても、ゴム表現と同様に複数の補間値が用いられることで、平滑なアニメーションが実現される。
【０１２３】
また、ネット表現は、ゴム表現と異なり、ユーザがオブジェクトをドラッグしないで、平面上で指を動かしているだけの場合、ネット表現そのものにユーザが違和感を感じる場合がある。すなわち、ネットは対象を掴んで引っ張る感覚を提示できるが、ドラッグ対象が存在しない場合、ネット表現そのものに違和感が生じる。
【０１２４】
そこで、出力制御装置１００は、図１８に示すように、ドラッグ対象が存在しているかどうかで表現を切り替えてもよい。同図Ａ及びＢに示すように、ドラッグ対象が存在する場合にはネット表現が用いられ、同図Ｃに示すように、ドラッグ対象が存在しない場合には、例えばパーティクル表現が用いられてもよい。
【０１２５】
（ポインタ表現を異ならせる条件の変形例）
上述の実施形態では、出力制御装置１００は、ユーザのポインティング操作の操作状況としての速度を用いて表現手法の制御を行ったが、その他の操作状況に応じて表現手法が制御されてもよい。例えば、安定化ポインタと低遅延ポインタの間の距離差（遅延による距離差）、ポインティング操作の加速度による制御、時間による制御（例えば、動き出し数秒だけ、低遅延ポインタ表現を適用する）等、異なる条件により制御してもよい。
【０１２６】
また、前記ポインティング操作の操作状況としては、ユーザに関するユーザ情報、出力制御装置１００、カメラ２００、プロジェクタ３００等に関するデバイス情報、それら装置が置かれた環境に関する環境情報、ユーザのポインティング操作の対象に関するコンテンツ情報のいずれかが含まれる。
【０１２７】
一例として、コンテンツに応じて制御が変更される場合を挙げると、例えば、操作対象となるアイコンが密集している場合は、細かいポインタ操作が必要になるため、低遅延ポインタ表現（言い換えれば、微小な動きを反映するポインタ）が常に表示されてもよい。逆に、操作対象が大きなアイコンである場合は、上述した低遅延ポインタ表現が、低速時や静止時に非表示にされるような制御が行われてもよい。
【０１２８】
また、上述した実施形態では、透過、非表示といった制御が加えられたが、それ以外の方法で制御が実現されてもよい。例えば、出力制御装置１００は、ポインタの大きさを小さくしたり、背景色と同じ色にしたり、見た目を目立たない別の表現に変えると言った方法を取り入れてもよい。
【０１２９】
また、上記デバイス情報として、出力制御装置１００、カメラ２００またはプロジェクタ３００のＣＰＵまたはバッテリの状態に関する情報が用いられる場合、出力制御装置１００は、ＣＰＵまたはバッテリがある状態にある場合（例えば処理負荷が大きい場合やバッテリ残量が少ない場合）と、そうでない場合とに応じて、上記低遅延ポインタ表現と安定化フィルタ表現とが適用的に用いられてもよい。
【０１３０】
また、上記環境情報として、出力制御装置１００を含むシステムが設置された場所（屋内か屋外か）やその場所の照度等に応じて、上記低遅延ポインタ表現と安定化フィルタ表現とが適用的に用いられてもよい。
【０１３１】
本技術は以下のような構成もとることができる。
（１）
ユーザによる操作オブジェクトに対するポインティング操作の検出結果に基づいて、当該操作オブジェクトに関する表示情報を出力する出力制御部を備え、
前記出力制御部は、前記ポインティング操作の操作状況に応じて、第１の表示形態と、当該第１の表示形態とは異なる第２の表示形態のうち、少なくともいずれかの表示形態で前記操作オブジェクトが表示されるように、前記操作オブジェクトに関する表示情報を出力する
情報処理装置。
（２）
前記出力制御部は、前記第１の表示形態として、前記ポインティング操作に対する低遅延性を優先した表示形態を用い、前記第２の表示形態として、前記検出結果の安定性を優先した表示形態を用いる上記（１）に記載の情報処理装置。
（３）
前記出力制御部は、前記ポインティング操作の操作状況に応じて、前記操作オブジェクトに関する表示情報を前記第１の表示形態と前記第２の表示形態との間で切り替える上記（１）または（２）に記載の情報処理装置。
（４）
前記出力制御部は、前記ポインティング操作の操作状況に応じて、前記操作オブジェクトに関する表示情報を前記第１の表示形態と前記第２の表示形態の双方で出力する処理と、前記操作オブジェクトに関する表示情報を前記第１の表示形態と前記第２の表示形態のいずれかで出力する処理とを切り替える上記（１）または（２）に記載の情報処理装置。
（５）
前記ポインティング操作の操作状況は、前記ユーザに関するユーザ情報、当該情報処理装置に関するデバイス情報、当該情報処理装置が置かれた環境に関する環境情報、前記ポインティング操作の対象に関するコンテンツ情報のいずれかを含む上記（１）乃至（４）のいずれかに記載の情報処理装置
（６）
前記検出結果は、前記ポインティング操作の入力座標値に関する情報を含み、
前記操作オブジェクトは前記入力座標値に対応する位置に表示される上記（５）に記載の情報処理装置。
（７）
前記出力制御部は、前記第１の表示形態として、前記検出された入力座標値から算出された予測値を基に前記操作オブジェクトに関する表示情報を描画し、前記第２の表示形態として、前記検出された入力座標値に所定の安定化フィルタを適用した座標値を基に前記操作オブジェクトに関する表示情報を描画する上記（６）に記載の情報処理装置。
（８）
前記出力制御部は、前記第１の表示形態として、前記予測値と、当該予測値の周囲にランダムに配置された値を同時に用いて前記操作オブジェクトに関する表示情報を描画し、前記第２の表示形態として、前記安定化フィルタを適用した座標値を強調させた前記操作オブジェクトに関する表示情報を描画する上記（７）に記載の情報処理装置。
（９）
前記ユーザ情報は、前記ポインティング操作の速度に関する速度情報を含み、
前記出力制御部は、前記速度情報に含まれる前記ポインティング操作の速度を示す値が所定の閾値以上である場合に前記第１の表示形態を用い、前記速度を示す値が前記所定の閾値未満である場合に前記第２の表示形態を用いる上記（７）に記載の情報処理装置。
（１０）
前記出力制御部は、前記ポインティング操作の対象が第１のオブジェクトである場合に前記第１の表示形態を用い、前記ポインティング操作の対象が前記第１のオブジェクトとはことなる第２のオブジェクトである場合に前記第２の表示形態を用いる上記（７）に記載の情報処理装置。
（１１）
前記ユーザ情報は、前記ポインティング操作の種類に関する操作種類情報を含み、
前記出力制御部は、前記ポインティング操作がオブジェクトを移動させる操作である場合に前記第１の表示形態を用い、前記ポインティング操作が前記オブジェクトを移動させる操作でない場合に前記第２の表示形態を用いる上記（７）に記載の情報処理装置。
（１２）
前記デバイス情報は、当該情報処理装置のＣＰＵまたはバッテリの状態に関する情報を含み、
前記出力制御部は、前記ＣＰＵまたはバッテリが第１の状態である場合に前記第１の表示形態を用い、前記ＣＰＵまたはバッテリが前記第１の状態とは異なる第２の状態である場合に前記第２の表示形態を用いる上記（７）に記載の情報処理装置。
（１３）
前記出力制御部は、第１の時刻における予測値と、前記第１の時刻よりも前の第２の時刻における予測値の補間値とを基に、前記第１の時刻における予測値の補間値を算出し、当該算出された補間値を基に前記第１の時刻における前記操作オブジェクトに関する表示情報を描画する上記（７）に記載の情報処理装置。
（１４）
前記出力制御手段は、前記第１の表示形態として、前記操作オブジェクトに関する表示情報をパーティクル状またはドット状に描画し、前記第２の表示形態として、前記操作オブジェクトに関する表示情報をカーソル状またはフォーカス状に描画する上記（８）に記載の情報処理装置。
（１５）
前記ポインティング操作は前記ユーザの指による操作であり、
前記出力制御手段は、前記第１の表示形態として、前記ポインティング操作の対象であるオブジェクトから前記ユーザの指に向かって徐々に細くかつ透明度を上げながら伸びた形態で前記操作オブジェクトに関する表示情報を描画し、前記第２の表示形態として、前記ポインティング操作の対象であるオブジェクト上に前記伸びた形態が縮んで収束した形態で前記操作オブジェクトに関する表示情報を描画する上記（８）に記載の情報処理装置。
【符号の説明】
【０１３２】
１１…ＣＰＵ
１８…記憶部
１１０…指先位置検出制御部
１２０…ポインタ表現制御部
１００…出力制御装置
２００…カメラ
３００…プロジェクタ
Ｔ…テーブル
Ａ…投影領域
【図１】
2017141540.tif 000005
【図２】
2017141540.tif 000006
【図３】
2017141540.tif 000007
【図４】
2017141540.tif 000008
【図５】
2017141540.tif 000009
【図６】
2017141540.tif 000010
【図７】
2017141540.tif 000011
【図８】
2017141540.tif 000012
【図９】
2017141540.tif 000013
【図１０】
2017141540.tif 000014
【図１１】
2017141540.tif 000015
【図１２】
2017141540.tif 000016
【図１３】
2017141540.tif 000017
【図１４】
2017141540.tif 000018
【図１５】
2017141540.tif 000019
【図１６】
2017141540.tif 000020
【図１７】
2017141540.tif 000021
【図１８】
2017141540.tif 000022
【国際調査報告】
2017141540.tif 000023
2017141540.tif 000024
2017141540.tif 000025
2017141540.tif 000026