(57)【要約】  本開示は、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにする表示処理装置および表示処理方法、並びにプログラムに関する。指示ポイント認識処理部は、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行い、操作情報取得部は、作成中の仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する。そして、仮想描画データ処理部は、指示ポイントに従って作成される仮想描画画像を描画するための仮想描画データを、操作情報に応じた変更を反映させながら生成し、仮想描画画像表示処理部は、仮想描画データに基づいて、作成中の仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う。本技術は、例えば、ＡＲ表示装置に適用できる。
2019093156.tif 000002
【特許請求の範囲】
【請求項１】
仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部と
を備える表示処理装置。
【請求項２】
前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作に従って、前記操作情報を取得する
請求項１に記載の表示処理装置。
【請求項３】
前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
前記操作情報取得部は、前記タッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
請求項２に記載の表示処理装置。
【請求項４】
前記認識処理部は、光を照射したタイミングと、その光が物体で反射した反射光を受光するタイミングとの時間差に基づいて、前記物体までの距離を求めるTOF（Time of Flight）センサが取得する距離画像を用いて、前記指示ポイントを認識する
請求項１に記載の表示処理装置。
【請求項５】
前記仮想描画画像の作成中であることをユーザに対してフィードバックするフィードバック制御部
をさらに備える請求項１に記載の表示処理装置。
【請求項６】
ユーザの発話した音声を認識して、その音声を文字化した発話情報を取得する音声認識部をさらに備え、
前記データ処理部は、前記発話情報に基づいた文字を、その文字が発話されたタイミングにおける前記指示ポイントで示される位置に仮想的に配置するような前記仮想描画画像を描画するための前記仮想描画データを生成する
請求項１に記載の表示処理装置。
【請求項７】
前記データ処理部が生成した前記仮想描画データを記憶する記憶部をさらに備え、
前記データ処理部は、前記記憶部から読み出した前記仮想描画データを前記表示処理部に供給して、前記仮想描画画像の表示処理を行わせる
請求項１に記載の表示処理装置。
【請求項８】
仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、
前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
を含む表示処理方法。
【請求項９】
仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、
前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
を含む表示処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示処理装置および表示処理方法、並びにプログラムに関し、特に、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにした表示処理装置および表示処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、拡張現実（Augmented Reality）や複合現実（Mixed Reality）などのように、画面に表示されている物体が、実空間に実在しているかのような表示処理を行う技術が実用化されている。例えば、いわゆるスマートフォンを利用して、カメラで撮像している画像をタッチパネルに表示し、その画像に物体の画像を重ね合わせる表示処理によって、実空間上に物体が配置されているように見える仮想的な表示を行うアプリケーションが提供されている。【０００３】
従来、このようなアプリケーションでは、例えば、ユーザがタッチパネル操作を行うことで、実空間上に仮想的な物体を配置したり、その仮想的な物体に対する操作を行ったりするユーザインタフェースが採用されている。ところが、このようなユーザインタフェースでは、実空間との融合性が低いと感じるようなユーザ体験となってしまう。【０００４】
また、ユーザがスマートフォン本体を動かすと、スマートフォンの軌跡に応じて実空間上にラインが描かれるように、仮想的な表示を行うユーザインタフェースが提供されている。ところが、このようなユーザインタフェースでは、ユーザが意図したように実空間上に仮想的なラインを描くことは困難であり、自由度が低いと感じるようなユーザ体験となってしまう。【０００５】
これに対し、例えば、ユーザのジェスチャをカメラで撮像し、ジェスチャに応じて実空間上に仮想的な物体を配置したり、その仮想的な物体に対する操作を行ったりするユーザインタフェースも提案されている。【０００６】
例えば、特許文献１には、深度センサを使ってユーザのジェスチャを認識することで、ユーザへのフィードバックを提供するユーザインタフェース技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２２１４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述したようなユーザのジェスチャを利用したユーザインタフェースでは、例えば、仮想的な物体を配置する操作や、仮想的な物体の配置に対する変更を行う操作などを、それぞれ対応するジェスチャで単独的に行う必要があった。このため、例えば、実空間上に仮想的なラインを描画しながら、ラインの幅や色などを連続的に変更するような操作を行うことは困難であり、良好なユーザ体験を提供することが困難であった。【０００９】
本開示は、このような状況に鑑みてなされたものであり、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面の表示処理装置は、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部とを備える。【００１１】
本開示の一側面の表示処理方法は、仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うこととを含む。【００１２】
本開示の一側面のプログラムは、仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うこととを含む表示処理を実行させる。【００１３】
本開示の一側面においては、仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理が行われ、作成中の仮想描画画像に対して変更を行うユーザ操作に従った操作情報が取得され、その指示ポイントに従って作成される仮想描画画像を描画するための仮想描画データが、操作情報に応じた変更を反映させながら生成され、仮想描画データに基づいて、作成中の仮想描画画像を表示画面にリアルタイムに表示させる表示処理が行われる。
【発明の効果】
【００１４】
本開示の一側面によれば、実空間上に仮想的な表示を行う際に、より良好なユーザ体験を提供することができる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】ＡＲ表示アプリケーションの利用例を説明する図である。
【図２】アプリケーション画面の表示例を示す図である。
【図３】仮想描画画像の作成を開始する際のユーザインタフェースを説明する図である。
【図４】仮想描画画像のラインの太さを変更する操作を行う際のユーザインタフェースを説明する図である。
【図５】仮想描画画像の作成を終了する際のユーザインタフェースを説明する図である。
【図６】音声認識に基づいて仮想描画画像を作成する利用例を説明する図である。
【図７】本技術を適用したスマートフォンの構成例を示すブロック図である。
【図８】ＡＲ表示アプリケーションにおいて実行される表示処理を説明するフローチャートである。
【図９】仮想描画画像に対する第１のエフェクト表示について説明する図である。
【図１０】仮想描画画像に対する第２のエフェクト表示について説明する図である。
【図１１】仮想描画画像に対する第３のエフェクト表示について説明する図である。
【図１２】ＡＲ表示アプリケーションを仮想現実に適用する例について説明する図である。
【図１３】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
＜ＡＲ表示アプリケーションの利用例＞
まず、図１乃至６を参照して、本技術を適用した表示処理を実現するアプリケーション（以下、ＡＲ表示アプリケーションと称する）の利用例について説明する。例えば、ＡＲ表示アプリケーションは、撮像素子やTOF（Time of Flight）センサ、タッチパネルなどを備えるスマートフォン１１により実行することができる。
【００１９】
図１のＡには、ユーザＡがスマートフォン１１を使用している様子が示されており、図１のＢには、スマートフォン１１のタッチパネルに表示されるＡＲ画像表示画面１３が示されている。
【００２０】
例えば、ユーザＡは、スマートフォン１１を操作してＡＲ表示アプリケーションを実行させ、スマートフォン１１の撮像素子により撮像される画像に映るように指先を動かす。このとき、スマートフォン１１のTOFセンサにより取得される距離画像に基づいて、ユーザの指先の位置が認識される。これにより、ＡＲ表示アプリケーションは、ユーザの指先の軌跡を追従することで、撮像素子により撮像された実空間の画像上に、指先の軌跡に従ったラインで描画される仮想描画画像１４を重ね合わせたＡＲ画像を、ＡＲ画像表示画面１３に表示することができる。
【００２１】
図１のＡに示す利用例では、ユーザＡは、スマートフォン１１の撮像素子を花瓶１２に向け、花瓶１２に活けられている花を描くように指先を動かしている。これにより、図１のＢに示すように、ＡＲ画像表示画面１３には、指先の軌跡に応じたラインで仮想的に描画された花を表す仮想描画画像１４が、実空間の画像に写されている花瓶１２に活けられているようなＡＲ画像が表示される。
【００２２】
このとき、ユーザＢは、ユーザＡが空中で指先を移動させているだけにしか見えないが、ユーザＢ側から花瓶１２にスマートフォン１１の撮像素子を向けると、ユーザＢ側からの見た目の仮想描画画像１４がＡＲ画像表示画面１３に表示される。即ち、ＡＲ表示アプリケーションは、仮想描画画像１４を表示するための仮想描画データ（例えば、実空間上の絶対座標系で表される指先の軌跡を示すデータ）を、実空間上の絶対座標系に従って生成することができる。これにより、ＡＲ表示アプリケーションは、作成した仮想描画画像１４を、実空間上に仮想的に配置されているように、あらゆる方向からＡＲ画像表示画面１３に表示することができる。
【００２３】
図２には、ＡＲ表示アプリケーションを実行したときにスマートフォン１１のタッチパネルに表示されるアプリケーション画面の表示例が示されている。
【００２４】
図２に示すように、アプリケーション画面２１には、その上側にＡＲ画像表示画面１３（図１のＢ参照）が表示され、ＡＲ画像表示画面１３の下方に、ライン描画操作ボタン２２、ライン幅操作パネル２３、およびライン色操作パネル２４が表示される。例えば、ライン描画操作ボタン２２、ライン幅操作パネル２３、およびライン色操作パネル２４は、ユーザがスマートフォン１１を片手で持ったときに、その片手の指で届く範囲に表示することが好ましい。
【００２５】
ＡＲ画像表示画面１３には、スマートフォン１１の撮像素子により撮像されている画像がリアルタイムに表示されるとともに、その画像に重ね合わせて、図１を参照して説明したような仮想描画画像１４が表示されるようなＡＲ画像が表示される。
【００２６】
ライン描画操作ボタン２２は、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４の作成を開始または終了する操作を行うためのGUI（Graphical User Interface）である。例えば、ユーザがライン描画操作ボタン２２をタッチしたことが認識されると、ユーザのタッチ操作が認識されている間、ユーザの指先の軌跡に従って、作成中の仮想描画画像１４を表すラインが表示される。そして、ユーザがライン描画操作ボタン２２からタッチを離したことが認識されると、仮想描画画像１４の生成が終了される。なお、例えば、ライン描画操作ボタン２２に対する操作は、タッチが行われるたびに仮想描画画像１４の作成の開始または終了を切り替えるようにしてもよく、タッチが認識されると、次のタッチが認識されるまで仮想描画画像１４を作成するようにしてもよい。
【００２７】
ライン幅操作パネル２３は、仮想描画画像１４の作成を行いながら、連続的に、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４を表すラインの幅に対する変更を操作するためのGUIである。例えば、ライン幅操作パネル２３に表示されるスライダを右側に移動させるようなタッチ操作が認識されると、スライダが移動された位置に応じて、作成される仮想描画画像１４のライン幅が太くなるように変更される。一方、ライン幅操作パネル２３に表示されるスライダを左側に移動させるようなタッチ操作が認識されると、スライダが移動された位置に応じて、作成される仮想描画画像１４のライン幅が細くなるように連続的に変更される。
【００２８】
ライン色操作パネル２４は、仮想描画画像１４の作成を行いながら、連続的に、スマートフォン１１のタッチパネルに対するタッチ操作に従って、仮想描画画像１４を表すラインの色に対する変更を操作するためのGUIである。例えば、ライン色操作パネル２４には、ＲＧＢの値が連続的に変化するような色相環を表すカラーパレットを用いることができ、作成される仮想描画画像１４の色が、タッチ位置に表示されている色に従って連続的に変更される。
【００２９】
図３を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４の作成を開始する際のユーザインタフェースについて説明する。
【００３０】
例えば、図３の上側に示すように、ユーザが、仮想描画画像１４を描き始める位置まで右手の指先を移動させた後、左手の指でライン描画操作ボタン２２をタッチするタッチ操作を行うと、仮想描画画像１４の作成が開始される。そして、ユーザが、ライン描画操作ボタン２２に対するタッチ操作を行いながら、右手の指先を動かすと、その指先の軌跡に従って仮想描画画像１４が作成される。これにより、図３の下側に示すように、実空間上に仮想描画画像１４が配置されているようなＡＲ画像が、ＡＲ画像表示画面１３に表示される。
【００３１】
図４を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４のラインの太さを変更する操作を行う際のユーザインタフェースについて説明する。
【００３２】
例えば、図４の上側に示すように、ユーザが、仮想描画画像１４のラインを描きながら、仮想描画画像１４のラインの太さを変更する位置まで右手の指先を移動させた後、左手の指でライン幅操作パネル２３のスライダに対する操作を行うと、仮想描画画像１４のラインの太さが変更される。そして、ユーザが、ライン幅操作パネル２３のスライダによりラインの太さを変更して、右手の指先を動かすと、その指先の軌跡に従って、ラインの太さが連続的に変更された仮想描画画像１４が作成される。これにより、例えば、図４の下側に示すように、ラインの太さが太くなるように連続的に変更された仮想描画画像１４が作成される。
【００３３】
また、同様に、ユーザが、仮想描画画像１４のラインを描きながら、仮想描画画像１４のラインの色を変更する位置まで右手の指先を移動させた後、左手の指でライン色操作パネル２４に対するタッチ操作を行うと、仮想描画画像１４のラインの色が変更される。
【００３４】
図５を参照して、ＡＲ表示アプリケーションにおいて仮想描画画像１４の作成を終了する際のユーザインタフェースについて説明する。
【００３５】
例えば、図５の上側に示すように、ユーザが、仮想描画画像１４を描き終える位置まで右手の指先を移動させた後、左手の指でライン描画操作ボタン２２のタッチを離すタッチ操作を行うと、仮想描画画像１４の作成が終了される。その後、ユーザが、右手の指先を移動させても、例えば、図５の上側に示す破線の矢印のように移動させても、図５の下側に示すように、ＡＲ画像表示画面１３には仮想描画画像１４のラインが描画されることはない。
【００３６】
以上のようなユーザインタフェースにより、ＡＲ表示アプリケーションでは、仮想描画画像１４を作成する際に、ラインの幅および色を連続的に変更するような操作を実現することができる。これにより、従来よりも自由度が高い操作性を提供することができる。また、ユーザは、作成中の仮想描画画像１４をＡＲ画像表示画面１３で確認しながら、実空間上で指先を動かして仮想描画画像１４を作成することができ、実空間との融合性が高い操作性を提供することができる。従って、ＡＲ表示アプリケーションにより、より良好なユーザ体験を実現することが可能となる。
【００３７】
即ち、ＡＲ表示アプリケーションは、スマートフォン１１の撮像素子により撮像される一方の手や指などを認識し、その動きを追従して仮想描画画像１４を作成するとともに、作成中の仮想描画画像１４に対する変更を、他方の手による操作によって連続的に反映させることができる。これにより、従来よりも自由度が高く、かつ、仮想描画画像１４に対する連続的な変更を実現することができる。
【００３８】
図６を参照して、ＡＲ表示アプリケーションにおいて音声認識に基づいて仮想描画画像１４を作成する利用例について説明する。
【００３９】
例えば、ＡＲ表示アプリケーションは、ユーザが、スマートフォン１１の撮像素子により撮像される画像に映るように指先を動かしながら発話すると、その発話した音声に対する音声認識を行って、発話内容を示す文字列を指先の軌跡に従って表示するような仮想描画画像１４ａを作成することができる。例えば、図６に示す例では、ユーザが「ありがとう」と発話しながら指先を動かすと、その指先の軌跡に従って文字列「ありがとう」を表示するような仮想描画画像１４ａが実空間上に配置されたＡＲ画像がＡＲ画像表示画面１３に表示される。
【００４０】
ＡＲ表示アプリケーションは、このような音声認識による入力を用いることで、例えば、プレゼンテーションや授業中などにおいて、説明したい図面を指でポインティングしながら、マイクなどで音声を入力するように利用するのに好適である。即ち、そのポインティングした箇所に、文字列を仮想的に配置させるような利用を容易に行うことができる。また、ＡＲ表示アプリケーションは、例えば、工事現場での状況ログやメンテナンスの注意事項などで利用することも好適である。
【００４１】
＜スマートフォンの構成例＞
図７は、ＡＲ表示アプリケーションを実行するスマートフォン１１の構成例を示すブロック図である。
【００４２】
図７に示すように、スマートフォン１１は、撮像素子３１、TOFセンサ３２、位置姿勢センサ３３、収音センサ３４、タッチパネル３５、振動モータ３６、およびＡＲ表示処理部３７を備えて構成される。また、ＡＲ表示処理部３７は、指示ポイント認識処理部４１、音声認識部４２、操作情報取得部４３、フィードバック制御部４４、記憶部４５、仮想描画データ処理部４６、および仮想描画画像表示処理部４７を備えて構成される。
【００４３】
撮像素子３１は、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどにより構成され、実空間を撮像して得られる画像をＡＲ表示処理部３７の指示ポイント認識処理部４１および仮想描画画像表示処理部４７に供給する。
【００４４】
TOFセンサ３２は、例えば、撮像素子３１による撮像範囲に向かって変調光を照射する発光部と、変調光が物体で反射した反射光を受光する受光部とを有して構成される。これにより、TOFセンサ３２は、変調光を照射したタイミングと、反射光を受光するタイミングとの時間差に基づいて、その物体までの距離（デプス）を計測して、距離に基づいた画像である距離画像を取得することができる。TOFセンサ３２は、取得した距離画像をＡＲ表示処理部３７の仮想描画データ処理部４６に供給する。
【００４５】
位置姿勢センサ３３は、例えば、各種の電波を受信することによりスマートフォン１１の絶対位置を測位する測位センサや、スマートフォン１１に生じる角速度に基づいて姿勢を測定するジャイロセンサなどにより構成される。そして、位置姿勢センサ３３は、スマートフォン１１の絶対位置および姿勢を示す位置姿勢情報を、ＡＲ表示処理部３７の仮想描画データ処理部４６に供給する。
【００４６】
収音センサ３４は、例えば、マイクロホン素子を有して構成され、ユーザが発話した音声を集音して、その音声データをＡＲ表示処理部３７の音声認識部４２に供給する。
【００４７】
タッチパネル３５は、図２を参照して上述したようなアプリケーション画面２１を表示する表示部と、その表示部の表面に対してタッチされた位置を検出するタッチセンサとを有して構成される。そして、タッチパネル３５は、タッチセンサにより検出されたタッチ位置を示すタッチ位置情報を、ＡＲ表示処理部３７の操作情報取得部４３に供給する。
【００４８】
振動モータ３６は、ＡＲ表示処理部３７のフィードバック制御部４４による制御に従って、スマートフォン１１を振動させることにより、ユーザの操作に対するフィードバックを行う。
【００４９】
ＡＲ表示処理部３７は、ＡＲ表示アプリケーションを実行するのに必要な各ブロックにより構成され、図１乃至６を参照して説明したようなユーザインタフェースを実現する。
【００５０】
指示ポイント認識処理部４１は、撮像素子３１から供給される画像、および、TOFセンサ３２から供給される距離画像に基づいて、撮像素子３１に映されている指先を、仮想描画画像１４を描くためのラインの軌跡を指示する指示ポイントとして認識する。例えば、指示ポイント認識処理部４１は、撮像素子３１により撮像された画像に対する画像認識処理を行うことにより、その画像に写されているユーザの指先を認識することができる。これにより、指示ポイント認識処理部４１は、画像に映されている指先までの距離を距離画像に従って求めることにより、スマートフォン１１に対する相対的な指先の位置を特定し、指示ポイントを認識することができる。そして、指示ポイント認識処理部４１は、スマートフォン１１に対する相対的な指示ポイントの位置を示す相対位置情報を仮想描画データ処理部４６に供給する。
【００５１】
音声認識部４２は、収音センサ３４から供給される音声データに対する音声認識処理を行って、ユーザが発話した音声を文字化した発話情報を取得し、その発話情報を仮想描画データ処理部４６に供給する。
【００５２】
操作情報取得部４３は、タッチパネル３５に表示されているアプリケーション画面２１と、タッチパネル３５から供給されるタッチ位置情報とに基づいて、ユーザによるタッチ操作に従った操作内容を示す操作情報を取得する。例えば、操作情報取得部４３は、図２を参照して説明したように、ライン描画操作ボタン２２に対するタッチ操作に従って、仮想描画画像１４の作成を開始または終了することを示す操作情報を取得することができる。また、操作情報取得部４３は、ライン幅操作パネル２３に対するタッチ操作に従って、仮想描画画像１４を表すラインの幅に対する変更を行うことを示す操作情報を取得する。また、操作情報取得部４３は、ライン色操作パネル２４に対するタッチ操作に従って、仮想描画画像１４を表すラインの色に対する変更を行うことを示す操作情報を取得する。
【００５３】
フィードバック制御部４４は、仮想描画画像１４の作成を開始する操作が行われたことを示す操作情報が操作情報取得部４３から供給されると、振動モータ３６に対する制御を行って、振動モータ３６を振動させる。そして、フィードバック制御部４４は、仮想描画データの生成が終了するまで振動モータ３６を振動させ続け、仮想描画データの生成を終了する操作が行われたことを示す操作情報が操作情報取得部４３から供給されると、振動モータ３６の振動を停止させる。これにより、フィードバック制御部４４は、仮想描画画像１４の作成中であることユーザに認識させるフィードバック制御を行うことができる。
【００５４】
記憶部４５は、仮想描画データ処理部４６により生成された仮想描画データを記憶する。また、記憶部４５は、例えば、図１０および図１１を参照して後述するように、所定の仮想描画画像１４および特定のジェスチャに対応付けて、その仮想描画画像１４に対するエフェクト表示を行うためのエフェクトデータを記憶している。
【００５５】
仮想描画データ処理部４６は、位置姿勢センサ３３から供給される位置姿勢情報、指示ポイント認識処理部４１から供給される相対位置情報、音声認識部４２から供給される発話情報、および、操作情報取得部４３から供給される操作情報に基づいて、仮想描画画像１４を表示するための仮想描画データを生成する処理を行う。そして、仮想描画データ処理部４６は、生成中の仮想描画データを順次、仮想描画画像表示処理部４７に供給するとともに、仮想描画画像１４の作成が終了すると、完成した仮想描画データを記憶部４５に供給して記憶させる。
【００５６】
例えば、仮想描画データ処理部４６は、スマートフォン１１の絶対位置および姿勢に基づいて、スマートフォン１１に対する相対的な指示ポイントの位置を、絶対座標系に変換して、指示ポイントの軌跡に従った仮想描画データを生成することができる。そして、仮想描画データ処理部４６は、指示ポイントの連続的な移動と、操作情報に従った連続的な変更操作とのタイミングを対応付けることで、変更操作に応じた変更を反映させながら仮想描画データを生成することができる。
【００５７】
また、仮想描画データ処理部４６は、図６を参照して説明したように、音声認識部４２から供給される発話情報に基づいて、ユーザが発話したタイミングにおける指示ポイントごとに、文字が表示されるような仮想描画画像１４ａ（図６）の仮想描画データを生成することができる。
【００５８】
また、仮想描画データ処理部４６は、記憶部４５に記憶されている仮想描画データに従って仮想描画画像１４を表示するような再生操作が行われると、記憶部４５から仮想描画データを読み出して仮想描画画像表示処理部４７に供給し、仮想描画画像１４の表示処理を行わせる。さらに、仮想描画データ処理部４６は、図１１および図１２を参照して後述するように、所定の仮想描画画像１４に対して特定のジェスチャが行われたことを認識した場合、そのジェスチャに対応するエフェクトデータを記憶部４５から読み出して、仮想描画画像１４にエフェクト表示を適用させることができる。
【００５９】
仮想描画画像表示処理部４７は、仮想描画データ処理部４６から供給される仮想描画データに基づいた仮想描画画像１４を、リアルタイムに、撮像素子３１から供給される実空間の画像上に重ね合わせるような表示処理を行う。これにより、仮想描画画像表示処理部４７は、実空間上に仮想描画画像１４が仮想的に配置されているようなＡＲ画像をタッチパネル３５に供給して、ＡＲ画像表示画面１３に表示させることができる。
【００６０】
以上のようにスマートフォン１１は構成されており、指示ポイント認識処理部４１は、指先が連続的に移動するのに追従して指示ポイントを認識することができ、操作情報取得部４３は、タッチパネル３５に対するユーザのタッチ操作の連続的な変更に従った操作内容を示す操作情報を取得することができる。そして、仮想描画データ処理部４６は、指先の連続的な変化と、操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成することがでる。従って、仮想描画画像１４を作成する際に、連続的に移動する一方の手の指先と、連続的に変更を行う他方の手による操作とのタイミングとを対応付けて、仮想描画画像１４に変更を反映させることができる。このように、より自由度の高い操作性を実現可能なユーザインタフェースにより、良好なユーザ体験を提供することができる。
【００６１】
なお、スマートフォン１１は、記憶部４５に記憶されている仮想描画データを、他のスマートフォン１１に送信することができ、他のスマートフォン１１がＡＲ表示アプリケーションを実行することで、仮想描画画像１４を再生することができる。このとき、仮想描画データは、上述したように絶対座標系で生成されており、仮想描画画像１４の作成場所において、他のスマートフォン１１のタッチパネル３５に仮想描画画像１４を表示することができる。
【００６２】
＜ＡＲ表示アプリケーションの表示処理＞
図８に示すフローチャートを参照して、ＡＲ表示アプリケーションにおいて実行される表示処理について説明する。
【００６３】
例えば、スマートフォン１１においてＡＲ表示アプリケーションが実行されると表示処理が開始される。ステップＳ１１において、撮像素子３１は、指示ポイント認識処理部４１および仮想描画画像表示処理部４７へ画像の供給を開始し、TOFセンサ３２は、指示ポイント認識処理部４１へ距離画像の供給を開始する。
【００６４】
ステップＳ１２において、操作情報取得部４３は、仮想描画画像１４の作成を開始するか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン描画操作ボタン２２に対するタッチ操作が行われたことを認識すると、仮想描画画像１４の作成を開始すると判定する。
【００６５】
ステップＳ１２において、操作情報取得部４３が、仮想描画画像１４の作成を開始すると判定するまで処理は待機され、仮想描画画像１４の作成を開始すると判定した場合、処理はステップＳ１３に進む。
【００６６】
ステップＳ１３において、指示ポイント認識処理部４１は、撮像素子３１から供給される画像、および、TOFセンサ３２から供給される距離画像に基づいて、指示ポイントを認識する認識処理を開始する。そして、指示ポイント認識処理部４１は、スマートフォン１１に対する相対的な指示ポイントの位置を示す相対位置情報を仮想描画データ処理部４６に供給する。
【００６７】
ステップＳ１４において、操作情報取得部４３は、仮想描画画像１４の作成を開始することを示す操作情報をフィードバック制御部４４に供給し、フィードバック制御部４４は、振動モータ３６を振動させることによるフィードバック制御を開始する。
【００６８】
ステップＳ１５において、仮想描画データ処理部４６は、仮想描画画像１４を表示するための仮想描画データを生成する処理を行う。上述したように、仮想描画データ処理部４６は、指示ポイント認識処理部４１から供給される相対位置情報を絶対座標系に変更し、指示ポイントの軌跡に従って仮想描画データを生成する。
【００６９】
ステップＳ１６において、操作情報取得部４３は、作成中の仮想描画画像１４に対する変更操作が行われたか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン幅操作パネル２３またはライン色操作パネル２４に対するタッチ操作が行われたことを認識すると、作成中の仮想描画画像１４に対する変更操作が行われたと判定する。
【００７０】
ステップＳ１６において、操作情報取得部４３が、作成中の仮想描画画像１４に対する変更操作が行われたと判定した場合、処理はステップＳ１７に進む。ステップＳ１７において、操作情報取得部４３は、作成中の仮想描画画像１４に対する変更操作の内容（例えば、ラインの太さや色など）を取得して仮想描画データ処理部４６に供給する。そして、仮想描画データ処理部４６は、その変更操作の内容に従って仮想描画データを変更することで、仮想描画画像１４に対して変更を反映させる。
【００７１】
一方、ステップＳ１６において、操作情報取得部４３が、作成中の仮想描画画像１４に対する変更操作が行われていないと判定した場合、または、ステップＳ１７の処理後、処理はステップＳ１８に進む。
【００７２】
ステップＳ１８において、仮想描画データ処理部４６は、ステップＳ１５で生成した仮想描画データ、または、ステップＳ１７で変更を反映した仮想描画データを、仮想描画画像表示処理部４７に供給する。これにより、仮想描画画像表示処理部４７は、仮想描画データ処理部４６から供給される仮想描画データに従った仮想描画画像１４を作成する。そして、仮想描画画像表示処理部４７は、作成中の仮想描画画像１４を、撮像素子３１により撮像された実空間の画像上に重ね合わせたＡＲ画像をタッチパネル３５に供給して表示させる表示処理を行う。
【００７３】
ステップＳ１９において、操作情報取得部４３は、仮想描画画像１４の作成を終了するか否かを判定する。例えば、操作情報取得部４３は、タッチパネル３５から供給されるタッチ位置情報に従って、図２のライン描画操作ボタン２２に対するタッチ操作が終わったことを認識すると、仮想描画画像１４の作成を終了すると判定する。
【００７４】
ステップＳ１９において、操作情報取得部４３が、仮想描画画像１４の作成を終了しないと判定した場合、処理はステップＳ１５に戻り、以下、同様の処理が繰り返されることによって、仮想描画画像１４の作成が継続される。
【００７５】
一方、ステップＳ１９において、操作情報取得部４３が、仮想描画画像１４の作成を終了すると判定した場合、処理はステップＳ２０に進む。ステップＳ２０において、操作情報取得部４３は、仮想描画画像１４の作成を終了することを示す操作情報をフィードバック制御部４４に供給し、フィードバック制御部４４は、振動モータ３６の振動を停止させることによりフィードバック制御を終了する。また、このとき、指示ポイント認識処理部４１は、指示ポイントを認識する認識処理を終了するとともに、仮想描画データ処理部４６は、完成した仮想描画データを記憶部４５に供給して記憶させる。
【００７６】
ステップＳ２０の処理後、処理はステップＳ１２に戻り、仮想描画画像１４の作成の開始が待機され、以下、ＡＲ表示アプリケーションが終了されるまで、同様の表示処理が繰り返して行われる。
【００７７】
＜ＡＲ表示アプリケーションの様々な利用例＞
図９乃至１２を参照して、ＡＲ表示アプリケーションの様々な利用例について説明する。
【００７８】
図９のＡには、ユーザＡがスマートフォン１１を使用している様子が示されている。図９のＢには、スマートフォン１１のタッチパネルに表示されるＡＲ画像表示画面１３が示されており、このＡＲ画像表示画面１３には、仮想描画画像１４ｃに対する第１のエフェクト表示例が示されている。
【００７９】
例えば、ＡＲ表示アプリケーションは、スマートフォン１１を持っているユーザＡの指先だけでなく、スマートフォン１１を持っていないユーザＢの指先を指示ポイントとして認識することができる。さらに、ＡＲ表示アプリケーションは、複数の指示ポイントを同時に認識し、例えば、ユーザＡおよびユーザＢそれぞれの指先を同時に認識して、２つの仮想描画画像１４ｂおよび１４ｃを作成することができる。
【００８０】
また、ＡＲ表示アプリケーションは、図９のＢに示すように、例えば、指先が仮想的に光って、その仮想的な光の光跡が拡散しながら一定時間続いて表示されるような仮想描画画像１４ｂを作成することができる。
【００８１】
さらに、ＡＲ表示アプリケーションは、所定の仮想描画画像１４に対して特定のジェスチャが行われたことを認識すると、例えば、仮想描画画像１４が動き出すような各種のエフェクト表示を行うことができる。例えば、ＡＲ表示アプリケーションは、仮想描画画像１４の作成を終了した後に、その仮想描画画像１４をつつくようなジェスチャが行われたことを認識すると、図９のＢに示す仮想描画画像１４ｃのように、ユーザＢの体の表面に沿って動くようなエフェクト表示を行うことができる。
【００８２】
その他、ＡＲ表示アプリケーションは、文字が描かれた仮想描画画像１４が浮かび上がるようなエフェクト表示や、その文字がライン状の仮想描画画像１４に変形するようなエフェクト表示などを行うことができる。
【００８３】
これらのエフェクト表示を行うためのエフェクトデータ（仮想描画画像１４の動きや変形など）は、記憶部４５に記憶されている。例えば、仮想描画データ処理部４６は、特定のジェスチャを認識すると、そのジェスチャに対応付けられているエフェクトデータを記憶部４５から読み出して仮想描画画像表示処理部４７に供給する。仮想描画画像表示処理部４７は、ＡＲ画像表示画面１３に表示されている仮想描画画像１４に対してエフェクトデータに従ったエフェクト表示が行われるように表示処理を行う。
【００８４】
図１０を参照して、仮想描画画像１４に対する第２のエフェクト表示例について説明する。
【００８５】
例えば、ＡＲ表示アプリケーションは、図１０の上段に示すように、複数のロウソクが立てられたケーキがＡＲ画像表示画面１３に表示されていることを画像認識により認識することができ、ユーザが、ロウソクの先端を実際にタッチするようなジェスチャを行ったことを認識する。これに応じて、ＡＲ表示アプリケーションは、図１０の中段に示すように、それぞれのロウソクの先端に仮想的に火が灯っているように見える仮想描画画像１４ｄをＡＲ画像表示画面１３に表示する。このとき、ＡＲ表示アプリケーションは、ロウソクの火が揺らいでいるようなエフェクト表示を行うことができる。なお、例えば、このケーキに重ね合わせて仮想的に花火が打ち上げられるようなエフェクト表示の仮想描画画像１４（図示せず）を、ＡＲ画像表示画面１３に表示してもよい。
【００８６】
そして、ＡＲ表示アプリケーションは、仮想描画画像１４ｄの仮想的な火が、全てのロウソクに対応して表示されると、図１０の下段に示すように、三次元的に空間に浮いているように見る仮想描画画像１４ｅの文字「ＨＡＰＰＹ ＢＩＲＴＨＤＡＹ」を表示する。また、ＡＲ表示アプリケーションは、ユーザが、図２のライン色操作パネル２４に対する操作を行うのに従って、仮想描画画像１４ｅの文字に対して、任意の色に変更したり、多色の筆により描かれているようなグラデーションに変更したりすることができる。その他、ＡＲ表示アプリケーションは、予め設定されている様々な文字に対する装飾を選択するような操作が行われるのに従って、連続的に、仮想描画画像１４ｅの文字に対する装飾を変更することができる。
【００８７】
図１１を参照して、仮想描画画像１４に対する第３のエフェクト表示例について説明する。
【００８８】
例えば、ＡＲ表示アプリケーションは、図１１の上段に示すように、コーヒーカップの上に、ハートの形状となるようにラインで描かれた仮想描画画像１４ｆをＡＲ画像表示画面１３に表示する。また、ＡＲ表示アプリケーションは、ＡＲ画像表示画面１３ｆの周辺に、ハートの形状が光っているように見えるエフェクト表示を行うことができる。また、その他、ハートの形状自身が光っていたり、燃えていたりするようなエフェクト表示を行ってもよい。
【００８９】
そして、ＡＲ表示アプリケーションは、図１１の中段に示すように、ユーザが仮想描画画像１４ｆのハートの形状を指先で割るようなジェスチャを行ったことを認識する。これに応じて、ＡＲ表示アプリケーションは、図１１の下段に示すように、仮想描画画像１４ｆに対して、割れたハートの形状の中から複数の小さなハートの形状が湧いて飛び出すようなエフェクト表示を行うことができる。
【００９０】
図１２を参照して、ＡＲ表示アプリケーションを仮想現実（Virtual Reality）に適用する例について説明する。
【００９１】
例えば、実空間上に仮想描画画像１４を重ね合わせて表示する他、コンピュータグラフィックにより作成された仮想空間上に仮想描画画像１４を重ね合わせて表示してもよい。
【００９２】
例えば、図１２に示すように、ユーザは、ヘッドマウントディスプレイ５１を装着し、指示ポイントとするためのコントローラ５２を手に持って仮想描画画像１４を作成することができる。このとき、仮想描画画像１４の作成の開始または終了を指示する操作や、仮想描画画像１４に対する変更を指示する操作などは、ヘッドマウントディスプレイ５１の側面に設けられたタッチパネル５３を利用して行うことができる。
【００９３】
さらに、ＡＲ表示アプリケーションを複合現実に適用してもよく、透過型のヘッドマウントディスプレイを使用して、ユーザが実際に見ている実空間上に、仮想描画画像１４を重ね合わせて表示するようにしてもよい。
【００９４】
また、ＡＲ表示アプリケーションは、以下に説明するような様々なユースケースが想定される。
【００９５】
例えば、カフェなどで並んでいる２人のユーザが、１台のスマートフォン１１のタッチパネル３５を一緒に見ながら、机の上やコーヒーカップ、ケーキなどに対して、絵やメッセージなどを表す仮想描画画像１４を作成することができる。そして、完成した仮想描画画像１４が表示されているＡＲ画像表示画面１３を動画像で記録して、ソーシャルネットワーク上に公開することができる。または、仮想描画画像１４を作成している経過状態のＡＲ画像表示画面１３をタイムラプス的に動画像で記録してもよい。
【００９６】
例えば、有名人がレストランに行ったときに、有名人自身が食事するために座った場所から実空間上に、有名人のスマートフォン１１を利用して、３次元的なメッセージやサインなどを表す仮想描画画像１４を作成することができる。そして、仮想描画画像１４や、空間情報、GPS（Global Positioning System）位置情報などのデータを、ソーシャルネットワーク上に公開することができる。これにより、ソーシャルネットワークを見た人たちは、公開されたデータに基づいて、その有名人が食事したレストランに行くことができ、それぞれの人たちのスマートフォン１１を利用して、３次元的なメッセージやサインをＡＲ画像表示画面１３に表示して見ることができる。このとき、ＡＲ画像表示画面１３とともに自分自身が写り込むように静止画像を撮像することができる。
【００９７】
例えば、子供たちが家で寝ている夜中に、父親が家に帰ってきて、スマートフォン１１のカメラを食事に向けると、その食事に重ね合わされるように、子供たちが残したメッセージを表す仮想描画画像１４がＡＲ画像表示画面１３に表示される。この仮想描画画像１４は、子供たちが寝る前に、母親のスマートフォン１１を利用して作成していたものである。
【００９８】
例えば、卒業旅行で、みんなで京都に行ったときに、ある観光地で、スマートフォン１１を利用して、一緒に寄せ書きとなる仮想描画画像１４を作成することができる。そして、卒業から数年後に、その観光地に行ったときに、スマートフォン１１を利用して、仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることや、新たな仮想描画画像１４を追加することなどができる。
【００９９】
例えば、学校で、誕生日の子の机に対して誕生日の前日に、友達が、自身のスマートフォン１１を利用して、Happy Birthdayなどお祝いの言葉やイラストなどの寄せ書きを表す仮想描画画像１４を作成しておくことができる。そして、誕生日当日、その子が、自身のスマートフォン１１のカメラで自分の机を撮像すると、みんなのお祝いメッセージが表された仮想描画画像１４が、実空間において机に重畳しているようにＡＲ画像表示画面１３に表示される。
【０１００】
例えば、落書きが多くあるような場所で、本物の落書きではなく、クリエイターや一般の人が、自身のスマートフォン１１を利用して、芸術的な落書きを表す仮想描画画像１４を作成することができる。そして、通行人が、自身のスマートフォン１１のカメラで、その場所を撮像すると、芸術的な落書きを表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることができる。
【０１０１】
例えば、美術館や博物館などに来館した客が、自身のスマートフォン１１を利用して、自身の感想やコメントなどを表す仮想描画画像１４を作成して、作品が展示されている空間に仮想的に残すことができる。そして、同じく来館した別の客が、自身のスマートフォン１１を利用して、感想やコメントなどを表す仮想描画画像１４を表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることで、その感想やコメントなどを残した客と自分との感性の違いや解釈の違いなどを感じて楽しむことができる。
【０１０２】
例えば、孫の入学式にランドセルをプレゼントする際に、祖父母が、スマートフォン１１を利用して事前に、そのランドセルに重ね合わせるようにメッセージやイラストなどを表す仮想描画画像１４を作成することができる。その後、ランドセルとともに、仮想描画画像１４を表示するための仮想描画データをプレゼントする。これにより、孫が、スマートフォン１１のカメラでランドセルを撮像すると、スマートフォン１１がランドセルを認識（物体認識）することで、そのランドセルに重なるように表示されるメッセージやイラストなどを表す仮想描画画像１４をＡＲ画像表示画面１３に表示して見ることができる。さらに、孫がランドセルを背負って、メッセージやイラストなどを表す仮想描画画像１４と一緒に写されるようなＡＲ画像表示画面１３の静止画像を記念写真として記録して、祖父母に送信することができる。
【０１０３】
このように、ＡＲ表示アプリケーションは、ある場所における手書きによるメッセージや絵などを、指先を測距することによって仮想描画画像１４として作成し、その仮想描画画像１４を表示するための仮想描画データを、仮想的に実空間に残すことができる。このとき、GPSデータおよび空間データを、仮想描画画像１４の仮想描画データとともに、ＡＲ表示アプリケーション内部に記録することがきる。これにより、次回、その場所に行ったときに、ＡＲ表示アプリケーションを実行して、記録を読み出すことで、仮想描画画像１４を再現することができる。即ち、ＡＲ表示アプリケーションは、仮想描画画像１４を表示するための仮想描画データとともに、SLAM（Simultaneous Localization and Mapping）情報、空間情報、GPS情報を記録することで、再局在化（re-localization）を可能とすることができる。
【０１０４】
また、スマートフォン１１は、TOFセンサ３２を利用する他、ステレオカメラを利用して指先の三次元的な位置を認識するなど、様々な方法を利用することができる。さらに、スマートフォン１１は、図２のライン幅操作パネル２３を利用して仮想描画画像１４のラインの太さを変更する他、例えば、タッチパネル３５に対するタッチ圧力を検出し、そのタッチ圧力に応じて仮想描画画像１４のラインの太さを変更してもよい。
【０１０５】
＜コンピュータの構成例＞
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
【０１０６】
また、上述した一連の処理（表示処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１０７】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０８】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
【０１０９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
【０１１０】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
仮想的に描画される画像である仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行う認識処理部と、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得する操作情報取得部と、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成するデータ処理部と、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行う表示処理部と
を備える表示処理装置。
（２）
前記操作情報取得部は、前記表示画面を表示する表示部を有するタッチパネルに対するユーザのタッチ操作に従って、前記操作情報を取得する
上記（１）に記載の表示処理装置。
（３）
前記認識処理部は、前記点が連続的に移動するのに追従して前記指示ポイントを認識し、
前記操作情報取得部は、前記タッチパネルに対するユーザのタッチ操作の連続的な変更に従って前記操作情報を取得し、
前記データ処理部は、前記指示ポイントにより指示される点の連続的な移動と、前記操作情報に従った連続的な変更とのタイミングを対応付けて、前記仮想描画データを生成する
上記（２）に記載の表示処理装置。
（４）
前記認識処理部は、光を照射したタイミングと、その光が物体で反射した反射光を受光するタイミングとの時間差に基づいて、前記物体までの距離を求めるTOF（Time of Flight）センサが取得する距離画像を用いて、前記指示ポイントを認識する
上記（１）から（３）までのいずれかに記載の表示処理装置。
（５）
前記仮想描画画像の作成中であることをユーザに対してフィードバックするフィードバック制御部
をさらに備える上記（１）から（４）までのいずれかに記載の表示処理装置。
（６）
ユーザの発話した音声を認識して、その音声を文字化した発話情報を取得する音声認識部をさらに備え、
前記データ処理部は、前記発話情報に基づいた文字を、その文字が発話されたタイミングにおける前記指示ポイントで示される位置に仮想的に配置するような前記仮想描画画像を描画するための前記仮想描画データを生成する
上記（１）から（５）までのいずれかに記載の表示処理装置。
（７）
前記データ処理部が生成した前記仮想描画データを記憶する記憶部をさらに備え、
前記データ処理部は、前記記憶部から読み出した前記仮想描画データを前記表示処理部に供給して、前記仮想描画画像の表示処理を行わせる
上記（１）から（６）までのいずれかに記載の表示処理装置。
（８）
仮想的に描画される画像である仮想描画画像を表示する表示処理装置が、
前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
を含む表示処理方法。
（９）
仮想的に描画される画像である仮想描画画像を表示する表示処理装置のコンピュータに、
前記仮想描画画像を作成するための実空間上の点を指示する指示ポイントを認識する認識処理を行うことと、
作成中の前記仮想描画画像に対して変更を行うユーザ操作に従った操作情報を取得することと、
前記指示ポイントに従って作成される前記仮想描画画像を描画するための仮想描画データを、前記操作情報に応じた変更を反映させながら生成することと、
前記仮想描画データに基づいて、作成中の前記仮想描画画像を表示画面にリアルタイムに表示させる表示処理を行うことと
を含む表示処理を実行させるためのプログラム。
【０１１１】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０１１２】
１１  スマートフォン，  １２  花瓶，  １３  ＡＲ画像表示画面，  １４  仮想描画画像，  ２１  アプリケーション画面，  ２２  ライン描画操作ボタン，  ２３  ライン幅操作パネル，  ２４  ライン色操作パネル，  ３１  撮像素子，  ３２  TOFセンサ，  ３３  位置姿勢センサ，  ３４  収音センサ，  ３５  タッチパネル，  ３６  振動モータ，  ３７  ＡＲ表示処理部，  ４１  指示ポイント認識処理部，  ４２  音声認識部，  ４３  操作情報取得部，  ４４  フィードバック制御部，  ４５  記憶部，  ４６  仮想描画データ処理部，  ４７  仮想描画画像表示処理部，  ５１  ヘッドマウントディスプレイ，  ５２  コントローラ，  ５３  タッチパネル
【図１】
2019093156.tif 000003
【図２】
2019093156.tif 000004
【図３】
2019093156.tif 000005
【図４】
2019093156.tif 000006
【図５】
2019093156.tif 000007
【図６】
2019093156.tif 000008
【図７】
2019093156.tif 000009
【図８】
2019093156.tif 000010
【図９】
2019093156.tif 000011
【図１０】
2019093156.tif 000012
【図１１】
2019093156.tif 000013
【図１２】
2019093156.tif 000014
【図１３】
2019093156.tif 000015
【国際調査報告】
2019093156.tif 000016
2019093156.tif 000017
2019093156.tif 000018
2019093156.tif 000019