(57)【要約】【課題】選択肢に対するユーザの関心度を評価する評価装置を提供すること。【解決手段】評価装置１は、複数の操作領域を含み、投影面に投影する画像を出力する出力部と、前記投影面を含む三次元空間において、ユーザの指位置の座標を繰り返し取得する取得部と、前記指位置の軌跡に基づいて、各操作領域を評価する評価部とを備える。【選択図】図２
2017010397.tif 000002
【特許請求の範囲】
【請求項１】
複数の操作領域を含み、投影面に投影する画像を出力する出力部と、
前記投影面を含む三次元空間において、ユーザの指位置の座標を繰り返し取得する取得部と、
前記指位置の軌跡に基づいて、各操作領域を評価する評価部と
を備える評価装置。
【請求項２】
前記指位置の座標及び各操作領域の範囲を示す座標を比較することにより、前記指位置が、いずれかの操作領域内に含まれているか否かを判定する判定部を備え、
前記評価部は、前記判定部の判定結果から求めた前記指位置が前記操作領域に含まれた時間長に基づき、前記操作領域を評価する
請求項１に記載の評価装置。
【請求項３】
前記評価部は、前記指位置の前記投影面からの高さに基づいて、前記操作領域を評価する
請求項１又は請求項２に記載の評価装置。
【請求項４】
前記判定部は、前記指位置の前記投影面から高さが所定の値以下となった場合に、前記指位置は前記投影面に投影された対象を選択したと判定し、
前記評価部は、前記指位置が前記投影面に投影された対象を選択したと判定した場合、前記時間長には依らない評価を前記操作領域に与える
請求項２に記載の評価装置。
【請求項５】
前記評価部は、前記操作領域に含まれた前記指位置に対応する点の前記軌跡における順番により、前記操作領域の評価を行う
請求項１から請求項４のいずれか１項に記載の評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの関心を評価する評価装置に関する。
【背景技術】
【０００２】
指先の位置を検出することにより操作を行える技術は知られている（例えば、特許文献１）。また、タッチパネルの所定の領域の上空に指などの指示体を持って行くと、アイコンの表示が移動することで、離れた位置にあるアイコンの選択を可能とする技術や、表示面の上方の所定空間に指が進入した場合、指の位置に対応するアイコンを表示エリアから検出エリアに移動することにより、所望するアイコンを見つけやすくする技術が知られている（例えば、特許文献２や特許文献３）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０７９１５号公報
【特許文献２】特開２０１４−８１７３４号公報
【特許文献３】特開２０１２−９００９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術は、選択肢を選択する場合の操作性向上を目指すものであり、選択肢が選択されるまでの利用者の迷いや、気になった程度については考慮されていない。
【０００５】
１つの側面では、本発明は、提示される選択肢に対する利用者の迷いや、気になった程度を選択肢毎に関心度として評価する評価装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願に開示する評価装置は、複数の操作領域を含み、投影面に投影する画像を出力する出力部と、前記投影面を含む三次元空間において、ユーザの指位置の座標を繰り返し取得する取得部と、前記指位置の軌跡に基づいて、各操作領域を評価する評価部とを備える。
【発明の効果】
【０００７】
一観点によれば、選択肢に対するユーザの関心度を評価することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報システムの構成の一例を示す説明図である。
【図２】評価装置のハードウェア構成の一例を示すブロック図である。
【図３】文書管理ＤＢのレコードレイアウトの一例を示す説明図である。
【図４】関心度ＤＢのレコードレイアウトの一例を示す説明図である。
【図５】軌跡ＤＢのレコードレイアウトの一例を示す説明図である。
【図６】メイン処理の手順を示すフローチャートである。
【図７】文書の一例を示す説明図である。
【図８】操作領域のタッチ判定アルゴリズムの概要を示す説明図である。
【図９】ユーザの迷い判定アルゴリズムの概要を示す説明図である。
【図１０】関心度算出処理の手順を示すフローチャートである。
【図１１】関心度算出処理の手順を示すフローチャートである。
【図１２】コンテンツ提供画面の一例を示す説明図である。
【図１３】実施の形態２に係る文書の例を示す説明図である。
【図１４】ブレを除去する考え方を示す説明図である。
【図１５】評価装置の機能構成の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
実施の形態１
以下、実施の形態を、図面を参照して説明する。以下の説明においては、操作対象は紙文書、紙文書を画像データに変換し、それを投影した投影画像とする。紙文書には、キーワードとなる文字列や、内容説明等の文章や、内容の理解を助ける写真などの画像や表が含まれている。
【００１０】
図１は情報システムの構成の一例を示す説明図である。情報システムは、評価装置１、ＱＲカメラ２、ステレオカメラ３、プロジェクタ４、作業台５を含む。評価装置１はユーザの操作を制御する装置である。
【００１１】
ＱＲカメラ２は紙文書に印字されているＱＲコード（登録商標）を読み込む。ＱＲコードには紙文書の識別子が含まれている。ＱＲカメラ２は読み込んだＱＲコードを評価装置１へ出力する。
【００１２】
ステレオカメラ３はカメラ３１、カメラ３２の２台のカメラを含む。ステレオカメラ３は、ユーザの手などによる投影画像の操作を行う動作を撮影し、撮影して得た画像を評価装置１へ出力する。
【００１３】
ＱＲカメラ２、カメラ３１、カメラ３２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラなどである。
【００１４】
プロジェクタ４は評価装置１が出力した画像を投影する。作業台５は例えば、テーブルであり、設置面（例えば、床面）と略平行な天板５１を有する。操作対象となる紙文書などの物体は天板５１に置く。また、プロジェクタ４が出力した画像は、天板５１に投影される。
【００１５】
図２は評価装置１のハードウェア構成の一例を示すブロック図である。評価装置１は、汎用コンピュータ、ワークステーション、デスクトップ型ＰＣ（パーソナルコンピュータ）、ノートブック型ＰＣ等である。評価装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３、画像取得部１４、画像出力部１５、大容量記憶装置１６、通信部１７、読み取り部１８を含む。各構成はバスＢで接続されている。
【００１６】
ＣＰＵ１１はＲＯＭ１３に記憶された制御プログラム１Ｐに従いハードウェア各部を制御する。ＲＡＭ１２は例えばＳＲＡＭ（Ｓｔａｔｉｃ  ＲＡＭ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  ＲＡＭ）、フラッシュメモリである。ＲＡＭ１２はＣＰＵ１１によるプログラムの実行時に発生するデータを一時的に記憶する。
【００１７】
画像取得部１４は、ＱＲカメラ２、ステレオカメラ３（カメラ３１、カメラ３２）が撮影した画像を取得する。画像出力部１５は、プロジェクタ４に投影させる画像を出力する。
【００１８】
大容量記憶装置１６は、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などである。大容量記憶装置１６には、文書管理ＤＢ（ＤａｔａＢａｓｅ）１６１、関心度ＤＢ１６２、軌跡ＤＢ１６３等の各種データが記憶されている。また、制御プログラム１Ｐを大容量記憶装置１６に記憶するようにしておいても良い。
【００１９】
通信部１７はネットワークを介して、他のコンピュータと通信を行う。評価装置１とＱＲカメラ２、ステレオカメラ３、プロジェクタ４とのデータのやり取りを、通信部１７とネットワークとを介して行っても良い。
【００２０】
読み取り部１８はＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）−ＲＯＭを含む可搬型記憶媒体１ａを読み取る。ＣＰＵ１１が読み取り部１８を介して、制御プログラム（コンピュータプログラム）１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶装置１６に記憶しても良い。また、ネットワークを介して他のコンピュータからＣＰＵ１１が制御プログラム１Ｐをダウンロードし、大容量記憶装置１６に記憶しても良い。さらにまた、半導体メモリ１ｂから、ＣＰＵ１１が制御プログラム１Ｐを読み込んでも良い。
【００２１】
上述のように、本実施の形態において操作対象となる文書には、キーワードや文章や写真などの画像が含まれているものとする。ユーザはキーワードや文章や画像に指で触れることにより、それに関心がある旨を伝えることが可能である。以下、ユーザが指で触れる対象となるキーワードや文章や画像を操作対象と呼ぶ。また、文書又は文書に対応する画像内で、操作対象が占めている領域を操作領域と呼ぶ。なお、以下の処理においては、文書は全て１頁であるとする。物理的に複数の頁からなる紙文書であっても、処理上、各ページは異なる文書として扱う。また、説明の簡単のため文書はＡ４などの矩形シート状の用紙からなり、各操作領域も矩形状とする。
【００２２】
次に、データベース（ＤＢ）について説明する。図３は文書管理ＤＢ１６１のレコードレイアウトの一例を示す説明図である。文書管理ＤＢ１６１は文書に含まれる操作対象についての情報を記憶している。文書管理ＤＢ１６１は、文書コード列、キーワード列、種別列、位置列、大きさ列を含む。文書コード列は、文書を一意に特定するコードを記憶する。キーワード列は、操作対象の内容を端的に表すキーワードを記憶する。種別列は、操作対象の種別を記憶する。例えば、操作対象が文字列の場合、種別はテキストとする。操作対象が写真、イラストの場合、種別は画像とする。位置列は、操作対象の文書内での位置を座標で示す。位置の座標は、操作領域の１つの角（例えば操作領域の左上の角）の座標とする。座標系は文書内の所定の位置を原点とする二次元座標系である。大きさ列は、操作領域の大きさ（例えば操作領域の縦横の長さ）を記憶する。
【００２３】
図４は関心度ＤＢ１６２のレコードレイアウトの一例を示す説明図である。関心度ＤＢ１６２は操作対象の関心度を順位付けして記憶している。関心度ＤＢ１６２はタッチ領域セクション１６２ａと迷い領域セクション１６２ｂとからなる。タッチ領域セクション１６２ａは、ユーザにタッチされた操作領域の関心度の順位を記憶している。迷い領域セクション１６２ｂは、ユーザがタッチしようか迷った領域についての関心度の順位を記憶している。タッチ領域セクション１６２ａと迷い領域セクション１６２ｂとのレコードレイアウトは同様で、順位列、キーワード列、種別列を含む。順位列は、関心度の順位を記憶する。ユーザの関心が最も高いと判定された操作対象を第１位とする。キーワード列は、操作対象のキーワードを記憶する。種別列は操作対象の種別を記憶する。
【００２４】
図５は軌跡ＤＢ１６３のレコードレイアウトの一例を示す説明図である。軌跡ＤＢ１６３は操作位置の移動軌跡を記憶する。操作位置とは、例えば、ユーザが片手をグーの状態から人差し指一本のみを出している状態にしたときの、人差し指の指先位置とする。操作位置は、ステレオカメラ３により撮影された画像より求めることが可能である。時間軸上で離散的に求めた操作位置を軌跡ＤＢ１６３に記憶する。軌跡ＤＢ１６３に記憶された複数のレコードにより、操作位置の移動軌跡が表される。軌跡ＤＢ１６３は、時刻列、座標列を含む。時刻列は、操作位置を観測した時刻を記憶する。座標列は、操作位置座標を三次元座標で記憶する。二軸は作業台５の天板５１上であり、一軸は天板上を０とする天板面の法線方向の軸である。操作位置は指先の位置に限らない。スタイラスのような棒状の部材をユーザに持ってもらい、その先端を操作位置としてもよい。
【００２５】
続いて、評価装置１が行う情報処理について説明する。図６はメイン処理の手順を示すフローチャートである。評価装置１のＣＰＵ１１は、文書の特定を行う（ステップＳ１）。より具体的には、ユーザが作業台５の天板５１に文書を置く。ユーザが評価装置１に対して読み込み指示を行うと、評価装置１はＱＲカメラ２に文書に印刷されたＱＲコードを読み込ませる。ＱＲカメラ２は読み込んだＱＲコード画像を評価装置１に出力する。ＣＰＵ１１は、画像取得部１４を介して取得したＱＲコード画像から文書コードを取得し、文書を特定する。ユーザが行う読み込みの指示は、例えば、次のように行う。ユーザが、文書が置かれていない領域の上空に指を持って行くと、プロジェクタ４により読み込み開始ボタンが表示される。ユーザが表示された読み込み開始ボタンに触れると、読み込みが開始される。なお、ユーザが指示を行わずとも、ＱＲカメラ２は常にＱＲコードの検知を行ない、検知に成功したら、取得したＱＲコードを評価装置１に出力するようにしても良い。
【００２６】
ＣＰＵ１１は、特定した文書に対応する操作領域情報を文書管理ＤＢ１６１から読み込み、操作領域を示す画像をプロジェクタ４により文書上に投影する（ステップＳ２）。ここで、文書管理ＤＢ１６１に記憶されている操作領域の位置座標、大きさ情報は、文書上での座標系となっている。そのため、プロジェクタ４に画像を投影させるには、座標系の変換が必要となる。そのために、ＱＲカメラ２で読み込んだＱＲコード画像の位置や大きさより、文書が作業台上のどの位置に置かれたかを検出する。検出した結果に基づき、アフィン変換係数を求める。求めた係数を用いるアフィン変換により、作業台上の座標を文書上の座標に変換することが可能である。文書のどの位置に、どれくらいの大きさのＱＲコードが印刷されているかについての情報は、予め大容量記憶装置１６などに記憶されているものとする。
【００２７】
ＣＰＵ１１はステレオカメラ３から画像を取得し、取得した画像に基づき、操作位置の取得を行う（ステップＳ３）。
【００２８】
ＣＰＵ１１は取得した操作位置を、画像を取得した時刻と対応付けて、軌跡ＤＢ１６３に記憶する（ステップＳ４）。ＣＰＵ１１は操作位置の変化に応じて投影画像を更新する（ステップＳ５）。例えば、操作領域がタッチされて選択された場合には、当該選択領域を示す画像の色や形状を変化させる。それにより、選択動作を評価装置１が把握したことをユーザにフィードバックすることが可能となる。
【００２９】
ＣＰＵ１１は操作が終了したか否かを判定する（ステップＳ６）。終了の判定は、例えば、次のように行う。ユーザが文書の読み込みを指示してから、またはＱＲコードの読み込みをしてから、所定時間経過すると終了判定する。若しくは評価装置１に赤外線センサーなどの人感センサーを設け、人感センサーがユーザを検出しなくなったら終了とする。若しくは評価装置１の近傍にユーザの着座センサーを有する椅子を設け、ユーザの着席を検出しなくなったら終了とする。若しくは操作位置を検出しなくなってから所定時間を経過したら終了とする。若しくは、文書以外の領域に終了ボタンを表示し、終了ボタンが選択されたら終了とする。
【００３０】
ＣＰＵ１１は操作が終了したと判定した場合（ステップＳ６でＹＥＳ）、関心度の算出を行う（ステップＳ７）。関心度の算出については、後述する。ＣＰＵ１１は操作が終了していないと判定した場合（ステップＳ６でＮＯ）、処理をステップＳ３に戻す。
【００３１】
ＣＰＵ１１は関心度にしたがって操作領域の順位付けを行ない、その結果を関心度ＤＢ１６２に記憶する（ステップＳ８）。ＣＰＵ１１は操作領域の順位に基づき、コンテンツを選択し、ユーザに提供する（ステップＳ９）。例えば、天板５１の文書が置かれている以外の位置に、画像やテキストなどのコンテンツを表示する。
【００３２】
次に、関心度の算出について説明する。関心度の算出については、文書の具体例を用いて行う。図７は文書Ｐの一例を示す説明図である。図７に示す文書Ｐは旅行パンフレットである。操作領域は領域Ａ１から領域Ａ４の４つの領域が設定されている。右上隅付近にＱＲコードＱが記載されている。図７の例では、文書の座標系は、左上を原点とし、紙面の左右方向がＵ軸、紙面の上下方向がＶ軸とする。各操作領域の位置は、左上の角の座標値とする。図３に示した例に従えば、操作領域Ａ１の位置を示す座標値は（ｕ1，ｖ1）である。他の３点の座標値は、（ｕ1＋ｗ1，ｖ1）、（ｕ1＋ｗ1，ｖ1＋ｈ1）、（ｕ1，ｖ1＋ｈ1）である。
【００３３】
図８は操作領域のタッチ判定アルゴリズムの概要を示す説明図である。図８の上段に示したのは、操作位置である指先位置の時間的変化をグラフで表したものである。横軸は時間である。計測開始時刻を時間０とし、計測終了時刻をｔMaxとする。縦軸は高さ方向の軸（Ｚ軸）である。天板５１の表面が高さ０である。天板５１の表面からの法線方向の距離が高さである。高さＺMaxは、ステレオカメラ３で検出された指先位置の高さの最大値である。Ｚhは文書Ｐにタッチしたと判定する高さの閾値である。検出した指先位置の高さが閾値Ｚh以下になったら、タッチしたと判定する。グラフにおいて、符号８１、８２、８３、８４を付した時間区間は、ユーザが指先で文書Ｐをタッチした区間である。
【００３４】
図８の下段はユーザが文書をタッチした様子を表したものであり、各時間区間に対応づけて示している。時間区間８１では、ユーザが操作領域Ａ１をタッチしたことを検出する。時間区間８３では操作領域Ａ２が、時間区間８４では操作領域Ａ４が、ユーザがそれぞれタッチしたことを検出する。時間区間８２では、ユーザは文書Ｐにタッチしたものの、操作領域外の位置をタッチしているため、タッチしたものとはしない。
【００３５】
図９はユーザの迷い判定アルゴリズムの概要を示す説明図である。ここで、迷いとは、ユーザが指先を操作領域の上空に持っていき停止したものの、タッチに至らずに他の位置に移動したことを言う。ユーザはタッチすることを意図して、指先を操作領域の上空に持って行く。迷いがなればすぐにタッチに至るが、迷っている場合は、指先を操作領域の上空に持って行き、一旦停止させたものの、タッチに至らず他の位置に移動してしまうと考えられるからである。
【００３６】
図９上段のグラフは指先位置の時間変化をグラフで表したものである。図９上段のグラフは、図８上段のグラフと同様であるから、説明を省略する。図９の中段は、指先位置の移動速さの時間変化をグラフで表したものである。横軸は時間である。計測開始時刻を時間０とし、計測終了時刻をｔMaxとする。縦軸は指先位置の移動速さである。ＶMaxは、グラフ中での最大速さである。Ｖhは指先位置が停止したか否かを判定するための閾値である。指先位置の速さがＶh以下になった場合、指先位置は停止しているものと判定する。
【００３７】
図９の下段は、ユーザの指先位置の様子を示している。時間区間９１及び９３においては操作領域Ａ２上で停止したことを示している。時間空間９２及び９４においては操作領域Ａ３上で停止したことを示している。時間区間９５においては停止したものの、文書Ｐのいずれかの箇所にタッチしているので、処理対象のデータから除外する。
【００３８】
図８を用いて説明したタッチ判定アルゴリズムにより、ユーザによる操作領域のタッチを判定し、判定結果を用いて、操作領域に対するユーザの関心度を算出する。同様に、図９を用いて説明した迷いを判定アルゴリズムによりユーザがタッチするか迷った操作領域を判定し、判定結果を用いて、操作領域に対するユーザの関心度を算出する。以上の二つの関心度を、重み付けを行ない合算することで、ユーザの迷いを加味した各操作領域の関心度を求めることが可能となる。
【００３９】
次に、ユーザの関心度の算出方法について述べる。まず、ユーザがタッチを迷った操作領域の関心度の算出について述べる。迷った領域については、次の考え方により関心度を算出する。指先の位置が、より作業台５に近いほうが、関心が高いとの推測されることから、高さの最大値から、その区間の高さの平均を引いた値が大きくなるほど、関心度が大きくなるようにする。また、指の位置の計測時間を時間ｔ＝０からｔ＝ｔMaxの範囲としたとき、計測開始時間（ｔ＝０）に近い時間ほど、関心度が大きくなるようにする。以上のことから、時間ｔiからｔjまでの時間区間で、指先位置の平均高さがｚaであるとしたとき、関心度Ｙk1は以下の式（１）で求める。
【００４０】
【数１】
2017010397.tif 000003
【００４１】
続いて、ユーザがタッチした操作領域の関心度の算出について述べる。ユーザがタッチした操作領域については、指の位置の計測時間を時間ｔ＝０からｔ＝ｔMaxの範囲としたとき、計測開始時間（ｔ＝０）に近い時間ほど、関心度が大きくなるようにする。時刻ｔiにタッチされたとしたとき、関心度Ｙk2以下の式（２）で求める。
【００４２】
【数２】
2017010397.tif 000004
【００４３】
式（１）で求めた関心度Ｙk1及び式（２）で求めた関心度Ｙk2に重み付けをして、関心度Ｙkを以下の式（３）により求める。
【００４４】
【数３】
2017010397.tif 000005
【００４５】
式（３）において、ｋdとｋtとは重み付けの係数である。ｋd、ｋtの値は、予め定めておくものとする。以上のようにして、各操作領域の関心度を算出し、関心度の値が大きい順に順位付けを行う。そして、例えば上位３つを関心度ＤＢ１６２に記憶し、ユーザへ提供するコンテンツの選択基準に用いる。
【００４６】
以上の関心度の算出処理の手順について説明する。図１０及び図１１は、関心度算出処理の手順を示すフローチャートである。評価装置１のＣＰＵ１１は、軌跡ＤＢ１６３から指先位置の軌跡データを読み出す（ステップＳ２１）。ＣＰＵ１１は、指先が文書Ｐにタッチされたか否かを判定する（ステップＳ２２）。当該判定は、高さ座標（ｚ座標）と閾値Ｚhとを比較することにより行う。ＣＰＵ１１は、高さ座標が閾値Ｚh以下であれば、タッチしたと判定する。
【００４７】
ＣＰＵ１１は、指先が文書Ｐにタッチしたと判定した場合（ステップＳ２２でＹＥＳ）、タッチしたことを示すフラグ（ｆｌａｇ）をｔｒｕｅに設定する（ステップＳ２３）。ＣＰＵ１１は、指先が文書Ｐにタッチしていないと判定した場合（ステップＳ２２でＮＯ）、ｆｌａｇをｆａｌｓｅに設定する（ステップＳ２４）。
【００４８】
ＣＰＵ１１は、指先が操作領域内であるか否かを判定する（ステップＳ２５）。当該判定は、ｘ座標及びｙ座標を、アフィン変換により、文書Ｐ内のｕ座標及びｖ座標に変換したもので行う。変換して得たｕ座標、ｖ座標と、文書管理ＤＢ１６１に記憶してある操作領域の位置座標及び大きさから求めた、操作領域の４隅の座標とを比較して、ｕ座標、ｖ座標が操作領域内であるのか、操作領域外であるのかを判定する。
【００４９】
ＣＰＵ１１は、タッチ位置が操作領域内であると判定した場合（ステップＳ２５でＹＥＳ）、操作領域に対するキーワードを文書管理ＤＢ１６１から取得する（ステップＳ２６）。ＣＰＵ１１は、タッチ位置が操作領域内ではないと判定した場合（ステップＳ２５でＮＯ）、操作領域に対するキーワードを空文字列に設定する（ステップＳ２７）。
【００５０】
ＣＰＵ１１は、観測時刻、キーワード及びフラグを対応付けて一時記憶領域に記憶する（ステップＳ２８）。一時記憶領域はＲＡＭ１２、大容量記憶装置１６などに設ける。ＣＰＵ１１は、軌跡データ全てを処理したか否かを判定する（ステップＳ２９）。ＣＰＵ１１は、全て処理していないと判定した場合（ステップＳ２９でＮＯ）、処理をステップＳ２１に戻す。ＣＰＵ１１は、全て処理したと判定した場合（ステップＳ２９でＹＥＳ）、一時記憶領域に記憶したデータを観測時刻でソートする（ステップＳ３０）。
【００５１】
ＣＰＵ１１は、観測時刻でソートされた軌跡データより、速さを算出する（ステップＳ３１）。観測時刻ｔnでの位置座標が（ｘn，ｙn，ｚn）としたとき、観測時刻ｔn＋1での速さはｖn+1は、例えば、以下の式（４）により計算する。
【００５２】
【数４】
2017010397.tif 000006
【００５３】
求めた速さは、観測時刻と対応付けて一時記憶領域に記憶する。ＣＰＵ１１は、求めた速さの中で最も大きい値(ｖMax)を選択し、指先が停止しているか否かを判定するための閾値を算出する（ステップＳ３２）。閾値は例えば、ｖMaxの１０％の値、すなわち、ｖMaxに０．１を掛けた値とする。
【００５４】
ＣＰＵ１１は、指先が停止している区間の抽出を行う（ステップＳ３３）。すなわち、ＣＰＵ１１は一時記憶領域に記憶した各データの速さと閾値とを比較して、速さが閾値以下のレコードを抽出する。ＣＰＵ１１は抽出した区間の高さ（Ｚ座標）の平均値を算出する（ステップＳ３４）。ＣＰＵ１１は、算出した平均値より大きく外れる高さを持つ区間のデータを処理対象から、除外する（ステップＳ３５）。平均値を大きく外れているものは、タッチするのを迷っているのではなく、単に、その位置で指を止めているにすぎないと考えられるからである。
【００５５】
ＣＰＵ１１は、操作領域にタッチされた区間を処理対象から除外する（ステップＳ３６）。タッチしたか否かはｆｌａｇで記憶しているので、ｆｌａｇがｔｒｕｅのものは処理対象から除外する。
【００５６】
ＣＰＵ１１は、タッチされた操作領域より手前の時間で、操作領域上で指が連続して止まった連続区間を探索する（ステップＳ３７）。ＣＰＵ１１は連続区間に対応する操作領域の属性と、その後にタッチされた操作領域の属性が同じであるか否かを判定する（ステップＳ３８）。属性は予め操作領域毎に定義しておく。または、属性辞書を用意しておき、当該属性辞書によりキーワードの属性を引くようにしても良い。ここで、属性が同じであるか否かを判定するのは、属性が同じもの同士であれば、ユーザは迷った可能性は高いが、属性が異なるもの同士であれば、迷ったのではなく、単に指を行ったり来たりさせた可能性が高いからである。
【００５７】
ＣＰＵ１１は、タッチされた操作領域と連続区間に対応する操作領域との属性が同一であると判定した場合（ステップＳ３８でＹＥＳ）、当該連続区間を一時記憶領域に記憶する（ステップＳ３９）。ＣＰＵ１１は全ての停止区間について処理したか否かを判定する（ステップＳ４０）。ＣＰＵ１１は全ての停止区間について処理していないと判定した場合（ステップＳ４０でＮＯ）、処理をステップＳ３７に戻す。ＣＰＵ１１は全ての停止区間について処理したと判定した場合（ステップＳ４０でＹＥＳ）、処理をステップＳ４１に進める。ＣＰＵ１１は、タッチされた操作領域と連続区間に対応する操作領域との属性が同一でないと判定した場合（ステップＳ３８でＮＯ）、処理をステップＳ４０に進める。
【００５８】
ＣＰＵ１１は、タッチされた操作領域について、関心度の算出を行う（ステップＳ４１）。算出は上述の式（２）を用いて行う。ＣＰＵ１１は、ユーザが迷った領域（迷い領域）について、関心度の算出を行う（ステップＳ４２）。迷った領域は、ステップＳ３９で記憶した領域である。迷い領域についての関心度の算出は、上述の式（１）を用いて行う。ＣＰＵ１１はタッチされた領域であり、迷い領域である領域について、関心度の加算を行う（ステップＳ４３）。加算は上述の式（３）を用いて行う。タッチされた領域又は迷い領域のみ操作領域については、一方の関心度（式（１）又は式（２）で算出した関心度）が、操作領域の最終的な関心度となる。
【００５９】
ＣＰＵ１１は、関心度に基づき、各操作領域の順位付けを行ない、その結果を関心度ＤＢ１６２に記憶する（ステップＳ４４）。この際、関心度ＤＢ１６２のタッチ領域セクション１６２ａには、式（２）又は式（３）で算出した関心度に基づく順位を記憶する。関心度ＤＢ１６２の迷い領域セクション１６２ｂには、式（１）で算出した関心度に基づく順位を記憶する。
【００６０】
次に、関心度に基づくコンテンツの提供について述べる。上述した旅行パンフレットＰを例にする。ユーザが旅行パンフレットＰをタッチした結果を用いて、おすすめの旅行プランを提供するとする。ここで、ユーザは旅行パンフレットＰにおいて、「沖縄」、「ビーチ」、「テビチ」にタッチした。しかし、図９に示したように「ビーチ」、「水族館」のいずれをタッチしようかと迷ったとする。このような場合、「沖縄」、「ビーチ」、「テビチ」の３つのキーワードを含む旅行プランを勧めると共に、「沖縄」、「水族館」、「テビチ」の３つのキーワードを含む旅行プランを勧める。図１２はコンテンツ提供画面の一例を示す説明図である。図１２に示すように、２つのプランが提示されている。１つ目のプラン１２１と２つ目のプラン１２２との違いは、「ビーチ」が「水族館」に入れ替わっており、ユーザの迷いの結果を反映したものとなっている。
【００６１】
実施の形態１は以下の効果を奏する。実施の形態１では、ユーザが選択肢となるキーワードを選択するまでの履歴を考慮してキーワードごとの関心度を算出し順位付けを行う。それにより、選択されなかったが、選択するか否か迷った選択肢についても考慮するので、ユーザの関心度を的確に把握することが可能となる。
【００６２】
実施の形態２
実施の形態２は文書の認識にＱＲコードを要しない形態に関する。この点が実施の形態１との異なる点であり、それ以外の点については実施の形態１と同様である。以下の説明においては、実施の形態１と異なる点を主として説明する。
【００６３】
図１３は実施の形態２に係る文書の例を示す説明図である。図１３Ａ、図１３Ｂ、図１３Ｃのそれぞれが文書の一例である。それぞれの文書には、それぞれキーワードを含む３つの操作領域がある。実施の形態２では、操作領域の数、各操作領域に含まれるキーワード、文書内での操作領域同士の位置関係より、文書を特定するものとする。操作領域同士の位置関係は、例えば、次のように表す。各操作領域の重心を結ぶ多角形を定義し、その多角形の重心と各操作領域の重心とを結ぶベクトルにより、位置関係を定義する。
【００６４】
図１３Ａに示す文書Ｐａでは、多角形の重心がＯａであり、ベクトルＶ１１が重心Ｏａと操作領域Ａ１との位置関係を示す。ベクトルＶ１２が重心Ｏａと操作領域Ａ２との位置関係を示す。そして、ベクトルＶ１３が重心Ｏａと操作領域Ａ３との位置関係を示す。図１３Ｂも同様に、重心ＯｂとベクトルＶ２１、２２、２３とにより、操作領域Ｂ１、Ｂ２、Ｂ３の位置関係が示される。図１３Ｃも同様に、重心ＯｃとベクトルＶ３１、３２、３３とにより、操作領域Ｃ１、Ｃ２、Ｃ３の位置関係が示される。このように、操作領域の位置関係も定義することにより、操作領域に含まれるキーワードが同じ文書でも、識別が可能となる。
【００６５】
文書を特定する情報となる文書に含まれる操作領域の数、各操作領域に含まれるキーワード、文書内での操作領域同士の位置関係は、予め大容量記憶装置１６などに記憶されているものとする。評価装置１のＣＰＵ１１は作業台５に置かれた文書をステレオカメラ３等で撮影する。撮影して得た画像からＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）技術により、キーワードを複数抽出し、抽出したキーワードの位置関係より、文書を特定する。その後の処理は、実施の形態１と同様である。
【００６６】
実施の形態２は実施の形態１が奏する効果に加えて、次の効果を奏する。文書の特定にＱＲコードを必要としないので、文書内にＱＲコードを印刷するためのスペースを必要とせず、文書の美観を損なうおそれがない。
【００６７】
実施の形態３
実施の形態３は指先位置のブレを除去する形態に関する。この点が実施の形態１との異なる点であり、それ以外の点については実施の形態１と同様である。以下の説明においては、実施の形態１と異なる点を主として説明する。
【００６８】
人は機械のように指先の位置を完全に停止することは困難である。そのため、ユーザがある地点で指を止めているつもりでも、ステレオカメラ３による測定では位置は変化し続けていると判定される場合がある。このような位置ブレは、次のような不具合の原因となる。例えば、ユーザは、操作領域の上空に指を持ってきているとする。ところが、指先の位置が操作領域の端にあるため、指先が操作領域に重なったり、重ならなかったりする。このような場合、指先が操作領域に重なっていることを把握できなかったり、重なっている時間が短く認識されたりする場合がある。そのため、連続して変化が起きた場合において、前後の状況が同じで、変換した時間が極めて短い場合、例えば、前後の状況は連続しており、変化は起こらなかったとする。
【００６９】
図１４はブレを除去する考え方を示す説明図である。図１４Ａは実際の観測結果を示し、図１４Ｂはブレを除去した後の観測結果である。図１４Ａ、図１４Ｂの横軸は時間を、縦軸は指先と操作領域との重なりの認識結果を示す。重なりを認識しなければ０、重なりを認識したら０以上とする。図１４Ａの左側の例では、評価装置１は、時刻ｔ１からｔ２の間に指先と操作領域との重なりを認識した。しかし、時刻ｔ２からｔ３の僅かな時間、評価装置１は重なりを認識しなかった。そして、時刻ｔ３からｔ４において、再び評価装置１は重なりを認識した。このような場合、時刻ｔ２からｔ３の間についても、重なりを認識したとして扱う。その結果、図１４Ｂの左側のような認識結果となる。すなわち、時刻ｔ１からｔ４までの間、評価装置１は指先と操作領域との重なりを認識したことになる。
【００７０】
図１４Ａの右側の例では、評価装置１は、時刻ｔ５からｔ６の僅かな時間、指先と操作領域との重なりを認識した。しかし、時刻ｔ６からｔ７の間、評価装置１は重なりを認識しなかった。その後、時刻ｔ７からｔ８の間、評価装置１は重なりを認識した。このような場合、時刻ｔ５からｔ６の間は、重なりを認識しなかったものとして扱う。その結果、図１４Ｂの右側のような認識結果となる。すなわち、時刻ｔ７からｔ８の間にのみ、評価装置１は指先と操作領域との重なりを認識したことになる。ブレとして無視する時間の長さは予め定めておくものとする。その長さは例えば、０．５秒である。
【００７１】
実施の形態３は実施の形態１が奏する効果に加えて、次の効果を奏する。人固有の操作のブレを無視するので、指先位置のノイズを排除し人の操作の意思表明の精度を高めることが可能となる。
【００７２】
図１５は評価装置１の機能構成の一例を示す説明図である。評価装置１は、出力部１１ａ、取得部１１ｂ、評価部１１ｃ、判定部１１ｄ、識別部１１ｅ、提供部１１ｆを含む。ＣＰＵ１１が制御プログラム１Ｐを実行することにより、評価装置１は以下のように動作する。
【００７３】
出力部１１ａは、投影面に投影する複数の操作領域を含む画像を出力する。取得部１１ｂは、投影面を含む三次元空間において、ユーザの指位置の座標を繰り返し取得する。評価部１１ｃは、指位置の軌跡に基づいて、各操作領域を評価する。判定部１１ｄは、指位置の座標及び各操作領域の範囲を示す座標を比較することにより、指位置が、いずれかの操作領域内に含まれているか否かを判定する。識別部１１ｅは、前記投影面に含まれる文書を識別する。提供部１１ｆは、操作領域の評価結果に基づき、評価の高い操作領域に関連したコンテンツを提供する。
【００７４】
なお、上述の説明においては、文書は１頁のものとしたが、複数頁の文書でも良い。この場合において、操作領域の評価は、ユーザが複数頁についての操作を終えてから行う。そのために、評価装置１はユーザより評価開始の指示を受け取る。
【００７５】
また、文書は作業台５の天板５１に置いたままで、ユーザは操作するものとしたが、次のようにしてもよい。文書内容を全て画像として、大容量記憶装置１６に記憶しておく。ユーザは天板５１に文書を置き、評価装置１に文書を認識させる。評価装置１が文書を認識し、プロジェクタ４から文書画像が投影されたら、ユーザは文書を作業台５から取り除く。これ以降の操作はプロジェクタ４が投影している文書画像に対して行う。
【００７６】
一方、操作領域の評価は、その都度行うことが前提であるが、過去の評価履歴を記憶しておき、履歴を加味して評価を行っても良い。この場合、ユーザの識別情報を取得し、評価結果を取得した識別情報と対応付けて記憶する。
【００７７】
上述においては、旅行パンフレットへの操作から、おすすめ旅行プランを提供するものであったが、次のような使い方も可能である。食材が書かれた文書を用意し、各食材を操作領域とする。ユーザは使いたい食材を複数選ぶと、選んだ食材を用いて作れる料理のレシピを提供する。
【００７８】
また、レストラン等の飲食店のガイドブックにおいて、料理の種類、店の雰囲気、利用目的、人数、予算に関するキーワードを操作領域とする。ユーザは条件となるキーワードを選択すると、お勧めの飲食店の情報を提供する。その他、様々な文書が使用可能である。
また、求めた関心度の適用方法として、一連の選択操作をやり直したい場合に、記憶しておいた関心度を用い、利用者の心理（迷い）を考慮して遡る候補位置をユーザに提示し、ユーザの心理に基づいた効率的な選択操作候補の提示を行うこともできる。操作時に迷ったということは、関心があると言うことであり、戻って確認したいという心理に対応した操作候補の提示が可能となる。
【００７９】
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【００８０】
以上の実施の形態に関し、さらに以下の付記を開示する。
【００８１】
（付記１）
複数の操作領域を含み、投影面に投影する画像を出力する出力部と、
前記投影面を含む三次元空間において、ユーザの指位置の座標を繰り返し取得する取得部と、
前記指位置の軌跡に基づいて、各操作領域を評価する評価部と
を備える評価装置。
【００８２】
（付記２）
前記指位置の座標及び各操作領域の範囲を示す座標を比較することにより、前記指位置が、いずれかの操作領域内に含まれているか否かを判定する判定部を備え、
前記評価部は、前記判定部の判定結果から求めた前記指位置が前記操作領域に含まれた時間長に基づき、前記操作領域を評価する
付記１に記載の評価装置。
【００８３】
（付記３）
前記評価部は、前記指位置の前記投影面からの高さに基づいて、前記操作領域を評価する
付記１又は付記２に記載の評価装置。
【００８４】
（付記４）
前記判定部は、前記指位置の前記投影面から高さが所定の値以下となった場合に、前記指位置は前記投影面に投影された対象を選択したと判定し、
前記評価部は、前記指位置が前記投影面に投影された対象を選択したと判定した場合、前記時間長には依らない評価を前記操作領域に与える
付記２に記載の評価装置。
【００８５】
（付記５）
前記評価部は、前記操作領域に含まれた前記指位置に対応する点の前記軌跡における順番により、前記操作領域の評価を行う
付記１から付記４のいずれか１つに記載の評価装置。
【００８６】
（付記６）
前記投影面に含まれる文書を識別する識別部を備え、
前記出力部は、前記識別部の識別結果に基づき画像を出力する
付記１から付記５のいずれか１つに記載の評価装置。
【００８７】
（付記７）
前記操作領域の評価結果に基づき、評価の高い操作領域に関連したコンテンツを提供する提供部を備える
付記１から付記６のいずれか１つに記載の評価装置。
【００８８】
（付記８）
ユーザの識別情報を取得する取得部、
操作領域、操作領域よる評価、ユーザの識別情報を対応付けて記憶する記憶部
を備え、
前記評価部は、前記記憶部から前記ユーザの識別情報と対応付いた評価を用いて、各操作領域の評価を行う
付記１から付記７のいずれか１つに記載の評価装置。
【００８９】
（付記９）
複数の操作領域を含み、投影面に投影する画像を出力し、
前記投影面を含む三次元空間において、ユーザの指位置の座標を繰り返し取得し、
前記指位置の軌跡に基づいて、各操作領域を評価する
処理をコンピュータに行わせるコンピュータプログラム。
【符号の説明】
【００９０】
１    評価装置
１１  ＣＰＵ
１１ａ  出力部
１１ｂ  取得部
１１ｃ  評価部
１１ｄ  判定部
１１ｅ  識別部
１１ｄ  提供部
１２  ＲＡＭ
１３  ＲＯＭ
１４  画像取得部
１５  画像出力部
１６  大容量記憶装置
１７  通信部
１８  読み取り部
１Ｐ  制御プログラム
１ａ  可搬型記憶媒体
１ｂ  半導体メモリ
Ｂ    バス
２    ＱＲカメラ
３    ステレオカメラ
３１  カメラ
３２  カメラ
４    プロジェクタ
５    作業台
５１  天板
Ｐ    旅行パンフレット
Ｐ    文書
Ｑ    ＱＲコード
【図１】
2017010397.tif 000007
【図２】
2017010397.tif 000008
【図３】
2017010397.tif 000009
【図４】
2017010397.tif 000010
【図５】
2017010397.tif 000011
【図６】
2017010397.tif 000012
【図７】
2017010397.tif 000013
【図８】
2017010397.tif 000014
【図９】
2017010397.tif 000015
【図１０】
2017010397.tif 000016
【図１１】
2017010397.tif 000017
【図１２】
2017010397.tif 000018
【図１３】
2017010397.tif 000019
【図１４】
2017010397.tif 000020
【図１５】
2017010397.tif 000021