(57)【要約】【課題】ユーザにとって見やすい操作情報を出力可能な出力制御装置等を提供する。【解決手段】出力制御装置３００は、距離取得部３１１と、選択部３１２と、出力制御部３１３とを含む。距離取得部３１１は、操作対象を表示する表示面と、操作対象を操作するユーザの手との距離を取得する。選択部３１２は、距離取得部３１１により取得された距離に応じて、操作対象に対してユーザの手が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する。出力制御部３１３は、選択部３１２により選択された操作の種類を示す操作情報を出力装置に出力する。【選択図】図３
2017174036.tif 000002
【特許請求の範囲】
【請求項１】
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得部と、
前記距離取得部により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択部と、
前記選択部により選択された操作の種類を示す操作情報を出力装置に出力する出力制御部と、
を備えることを特徴とする出力制御装置。
【請求項２】
前記選択部は、前記距離が所定の範囲内に含まれるか否かを判定し、前記距離が前記所定の範囲内であるとき、前記所定の範囲に応じた前記操作部により可能な操作の種類を選択する、
ことを特徴とする請求項１に記載の出力制御装置。
【請求項３】
前記表示面における前記操作部の位置を取得する位置取得部をさらに備え、
前記選択部は、前記距離取得部により取得された距離と、前記位置取得部により取得された位置に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する、
ことを特徴とする請求項１または２に記載の出力制御装置。
【請求項４】
前記操作部が行う操作を取得し、予め定められた処理を行う処理実行部をさらに備え、
前記処理実行部は、取得した前記操作部が行う操作が前記選択部により選択された操作の種類である場合に前記予め定められた処理を行う、
ことを特徴とする請求項１から３のいずれか１項に記載の出力制御装置。
【請求項５】
前記出力制御部は、前記操作部により選択された操作の種類を示す操作情報を所定の時間の間前記出力装置に出力する、
ことを特徴とする請求項１から４のいずれか１項に記載の出力制御装置。
【請求項６】
前記複数の操作の種類は、フリック、ピンチ、及びタップのうち少なくともいずれかを含む、
ことを特徴とする請求項１から５のいずれか１項に記載の出力制御装置。
【請求項７】
前記操作部は、ユーザの一部である、
ことを特徴とする請求項１から６のいずれか１項に記載の出力制御装置。
【請求項８】
前記距離取得部は、撮像装置により撮像された前記操作部の撮像画像に基づいて、前記距離を取得する、
ことを特徴とする請求項１から７のいずれか１項に記載の出力制御装置。
【請求項９】
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得ステップと、
前記距離取得ステップにおいて取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択ステップと、
前記選択ステップにおいて選択された操作の種類を示す操作情報を出力装置に出力する出力制御ステップと、
を備えることを特徴とする出力制御方法。
【請求項１０】
コンピュータを
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得手段、
前記距離取得手段により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択手段、
前記選択手段により選択された操作の種類を示す操作情報を出力装置に出力する出力制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、出力制御装置、出力制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、カメラでユーザの動きを検出し、検出された動きに応じて、画面に表示された操作対象を操作する表示システムがある。このような表示システムにおいて、ユーザへの操作補助として、例えば、特許文献１には、ユーザの手の形状に応じて、様々な操作が可能な表示システムであって、操作に対応する手の形状を操作ガイドとして画面に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２１０７２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、画面上で可能な全ての操作の操作ガイドを表示しているため、可能な操作が多いと表示される操作ガイドの数も多くなり、画面が煩雑になる。そのため、ユーザにとって、自身が必要な操作ガイド等の操作情報を視認しづらいという問題がある。
【０００５】
本発明は、上述のような事情に鑑みてなされたものであり、ユーザにとって見やすい操作情報を出力可能な出力制御装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る出力制御装置は、
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得部と、
前記距離取得部により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択部と、
前記選択部により選択された操作の種類を示す操作情報を出力装置に出力する出力制御部と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザにとって見やすい操作情報を出力することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態１に係る出力制御システムの外観構成を示す図である。
【図２】表示装置が表示するコンテンツの一例を示す図である。
【図３】実施形態１に係る出力制御装置の構成を示す概略図である。
【図４】操作情報ＤＢに格納されるデータの一例を示す図である。
【図５】設定された距離範囲の一例を示す図である。
【図６】（ａ）及び（ｂ）は、実施形態１に係る表示面の一例を示す図である。
【図７】（ａ）及び（ｂ）は、実施形態１に係る表示面の一例を示す図である。
【図８】実施形態１に係る出力制御処理のフローチャートの一例を示す図である。
【図９】実施形態２に係る出力制御装置の構成を示す概略図である。
【図１０】実施形態２に係る表示面の一例を示す図である。
【図１１】実施形態２に係る出力制御処理のフローチャートの一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して説明する。
【００１０】
（実施形態１）
図１は、本発明の実施形態１に係る出力制御システム１の外観構成を示す図である。出力制御システム１は、店頭や公共施設などに設置され、視聴者であるユーザに案内や広告などのコンテンツを表示するデジタル・サイネージ（いわゆる電子看板）を制御するシステムである。
【００１１】
図１に示すように、出力制御システム１は、モーションセンサ１００と、表示装置２００と、出力制御装置３００とから構成される。出力制御システム１では、表示装置２００に表示された操作対象を操作するために、いわゆるジェスチャインタフェースが採用されている。ここで、ジェスチャインタフェースとは、ユーザからコンピュータへの情報の伝達を、手や指の動き（ジェスチャ）で行うユーザインタフェースである。本実施形態では、出力制御システム１では、出力制御装置３００が、モーションセンサ１００により、本実施形態１において操作部として機能するユーザの手２の動きを検出し、その動きに応じて表示装置２００に表示される操作対象への処理を実行する。そして、出力制御装置３００は、その実行結果を表示装置２００に表示する。
【００１２】
モーションセンサ１００は、例えば、赤外線やレーザを利用した距離画像センサから構成される。モーションセンサ１００は、その画角内にユーザの手２が入るように、ユーザの前方やユーザの手２の下方等に設置され、距離画像データを取得する。距離画像データには、測定対象物の形状と、その測定対象物までの距離と、測定対象物の位置を表すデータが含まれる。モーションセンサ１００は、取得された距離画像データを出力制御装置３００に送信する。
【００１３】
上記のような距離画像データの取得方法として、例えば、モーションセンサ１００は、２台の撮像装置を備える。この場合、一般的なステレオ画像処理技術により、２台の撮像装置がそれぞれ撮像した画像の視差から距離画像データを取得することができる。
【００１４】
表示装置２００は、出力制御装置３００が出力するコンテンツを表示する装置であって、例えば、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electroluminescence）ディスプレイなどによって構成される。本実施形態では、表示装置２００は、操作対象を含むコンテンツを表示面２０１に表示する。表示装置２００が表示するコンテンツの一例を図２に示す。図２に示す例では、タブＴ１〜Ｔ５、ページＰ１、ボタンＢ１，Ｂ２が、操作対象として表示面２０１に表示されている。
【００１５】
出力制御装置３００は、モーションセンサ１００から取得した距離画像データが表すユーザの手２までの距離に応じて、表示装置２００にユーザの手２が操作可能な操作の種類を示す操作情報を出力する。
【００１６】
次に、出力制御装置３００の構成について詳細に説明する。
【００１７】
図３は、出力制御装置３００の構成を示す概略図である。図３に示すように、出力制御装置３００は、制御部３０１と、記憶部３０２と、通信部３０３と、入力部３０４とから構成され、各部は、バス３０５により接続されている。
【００１８】
制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory)、ＲＡＭ（Random Access Memory）によって構成される。制御部３０１は、ＲＯＭに記憶されたプログラム（例えば、後述する出力制御処理に係るプログラム）を実行することにより、後述する距離取得部３１１、選択部３１２、出力制御部３１３、操作検出部３１４、処理実行部３１５の機能を実現する。
【００１９】
記憶部３０２は、ＨＤＤ（Hard Disk Drive）などの不揮発性メモリである。記憶部３０２は、表示装置２００に出力する様々なコンテンツを記憶する。また、記憶部３０２は、後述する操作情報データベース（ＤＢ）３２１を記憶する。
【００２０】
通信部３０３は、出力制御装置３００をモーションセンサ１００及び表示装置２００と通信可能に接続するための通信インターフェースから構成される。
【００２１】
入力部３０４は、ボタン、キーボード、タッチパネル等の入力装置から構成される。入力部３０４は、出力制御装置３００のユーザからの操作入力を受け付け、受け付けた操作入力に対応する信号を制御部３０１に出力する。
【００２２】
次に、出力制御装置３００の制御部３０１の機能構成について説明する。図３に示すように、制御部３０１は、距離取得部３１１、選択部３１２、出力制御部３１３、操作検出部３１４、処理実行部３１５として機能する。
【００２３】
距離取得部３１１は、表示面２０１とユーザの手２との距離を取得する。本実施形態では、距離取得部３１１は、モーションセンサ１００から距離画像データを取得する。そして、距離取得部３１１は、例えば、取得された距離画像データから、現実空間におけるユーザの手２と表示面２０１との距離を取得する。なお、ユーザの手２の位置とは、例えば、ユーザの手２が伸ばしている指先の位置としてもよいし、ユーザの手２の最も表示面２０１に近い部分の位置としてもよい。
【００２４】
選択部３１２は、距離取得部３１１により取得された距離に応じて、操作対象に対してユーザの手２が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する。本実施形態では、選択部３１２は、操作情報ＤＢ３２１を参照して、距離取得部３１１により取得された距離に対応する操作の種類を選択する。
【００２５】
ここで、操作情報ＤＢ３２１に格納されるデータについて説明する。図４は、操作情報ＤＢ３２１に格納されるデータの一例を示す図である。図４に示すように、操作情報ＤＢ３２１は、距離範囲と、操作領域と、操作の種類と、操作情報とを対応付けて格納する。
【００２６】
距離範囲は、ユーザの手２が操作対象を操作可能な距離の範囲である。本実施形態１では、表示面２０１から表示方向（表示面２０１の前方）の距離を所定の距離で区切ることにより、２つの距離範囲（所定の範囲）が設定されている。図５に、設定された距離範囲の一例を示す。図５は、表示面２０１と直行する方向から見た図であり、表示面２０１の位置をｄ＝０として、表示面２０１から前方に向かって距離ｄが規定されている。そして、ｄ１＜ｄ≦ｄ２を距離範囲Ｄ１、０＜ｄ≦ｄ１を距離範囲Ｄ２として設定されている。
【００２７】
操作領域は、表示面２０１上において操作対象を操作可能な領域である。本実施形態１では、図２に示すように、操作対象であるタブＴ１〜Ｔ５、ページＰ１、ボタンＢ１，Ｂ２に対応して、操作領域Ａ１〜Ａ３がそれぞれ設定されている。
【００２８】
操作の種類は、ユーザの手２が可能な操作の種類を示す。図２に示す操作対象の例では、フリック、ピンチ、タップの３種類の操作が可能である。フリックは、ユーザが手２をスライドさせる操作である。フリックは、さらに、手２を縦方向にスライドさせる縦フリックと、横方向にスライドさせる横フリックとの２種類の操作を含む。ピンチは、ユーザが２本の指を近づける、または遠ざけるように動かす操作である。タップは、ユーザが手２を表示面２０１に対して前後する、もしくは表示面２０１に向けて近づけるように動かす操作である。
【００２９】
本実施形態１では、距離範囲（所定の範囲）毎に、各操作領域において可能な操作の種類が予め設定されている。例えば、図４に示すように、距離範囲Ｄ１内の操作領域Ａ１では、横フリックが可能である。従って、ユーザは、距離範囲Ｄ１内の操作領域Ａ１において横フリックをすることにより、タブＴ１〜Ｔ５のいずれかを選択することができる。また、距離範囲Ｄ２内の操作領域Ａ１では、タップが可能である。従って、ユーザは、距離範囲Ｄ２の操作領域Ａ１においてタップをすることにより、タップされたタブを決定することができる。本実施形態１では、どのタブをユーザがタップしているかを判別するため、ユーザの手２が伸ばしている指の本数に応じたタブを決定してもよい。例えば、ユーザが２本の指でタップを行った場合は、タブＴ２が決定される。また、距離範囲Ｄ１またはＤ２内の操作領域Ａ２では、ピンチが可能である。従って、ユーザは、距離範囲Ｄ１またはＤ２内の操作領域Ａ２においてピンチをすることにより、ページを拡大または縮小して表示することができる。また、距離範囲Ｄ１内の操作領域Ａ３では、縦フリックが可能である。従って、ユーザは、距離範囲Ｄ１内の操作領域Ａ３において縦フリックをすることにより、ボタンＢ１及びＢ２のいずれかを選択することができる。また、距離範囲Ｄ２内の操作領域Ａ３では、タップが可能である。従って、ユーザは、距離範囲Ｄ２の操作領域Ａ３においてタップをすることにより、タップされたボタンＢ１またはＢ２を決定することができる。
【００３０】
操作情報は、操作の種類を示す情報である。図４に示す例では、縦フリック、横フリック、及びピンチを示す操作情報は、それぞれ、操作可能な方向に延びる両矢印と手のアイコンを含む画像データである。また、タップを示す操作情報は、操作対象の強調表示である。
【００３１】
次に、選択部３１２による、取得された距離に対応する操作の種類の選択方法について説明する。まず、選択部３１２は、距離取得部３１１により取得された距離が、どの距離範囲内であるかを特定する。次に、選択部３１２は、操作情報ＤＢ３２１を参照して、特定した距離範囲に対応する操作の種類を選択する。例えば、図５に示すように、ユーザの手２がＰａに位置し、距離取得部３１１により取得された距離が、ｄ＝ｄａのとき、選択部３１２はユーザの手２が距離範囲Ｄ１内にあると特定する。そして、選択部３１２は、操作情報ＤＢ３２１を参照して、距離範囲Ｄ１に対応する操作の種類である横フリック、ピンチ、縦フリックを選択する。また、例えば、ユーザの手２がＰｂに位置し、距離取得部３１１により取得された距離が、ｄ＝ｄｂのとき、選択部３１２はユーザの手２が距離範囲Ｄ２内にあると特定する。そして、選択部３１２は、操作情報ＤＢ３２１を参照して、距離範囲Ｄ２に対応する操作の種類であるタップ及びピンチを選択する。
【００３２】
出力制御部３１３は、選択部３１２により選択された操作の種類を示す操作情報を表示装置２００に出力する。本実施形態では、出力制御部３１３は、操作情報ＤＢ３２１を参照して、選択部３１２により選択された操作の種類に対応する操作情報を特定する。そして、出力制御部３１３は、特定された操作情報が画像データである場合、その画像データが対応する操作領域Ａ１〜Ａ３内に表示されるように、表示装置２００に出力する。また、出力制御部３１３は、特定された操作情報が強調表示である場合、対応する操作領域Ａ１〜Ａ３内の操作対象を強調表示する。
【００３３】
例えば、選択部３１２により距離範囲Ｄ１に対応する操作の種類である横フリック、ピンチ、縦フリックが選択された場合、出力制御部３１３は、操作情報ＤＢ３２１を参照して、各操作の種類に対応する画像データを表示装置２００に出力する。この場合の表示装置２００の表示面２０１の一例を図６（ａ）に示す。図６（ａ）に示すように、選択された横フリック、ピンチ、縦フリックにそれぞれ対応する画像データが示す画像Ｉ１〜Ｉ３が、対応する操作領域Ａ１〜Ａ３内に表示されている。
【００３４】
また、例えば、選択部３１２により距離範囲Ｄ２に対応する操作の種類であるタップ及びピンチが選択された場合、出力制御部３１３は、操作情報ＤＢ３２１を参照して、タップに対応する操作領域Ａ１及びＡ３内の操作対象を強調表示するとともに、ピンチに対応する画像データを表示装置２００に出力する。この場合の表示装置２００の表示面２０１の一例を図６（ｂ）に示す。図６（ｂ）に示すように、選択されたタップに対応する操作領域Ａ１内の操作対象であるタブＴ１〜Ｔ５のそれぞれは、その見出しのフォントを大きくかつ太くすることにより、強調表示されている。また、選択されたタップに対応する操作領域Ａ３内の操作対象であるボタンＢ１及びＢ２のそれぞれは、その輪郭線を太くすることにより、強調表示されている。また、選択されたピンチに対応する画像データが示す画像Ｉ２が対応する操作領域Ａ２内に表示されている。
【００３５】
図３に戻って、操作検出部３１４は、ユーザの手２の動作に対応する操作の種類を検出する。本実施形態では、操作検出部３１４は、モーションセンサ１００から距離画像データを取得する。そして、操作検出部３１４は、例えば、取得された距離画像データにおいて、予め設定されたユーザの手のパターンとのパターンマッチングにより、ユーザの手２と、その位置を特定する。そして、操作検出部３１４は、連続的に取得された距離画像データから、予め設定された、操作の種類に対応するユーザの手の動作パターンと、特定されたユーザの手２の動作とのパターンマッチングにより、ユーザの手２の動作に対応する操作の種類を検出する。さらに、操作検出部３１４は、特定された距離画像データ上の手２の位置に基づいて、手２により操作されている操作対象を特定する。例えば、操作検出部３１４は、連続的に取得された距離画像データに基づいて、図７（ａ）に示す点Ｐｂ１に対応する位置から図７（ｂ）に示す点Ｐｂ２に対応する位置まで手２が右方向に移動する動作を取得した場合、操作検出部３１４は、この動作に対応する操作の種類として横フリックを検出し、操作対象としてタブＴ１〜Ｔ４を順に特定する。
【００３６】
処理実行部３１５は、距離取得部３１１により取得された距離と、操作検出部３１４により検出された操作の種類及びその操作領域と、操作対象とに基づいて、予め定められた処理を実行する。例えば、距離取得部３１１が距離ｄ＝ｄａを取得し、操作検出部３１４が、操作の種類として横フリック、操作対象としてタブＴ１〜Ｔ４、及び操作領域Ａ１を特定したとする。この場合、処理実行部３１５は、操作情報ＤＢ３２１を参照して、横フリックが距離ｄ＝ｄａを含む距離範囲Ｄ１であって、操作領域Ａ１において可能な操作であると判定する。そして、処理実行部３１５は、タブＴ１からＴ４を順に選択し、選択されたタブＴ１〜Ｔ４に対応するページを表示する。本実施形態では、図７（ａ）に示すタブＴ１に対応するページＰ１から、図７（ｂ）に示すタブＴ４に対応するページＰ４に表示を変更する。
【００３７】
次に、本実施形態１に係る出力制御装置３００の制御部３０１が実行する出力制御処理について説明する。図８は、本実施形態１に係る出力制御処理のフローチャートの一例である。この出力制御処理は、例えば、出力制御装置３００の電源がＯＮされたことを契機に開始される。また、表示装置２００には、図２に示すような操作対象が表示されているものとする。また、理解を容易にするために、モーションセンサ１００が測定するユーザの数は１人であることを前提に説明する。
【００３８】
まず、距離取得部３１１は、モーションセンサ１００から距離画像データを取得する（ステップＳ１０１）。本実施形態では、距離取得部３１１は、所定の時間間隔おきに距離画像データを取得し、取得された距離画像データをＲＡＭ等に記録する。そして、距離取得部３１１は、距離画像データを取得する度に以降の処理を実行する。
【００３９】
次に、距離取得部３１１は、ステップＳ１０１において取得された距離画像データから、距離画像データ上のユーザの手２の位置を特定し、特定されたユーザの手２の位置から、現実空間におけるユーザの手２と表示装置２００の表示面２０１との距離を取得する（ステップＳ１０２）。
【００４０】
次に、選択部３１２は、ステップＳ１０２において取得された距離に基づいて、距離範囲Ｄ１またはＤ２内（所定の範囲内）にユーザの手２があるか否かを判定する（ステップＳ１０３）。本実施形態では、選択部３１２は、図５に示すように距離範囲Ｄ１及びＤ２が設定されている場合において、取得された距離ｄが、ｄ２よりも大きい場合、すなわち、距離範囲Ｄ１の外側である場合、距離範囲Ｄ１またはＤ２内にユーザの手２がないと判定する。また、選択部３１２は、取得された距離ｄが、ｄ２以下である場合、すなわち、距離範囲Ｄ１またはＤ２内である場合、距離領域Ｄ１またはＤ２内にユーザの手２があると判定する。
【００４１】
選択部３１２が距離範囲Ｄ１またはＤ２内にユーザの手２がないと判定した場合（ステップＳ１０３；Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。
【００４２】
選択部３１２が距離範囲Ｄ１またはＤ２内にユーザの手２があると判定した場合（ステップＳ１０３；Ｙｅｓ）、選択部３１２は、ステップＳ１０１において取得した距離が含まれる距離範囲Ｄ１またはＤ２を特定する（ステップＳ１０４）。
【００４３】
次に、選択部３１２は、ステップＳ１０４において特定された距離範囲Ｄ１またはＤ２に対応する操作の種類を操作情報ＤＢ３２１を参照して選択する（ステップＳ１０５）。
【００４４】
そして、出力制御部３１３は、操作情報ＤＢ３２１を参照して、ステップＳ１０５において選択された操作の種類に対応する操作情報を表示装置２００に出力する（ステップＳ１０６）。
【００４５】
次に、操作検出部３１４は、ステップＳ１０１において取得された距離画像データに基づいて、ユーザの手２による操作を検出したか否かを判定する（ステップＳ１０７）。本実施形態では、操作検出部３１４は、直近において連続的に取得された複数の距離画像データに基づいて、ユーザの手２の動作を取得し、取得された動作と、操作の種類に対応する動作パターンとを比較することにより、その動作に対応する操作の種類があるか否かを判定する。操作検出部３１４が、ユーザの手２による操作を検出していないと判定した場合（ステップＳ１０７；Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。
【００４６】
操作検出部３１４が、ユーザの手２による操作を検出したと判定した場合（ステップＳ１０７；Ｙｅｓ）、処理実行部３１５は、ステップＳ１０７において検出された操作の種類が、検出された操作の操作領域と距離範囲において可能な操作であるか否かを判定する（ステップＳ１０８）。処理実行部３１５が、検出された操作の種類が、検出された操作の操作領域と距離範囲において可能な操作でないと判定した場合（ステップＳ１０８；Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。
【００４７】
処理実行部３１５は、ステップＳ１０７において検出された操作の種類が、検出された操作の操作領域と距離範囲において可能な操作であると判定した場合（ステップＳ１０８；Ｙｅｓ）、検出された操作の種類とその操作対象に対応する処理を実行する（ステップＳ１０９）。そして、処理実行部３１５は、その実行結果を表示装置２００に出力する。そして、ステップＳ１０１に戻って処理を繰り返す。
【００４８】
以上の処理は、例えば、出力制御装置３００の電源がＯＦＦになる、または入力部３０４を介して、ユーザから出力処理の終了を示す操作入力を受け付けるまで繰り返し実行される。
【００４９】
以上説明したように、本実施形態１に係る出力制御装置３００は、操作対象を表示する表示面２０１と、操作対象を操作するユーザの手２との距離を取得し、その取得された距離において可能な操作の種類を示す操作情報を表示装置２００に表示する。従って、表示された操作情報を見たユーザは、その距離で可能な操作を容易に認識することができる。
【００５０】
また、距離に応じて異なる操作を可能とすることにより、操作対象に対して多くの種類の操作が可能であっても、表示すべき操作情報の数を抑えることができるため、ユーザは容易に操作情報を視認することができる。
【００５１】
（実施形態２）
上記の実施形態１に係る出力制御装置３００では、表示面２０１とユーザの手２との距離に応じて、操作の種類を選択し、選択された操作の種類を示す操作情報を出力した。本実施形態２に係る出力制御装置３００は、表示面２０１とユーザの手２との距離だけでなく、さらに表示面２０１におけるユーザの手２の位置に応じて操作の種類を選択する。以下、本実施形態２に係る出力制御装置３００について説明する。なお、実施形態１と同様の構成については、同様の符号を用い、その詳細な説明を省略する。
【００５２】
図９に、本実施形態２に係る出力制御装置３００の構成を示す。図９に示すように、実施形態２に係る出力制御装置３００の制御部３０１は、位置取得部３１６としてさらに機能し、実施形態１の選択部３１２に代わって選択部３１７として機能する点で、実施形態１の制御部３０１と異なる。
【００５３】
位置取得部３１６は、モーションセンサ１００により取得された距離画像データから、表示面２０１におけるユーザの手２の位置を取得する。例えば、モーションセンサ１００が備える２台の撮像装置のそれぞれが撮像した画像から得られる視差に基づいて、表示面２０１におけるユーザの手２の位置を取得することが出来る。本実施形態では、モーションセンサ１００により取得された距離画像データ上の位置と、表示装置２００の表示面２０１上の位置とが予め対応付けられており、位置取得部３１６は、取得された距離画像データ上において特定されたユーザの手２の位置に対応する表示面２０１上の位置を、表示面２０１におけるユーザの手２の位置として取得する。
【００５４】
選択部３１７は、距離取得部３１１により取得された距離と、位置取得部３１６により取得された位置に応じて、操作対象に対してユーザの手２が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する。本実施形態では、選択部３１７は、取得された距離が含まれる距離範囲を特定する。また、選択部３１７は、取得された位置が含まれる操作領域を特定する。そして、選択部３１７は、操作情報ＤＢ３２１を参照して、特定された距離範囲及び操作領域に対応する操作の種類を選択する。例えば、図５に示す点Ｐａにユーザの手２が位置するとき、距離取得部３１１により距離ｄ＝ｄａが取得され、位置取得部３１６により図１０に示す位置Ｐａ１が取得されたとする。この場合、選択部３１７は、操作情報ＤＢ３２１を参照して、距離ｄａを含む距離範囲Ｄ１、及び位置Ｐａ１を含む操作領域Ａ３を特定する。そして、選択部３１７は、図４に示す操作情報ＤＢ３２１を参照して、距離範囲Ｄ１及び操作領域Ａ３に対応する操作の種類である縦フリックを選択する。
【００５５】
出力制御部３１３は、実施形態１と同様に、選択部３１７により選択された操作の種類に対応する操作情報を表示装置２００に出力する。例えば、選択部３１７により距離範囲Ｄ１及び操作領域Ａ３に対応する操作の種類である縦フリックが選択された場合、出力制御部３１３は、操作情報ＤＢ３２１を参照して、縦フリックに対応する画像データを表示装置２００に出力する。この場合の表示装置２００の表示面２０１の一例を図１０に示す。図１０に示すように、選択された縦フリックにそれぞれ対応する画像データが示す画像Ｉ３が対応する操作領域Ａ３内に表示されている。
【００５６】
次に、本実施形態２係る出力制御装置３００の制御部３０１が実行する出力制御処理について説明する。図１１は、本実施形態２に係る出力制御処理のフローチャートの一例である。この出力制御処理は、例えば、出力制御装置３００の電源がＯＮされたことを契機に開始される。また、表示装置２００には、図２に示すような操作対象が表示されているものとする。また、理解を容易にするために、モーションセンサ１００が測定するユーザの数は１人であることを前提に説明する。
【００５７】
まず、ステップＳ２０１〜Ｓ２０４において、制御部３０１は、図８に示す実施形態１に係る出力制御処理のステップＳ１０１〜Ｓ１０４と同様に処理を実行する。
【００５８】
次に、位置取得部３１６は、ステップＳ２０１において取得された距離画像データから、表示面２０１におけるユーザの手２の位置を取得する（ステップＳ２０５）。
【００５９】
そして、選択部３１７は、ステップＳ２０５において取得した距離が含まれる操作領域Ａ１〜Ａ３を特定する（ステップＳ２０６）。
【００６０】
次に、選択部３１７は、ステップＳ２０４において特定された距離範囲Ｄ１またはＤ２及びステップＳ２０６において特定された操作領域Ａ１〜Ａ３に対応する操作の種類を操作情報ＤＢ３２１を参照して選択する（ステップＳ２０７）。
【００６１】
そして、ステップＳ２０８〜Ｓ２１１において、制御部３０１は、図８に示す実施形態１に係る出力制御処理のステップＳ１０６〜Ｓ１０９と同様に処理を実行する。
【００６２】
以上説明したように、本実施形態２に係る出力制御装置３００は、操作対象を表示する表示装置２００と、操作対象を操作するユーザの手２との距離と、さらにユーザの手２の表示面２０１上の位置を取得し、その取得された距離及び位置において可能な操作の種類を示す操作情報を表示装置２００に表示する。一般的に、ユーザは、自身が操作を希望する操作対象の前に自身の手２を持ってくると考えられる。従って、出力制御装置３００は、ユーザの手２の位置に対応する操作領域Ａ１〜Ａ３内の操作対象に対応する操作情報を出力することにより、ユーザが希望する操作の操作情報を出力することができる。また、出力制御装置３００は、ユーザの手２の位置に対応しない操作領域Ａ１〜Ａ３内の操作対象に対応する操作情報を出力しないため、ユーザは、自身が希望する操作の操作情報を容易に視認することができる。
【００６３】
以上で実施形態の説明を終了するが、上記実施形態は一例であり、出力制御装置３００の具体的な構成や出力制御処理の内容などが上記実施形態で説明したものに限られず、以下のような変形も可能である。
【００６４】
上記の実施形態１及び２に係る出力制御システム１において、モーションセンサ１００により距離画像データを取得し、取得された距離画像データにより、表示面２０１とユーザの手２との距離を取得する例について説明した。しかし、表示面２０１とユーザの手２との距離を取得する方法はこれに限られない。例えば、以下の２つの方法のうちいずれかを採用することができる。１つは、パターン照射方式（Light Coding方式）と呼ばれ、予め既知の光学パターンを画角内に照射し、その反射パターンの歪みから画角内にある測定対象物の距離画像データを取得する。また、別の方法であるＴＯＦ（Time of Flight）方式では、照射した光が測定対象物に反射して戻ってくるまでの時間を画素毎に測定することにより、測定対象物の距離画像データを取得する。
【００６５】
また、上記の実施形態１及び２において、表示装置２００が、ＬＣＤ、ＥＬディスプレイなどによって構成される例について説明したが、本発明に係る表示装置２００はこれに限られない。例えば、表示装置２００は、画像や映像を投影するプロジェクタであってもよい。この場合、表示面２０１は、例えば、画像や映像が投影されるスクリーンである。
【００６６】
また、上記の実施形態１及び２において、操作情報が画像データまたは文字の強調表示である例について説明した。また、出力制御装置３００が、操作情報を表示装置２００に出力する例を説明した。しかし、操作情報、及び操作情報を出力する出力装置はこれに限られない。例えば、操作情報は、操作の種類を示す音声データであってもよい。このような音声データの例としては、「フリック操作ができます。」といった音声メッセージがある。この場合、出力制御装置３００は、操作情報である音声データを、スピーカに出力することで、上記の実施形態１及び２と同様の効果を得ることができる。また、操作情報は、画像データ、文字の強調表示、及び音声データのいずれか、またはこれらの組み合わせであってもよい。
【００６７】
さらに、操作情報が音声データを含む場合であって、複数の操作の種類が選択された場合、出力制御装置３００は、選択された複数の操作の種類に対応する操作情報を、予め定められた順にスピーカに出力してもよい。
【００６８】
また、上記の実施形態１及び２において、操作の種類として、フリック（縦フリック及び横フリック）、ピンチ、タップの３種類を例として挙げたが、操作の種類及びその数はこれに限定されず、操作対象に対して可能な操作であれば任意に適用可能である。
【００６９】
また、上記の実施形態１及び２において、操作可能な距離範囲として２つの距離範囲Ｄ１，Ｄ２が設定されている例について説明した。しかし、距離範囲の数はこれに限られず、より多くの距離範囲が設定されていてもよい。距離範囲の数は、例えば、表示面２０１の大きさや、操作の種類の数に応じて設定される。
【００７０】
また、上記の実施形態１及び２において、操作情報が操作対象の強調表示を示す場合に、操作対象であるボタンＢ１，Ｂ２の輪郭線を太くすることにより、強調表示する例について説明した。しかし、操作対象の強調表示方法は、これに限られない。例えば、操作対象を点滅させる、または操作対象の色を変更することにより強調表示してもよい。また、操作対象がテキストを含む場合、そのテキストのフォントを変更する、または太字にすることにより、強調表示してもよい。また、表示面２０１上のユーザの手２の位置に表示されている操作対象の上にポインタを表示することにより、操作対象を強調してもよい。
【００７１】
また、上記の実施形態１及び２において、表示面２０１におけるユーザの手２の位置、またはその位置に対応する操作領域Ａ１〜Ａ３が所定の時間（例えば、１０秒間）変化しないとき、操作情報の出力を停止してもよい。所定の時間、操作情報を出力しておくことにより、ユーザは操作対象に対応する操作情報を認識できるとともに、その所定時間経過後は操作情報が出力されないため、表示面２０１に表示された操作対象を含むコンテンツをより容易に視認することができる。
【００７２】
また、上記の実施形態１及び２において、ユーザの手２が操作対象を操作する操作部として機能する例を説明した。しかし、操作部は、ユーザの手に限られず、ユーザの体の他の部分であってもよく、操作対象を操作可能であれば任意に適用可能である。例えば、ユーザの手により把持されるリモートコントローラであってもよい。
【００７３】
また、本発明に係る出力制御装置３００は、専用の装置によらず、通常のコンピュータを用いて実現可能である。例えば、コンピュータがプログラムを実行することで、出力装置３００を実現してもよい。出力制御装置３００の機能を実現するためのプログラムは、ＵＳＢ（Universal Serial Bus）メモリ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＨＤＤ等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。
【００７４】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【００７５】
（付記１）
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得部と、
前記距離取得部により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択部と、
前記選択部により選択された操作の種類を示す操作情報を出力装置に出力する出力制御部と、
を備えることを特徴とする出力制御装置。
【００７６】
（付記２）
前記選択部は、前記距離が所定の範囲内に含まれるか否かを判定し、前記距離が前記所定の範囲内であるとき、前記所定の範囲に応じた前記操作部により可能な操作の種類を選択する、
ことを特徴とする付記１に記載の出力制御装置。
【００７７】
（付記３）
前記表示面における前記操作部の位置を取得する位置取得部をさらに備え、
前記選択部は、前記距離取得部により取得された距離と、前記位置取得部により取得された位置に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する、
ことを特徴とする付記１または２に記載の出力制御装置。
【００７８】
（付記４）
前記操作部が行う操作を取得し、予め定められた処理を行う処理実行部をさらに備え、
前記処理実行部は、取得した前記操作部が行う操作が前記選択部により選択された操作の種類である場合に前記予め定められた処理を行う、
ことを特徴とする付記１から３のいずれか１つに記載の出力制御装置。
【００７９】
（付記５）
前記出力制御部は、前記操作部により選択された操作の種類を示す操作情報を所定の時間の間前記出力装置に出力する、
ことを特徴とする付記１から４のいずれか１つに記載の出力制御装置。
【００８０】
（付記６）
前記複数の操作の種類は、フリック、ピンチ、及びタップのうち少なくともいずれかを含む、
ことを特徴とする付記１から５のいずれか１つに記載の出力制御装置。
【００８１】
（付記７）
前記操作部は、ユーザの一部である、
ことを特徴とする付記１から６のいずれか１つに記載の出力制御装置。
【００８２】
（付記８）
前記距離取得部は、撮像装置により撮像された前記操作部の撮像画像に基づいて、前記距離を取得する、
ことを特徴とする付記１から７のいずれか１つに記載の出力制御装置。
【００８３】
（付記９）
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得ステップと、
前記距離取得ステップにおいて取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択ステップと、
前記選択ステップにおいて選択された操作の種類を示す操作情報を出力装置に出力する出力制御ステップと、
を備えることを特徴とする出力制御方法。
【００８４】
（付記１０）
コンピュータを
操作対象を表示する表示面と、前記操作対象を操作する操作部との距離を取得する距離取得手段、
前記距離取得手段により取得された距離に応じて、前記操作対象に対して前記操作部が可能な複数の操作の種類のうちから、少なくとも１つの操作の種類を選択する選択手段、
前記選択手段により選択された操作の種類を示す操作情報を出力装置に出力する出力制御手段、
として機能させるためのプログラム。
【符号の説明】
【００８５】
１…出力制御システム、２…手、１００…モーションセンサ、２００…表示装置、２０１…表示面、３００…出力制御装置、３０１…制御部、３０２…記憶部、３０３…通信部、３０４…入力部、３０５…バス、３１１…距離取得部、３１２，３１７…選択部、３１３…出力制御部、３１４…操作検出部、３１５…処理実行部、３１６…位置取得部、３２１…操作情報ＤＢ
【図１】
2017174036.tif 000003
【図２】
2017174036.tif 000004
【図３】
2017174036.tif 000005
【図４】
2017174036.tif 000006
【図５】
2017174036.tif 000007
【図６】
2017174036.tif 000008
【図７】
2017174036.tif 000009
【図８】
2017174036.tif 000010
【図９】
2017174036.tif 000011
【図１０】
2017174036.tif 000012
【図１１】
2017174036.tif 000013