(57)【要約】      （修正有）【課題】操作性のより優れた入力操作を実現する情報処理装置を提供する。【解決手段】視線情報取得部３１は、ユーザの視線を示す視線情報を取得する。音声情報取得部３２は、音声を示す音声情報を取得し、音量が音量閾値以上となる場合、入力位置を選択したと判断する。操作信号生成部３３は、視線情報および音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する。【選択図】図９
2014021893.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視線を示す視線情報を取得する視線情報取得部と、
音声を示す音声情報を取得する音声情報取得部と、
前記視線情報および前記音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する操作信号生成部と、
を備える、情報処理装置。
【請求項２】
前記操作信号生成部は、前記視線情報に基づいて前記操作面上の入力位置を特定し、前記音声情報に基づいて前記入力位置を選択したか否かを判断し、当該判断の結果および前記入力位置に基づいて、前記操作信号を生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記音声情報は、前記音声の音量を示す音量情報を含み、
前記操作信号生成部は、前記音量情報に基づいて前記入力位置を選択したか否かを判断する、
請求項２に記載の情報処理装置。
【請求項４】
前記操作信号生成部は、前記音量が音量閾値以上となる場合、前記入力位置を選択したと判断する、
請求項３に記載の情報処理装置。
【請求項５】
前記操作信号生成部は、前記視線情報に含まれる右目の視線を示す情報、および左目の視線を示す情報のそれぞれに基づいて、前記入力位置として、前記右目に対応する第１の入力位置および前記左目に対応する第２の入力位置をそれぞれ特定し、
前記操作信号生成部は、前記第１の入力位置および前記第２の入力位置に基づいて、前記操作信号を生成する、
請求項２ないし４のいずれか１項に記載の情報処理装置。
【請求項６】
前記操作面上に接触または近接した位置を検知するタッチ式入力部と、
前記操作信号生成部に、前記タッチ式入力部が検知した位置に基づいて前記操作信号を生成する第１の動作モードと、前記視線情報および前記音声情報に基づいて前記操作信号を生成する第２の動作モードと、のうちいずれかの動作モードを設定する動作モード設定部と、
をさらに備え、
前記動作モード設定部は、前記操作信号生成部に前記第２の動作モードを設定するとき、前記タッチ式入力部への電力の供給を停止する、
請求項１ないし５のいずれか１項に記載の情報処理装置。
【請求項７】
ユーザの視線を示す視線情報を取得し、
音声を示す音声情報を取得し、
前記視線情報および前記音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する、
操作信号生成方法。
【請求項８】
ユーザの視線を示す視線情報を取得する手順と、
音声を示す音声情報を取得する手順と、
前記視線情報および前記音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する手順と、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、操作信号生成方法、およびプログラムに関する。
【背景技術】
【０００２】
情報処理装置に対する入力操作は、主に手を用いて行われる。例えば入力装置がマウスの場合、入力操作は、手でマウスを動かすこと、および手でマウスに設けられた釦を押下することである。ユーザがマウスを動かすと、入力位置が変更され、釦を押下すると、そのときの入力位置が選択される。また入力装置がタッチ式入力装置の場合、入力操作は、手の指や手で持ったスタイラスのような操作体を操作面上に接触または近接させる（以下、タッチと称する。）ことである。タッチ位置は、マウスの場合における選択された入力位置に相当し、このタッチ位置、タッチ位置の移動方向、およびタッチしている時間などに基づいて、入力操作の種類が判定される。
【０００３】
このような手を用いた入力操作は、直感的で操作性に優れるため広く普及しているが、近年では、手以外のものを用いた入力操作を実現することの可能な情報処理装置に対する需要が高まっている。例えば、スマートホンやタブレット端末のような情報処理装置の普及により、移動中に情報処理装置を使用する機会が増大しているが、移動中では、ユーザは手を自由に動かせない状況が多いため、手を用いた入力操作を極力減らすことが望ましい。特にタブレット端末においては大型化が進んでおり、一方の手で端末を持ち、他方の手で入力操作を行うことが一般的となっている。このため片手で荷物を持っている場合には、手を用いた入力操作が困難であり、手以外のものを用いた入力操作が求められている。
【０００４】
そこで、手以外のものを用いた入力操作を実現するための方法として、視線により操作面上の入力位置を特定し、瞼の開閉により入力位置を選択する方法が考えられる。この方法においては、ユーザは、視線を操作面上に向けることで入力位置を特定し、瞼を閉じることで、入力位置を選択する。この場合、例えばユーザは、瞬きをすることで、クリック操作と同様な操作を行ったり、一度瞼を閉じたまま所定時間経過した後に瞼を開くことで、長押し操作と同様な操作を行ったりすることができる。
【０００５】
しかしながら、上記の方法では、ユーザがドラッグ操作と同様な操作を行おうとして、瞼を閉じた後に視線を移動させようとしても、瞼を閉じた状態では視線が検出されず、入力位置を選択したまま移動させる操作を行うことができない。
【０００６】
そこで、瞼の開閉の代わりに、一定時間同じ箇所を見つめた場合に、その入力位置を選択したと判断する方法が考えられる。しかしながら、この方法では、一定時間待たなければ入力位置を選択することができないため、操作性が低下してしまう。
【０００７】
これに対して特許文献１には、視線により操作面上の入力位置を特定し、釦の押下により入力位置を選択する携帯端末が開示されている。この携帯端末によれば、表示画面上の文字に視線を向けた状態でユーザが手で釦を押下すると、視線を向けた箇所に表示された文字を入力することができる。
【０００８】
一方、特許文献２には、ユーザの息など空気の流れによって情報を入力する携帯端末が開示されている。この携帯端末によれば、ユーザが息を吹きかける強さおよび長さを組み合わせたパターンに基づいて入力操作の種類を変更することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２６７０７１号公報
【特許文献２】特開２００４−１７７９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の携帯端末では、ユーザは、入力位置を選択するために手で釦を押下しなければならない。このため、両手が自由に動かない状況などでは、入力操作を行うことが困難になるなど、操作性が低いという問題がある。
【００１１】
また特許文献２に記載の携帯端末は、ユーザが息を吹きかける強さおよび長さを組合せたパターンによって、入力操作の種類を変更するが、このパターンが限られているため、複雑な入力操作を行うことができず、操作性が低いという問題がある。
【００１２】
本発明は、操作性により優れた入力操作を実現する情報処理装置、操作信号生成方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による情報処理装置は、ユーザの視線を示す視線情報を取得する視線情報取得部と、音声を示す音声情報を取得する音声情報取得部と、前記視線情報および前記音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する操作信号生成部と、を有する。
【００１４】
本発明による操作信号生成方法は、ユーザの視線を示す視線情報を取得し、音声を示す音声情報を取得し、前記視線情報および前記音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する。
【００１５】
本発明によるプログラムは、ユーザの視線を示す視線情報を取得する手順と、音声を示す音声情報を取得する手順と、前記視線情報および前記音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する手順と、をコンピュータに実行させる。
【発明の効果】
【００１６】
本発明によれば、操作性のより優れた入力操作を実現することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。
【図２】本実施形態にかかる視線情報取得部の構成例を示すブロック図である。
【図３】ユーザの視線を検出するために用いられる視線検出画像の一例を示す説明図である。
【図４】視線検出画像のエッジ検出処理結果について説明するための説明図である。
【図５】本実施形態にかかる音声情報取得部の構成例を示すブロック図である。
【図６】本実施形態にかかる制御部が、操作信号が示す入力操作により実行する処理を判定する判定処理の一例を説明するためのフローチャートである。操作信号生成部が、視線情報および音声情報に基づいて操作信号を生成するときの入力操作の判定処理の一例を説明するためのフローチャートである。
【図７】本発明の第２の実施形態にかかる情報処理装置の機能構成を示すブロック図である。
【図８】本実施形態にかかる動作モード設定部の動作例を説明するためのフローチャートである。
【図９】本発明の第３の実施形態にかかる情報処理装置の機能構成を示すブロック図である。
【図１０】本実施形態にかかる情報処理装置の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について添付の図面を参照して説明する。なお、本明細書および図面において、同一の機能を有する構成要素については同じ符号を付することにより重複説明を省略する場合がある。
【００１９】
（第１の実施形態）
まず本発明の第１の実施形態について説明する。
【００２０】
図１は、本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。図１に示す情報処理装置１００は、例えば携帯電話、スマートホン、ゲーム機器、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ：携帯情報端末）、ナビゲーション装置、音楽再生装置、映像処理装置、およびサーバ装置などである。なおＰＣには、タブレット型ＰＣやノート型ＰＣなども含まれる。また映像処理装置には、カメラ、レコーダ、プレイヤなども含まれる。
【００２１】
情報処理装置１００は、視線情報取得部１１と、音声情報取得部１２と、操作信号生成部１３と、制御部１４と、記憶部１５とを有する。
【００２２】
視線情報取得部１１は、ユーザの視線を示す視線情報を取得する。ここで視線は、ユーザの目の中心と、ユーザが見ている対象とを結ぶ線のことである。なお以下の説明中において、視線の開始点である目の中心を視点といい、視線が操作面と交わる点を注視点という。視線情報は、例えばユーザの視点と、視点からの視線方向とを含む。或いは視線情報は、注視点の位置情報でもよい。視線情報取得部１１は、取得した視線情報を操作信号生成部１３に出力する。
【００２３】
音声情報取得部１２は、音声を示す音声情報を取得する。音声情報は、例えば音声の音量を示す音量情報を含む。また音声情報は、音量が予め定められた閾値（以下、これを音量閾値と称する）以上であるか否かを示す情報を含んでもよい。音声情報取得部１２は、取得した音声情報を操作信号生成部１３に出力する。
【００２４】
操作信号生成部１３は、視線情報および音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成して出力する。これにより情報処理装置１００は、操作信号生成部１３から出力された操作信号に応じた処理を実行することとなる。
【００２５】
操作信号生成部１３は、具体的には、視線情報に基づいて操作面上の入力位置を特定し、音声情報に基づいて入力位置を選択したか否かを判断する。そして操作信号生成部１３は、上記判断の結果および特定された入力位置に基づいて、操作信号を生成する。
【００２６】
例えば、操作信号生成部１３は、注視点を入力位置とする。なお視線情報は、右目の視線を示す情報と、左目の視線を示す情報とを含む。このとき操作信号生成部１３は、右目の視線を示す情報に基づいて右目に対応する入力位置である第１の入力位置を特定し、左目の視線を示す情報に基づいて左目に対応する入力位置である第２の入力位置を特定する。ユーザの右目の視線と左目の視線とが操作面上で交わる場合には、右目の注視点と左目の注視点とは重なり合い、操作信号生成部１３は、右目の視線および左目の視線から１つの入力位置を特定する。一方、ユーザの右目の視線と左目の視線とが操作面上で交わらない場合には、右目の注視点と左目の注視点とはそれぞれ異なる位置となり、操作信号生成部１３は、操作面上に２つの入力位置を特定する。
【００２７】
なお、操作面上の右目の注視点と左目の注視点との距離が所定距離以下の場合には、操作信号生成部１３は、右目の視線および左目の視線から１つの入力位置を特定してもよい。例えば、操作信号生成部１３は、操作面上の右目の注視点と左目の注視点とを結ぶ線分の中点の位置を入力位置として特定する。
【００２８】
また操作信号生成部１３は、音声の音量が音量閾値以上となる場合、特定された入力位置が選択されたと判断する。この場合、ユーザは、音声を取得するマイクロフォン（以下、マイクと略す。）に息を吹きかけることで、選択操作を行うことができる。
【００２９】
また、操作信号生成部１３は、音量以外の音声情報に基づいて、入力位置が選択されたか否かを判断してもよい。例えば、操作信号生成部１３は、音声認識を用いて、入力位置が選択されたか否かを判断してもよい。この場合、操作信号生成部１３は、入力された音声を解析して予め定められた単語を検知すると、入力位置が選択されたと判断する。以下、音声の入力はマイクに対して息を吹きかけることにより行うこととして説明を続ける。
【００３０】
このような構成によれば、ユーザが操作面上に視線を向けると、この視線により特定される操作面上の点の位置は入力位置（ポインティング位置）として取り扱われ、ユーザがマイクに対して息を吹きかけるとこの入力位置が選択されたと判断される。
【００３１】
例えばマウスやタッチ式入力装置などの入力装置では、この入力位置と入力位置に対する選択によって様々な入力操作が用いられている。例えばタッチ式入力装置では、入力操作として、クリック操作、長押し操作、ドラッグ操作、およびピンチ操作などが用いられている。またマウスでは、上記した入力操作の他にポインティング操作が用いられる。
【００３２】
なおここでクリック操作は、操作面上の特定の箇所にタッチし、その後すぐに離す操作である。また長押し操作は、操作面上の特定の箇所をタッチし、そのまま一定時間待ってから離す操作である。またドラッグ操作は、操作面上の特定の箇所をタッチし、タッチしたまま操作体を動かして離す操作である。またピンチ操作は、操作面上の２点をタッチし、タッチした２点の間隔を変化させる操作である。またポインティング操作は、ボタンを押下していない状態でマウスを動かす操作である。
【００３３】
ユーザは、タッチ式入力部の操作面をタッチしたり、マウスを動かして釦を押下したりする代わりに、視線を動かし、マイクに息を吹きかけることによって例示した入力操作と同様の操作を行うことができる。
【００３４】
例えばユーザがポインティング操作を行いたい場合には、ユーザは、マイクに対して息を吹きかける動作を行わずに、視線を操作面上に向ければよい。この場合、操作信号生成部１３は、視線情報に基づいて入力位置を特定し、音声情報に基づいて入力位置が選択されていないと判断する。この場合操作信号生成部１３が生成する操作信号は、ポインティング操作に対応した操作信号となり、情報処理装置１００は、ポインティング操作が行われた場合と同様の処理を実行することとなる。
【００３５】
またユーザがクリック操作を行いたい場合には、ユーザは、視線を操作面上のクリックしたい位置に向け、その視線を固定したまま、時間閾値以下の短い間マイクに息を吹きかければよい。この場合、操作信号生成部１３は、視線情報に基づいて入力位置を特定し、音声情報に基づいて、入力位置が一度選択された後、時間閾値以下の短い間にこの選択が解除されたと判断する。この場合操作信号生成部１３が生成する操作信号は、クリック操作に対応した操作信号となり、情報処理装置１００は、クリック操作が行われた場合と同様の処理を実行することとなる。
【００３６】
またユーザが長押し操作を行いたい場合には、ユーザは、視線を操作面上の長押ししたい位置に向けて、その視線を固定したまま、時間閾値以上の間マイクに息を吹きかければよい。このとき、操作信号生成部１３は、視線情報に基づいて入力位置を特定し、音声情報に基づいて、入力位置が一度選択され、時間閾値以上の間この選択された状態が継続した後に、この選択が解除されたと判断する。この場合操作信号生成部１３が生成する操作信号は、長押し操作に対応した操作信号となり、情報処理装置１００は、長押し操作が行われた場合と同様の処理を実行することとなる。
【００３７】
またユーザがドラッグ操作を行いたい場合には、ユーザは、視線を操作面上のドラッグ操作を開始したい位置に向け、時間閾値以上の間マイクに息を吹きかけながら、視線をドラッグしたい方向に移動させ、ドラッグ操作を終了したい位置に視線を向けたところで息を吹きかけることを止めればよい。このとき、操作信号生成部１３は、視線情報に基づいて入力位置を特定し、音声情報に基づいて、入力位置が一度選択され、入力位置が選択されたまま移動した後にこの選択が解除されたと判断する。この場合操作信号生成部１３が生成する操作信号は、ドラッグ操作に対応した操作信号となり、情報処理装置１００は、ドラッグ操作が行われた場合と同様の処理を実行することとなる。
【００３８】
またユーザがピンチ操作を行いたい場合には、ユーザは、視線を操作面上に向けた状態で、時間閾値以上の間マイクに息を吹きかけながら、視線の間隔を変化させる動作を行えばよい。なお、ユーザは、いわゆる「より目の状態」にする動作を行うことで視線の間隔を狭めることができる。またユーザは、「外斜視の状態」にする動作を行うことで視線の間隔を広げることができる。このとき、操作信号生成部１３は、視線情報に基づいて入力位置を特定し、視線の間隔を変化させる動作が行われると２つの入力位置間の距離が変化することを検知する。この場合操作信号生成部１３が生成する操作信号は、ピンチ操作に対応した操作信号となり、情報処理装置１００は、ピンチ操作が行われた場合と同様の処理を実行することとなる。
【００３９】
制御部１４は、記憶部１５に記憶されるプログラムを読み取り、このプログラムを実行し、操作信号に従って動作する。制御部１４は、操作信号生成部１３から出力された操作信号に応じた処理を実行する。例えば制御部１４は、操作信号が、選択されていない状態の入力位置を示す場合、この操作信号に示される入力位置にポインタを表示させる。これにより、ユーザは、現在視線が指し示している表示画面上の位置を認識することができる。
【００４０】
制御部１４は、表示画面を生成し、表示装置に表示画面を表示させる。このとき制御部１４は、外部の表示装置と接続できる構成でもよいし、表示装置を有した構成でもよい。なお表示装置は、表示パネル、または表示画面を投影するプロジェクタ装置などである。
【００４１】
記憶部１５は、情報を格納する記憶媒体である。ここで記憶部１５は、例えばフラッシュメモリ、ＭＲＡＭ（Magnetoresistive  Random  Access  Memory）、ＦｅＲＡＭ（Ferroelectric  Random  Access  Memory）、ＰＲＡＭ（Phase  change  Random  Access  Memory）、及びＥＥＰＲＯＭ（Electronically  Erasable  and  Programmable  Read  Only  Memory）などの不揮発性メモリや、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの磁気記録媒体である。記憶部１５は、例えば情報処理装置１００の動作を規定するプログラムを記憶する。
【００４２】
ここで、視線情報取得部１１の詳細な構成の一例について説明する。図２は、本実施形態にかかる視線情報取得部の構成例を示すブロック図である。視線情報取得部１１は、カメラ２１と、視線検出画像格納メモリ２２と、視線検出処理部２３とを有する。
【００４３】
カメラ２１は、ユーザを撮像した視線検出画像を取得する撮像装置である。カメラ２１は、視線検出画像として、ユーザの顔、特に眼球部分を含む画像を取得する。図３は、ユーザの視線を検出するために用いられる視線検出画像の一例を示す説明図である。
【００４４】
視線検出画像格納メモリ２２は、カメラ２１が撮像した視線検出画像を格納する。視線検出画像格納メモリ２２は、例えば図１に示す記憶部１５と物理的に同じ記憶装置でもよいし、記憶部１５とは別体の記憶装置でもよい。
【００４５】
視線検出処理部２３は、視線検出画像に基づいてユーザの視線を検出する。例えば視線検出処理部２３は、視線検出画像に対してエッジ検出処理、および顔検出処理を行い、視線を検出する。エッジ検出処理は、画像中において領域の境界を検出する処理である。領域の境界においては、輝度の変化が大きくなる。このため、視線検出処理部２３は、視線検出画像に含まれる各画素について輝度Ｙを算出し、この輝度Ｙの変化が大きい箇所を特定することによって領域の境界を検出する。
【００４６】
具体的には、視線検出処理部２３は、視線検出画像の各画素について、例えば以下の数式（１）を用いて輝度を算出する。数式（１）は、ＩＴＵ−Ｔ  ＢＴ  ６０１の変換式である。赤、緑、青の各色の強さ（Ｒ，Ｇ，Ｂ）から輝度を算出する。
【００４７】
Ｙ＝（７７×Ｒ／２５６）＋（１５０×Ｇ／２５６）＋（２９×Ｂ／２５６）・・・数式（１）
そして視線検出処理部２３は、各画素を輝度信号に変換した後、隣接する画素の輝度信号の値の差分の絶対値に基づいてエッジ検出を行う。図４は、視線検出画像のエッジ検出処理結果について説明するための説明図である。図３の視線検出画像に対してエッジ検出を行うと、画像中の輝度の変化が大きい箇所、すなわち領域の境界部分が図４に示すように検出される。
【００４８】
視線検出処理部２３は、上記のエッジ検出結果および顔検出技術を用いて、視線検出画像中の顔部分を検出する。例えば視線検出処理部２３は、エッジ検出結果から下に凸形状の部分を検出し、さらに視線検出画像の色を解析することによって、検出した部分が肌色であれば当該部分を顔部分とすることができる。
【００４９】
また視線検出処理部２３は、視線検出画像中の顔部分を検出すると、当該顔部分の中の目を検出する。このとき視線検出処理部２３は、エッジ検出情報を用いる。また視線検出処理部２３は、検出した目の内部のエッジ検出情報を用いて、眼球の位置および向きを検出する。そして視線検出処理部２３は、検出した眼球の位置および向きから視線を検出する。
【００５０】
以上、視線情報取得部１１の詳細な構成例について説明した。ここでは、視線情報取得部１１は、視線検出画像を取得するカメラ２１、視線検出画像格納メモリ２２、および視線検出画像を解析する視線検出処理部２３を有することとしたが、本発明はかかる例に限定されない。例えば、情報処理装置１００と接続される外部装置が、カメラ２１、視線検出画像格納メモリ２２、および視線検出処理部２３の一部または全部の機能を有してもよい。
【００５１】
また音声情報取得部１２の詳細な構成の一例について説明する。図５は、音声情報取得部の構成例を示すブロック図である。音声情報取得部１２は、マイク２４と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換機２５と、音データ格納メモリ２６と、音量検出部２７とを有する。
【００５２】
マイク２４は、音を電気信号に変換する機器である。マイク２４は、音をアナログ信号に変換して、Ａ／Ｄ変換機２５に出力する。
【００５３】
Ａ／Ｄ変換機２５は、マイク２４から出力された音のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換機２５は、例えばΣΔ変調を用いてアナログ信号をデジタル信号へ変換する。また、Ａ／Ｄ変換機２５は、例えばアナログ信号を１秒間に８０００回サンプリングして、デジタル量で示されるデジタル信号を取得する。
【００５４】
音データ格納メモリ２６は、Ａ／Ｄ変換機２５にてデジタル信号に変換された音データを格納する記憶部である。音データ格納メモリ２６は、例えば図１に示す記憶部１５と物理的に同じ記憶装置でもよいし、記憶部１５とは別体の記憶装置でもよい。
【００５５】
音量検出部２７は、音データ格納メモリ２６に格納された音データから、音の音量を検出する。より具体的には、音量検出部２７は、音データのデジタル値の絶対値に基づいて音量を検出する。音量検出部２７は、このデジタル量の絶対値を音量情報として、操作信号生成部１３に出力する。
【００５６】
また音量検出部２７は、音量が音量閾値以上であるかを判断し、音量が音量閾値以上であるか否かを示す情報を、音量情報として、操作信号生成部１３に出力してもよい。ここで音量検出部２７は、例えばデジタル量の絶対値が音量閾値以上であるサンプルの数が一定割合以上である場合に、この音の音量が音量閾値以上であると判断する。
【００５７】
以上、情報処理装置１００の機能構成について説明した。ここで示す機能を実現するためのハードウェア構成については、様々な形態をとることができる。例えば上記実施形態においては、情報処理装置１００は、カメラ２１およびマイク２４を有することとしたが、本発明はかかる例に限定されない。例えばカメラ２１およびマイク２４は、ヘッドセットなどの外部装置に設けられ、情報処理装置１００は、この外部装置から視線検出画像および音データを取得してもよい。また視線検出画像および音データを解析する機能についても、外部装置が有することとしてもよい。
【００５８】
次に、制御部１４が、操作信号生成部１３の生成した操作信号が示す入力操作により実行する処理を判定する判定処理の一例について説明する。図６は、本実施形態にかかる制御部が、操作信号が示す入力操作により実行する処理を判定する判定処理の一例を説明するためのフローチャートである。なお図６の判定処理は、視線に基づいて入力位置が特定されている状態で実行される。
【００５９】
まず制御部１４は、操作信号に基づいて、入力位置は選択されているか否かを判断する（ステップＳ１００）。そして、入力位置が選択されていない場合、制御部１４は、ポインティング操作に対応づけられた処理を実行する（ステップＳ１０５）。
【００６０】
一方、入力位置は選択されている場合、制御部１４は、次に選択した状態は時間閾値以上継続しているか否かを判断する（ステップＳ１１０）。そして選択した状態は時間閾値以上継続していないとき、制御部１４は、クリック操作に対応付けられた処理を実行する（ステップＳ１１５）。
【００６１】
一方、選択した状態は時間閾値以上継続している場合、制御部１４は、次に入力位置が移動したか否かを判断する（ステップＳ１２０）。そして入力位置が移動していない場合、制御部１４は、長押し操作に対応付けられた処理を実行する（ステップＳ１２５）。
【００６２】
一方、入力位置が移動した場合、次に制御部１４は、左右の入力位置の間隔が変化したか否かを判断する（ステップＳ１３０）。左右の入力位置の間隔が変化していない場合、制御部１４は、ドラッグ操作に対応づけられた処理を実行する（ステップＳ１３５）。一方、左右の入力位置の間隔が変化した場合、制御部１４は、ピンチ操作に対応付けられた処理を実行する（ステップＳ１４０）。
【００６３】
以上説明したように本実施形態によれば、視線情報および音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成することができる。このため、ユーザは、手以外のものを用いた入力操作を実現することができる。また視線のみ、または音声のみを用いる場合と比較して、多様な入力操作を可能とする。したがって、例えば手を使うことが難しい状況であっても、ユーザは、操作を行うことが可能となるため、操作性に優れた入力操作を実現することができる。
【００６４】
また本実施形態では、操作信号生成部１３は、視線情報に基づいて操作面上の入力位置を特定し、音声情報に基づいて入力位置を選択したか否かを判断し、当該判断の結果および入力位置に基づいて、操作信号を生成する。このため、ユーザは、視線の入力により操作面上の位置を指定し、この指定した位置に対して選択するか否かを音声の入力により操作することができる。操作面上の入力位置を選択してこの選択した入力位置を動かすことにより行う入力操作は、マウスやタッチセンサなどにより広く用いられている。上記の構成によれば、ユーザは、マウスやタッチセンサなどで行っていた使い慣れた操作を、視線と音声とを用いて行うことができる。
【００６５】
また本実施形態では、音声情報は、音声の音量を示す音量情報を含み、操作信号生成部１３は、音量情報に基づいて、入力位置を選択したか否かを判断する。具体的には、操作信号生成部１３は、音量が音量閾値以上となる場合、入力位置を選択したと判断する。入力位置を選択したか否かを判断するために音量を用いることで、情報処理装置１００は、例えば音声を取得するマイクに息を吹きかけることによって、入力操作を行うことができる。操作信号生成部１３は、音量以外の音声情報に基づいて、例えば音声認識を用いて入力位置が選択されたか否かを判断してもよいが、音声認識を用いる場合には、入力操作に言語依存性があり、人ではなく装置に向かって声を発することに対して、ユーザが抵抗感を感じることがある。これに対して、音量を用いて、マイクに対して息を吹きかけることにより音声を入力する場合には、言語依存性がなく、上記の抵抗感を軽減することができるという利点がある。
【００６６】
また本実施形態では、操作信号生成部１３は、視線情報に含まれる右目の視線を示す情報に基づいて右目に対応する入力位置である第１の入力位置を特定し、左目の視線を示す情報に基づいて左目に対応する入力位置である第２の入力位置を特定する。右目の注視点と左目の注視点とが一致している場合には、第１の入力位置と第２の入力位置とは重なり合うため、１つの入力位置として取り扱うことができる。一方、ユーザがいわゆる「より目」や「外斜視」の状態にする動作を行うと、第１の入力位置は第２の入力位置とは異なる位置となる。したがってこの場合、ユーザは、操作面上に２つの位置を入力することができる。
【００６７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００６８】
図７は、本発明の第２の実施形態にかかる情報処理装置の機能構成を示すブロック図である。図７に示す情報処理装置２００は、視線情報取得部１１と、音声情報取得部１２と、操作信号生成部１３と、制御部１４と、記憶部１５と、タッチ式入力部１６と、動作モード設定部１７とを有する。すなわち、情報処理装置２００は、第１の実施形態にかかる情報処理装置１００の構成に加えて、タッチ式入力部１６と、動作モード設定部１７とをさらに有する。以下、第１の実施形態にかかる情報処理装置１００と同様の構成については説明を省略し、差異部分について主に説明する。
【００６９】
タッチ式入力部１６は、操作面を有し、操作面上に接触または近接する操作体の位置を検知する。タッチ式入力部１６は、検知した操作体の位置情報を操作信号生成部１３に出力する。
【００７０】
動作モード設定部１７は、操作信号生成部１３に動作モードを設定する。動作モード設定部１７は、タッチ式入力部１６の検知した位置に基づいて操作信号を生成する第１の動作モードと、視線情報および音声情報に基づいて操作信号を生成する第２の動作モードと、のうちいずれかの動作モードを操作信号生成部１３に設定する。また動作モード設定部１７は、操作信号生成部１３に第２の動作モードを設定するとき、タッチ式入力部１６への電力の供給を停止する。なお動作モード設定部１７は、例えばユーザが入力する動作モード設定操作を検知して、この動作モード設定操作に従って動作モードを設定する。
【００７１】
ここで本発明の第２の実施形態にかかる情報処理装置２００の動作モード設定部１７の動作例について説明する。図８は、本実施形態にかかる動作モード設定部の動作例を説明するためのフローチャートである。
【００７２】
まず動作モード設定部１７は、操作信号生成部１３から供給される操作信号に基づいて、動作モード設定操作を検知する（ステップＳ２００）。そして動作モード設定部１７は、動作モード設定操作に従って動作モードを設定する（ステップＳ２０５）。
【００７３】
続いて、動作モード設定部１７は、設定した動作モードが第２の動作モードであるか否かを判断する（ステップＳ２１０）。ここで設定した動作モードが第２の動作モードである場合、動作モード設定部１７は、タッチ式入力部１６への電力の供給を停止する（ステップＳ２１５）。
【００７４】
以上説明したように本実施形態においては、情報処理装置２００は、操作面上に接触または近接した位置を検知するタッチ式入力部１６を有し、このタッチ式入力部１６が検知した位置に基づいて操作信号を生成する第１の動作モードと、視線情報および音声情報に基づいて操作信号を生成する第２の動作モードと、のうちいずれかの動作モードを操作信号生成部１３に設定する動作モード設定部１７をさらに有する。そして動作モード設定部１７は、操作信号生成部１３を第２の動作モードに設定するとき、タッチ式入力部１６への電力の供給を停止する。これにより、情報処理装置２００は、視線情報および音声情報に基づいて操作信号を生成する第２の動作モードで動作する場合に、タッチ式入力部１６の動作電力の分の消費電力を低減することができる。
【００７５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００７６】
図９は、本発明の第３の実施形態にかかる情報処理装置の機能構成を示すブロック図である。図９に示す情報処理装置３００は、視線情報取得部３１と、音声情報取得部３２と、操作信号生成部３３とを有する。
【００７７】
視線情報取得部３１は、ユーザの視線を示す視線情報を取得する。
【００７８】
音声情報取得部３２は、音声を示す音声情報を取得する。
【００７９】
操作信号生成部３３は、視線情報および音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成する。
【００８０】
次に本実施形態にかかる情報処理装置３００の動作について説明する。図１０は、本実施形態にかかる情報処理装置の動作を説明するためのフローチャートである。
【００８１】
視線情報取得部３１は、視線情報を取得する（ステップＳ３００）。音声情報取得部３２は、音声情報を取得する（ステップＳ３０５）。そして操作信号生成部３３は、視線情報および音声情報に基づき、操作信号を生成する（ステップ３１０）。
【００８２】
本実施形態でも、視線情報および音声情報に基づいて、操作面に対する入力操作を示す操作信号を生成することができる。このため、ユーザは、手以外のものを用いた入力操作を実現することができる。また視線のみ、または音声のみを用いる場合と比較して、多様な入力操作を可能とする。したがって、例えば手を使うことが難しい状況であっても、ユーザは、操作を行うことが可能となるため、操作性に優れた入力操作を実現することができる。
【００８３】
以上、本発明の好適な実施形態について説明した。しかし上記において説明した各実施形態で示した構成は単なる一例であって、本発明はその構成に限定されるものではない。
【００８４】
例えば情報処理装置１００、２００、および３００の機能は、その機能を実現するためのプログラムを、コンピュータにて読取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ実行させることで、実現されてもよい。
【００８５】
また上記実施形態で記載した入力操作は一例であり、入力位置と選択された状態か否かを示す情報とを用いた様々な入力操作が用いられてよい。例えば、ダブルクリック操作、フリック操作などと同様の入力操作が用いられてよい。
【００８６】
また上記実施形態では、手を用いない入力操作の例を記載したが、本発明はかかる例に限定されない。例えば、手を使った操作と、上記実施形態で記載した視線情報および音声情報に基づいた操作とが組み合わせて用いられることも可能である。
【符号の説明】
【００８７】
１００，２００，３００    情報処理装置
１１，３１                視線情報取得部
１２，３２                音声情報取得部
１３，３３                操作信号生成部
１４                      制御部
１５                      記憶部
１６                      タッチ式入力部
１７                      動作モード設定部
【図１】
2014021893.tif 000003
【図２】
2014021893.tif 000004
【図５】
2014021893.tif 000005
【図６】
2014021893.tif 000006
【図７】
2014021893.tif 000007
【図８】
2014021893.tif 000008
【図９】
2014021893.tif 000009
【図１０】
2014021893.tif 000010
【図３】
2014021893.tif 000011
【図４】
2014021893.tif 000012