(57)【要約】【課題】操作対象の機器を直接操作することができない状況においても、機器に対する操作を容易に行うことができる操作装置および操作方法を提供すること。【解決手段】操作対象の機器における操作を制御する操作装置であって、顔を含んだ画像を撮影する撮像部と、画像に含まれる顔を認識し、該認識した顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識部と、顔認識情報に基づいて顔の向きを検出し、該検出した顔の向きを表す顔向き情報を出力する顔向き検出部と、顔認識情報に基づいて撮像部と顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出部と、顔の向きおよび撮像部と顔との間の距離に応じて予め定められた機器に対する操作内容を表す操作情報を参照し、顔向き情報と顔距離情報とに基づいて、対応する機器に対する操作を表す操作信号を、機器に出力する制御部と、を備える。【選択図】図１
2016162164.tif 000002
【特許請求の範囲】
【請求項１】
操作対象の機器における操作を制御する操作装置であって、
顔を含んだ画像を撮影する撮像部と、
前記画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識部と、
前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出部と、
前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出部と、
前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御部と、
を備える操作装置。
【請求項２】
前記顔向き検出部は、
前記顔の向きが、予め定めた顔の向きの初期状態から変化したときの方向および角度の情報を前記顔向き情報として出力し、
前記顔距離検出部は、
前記撮像部と前記顔との間の距離が、予め定めた距離の初期状態から変化したときの距離の情報を前記顔距離情報として出力し、
前記制御部は、
前記顔向き情報に含まれる前記顔の方向および角度の組み合わせによって表される前記顔の向きの値と、前記顔距離情報に含まれる前記撮像部と前記顔との間の距離によって表される前記顔の距離の値との組み合わせに応じて予め定められた操作量を表す前記操作信号を、対応する前記機器に出力する、
請求項１に記載の操作装置。
【請求項３】
前記操作情報は、
前記顔の距離の値ごとに、操作対象の異なる前記機器が予め定められており、
前記制御部は、
前記顔距離情報に含まれる前記顔の距離の値に対応する前記機器に、前記顔の向きの値に対応する前記操作量を表す前記操作信号を出力する、
請求項２に記載の操作装置。
【請求項４】
前記操作情報は、
前記顔向き情報に含まれる前記顔の角度の値ごとに、同じ前記機器に対する前記操作量が予め定められており、
前記制御部は、
前記顔距離情報に含まれる前記顔の距離の値に対応する前記機器に、前記顔の角度の値に対応する前記操作量を表す前記操作信号を出力する、
請求項２または請求項３に記載の操作装置。
【請求項５】
操作対象の機器における操作を制御する操作装置における操作方法であって、
撮像部が撮影した顔を含んだ画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識ステップと、
前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出ステップと、
前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出ステップと、
前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御ステップと、
を含む操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作装置および操作方法に関する。
【背景技術】
【０００２】
例えば、車両の運転中などに、車両に搭載された操作対象の機器（以下、「操作対象機器」という）に視線を向けることができず、さらには、手探りなどによっても操作を行うことができない状況がある。このため、従来から、操作対象機器を直接操作することができない状況においても、操作対象機器に対して所望の操作を行うことができる方法が求められている。このような要望を実現するため、例えば、特許文献１のような、音声によって操作対象機器に対する操作を行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３２２０７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１で開示されたような、操作対象機器に対する操作を音声によって行う技術では、操作対象機器の誤動作を防止するなどの目的から、対話式で操作を指示することが行われている。このため、操作対象機器が音声によって指示された操作を受け付けるまでに時間を要するという問題がある。また、対話中の音声を誤認識してしまった場合などには、最初から対話をやり直すなど、正しい操作への修正が困難であるという問題もある。
【０００５】
本発明は、上記の課題に基づいてなされたものであり、操作対象の機器を直接操作することができない状況においても、機器に対する操作を容易に行うことができる操作装置および操作方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明の一態様の操作装置は、操作対象の機器における操作を制御する操作装置であって、顔を含んだ画像を撮影する撮像部と、前記画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識部と、前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出部と、前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出部と、前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御部と、を備える。
【０００７】
また、本発明の一態様の操作方法は、操作対象の機器における操作を制御する操作装置における操作方法であって、撮像部が撮影した顔を含んだ画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識ステップと、前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出ステップと、前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出ステップと、前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御ステップと、を含む。
【発明の効果】
【０００８】
本発明によれば、操作対象の機器を直接操作することができない状況においても、機器に対する操作を容易に行うことができるという効果が得られる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における操作装置の概略構成を示したブロック図である。
【図２】本発明の実施形態の操作装置における処理の処理手順を示したフローチャートである。
【図３】本発明の実施形態の操作装置に備えた顔認識部における顔認識の処理を説明する図である。
【図４】本発明の実施形態の操作装置に備えた顔向き検出部における顔の向きの検出処理の一例を説明する図である。
【図５】本発明の実施形態の操作装置に備えた顔向き検出部における顔の向きの検出処理の別の一例を説明する図である。
【図６】本発明の実施形態の操作装置に備えた顔向き検出部における顔の向きの検出処理のさらに別の一例を説明する図である。
【図７】本発明の実施形態の操作装置に備えた顔向き検出部における顔の向きの検出処理のさらに別の一例を説明する図である。
【図８】本発明の実施形態の操作装置に備えた顔距離検出部における顔の距離の検出処理の一例を説明する図である。
【図９】本発明の実施形態の操作装置に備えた顔距離検出部における顔の距離の検出処理の別の一例を説明する図である。
【図１０】本発明の実施形態の操作装置に備えた顔距離検出部における顔の距離の検出処理のさらに別の一例を説明する図である。
【図１１】本発明の実施形態の操作装置に備えた顔距離検出部における顔の距離の検出処理のさらに別の一例を説明する図である。
【図１２】本発明の実施形態の操作装置と検出する顔との距離の一例を模式的に示した図である。
【図１３】本発明の実施形態の操作装置が検出した顔の状態によって操作する内容の一例を示した図である。
【図１４】本発明の実施形態の操作装置と検出する顔との位置関係の一例を模式的に示した図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。図１は、本発明の実施形態における操作装置の概略構成を示したブロック図である。操作装置１０は、制御部１００と、撮像部２００と、記憶部３００と、通信部４００とを含んで構成されている。操作装置１０は、使用者（ユーザー）が所望する操作を行うための指示を、不図示の操作対象の機器（以下、「操作対象機器」という）に出力するためのユーザーインターフェース装置である。
【００１１】
制御部１００は、操作装置１０内のそれぞれの構成要素、つまり、操作装置１０の全体を制御する。制御部１００は、顔認識部１１０と、顔向き検出部１２０と、顔距離検出部１３０とを含んで構成され、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの処理装置で実現される。
【００１２】
撮像部２００は、撮影機能としてカメラを備え、制御部１００からの制御に応じて、画像を撮影する。操作装置１０において撮像部２００は、短い所定の時間間隔で、ユーザーの顔を含む画像を撮影する。撮像部２００は、撮影した画像を順次、記憶部３００に記憶する。
【００１３】
記憶部３００は、制御部１００または制御部１００内の構成要素が種々の処理を実行するためのプログラムや、処理に使用するデータを記憶する。記憶部３００は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）などの種々のメモリや、ＨＤＤ（Ｈａｒｄ  ｄｉｓｋ  ｄｒｉｖｅ）などの記憶装置で構成される。記憶部３００は、制御部１００からの制御に応じて、データの記憶（書き込み）やデータの出力（読み出し）を行う。
【００１４】
通信部４００は、制御部１００からの制御に応じて、無線ネットワークや有線ネットワークなどを介して、操作対象機器との通信を行う。より具体的には、例えば、通信部４００は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））などの短距離無線通信や、ＷｉＦｉ（登録商標）などの無線通信によって、ユーザーが所望する操作を表す信号（操作信号）を、操作対象機器に出力（伝送）する。また、例えば、通信部４００は、操作対象機器と接続された通信ケールによって、操作信号を操作対象機器に伝送する。
【００１５】
顔認識部１１０は、撮像部２００が撮影した画像に含まれるユーザーの顔の全体を認識する顔認識処理を行う処理部である。顔認識部１１０は、撮像部２００によって所定の短い時間間隔で撮影されたそれぞれの画像に対して顔認識処理を順次行い、顔認識処理を行った結果を、顔向き検出部１２０および顔距離検出部１３０に順次出力する。つまり、顔認識部１１０は、認識したユーザーの顔の情報（以下、「顔認識情報」という）を逐次、顔向き検出部１２０および顔距離検出部１３０に出力する。これにより、顔向き検出部１２０および顔距離検出部１３０は、それぞれの処理を精度よく行うことができる。なお、顔認識部１１０における顔認識処理の処理機能は、例えば、記憶部３００に記憶されたプログラムを実行するソフトウェアによって実現される構成であってもよい。なお、顔認識部１１０の処理に関する詳細な説明は、後述する。
【００１６】
顔向き検出部１２０は、顔認識部１１０から入力されたユーザーの顔認識情報に基づいて、ユーザーの顔の向きを検出する処理部である。顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に基づいて、ユーザーの顔の向きを検出する検出処理（以下、「顔向き検出処理」という）を逐次行う。これにより、顔向き検出部１２０は、それぞれの顔向き検出処理の結果から、ユーザーの顔の向きの変化（例えば、縦方向への変化や横方向への変化）を追跡することができ、例えば、ユーザーの顔の上下方向や左右方向への傾きを検出することができる。顔向き検出部１２０は、検出したユーザーの顔の向きを表す情報（以下、「顔向き情報」という）を出力する。なお、顔向き検出部１２０における顔向き検出処理の処理機能は、例えば、記憶部３００に記憶されたプログラムを実行するソフトウェアによって実現される構成であってもよい。なお、顔向き検出部１２０の処理に関する詳細な説明は、後述する。
【００１７】
顔距離検出部１３０は、顔認識部１１０から入力されたユーザーの顔認識情報に基づいて、ユーザーの顔と撮像部２００に備えたカメラとの距離を検出する処理部である。顔距離検出部１３０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に基づいて、ユーザーの顔とカメラとの距離を検出する検出処理（以下、「顔距離検出処理」という）を逐次行う。これにより、顔距離検出部１３０は、それぞれの顔距離検出処理の結果から、ユーザーの顔とカメラとの距離との変化（例えば、前後（手前、奥）方向への変化）を追跡することができ、例えば、ユーザーの顔の手前方向や奥方向への移動を検出することができる。顔距離検出部１３０は、検出したユーザーの顔とカメラとの距離を表す情報（以下、「顔距離情報」という）を出力する。なお、顔距離検出部１３０における顔距離検出処理の処理機能は、例えば、記憶部３００に記憶されたプログラムを実行するソフトウェアによって実現される構成であってもよい。なお、顔距離検出部１３０の処理に関する詳細な説明は、後述する。
【００１８】
操作装置１０では、ユーザーの顔の状態に応じた操作対象機器に対する操作内容を表す操作情報が、予め設定されている。この操作情報は、操作対象機器と、この操作対象機器に指示することができる操作の内容とが対応付けられた情報であり、例えば、記憶部３００に記憶されている。制御部１００は、操作情報を参照し、顔向き検出部１２０が出力した顔向き情報および顔距離検出部１３０が出力した顔距離情報に応じた操作、つまり、ユーザーが所望する操作を表す操作信号の操作対象機器への伝送を、通信部４００を介して行う。
【００１９】
次に、操作装置１０がユーザーの顔の状態に応じて操作対象機器を操作する処理手順について説明する。図２は、本発明の実施形態の操作装置１０における処理（操作対象機器の操作処理）の処理手順を示したフローチャートである。なお、以下の説明においては、操作装置１０がユーザーの顔の状態の変化を検出する際の基準となる初期状態をすでに認識しており、この初期状態を、例えば、記憶部３００に記憶しているものとして説明を行う。
【００２０】
操作装置１０が動作を開始すると、まず、制御部１００は、撮像部２００を起動する（ステップＳ１０１）。そして、制御部１００は、撮像部２００に、接続されているカメラによって画像を撮影させる（ステップＳ１０２）。これにより、撮像部２００は、撮影した画像を記憶部３００に記憶する。
【００２１】
続いて、制御部１００は、記憶部３００に記憶された画像を読み出し、顔認識部１１０によって読み出した画像に含まれるユーザーの顔に対する顔認識処理を行う。そして、制御部１００は、顔認識部１１０によって読み出した画像に含まれるユーザーの顔を認識することができたか否かを判定する（ステップＳ１０４）。
【００２２】
ステップＳ１０４の判定の結果、ユーザーの顔を認識することができないと判定した場合（ステップＳ１０４の“ＮＯ”）、制御部１００は、ステップＳ１０２に戻って、撮像部２００に、次の画像を撮影させ、ステップＳ１０３〜ステップＳ１０４までの処理を繰り返す。
【００２３】
一方、ステップＳ１０４の判定の結果、ユーザーの顔を認識することができた（このとき、顔認識部１１０からは、認識したユーザーの顔認識情報が顔向き検出部１２０に出力されている）と判定した場合（ステップＳ１０４の“ＹＥＳ”）、制御部１００は、顔向き検出部１２０によって認識したユーザーの顔の向きを検出する顔向き検出処理を行う（ステップＳ１０５）。なお、このステップＳ１０５の顔向き検出処理では、例えば、記憶部３００に記憶しているユーザーの顔の初期状態も用いる。これにより、顔向き検出部１２０は、検出したユーザーの顔向き情報を出力する。
【００２４】
続いて、制御部１００は、顔距離検出部１３０によって認識したユーザーの顔とカメラとの距離を検出する顔距離検出処理を行う（ステップＳ１０６）。このとき、顔認識部１１０からは、認識したユーザーの顔認識情報が顔距離検出部１３０に出力されている。なお、このステップＳ１０６の顔距離検出処理では、例えば、記憶部３００に記憶しているユーザーの顔の初期状態も用いる。これにより、顔距離検出部１３０は、検出したユーザーの顔距離情報を出力する。
【００２５】
続いて、制御部１００は、顔向き検出部１２０から出力された顔向き情報と、顔距離検出部１３０から出力された顔距離情報とが表しているユーザーの顔の状態が、予め設定されている操作対象機器に対する操作内容であるか否かを判定する（ステップＳ１０７）。なお、このステップＳ１０７の判定の処理は、制御部１００が、検出したユーザーの顔の状態と、例えば、記憶部３００に記憶されている操作情報とを比較することによって行う。そして、制御部１００は、現在比較しているユーザーの顔の状態が操作情報に含まれる場合には、ユーザーの顔の状態が操作対象機器に対する操作内容であると判定し、現在比較しているユーザーの顔の状態が操作情報に含まれない場合には、ユーザーの顔の状態が操作対象機器に対する操作内容ではないと判定する。
【００２６】
ステップＳ１０７の判定の結果、ユーザーの顔の状態が操作対象機器に対する操作内容であると判定した場合（ステップＳ１０７の“ＹＥＳ”）、制御部１００は、ステップＳ１０８において通信部４００を起動し、ユーザーの顔の状態に応じた操作を表す操作信号を、操作対象機器に伝送させる。そして、制御部１００は、ステップＳ１０９に進む。
【００２７】
一方、ステップＳ１０７の判定の結果、ユーザーの顔の状態が操作対象機器に対する操作内容ではないと判定した場合（ステップＳ１０７の“ＮＯ”）、制御部１００は、ステップＳ１０９に進む。
【００２８】
続いて、制御部１００は、操作対象機器の操作処理を続けるか否かを判定する（ステップＳ１０９）。ステップＳ１０９の判定の結果、操作対象機器の操作処理を続けると判定した場合（ステップＳ１０９の“ＹＥＳ”）、制御部１００は、ステップＳ１０２に戻って、撮像部２００に、次の画像を撮影させ、ステップＳ１０３〜ステップＳ１０８までの処理を繰り返す。一方、ステップＳ１０９の判定の結果、操作対象機器の操作処理を続けないと判定した場合（ステップＳ１０９の“ＮＯ”）、制御部１００は、操作対象機器に対する操作処理を終了する。
【００２９】
このような構成および処理手順によって、操作装置１０は、撮像部２００に備えたカメラによって撮影したそれぞれの画像からユーザーの顔の状態の変化を検出し、検出したユーザーの顔の状態に基づいて、ユーザーが所望する操作を操作対象機器に出力する。
【００３０】
なお、図１に示した操作装置１０の構成では、顔認識部１１０と、顔向き検出部１２０と、顔距離検出部１３０とを、制御部１００内に構成した場合について説明した。しかし、顔認識部１１０と、顔向き検出部１２０と、顔距離検出部１３０とのそれぞれは、制御部１００の構成要素ではなく、操作装置１０の構成要素、つまり、顔認識部１１０と、顔向き検出部１２０と、顔距離検出部１３０とのそれぞれを、制御部１００と接続される構成要素として操作装置１０内に備える構成であってもよい。
【００３１】
また、図２に示した操作装置１０の処理手順では、操作装置１０がユーザーの顔の初期状態をすでに認識している場合について説明した。しかし、操作装置１０がユーザーの顔の初期状態をすでに認識していない場合、最初のステップＳ１０７の処理において、顔向き検出部１２０から出力された顔向き情報と、顔距離検出部１３０から出力された顔距離情報とが表しているユーザーの顔の状態を、ユーザーの顔の初期状態とすることによって、例えば、記憶部３００にユーザーの顔の初期状態を記憶することができる。なお、操作装置１０に顔の初期状態を認識させるときに、ユーザーが予め定めた操作や手順を行う構成であってもよい。例えば、操作装置１０に顔の初期状態を認識させる指示を、ユーザーが音声で入力する構成であってもよい。
【００３２】
次に、操作装置１０においてユーザーの顔の変化を検出する処理について説明する。まず、顔認識部１１０における顔認識処理について説明する。図３は、本発明の実施形態の操作装置１０に備えた顔認識部１１０における顔認識の処理（顔認識処理）を説明する図である。図３には、撮像部２００によって撮影された画像に含まれるユーザーの顔のみの一例を示している。
【００３３】
顔認識部１１０は、図３に示したように、撮像部２００が撮影した画像に含まれるユーザーの顔全体の領域を抽出する。そして、顔認識部１１０は、抽出したユーザーの顔全体の領域に含まれる顔のそれぞれの部位を検出し、検出した顔の部位の位置を表す特徴点を、顔認識情報として顔向き検出部１２０および顔距離検出部１３０に出力する。図３には、ユーザーの「眉」、「目」（「瞳」、「目頭」、および「目尻」）、「鼻」（「鼻の頂点」および「小鼻」）、「口」（「口角」）、「下顎」、「耳」のそれぞれの位置を特徴点として検出した場合の一例を示している。なお、顔認識部１１０における顔全体の領域を抽出および顔の部位の特徴点の検出方法は、例えば、デジタルスチルカメラやデジタルビデオカメラなどにおいて一般的に用いられている、公知の顔検出および顔認識の技術を用いて行うことができるため、詳細な説明は省略する。
【００３４】
続いて、顔向き検出部１２０における顔向き検出処理について説明する。顔向き検出部１２０は、顔認識部１１０から入力されたユーザーの顔認識情報に基づいて、ユーザーの顔が正面を向いている状態を初期状態とし、ユーザーの顔が初期状態から上下および左右に傾いている割合によって、ユーザーの顔の向きの変化を検出する。
【００３５】
図４は、本発明の実施形態の操作装置１０に備えた顔向き検出部１２０における顔の向きの検出処理（顔向き検出処理）の一例を説明する図である。図４には、顔向き検出部１２０が、ユーザーの顔の向きが左右に傾いている状態を検出する場合の一例を示している。より具体的には、顔向き検出部１２０は、図４に示したように、顔認識部１１０から入力されたユーザーの顔認識情報に含まれる左右の「瞳」の位置を表す特徴点と、左右の「耳」の位置を表す特徴点とを用いて、ユーザーの顔が中心からずれている割合を判定することによって、ユーザーの顔の左右への傾きを検出する。
【００３６】
さらに具体的には、顔向き検出部１２０は、図４（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、左右の「耳」の位置を表す２つの特徴点の間の距離（長さ）を算出し、算出した２つの特徴点間の長さの１／２の位置、すなわち、中心の位置に、垂直方向に直線（以下「基準線Ｃ」という）を仮定する。そして、顔向き検出部１２０は、図４（ａ）に示したように、基準線Ｃとユーザーの左側の「耳」の特徴点との間の距離（長さ）を左側の距離（以下、「左距離」という）Ｌ１とし、基準線Ｃとユーザーの右側の「耳」の特徴点との間の距離（長さ）を右側の距離（以下、「右距離」という）Ｒ１とする。顔向き検出部１２０は、基準線Ｃの位置と、左距離Ｌ１および右距離Ｒ１のそれぞれが表す長さを、ユーザーの顔が正面を向いている状態を表す初期状態とする。
【００３７】
その後、顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左右の「瞳」と左右の「耳」とのそれぞれの位置を表す特徴点に基づいて、左距離Ｌ１および右距離Ｒ１のそれぞれの長さを逐次算出する。そして、顔向き検出部１２０は、図４（ａ）に示したように、左距離Ｌ１が表す長さと右距離Ｒ１が表す長さとが同じ長さ、または予め定めた短い長さの差以内である場合に、ユーザーの顔は正面を向いている状態であると判定する。また、顔向き検出部１２０は、図４（ｂ）に示したように、左距離Ｌ１が表す長さの方が、右距離Ｒ１が表す長さよりも長い場合には、ユーザーの顔は右方向を向いている状態であると判定する。また、顔向き検出部１２０は、図４（ｃ）に示したように、左距離Ｌ１が表す長さの方が、右距離Ｒ１が表す長さよりも短い場合には、ユーザーの顔は左方向を向いている状態であると判定する。
【００３８】
そして、顔向き検出部１２０は、左距離Ｌ１が表す長さと右距離Ｒ１が表す長さとの関係から、ユーザーの顔が右方向または左方向を向いている状態における角度θ、すなわち、ユーザーの顔の左右への傾きを検出する（図４（ｂ）および図４（ｃ）参照）。顔向き検出部１２０は、検出したユーザーの顔の左右への傾き（方向および角度θ）を表す情報を、ユーザーの顔の向きを表す顔向き情報として逐次出力する。
【００３９】
このような方法によって顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に基づいて、ユーザーの顔の基準線Ｃからのずれを逐次検出し、検出した結果を顔向き情報として逐次出力する。
【００４０】
なお、顔向き検出部１２０によるユーザーの顔の向きの検出方法は、図４に示した方法に限定されるものではなく、顔認識部１１０から逐次入力されるそれぞれの顔認識情報を用いた種々の方法が考えられる。図５〜図７は、本発明の実施形態の操作装置１０に備えた顔向き検出部１２０における顔の向きの検出処理（顔向き検出処理）の別の一例を説明する図である。なお、図５〜図７に示した一例においても、顔向き検出部１２０が、ユーザーの顔の向きが左右に傾いている状態を検出する場合を示している。
【００４１】
図５に示した一例は、顔向き検出部１２０が、顔認識部１１０から入力されたユーザーの顔認識情報に含まれる左右の「瞳」の位置を表す特徴点を用いて、ユーザーの顔が中心からずれている割合を判定することによって、ユーザーの顔の左右への傾きを検出する方法である。
【００４２】
より具体的には、顔向き検出部１２０は、図５（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、左右の「瞳」の位置を表す２つの特徴点の間の長さを算出し、図４（ａ）に示した一例と同様に、算出した２つの特徴点間の長さの中心の位置に基準線Ｃを仮定する。そして、顔向き検出部１２０は、図５（ａ）に示したように、算出した２つの特徴点間の長さの中心の位置に、中心点Ｍ１を設定する。顔向き検出部１２０は、中心点Ｍ１の位置が基準線Ｃ上にある状態を、ユーザーの顔が正面を向いている状態を表す初期状態とする。
【００４３】
その後、顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左右の「瞳」のそれぞれの位置を表す特徴点に基づいて、中心点Ｍ１の位置を逐次算出する。そして、顔向き検出部１２０は、図５（ａ）に示したように、中心点Ｍ１の位置が基準線Ｃ上にある、または予め定めた小さい角度以内のずれである場合に、ユーザーの顔は正面を向いている状態であると判定する。また、顔向き検出部１２０は、図５（ｂ）に示したように、中心点Ｍ１の位置が、基準線Ｃから右側に予め定めた角度θ以上ずれていることを検出した場合には、ユーザーの顔は右方向を向いている状態であると判定する。また、顔向き検出部１２０は、図５（ｃ）に示したように、中心点Ｍ１の位置が、基準線Ｃから左側に予め定めた角度θ以上ずれていることを検出した場合には、ユーザーの顔は左方向を向いている状態であると判定する。そして、顔向き検出部１２０は、判定したユーザーの顔の向きと、検出した角度θとの情報を、ユーザーの顔の向きを表す顔向き情報として逐次出力する。
【００４４】
このように、顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に基づいて、ユーザーの顔の基準線Ｃからの中心点Ｍ１のずれを逐次検出することによっても、ユーザーの顔の左右への傾きを検出することができる。
【００４５】
また、図６に示した一例は、顔向き検出部１２０が、顔認識部１１０から入力されたユーザーの顔認識情報に含まれるいずれか一方の「瞳」の位置を表す特徴点を用いて、ユーザーの顔が中心からずれている割合を判定することによって、ユーザーの顔の左右への傾きを検出する方法である。図６に示した一例では、左側の「瞳」の位置を表す特徴点に基づいてユーザーの顔の左右への傾きを検出する場合の一例を示している。
【００４６】
より具体的には、顔向き検出部１２０は、図６（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、図４（ａ）に示した一例と同様に、左右の「耳」の位置を表す２つの特徴点に基づいて基準線Ｃを仮定する。そして、顔向き検出部１２０は、図６（ａ）に示したように、基準線Ｃと左側の「瞳」の特徴点との間の長さを左距離Ｌ２とする。顔向き検出部１２０は、左距離Ｌ２が表す長さを、ユーザーの顔が正面を向いている状態を表す初期状態とする。
【００４７】
その後、顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左側の「瞳」の位置を表す特徴点に基づいて、左距離Ｌ２（以下、初期状態の左距離Ｌ２と区別するため、「左距離Ｌ２１」という）の長さを逐次算出する。そして、顔向き検出部１２０は、図６（ａ）に示したように、算出した左距離Ｌ２１が表す長さが、初期状態の左距離Ｌ２が表す長さと同じ長さ、または予め定めた短い長さの差以内である場合に、ユーザーの顔は正面を向いている状態であると判定する。また、顔向き検出部１２０は、図６（ｂ）に示したように、左距離Ｌ２１が表す長さの方が、左距離Ｌ２が表す長さよりも短い場合には、ユーザーの顔は右方向を向いている状態であると判定する。また、顔向き検出部１２０は、図６（ｃ）に示したように、左距離Ｌ２１が表す長さの方が、左距離Ｌ２が表す長さよりも長い場合には、ユーザーの顔は左方向を向いている状態であると判定する。
【００４８】
そして、顔向き検出部１２０は、左距離Ｌ２１が表す長さから、ユーザーの顔が右方向または左方向を向いている状態における角度θ（ユーザーの顔の左右への傾き）を検出する（図６（ｂ）および図６（ｃ）参照）。顔向き検出部１２０は、図４（ａ）に示した一例と同様に、ユーザーの顔の向きと角度θとの情報を顔向き情報として逐次出力する。
【００４９】
このように、顔向き検出部１２０は、顔認識部１１０から逐次入力される顔認識情報に、対となる特徴点の情報が含まれていない場合でも、いずれか一方の特徴点の情報に基づいて、ユーザーの顔の基準線Ｃからのずれを逐次検出することによっても、ユーザーの顔の左右への傾きを検出することができる。なお、図６に示した一例では、左側の「瞳」の位置を表す特徴点に基づいてユーザーの顔の左右への傾きを検出する場合について説明したが、同様に考えることによって、右側の「瞳」の位置を表す特徴点に基づいても、ユーザーの顔の左右への傾きを検出することができる。
【００５０】
また、図７に示した一例は、例えば、ユーザーがサングラスなどのメガネを着用していることによって、顔認識部１１０から入力されたユーザーの顔認識情報に左右の「瞳」の位置を表す特徴点が含まれていない場合に、顔向き検出部１２０がユーザーの顔の左右への傾きを検出する一例である。図７に示した一例では、顔向き検出部１２０が、顔認識情報に含まれる左右の「口角」の位置を表す特徴点を用いて、ユーザーの顔が中心からずれている割合を判定し、ユーザーの顔の左右への傾きを検出する。
【００５１】
より具体的には、顔向き検出部１２０は、図７（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、左右の「口角」の位置を表す２つの特徴点の間の長さを算出することによって、図４（ａ）に示した一例と同様に、算出した２つの特徴点間の長さの中心の位置に基準線Ｃを仮定する。そして、顔向き検出部１２０は、図７（ａ）に示したように、算出した２つの特徴点間の長さの中心の位置に、図５（ａ）に示した一例と同様に、中心点Ｍ２を設定する。顔向き検出部１２０は、中心点Ｍ２の位置が基準線Ｃ上にある状態を、ユーザーの顔が正面を向いている状態を表す初期状態とする。
【００５２】
その後、顔向き検出部１２０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左右の「口角」のそれぞれの位置を表す特徴点に基づいて、中心点Ｍ２の位置を逐次算出する。そして、顔向き検出部１２０は、図７（ａ）に示したように、中心点Ｍ２の位置が基準線Ｃ上にある、または予め定めた小さい角度以内のずれである場合に、ユーザーの顔は正面を向いている状態であると判定する。また、顔向き検出部１２０は、図７（ｂ）に示したように、中心点Ｍ２の位置が、基準線Ｃから右側に予め定めた角度θ以上ずれていることを検出した場合には、ユーザーの顔は右方向を向いている状態であると判定する。また、顔向き検出部１２０は、図７（ｃ）に示したように、中心点Ｍ２の位置が、基準線Ｃから左側に予め定めた角度θ以上ずれていることを検出した場合には、ユーザーの顔は左方向を向いている状態であると判定する。そして、顔向き検出部１２０は、図５に示した一例と同様に、判定したユーザーの顔の向きと、検出した角度θとの情報を、ユーザーの顔の向きを表す顔向き情報として逐次出力する。
【００５３】
このように、顔向き検出部１２０は、顔認識部１１０から逐次入力される顔認識情報に、いずれかの特徴点の情報が含まれていない場合でも、それぞれの顔認識情報に含まれる他の特徴点の情報に基づいて、ユーザーの顔の基準線Ｃからの中心点Ｍ２のずれを逐次検出することによっても、ユーザーの顔の左右への傾きを検出することができる。なお、図７に示した一例では、左右の「口角」の位置を表す特徴点を用いてユーザーの顔の左右への傾きを検出する場合について説明したが、例えば、ユーザーが着用しているメガネのレンズの端部の位置や形状を表す特徴点の情報が顔認識部１１０から入力された顔認識情報に含まれている場合には、メガネの特徴点を用いてユーザーの顔の左右への傾きを検出することもできる。例えば、顔向き検出部１２０は、メガネの形状の特徴点から２つのレンズの間の中心点を算出し、基準線と算出した中心点との位置関係から、ユーザーの顔が中心からずれている割合を判定して、ユーザーの顔の左右への傾きを検出することもできる。
【００５４】
このように、顔向き検出部１２０は、顔認識部１１０から入力される顔認識情報に含まれる特徴点の情報に基づいて、ユーザーの顔の向きの変化を検出する。なお、顔向き検出部１２０における顔向き検出処理について、いくつかの例を説明したが、顔向き検出部１２０によるユーザーの顔の向きの検出方法は、図４〜図７に示した方法に限定されるものではない。例えば、顔向き検出部１２０が、顔認識部１１０から入力される顔認識情報に含まれる他の特徴点の情報を用いる場合でも、同様に考えることによって顔向き検出処理を行うことができる。また、例えば、顔向き検出部１２０が、顔認識部１１０から入力される顔認識情報に含まれる顔の領域の特徴点を用いて、撮影した画像に含まれるユーザーの顔の領域の大きさや顔の領域の分布を判定することによっても、顔向き検出処理を行うことができる。また、例えば、図４〜図７に示した方法の一例とは異なる、既存の技術を用いて顔向き検出処理を行ってもよい。
【００５５】
また、図４〜図７では、ユーザーの顔の向きが左右に傾いている状態を検出する場合について説明したが、ユーザーの顔の向きが上下に傾いている状態を検出する場合であっても、顔向き検出部１２０による顔向き検出処理において適切な特徴点を用いることによって、同様に考えることができる。例えば、左右の「瞳」の位置を表す特徴点を結ぶ水平方向の直線を基準線として仮定し、この基準線と「鼻の頂点」の位置を表す特徴点との間の距離（長さ）に基づいて、ユーザーの顔の上下への傾きを検出することができる。従って、顔向き検出部１２０によるユーザーの顔の向きの上下への傾きを検出する方法の一例に関しての説明は省略する。
【００５６】
続いて、顔距離検出部１３０における顔距離検出処理について説明する。顔距離検出部１３０は、顔認識部１１０から入力されたユーザーの顔認識情報に基づいて、ユーザーの顔が正面を向いている現在の位置を初期状態とし、ユーザーの顔が初期状態から前後（手前、奥）方向に移動している割合によって、ユーザーの顔のカメラとの距離の変化を検出する。
【００５７】
図８は、本発明の実施形態の操作装置１０に備えた顔距離検出部１３０における顔の距離の検出処理（顔距離検出処理）の一例を説明する図である。図８には、顔距離検出部１３０が、ユーザーの顔とカメラとの距離とが離れる方向に変化している状態を検出する場合の一例を示している。より具体的には、顔距離検出部１３０は、図８に示したように、顔認識部１１０から入力されたユーザーの顔認識情報に含まれる顔の領域の特徴点を用いて、撮影した画像に含まれるユーザーの顔の大きさを判定することによって、カメラの位置とユーザーの顔の位置との距離を検出する。
【００５８】
さらに具体的には、顔距離検出部１３０は、図８（ａ）に示したように、撮像部２００が撮影した画像の画角内にユーザーの顔全体が含まれている状態であるときに、顔の領域の特徴点から、顔の大きさを表す画素数（ピクセル数）を算出する。そして顔距離検出部１３０は、ここで算出した顔の大きさを表すピクセル数を初期状態（初期値）とする。なお、顔距離検出部１３０は、初期値とした顔の領域のピクセル数に基づいて、一般的に用いられている公知の顔検出の技術を用いて、例えば、カメラとユーザーの顔との実際の距離など、距離の絶対値を推定してもよい。
【００５９】
その後、顔距離検出部１３０は、顔認識部１１０から逐次入力される顔認識情報に含まれる顔の領域の特徴点に基づいて、撮像部２００によって今回撮影された画像の画角内に含まれるユーザーの顔の大きさを表すピクセル数を逐次算出する。そして、顔距離検出部１３０は、初期値としたピクセル数と今回算出したピクセル数との差に基づいて、ユーザーの顔の位置とカメラの位置との距離の変化を判定する。例えば、図８（ｂ）に示したように、今回算出したユーザーの顔の大きさのピクセル数が、初期値とした顔の大きさのピクセル数よりも少なくなっている場合、顔距離検出部１３０は、ユーザーの顔とカメラとの距離とが離れる方向に変化していると判定する。なお、顔距離検出部１３０が距離の絶対値を推定している場合、初期値としたピクセル数と今回算出したピクセル数との差に基づいて、カメラとユーザーの顔との距離の変化量を相対的な距離として推定してもよい。顔距離検出部１３０は、検出したカメラの位置とユーザーの顔の位置との距離を表す情報を、ユーザーの顔の距離を表す顔距離情報として逐次出力する。
【００６０】
このような方法によって顔距離検出部１３０は、顔認識部１１０から逐次入力される顔認識情報に基づいて、カメラの位置とユーザーの顔の位置との距離の変化を逐次検出し、検出した結果を顔距離情報として逐次出力する。
【００６１】
なお、顔距離検出部１３０によるユーザーの顔のカメラとの距離の変化の検出方法は、図８に示した方法に限定されるものではなく、顔認識部１１０から逐次入力されるそれぞれの顔認識情報を用いた種々の方法が考えられる。図９〜図１１は、本発明の実施形態の操作装置１０に備えた顔距離検出部１３０におけるユーザーの顔のカメラとの距離の変化の検出処理（顔距離検出処理）の別の一例を説明する図である。なお、図９〜図１１に示した一例においても、顔距離検出部１３０が、ユーザーの顔とカメラとの距離とが離れる方向に変化している状態を検出する場合を示している。なお、図９〜図１１には、撮像部２００が撮影した画像の画角を併せて示している。
【００６２】
図９に示した一例は、顔距離検出部１３０が、顔認識部１１０から入力されたユーザーの顔認識情報に含まれる左右の「瞳」の位置を表す特徴点を用いて左右の「瞳」の距離を判定し、ユーザーの顔のカメラとの距離の変化を検出する方法である。
【００６３】
より具体的には、顔距離検出部１３０は、図９（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、左右の「瞳」の位置を表す２つの特徴点の間の距離（長さ）を算出し、算出した２つの特徴点間の距離（長さ）を距離Ｄ１とする。そして、顔距離検出部１３０は、距離Ｄ１を初期値とする。なお、顔距離検出部１３０は、初期値とした距離Ｄ１に基づいて、カメラとユーザーの顔との距離の絶対値を推定してもよい。
【００６４】
その後、顔距離検出部１３０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左右の「瞳」のそれぞれの位置を表す特徴点に基づいて、左右の「瞳」の間の距離Ｄ１（以下、初期値とした距離Ｄ１と区別するため、「距離Ｄ１１」という）を逐次算出する。そして、顔距離検出部１３０は、初期値とした距離Ｄ１と今回算出した距離Ｄ１１との差に基づいて、ユーザーの顔の位置とカメラの位置との距離の変化を判定する。例えば、図９（ｂ）に示したように、今回算出したユーザーの顔の距離Ｄ１１が、初期値としたユーザーの顔の距離Ｄ１よりも短くなっている場合、顔距離検出部１３０は、ユーザーの顔とカメラとの距離とが離れる方向に変化していると判定する。そして、顔距離検出部１３０は、判定したカメラの位置とユーザーの顔の位置との距離を表す情報を、ユーザーの顔の距離を表す顔距離情報として逐次出力する。
【００６５】
このように、顔距離検出部１３０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左右の「瞳」の位置を表す特徴点に基づいて、２つの特徴点の間の距離（長さ）を算出することによっても、カメラとユーザーの顔との距離を検出することができる。
【００６６】
また、図１０に示した一例は、顔距離検出部１３０が、顔認識部１１０から入力されたユーザーの顔認識情報に含まれるいずれか一方の「目」の「目頭」および「目尻」の位置を表す特徴点を用いて「目」の大きさを判定し、ユーザーの顔のカメラとの距離の変化を検出する方法である。図１０には、左側の「目」の特徴点に基づいてユーザーの顔のカメラとの距離の変化を検出する場合の一例を示している。
【００６７】
より具体的には、顔距離検出部１３０は、図１０（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、図９に示した一例と同様に、左側の「目」の「目頭」および「目尻」の位置を表す２つの特徴点の間の距離（長さ）、つまり、左側の「目」の大きさを表す距離Ｄ２を算出して初期値とする。なお、顔距離検出部１３０は、図９に示した一例と同様に、初期値とした距離Ｄ２に基づいて、カメラとユーザーの顔との距離の絶対値を推定してもよい。
【００６８】
その後、顔距離検出部１３０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれる左側の「目」の「目頭」および「目尻」の位置を表す特徴点に基づいて、左側の「目」の大きさを表す距離Ｄ２（以下、初期値とした距離Ｄ２と区別するため、「距離Ｄ２１」という）を逐次算出する。そして、顔距離検出部１３０は、初期値とした距離Ｄ２と今回算出した距離Ｄ２１との差に基づいて、ユーザーの顔の位置とカメラの位置との距離の変化を判定する。例えば、図１０（ｂ）に示したように、今回算出したユーザーの左側の「目」の大きさを表す距離Ｄ２１が、初期値としたユーザーの左側の「目」の大きさを表す距離Ｄ２よりも短くなっている場合、顔距離検出部１３０は、ユーザーの顔とカメラとの距離とが離れる方向に変化していると判定する。そして、顔距離検出部１３０は、図９に示した一例と同様に、判定したカメラの位置とユーザーの顔の位置との距離を表す情報を顔距離情報として逐次出力する。
【００６９】
このように、顔距離検出部１３０は、顔認識部１１０から逐次入力される顔認識情報に、左右の「瞳」の間の距離（長さ）を算出するために対となる２つの「瞳」の位置を表す特徴点の情報が含まれていない場合でも、いずれか一方の「目」の大きさを表す特徴点の情報に基づいて、カメラとユーザーの顔との距離を検出することができる。なお、図１０に示した一例では、左側の「目」の大きさを算出するための特徴点に基づいてカメラとユーザーの顔との距離を検出する場合について説明したが、同様に考えることによって、右側の「目」の大きさを算出するための特徴点に基づいても、カメラとユーザーの顔との距離を検出することができる。
【００７０】
また、図１１に示した一例は、例えば、ユーザーがサングラスなどのメガネを着用していることによって、顔認識部１１０から入力されたユーザーの顔認識情報に、左右の「瞳」の間の距離（長さ）を算出するための左右の「瞳」の位置を表す特徴点や、いずれか一方の「目」の大きさを算出するための「目頭」および「目尻」の位置を表す特徴点が含まれていない場合において、顔距離検出部１３０がユーザーの顔のカメラとの距離の変化を検出する方法を示している。図１１では、顔距離検出部１３０が、顔認識情報に含まれるメガネのレンズの「端部」の位置を表す特徴点を用いて、ユーザーの顔のカメラとの距離の変化を検出する場合の一例を示している。
【００７１】
より具体的には、顔距離検出部１３０は、図１１（ａ）に示したように、ユーザーの顔の向きが正面を向いている状態であるときに、メガネの左右のレンズの「端部」の位置を表す２つの特徴点の間の距離（長さ）を算出して初期値とする。図１１（ａ）には、メガネの左側のレンズの左側の「端部」の位置を表す特徴点と、メガネの右側のレンズの右側の「端部」の位置を表す特徴点との間の距離Ｄ３を算出して初期値とする場合の一例を示している。なお、顔距離検出部１３０は、図９に示した一例と同様に、初期値とした距離Ｄ３に基づいて、カメラとユーザーの顔との距離の絶対値を推定してもよい。
【００７２】
その後、顔距離検出部１３０は、顔認識部１１０から逐次入力されるそれぞれの顔認識情報に含まれるメガネの左側のレンズの左側の「端部」の位置を表す特徴点と、メガネの右側のレンズの右側の「端部」の位置を表す特徴点とに基づいて、２つの特徴点間の距離Ｄ３（以下、初期値とした距離Ｄ３と区別するため、「距離Ｄ３１」という）を逐次算出する。そして、顔距離検出部１３０は、初期値とした距離Ｄ３と今回算出した距離Ｄ３１との差に基づいて、ユーザーの顔の位置とカメラの位置との距離の変化を判定する。例えば、図１１（ｂ）に示したように、今回算出したユーザーが着用しているメガネの両端の距離を表す距離Ｄ３１が、初期値としたメガネの両端の距離を表す距離Ｄ３よりも短くなっている場合、顔距離検出部１３０は、ユーザーの顔とカメラとの距離とが離れる方向に変化していると判定する。そして、顔距離検出部１３０は、図９に示した一例と同様に、判定したカメラの位置とユーザーの顔の位置との距離を表す情報を顔距離情報として逐次出力する。
【００７３】
このように、顔距離検出部１３０は、顔認識部１１０から逐次入力される顔認識情報に、ユーザーの顔の部位の特徴点の情報が含まれていない場合でも、それぞれの顔認識情報に含まれる他の特徴点の情報に基づいて、カメラとユーザーの顔との距離を検出することができる。なお、図１１に示した一例では、ユーザーが着用しているメガネの左側のレンズの左側の「端部」の位置を表す特徴点と、メガネの右側のレンズの右側の「端部」の位置を表す特徴点とから距離Ｄ３を算出する場合について説明したが、例えば、ユーザーが着用しているメガネのいずれか一方のレンズの「端部」の位置を表す２つの特徴点の間の距離を算出することもできる。例えば、図１１（ａ）に示したように、メガネの左側のレンズの左右の「端部」の位置を表す２つの特徴点の間の距離Ｄ４を算出することによっても同様に、カメラとユーザーの顔との距離を検出することができる。また、例えば、左右の「口角」の位置を表す２つの特徴点の間の距離を算出することによっても同様に、カメラとユーザーの顔との距離を検出することができる。
【００７４】
このように、顔距離検出部１３０は、顔認識部１１０から入力される顔認識情報に含まれる特徴点の情報に基づいて、カメラの位置とユーザーの顔の位置との距離の変化を検出する。なお、顔距離検出部１３０における顔距離検出処理について、いくつかの例を説明したが、顔距離検出部１３０によるカメラとユーザーの顔との距離の検出方法は、図８〜図１１に示した方法に限定されるものではない。例えば、顔距離検出部１３０が、顔認識部１１０から入力される顔認識情報に含まれる他の特徴点の情報を用いる場合でも、同様に考えることによって顔距離検出処理を行うことができる。また、例えば、図８〜図１１に示した方法の一例とは異なる、既存の技術を用いて顔距離検出処理を行ってもよい。
【００７５】
また、図８〜図１１では、ユーザーの顔とカメラとの距離とが離れる方向に変化している状態を検出する場合について説明したが、ユーザーの顔とカメラとの距離とが近づく方向に変化している状態を検出する場合であっても、顔距離検出部１３０による顔距離検出処理において適切な特徴点を用いることによって、同様に考えることができる。従って、顔距離検出部１３０によるユーザーの顔とカメラとの距離とが近づく方向に変化している状態を検出する方法の一例に関しての説明は省略する。
【００７６】
＜具体例＞
次に、操作装置１０によって操作対象機器を操作する具体例について説明する。以下の説明においては、操作装置１０が車両に搭載され、操作装置１０のユーザーが車両を運転しているときに、車両に搭載された操作対象機器に対する操作を行う場合の一例について説明する。ここで、車両に搭載された操作対象機器は、例えば、エアコンなどの空調機器と、ラジオなどのオーディオ機器とであり、エアコンの設定温度の変更、ラジオのチャンネルの変更、およびラジオの音量の変更を、操作装置１０によって行う場合について説明する。なお、以下の説明においては、操作装置１０がユーザーの顔の初期状態をすでに認識しているものとして説明を行う。
【００７７】
図１２は、本発明の実施形態の操作装置１０と検出する（ユーザーの）顔との距離の一例を模式的に示した図である。なお、図１２には、操作装置１０内の撮像部２００に備えたカメラ２０１の位置とユーザーの顔の位置との距離を示している。以下の説明においては、カメラ２０１の位置とユーザーの顔の位置との距離の値が、図１２（ａ）に示したような距離Ｄ１（例えば、４０［ｃｍ］）であり、ユーザーの顔が正面を向いている状態を初期状態とする。そして、カメラ２０１の位置とユーザーの顔の位置との距離の値が、図１２（ｂ）に示したような距離Ｄ１１（例えば、３５［ｃｍ］）であるときに、ユーザーの顔の向きの変化によってエアコンの設定温度を変更する操作を行うものとする。また、カメラ２０１の位置とユーザーの顔の位置との距離の値が、図１２（ｃ）に示したような距離Ｄ１２（例えば、３０［ｃｍ］）であるときに、ユーザーの顔の向きの変化によってラジオのチャンネルを変更する操作を行うものとする。また、カメラ２０１の位置とユーザーの顔の位置との距離の値が、図１２（ｄ）に示したような距離Ｄ１３（例えば、２５［ｃｍ］）であるときに、ユーザーの顔の向きの変化によってラジオの音量を変更する操作を行うものとする。
【００７８】
図１３は、本発明の実施形態の操作装置１０が検出した（ユーザーの）顔の状態によって操作する内容（操作情報）の一例を示した図である。図１３に示した操作情報は、例えば、記憶部３００に記憶されている。
【００７９】
図１３（ａ）には、操作装置１０が検出したカメラ２０１とユーザーの顔との距離の値、およびユーザーの顔の向きをそれぞれ変数（パラメータ）として、それぞれのパラメータの組み合わせで、車両に搭載された操作対象機器を操作する場合の操作情報の一例を示している。より具体的には、顔距離検出部１３０が、カメラ２０１の位置とユーザーの顔の位置とが距離Ｄ１１（図１２（ｂ）参照）であることを表す顔距離情報を出力し、顔向き検出部１２０が、ユーザーの顔の向きが左方向であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ａ）に示した操作情報に基づいて、設定温度を１［℃］下げる操作を表す操作信号を、通信部４００を介してエアコンに伝送する。同様に、顔距離検出部１３０が、カメラ２０１の位置とユーザーの顔の位置とが距離Ｄ１１であることを表す顔距離情報を出力し、顔向き検出部１２０が、ユーザーの顔の向きが右方向であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ａ）に示した操作情報に基づいて、設定温度を１［℃］上げる操作を表す操作信号をエアコンに伝送する。また、例えば、顔距離検出部１３０が、カメラ２０１の位置とユーザーの顔の位置とが距離Ｄ１２（図１２（ｃ）参照）であることを表す顔距離情報を出力し、顔向き検出部１２０が、ユーザーの顔の向きが左方向であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ａ）に示した操作情報に基づいて、ラジオのチャンネルを１つ前に設定する操作を表す操作信号を、通信部４００を介してラジオに伝送する。また、例えば、顔距離検出部１３０が、カメラ２０１の位置とユーザーの顔の位置とが距離Ｄ１３（図１２（ｄ）参照）であることを表す顔距離情報を出力し、顔向き検出部１２０が、ユーザーの顔の向きが右方向であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ａ）に示した操作情報に基づいて、ラジオの音量を１つ上げる操作を表す操作信号を、通信部４００を介してラジオに伝送する。
【００８０】
また、図１３（ｂ）には、操作装置１０が検出したカメラ２０１とユーザーの顔との距離の値、およびユーザーの顔の向きと角度θの値の組み合わせをそれぞれ（パラメータ）として、それぞれのパラメータの組み合わせで、車両に搭載された操作対象機器を操作する場合の操作情報の一例を示している。なお、図１３（ｂ）には、顔距離検出部１３０が、カメラ２０１の位置とユーザーの顔の位置とが距離Ｄ１３（図１２（ｄ）参照）であることを表す顔距離情報を出力した場合のみの操作情報の一例を示している。そして、図１３（ｂ）では、図１３（ａ）においてカメラ２０１の位置とユーザーの顔の位置とが距離Ｄ１３である場合に操作した、ラジオの音量を変更する操作の一例を示している。より具体的には、顔向き検出部１２０が、ユーザーの顔の向きが左方向であり、その角度θの値が２０度であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ｂ）に示した操作情報に基づいて、ラジオの音量を２つ下げる操作を表す操作信号を、通信部４００を介してラジオに伝送する。同様に、顔向き検出部１２０が、ユーザーの顔の向きが左方向であり、その角度θの値が１０度であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ｂ）に示した操作情報に基づいて、ラジオの音量を１つ下げる操作を表す操作信号をラジオに伝送する。また、例えば、顔向き検出部１２０が、ユーザーの顔の向きが右方向であり、その角度θの値が２０度であることを表す顔向き情報出力した場合、操作装置１０は、図１３（ｂ）に示した操作情報に基づいて、ラジオの音量を２つ上げる操作を表す操作信号を、通信部４００を介してラジオに伝送する。
【００８１】
なお、上述した操作装置１０による操作対象機器の操作の一例では、ユーザーの顔の左右方向の向きをパラメータとしてそれぞれの操作対象機器を操作する場合を示している。しかし、ユーザーの顔の上下方向の向き（角度θの値を合わせてもよい）をパラメータとしたり、左右方向と上下方向の組み合わせ（角度θの値を合わせてもよい）をパラメータとしたりした場合でも、同様に操作情報を考えることができる。
【００８２】
また、上述した操作装置１０による操作対象機器の操作の一例では、顔向き検出部１２０が検出したユーザーの顔の角度θの値、および顔距離検出部１３０が検出したカメラ２０１の位置とユーザーの顔の位置との距離の値が、それぞれの１つの値である場合について説明した。しかし、ユーザーが顔の位置を常に同じ位置にすることができるとは限らない。このため、操作装置１０では、ユーザーの顔の角度θの値や、カメラ２０１の位置とユーザーの顔の位置との距離の値に予め定めた範囲を持たせ、この範囲内の値を同じ値であるものとして処理する構成にしてもよい。
【００８３】
また、操作装置１０は、検出したユーザーの顔の位置が、どの操作対象機器に対する操作を行うことができるかを表す情報を、例えば、音声などによってユーザーに通知してもよい。例えば、図１３（ａ）に示した一例において、ユーザーの顔の向きが正面（初期状態）であるときに、カメラ２０１の位置とユーザーの顔の位置との距離が距離Ｄ１（初期状態）ではないことを検出した場合、検出した距離の値に応じて、操作対象機器の名称を音声で通知するようにしてもよい。また、操作装置１０から操作信号が伝送された操作対象機器が、伝送された操作信号に応じて設定を変更したことや、変更した設定の内容を表す情報を、例えば、音声などによってユーザーに通知してもよい。
【００８４】
上記に述べたとおり、本発明を実施するための形態によれば、操作装置１０内の撮像部２００に備えたカメラ２０１が短い所定の時間間隔で撮影したそれぞれの画像から、ユーザーの顔の状態やその変化を検出する。より具体的には、顔距離検出部１３０が、カメラ２０１の位置とユーザーの顔の位置との距離を検出し、顔向き検出部１２０が、ユーザーの顔の向きと角度θとを検出する。そして、本発明を実施するための形態によれば、検出したユーザーの顔の状態に応じた操作信号を、操作対象機器に伝送する。これにより、ユーザーは、操作対象の機器を直接操作することができない状況においても、視線を外すことなく顔の位置や向きを変えることによって、機器に対する所望の操作を行うことができる。
【００８５】
なお、本発明を実施するための形態では、カメラ２０１によってユーザーの顔が正面を向いている状態を撮影することができるものとして説明した。しかし、例えば、車両に設置されるカメラ２０１の位置によっては、カメラ２０１とユーザーの顔の実際の位置関係から、カメラ２０１がユーザーの顔を正面から撮影することができず、ユーザーの顔が正面を向いている状態を撮影して初期状態とすることができない場合も考えられる。この場合、操作装置１０は、初期状態とするユーザーの顔が正面を向いている状態を、カメラ２０１が設置されている位置に応じて補正する。
【００８６】
より具体的には、図１４（ａ）に示したように、車両に設置されるカメラ２０１が、ユーザーの顔を正面から撮影することができる位置に設置されている場合には、ユーザーの顔が正面を向いている状態を初期状態とすることができる。しかしながら、図１４（ｂ）に示したように、カメラ２０１が車両の運転席を正面から撮影する位置に設置されていないなど、カメラ２０１がユーザーの顔を正面から撮影することができない位置に設置されている場合には、ユーザーの顔が正面を向いている状態を初期状態とすることができない。そこで、顔向き検出部１２０および顔距離検出部１３０は、例えば、カメラ２０１とユーザーの顔の実際の位置関係が図１４（ｂ）に示したような状態である場合、ユーザーの顔が少し左方向に傾いている状態の角度を、ユーザーの顔が正面を向いている初期状態の顔の角度とするように補正する。そして、顔向き検出部１２０および顔距離検出部１３０は、補正した初期状態を基準として、例えば、上述した方法で顔向き検出処理および顔距離検出処理を行う。これにより、操作装置１０は、カメラ２０１がユーザーの顔を正面から撮影することができない場合でも、ユーザーの顔の向きの変化や、カメラの位置とユーザーの顔の位置との距離の変化を検出して、検出したユーザーの顔の状態に応じた操作信号を操作対象機器に伝送することができる。なお、ユーザーの顔の向きの補正は、一般的に用いられている、公知の顔検出および顔認識の技術を用いて行うことができるため、詳細な説明は省略する。
【００８７】
また、本発明を実施するための形態では、操作装置１０が操作信号を伝送する操作対象機器が、車両に搭載されたエアコンなどの空調機器と、ラジオなどのオーディオ機器とである場合について説明した。しかし、操作装置１０が操作信号を伝送する操作対象機器は、本発明を実施するための形態において示した機器に限定されるものではない。例えば、車両に搭載されるナビゲーション機器などの走行案内機器や、ラジオ以外のオーディオ機器などであってもよい。また、操作装置１０が操作信号を伝送する操作対象機器は、車両に搭載される機器に限定されるものではなく、例えば、テレビなどの家庭内に設置される機器であっても同様に、本発明の考え方を適用することができる。
【００８８】
なお、例えば、図１に示した制御部１００や、制御部１００に備えた構成要素（例えば、顔認識部１１０、顔向き検出部１２０、および顔距離検出部１３０）による処理を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、本実施形態の操作装置１０に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００８９】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００９０】
また、本実施形態の操作装置１０の一部（例えば、図１に示した制御部１００や、制御部１００に備えた顔認識部１１０、顔向き検出部１２０、顔距離検出部１３０などの構成要素）、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。また、本実施形態の操作装置１０内の各構成要素は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【００９１】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【００９２】
なお、本発明は、次の態様でも実施することができる。
第１の態様の操作装置は、操作対象の機器における操作を制御する操作装置であって、顔を含んだ画像を撮影する撮像部と、前記画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識部と、前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出部と、前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出部と、前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御部と、を備える。
【００９３】
また、第２の態様によれば、上記第１の態様の操作装置において、前記顔向き検出部は、前記顔の向きが、予め定めた顔の向きの初期状態から変化したときの方向および角度の情報を前記顔向き情報として出力し、前記顔距離検出部は、前記撮像部と前記顔との間の距離が、予め定めた距離の初期状態から変化したときの距離の情報を前記顔距離情報として出力し、前記制御部は、前記顔向き情報に含まれる前記顔の方向および角度の組み合わせによって表される前記顔の向きの値と、前記顔距離情報に含まれる前記撮像部と前記顔との間の距離によって表される前記顔の距離の値との組み合わせに応じて予め定められた操作量を表す前記操作信号を、対応する前記機器に出力してもよい。
【００９４】
また、第３の態様によれば、上記第２の態様の操作装置において、前記操作情報は、前記顔の距離の値ごとに、操作対象の異なる前記機器が予め定められており、前記制御部は、前記顔距離情報に含まれる前記顔の距離の値に対応する前記機器に、前記顔の向きの値に対応する前記操作量を表す前記操作信号を出力してもよい。
【００９５】
また、第４の態様によれば、上記第２の態様または上記第３の態様の操作装置において、前記操作情報は、前記顔向き情報に含まれる前記顔の角度の値ごとに、同じ前記機器に対する前記操作量が予め定められており、前記制御部は、前記顔距離情報に含まれる前記顔の距離の値に対応する前記機器に、前記顔の角度の値に対応する前記操作量を表す前記操作信号を出力してもよい。
【００９６】
また、第５の態様によれば、上記第２の態様から上記第４の態様のいずれか一態様の操作装置において、前記顔認識情報は、少なくとも一方の目の位置を表す特徴点の情報を含み、前記顔向き検出部は、前記目の位置を表す特徴点に基づいて、前記顔の向きを検出し、前記顔距離検出部は、前記目の位置を表す特徴点に基づいて、前記撮像部と前記顔との間の距離を検出してもよい。
【００９７】
また、第６の態様によれば、上記第２の態様から上記第５の態様のいずれか一態様の操作装置において、前記顔認識情報に目の位置を表す特徴点の情報を含まず、メガネの位置を表す特徴点の情報を含む場合、前記顔向き検出部は、前記メガネの位置を表す特徴点に基づいて、前記顔の向きを検出し、前記顔距離検出部は、前記メガネの位置を表す特徴点に基づいて、前記撮像部と前記顔との間の距離を検出してもよい。
【００９８】
また、第７の態様によれば、上記第２の態様から上記第６の態様のいずれか一態様の操作装置において、前記顔認識情報は、前記顔の領域を表す特徴点の情報を含み、前記顔向き検出部は、前記顔の領域を表す特徴点に基づいて、前記顔の向きを検出し、前記顔距離検出部は、前記顔の領域を表す特徴点に基づいて、前記撮像部と前記顔との間の距離を検出してもよい。
【００９９】
また、第８の態様によれば、上記第２の態様から上記第７の態様のいずれか一態様の操作装置において、前記顔向き検出部および前記顔距離検出部は、前記撮像部が前記顔を撮影する際の角度に応じて、前記顔の向きを補正し、前記顔向き検出部は、補正した前記顔の向きに基づいて、前記顔の向きを検出し、前記顔距離検出部は、補正した前記顔の向きに基づいて、前記撮像部と前記顔との間の距離を検出してもよい。
【０１００】
また、第９の態様によれば、上記第２の態様から上記第８の態様のいずれか一態様の操作装置において、前記機器と通信を行う通信部、をさらに備え、前記制御部は、前記通信部を介して、前記操作信号を対象の前記機器に出力してもよい。
【０１０１】
また、第１０の態様の操作方法は、操作対象の機器における操作を制御する操作装置における操作方法であって、撮像部が撮影した顔を含んだ画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識ステップと、前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出ステップと、前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出ステップと、前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御ステップと、を含む。
【０１０２】
また、第１１の態様のプログラムは、操作対象の機器における操作を制御する操作装置のコンピュータに実行させるプログラムであって、撮像部が撮影した顔を含んだ画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識ステップと、前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出ステップと、前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出ステップと、前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御ステップと、をコンピュータに実行させる。
【０１０３】
また、第１２の態様の記録媒体は、操作対象の機器における操作を制御する操作装置のコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、撮像部が撮影した顔を含んだ画像に含まれる前記顔を認識し、該認識した前記顔の部位の位置を表す特徴点の情報を顔認識情報として出力する顔認識ステップと、前記顔認識情報に基づいて前記顔の向きを検出し、該検出した前記顔の向きを表す顔向き情報を出力する顔向き検出ステップと、前記顔認識情報に基づいて前記撮像部と前記顔との間の距離を検出し、該検出した距離を表す顔距離情報を出力する顔距離検出ステップと、前記顔の向きおよび前記撮像部と前記顔との間の距離に応じて予め定められた前記機器に対する操作内容を表す操作情報を参照し、前記顔向き情報と前記顔距離情報とに基づいて、対応する前記機器に対する操作を表す操作信号を、前記機器に出力する制御ステップと、をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【符号の説明】
【０１０４】
１０・・・操作装置
１００・・・制御部
１１０・・・顔認識部
１２０・・・顔向き検出部
１３０・・・顔距離検出部
２００・・・撮像部
２０１・・・カメラ（撮像部）
３００・・・記憶部
４００・・・通信部
Ｃ・・・基準線
Ｌ１，Ｌ２，Ｌ２１・・・左距離
Ｒ１・・・右距離
θ・・・角度
Ｍ１，Ｍ２・・・中心点
Ｄ１，Ｄ１１，Ｄ２，Ｄ２１，Ｄ３，Ｄ３１，Ｄ４・・・距離
【図１】
2016162164.tif 000003
【図２】
2016162164.tif 000004
【図３】
2016162164.tif 000005
【図４】
2016162164.tif 000006
【図５】
2016162164.tif 000007
【図６】
2016162164.tif 000008
【図７】
2016162164.tif 000009
【図８】
2016162164.tif 000010
【図９】
2016162164.tif 000011
【図１０】
2016162164.tif 000012
【図１１】
2016162164.tif 000013
【図１２】
2016162164.tif 000014
【図１３】
2016162164.tif 000015
【図１４】
2016162164.tif 000016