(57)【要約】【課題】簡潔な構造と処理で操作を入力する装置。【解決手段】操作入力装置であって、使用者を撮像する撮像部が撮像した撮像画像から、使用者の手または指の見かけの大きさの時間的変化を算出する変化算出部と、変化算出部により算出された時間的変化に基づいて予め定められた操作を特定し、特定した操作に対応する命令信号を操作対象機器へ出力する操作特定部とを備える。上記操作入力装置において、変化算出部は、撮像画像における使用者の手または指の見かけの表と裏との間の変化を検出し、操作特定部は、変化算出部により検出された手または指の見かけの表と裏との間の変化を基に操作を特定する。【選択図】図４
2013200784.tif 000002
【特許請求の範囲】
【請求項１】
使用者を撮像する撮像部が撮像した撮像画像から、前記使用者の手または指の見かけの大きさの時間的変化を算出する変化算出部と、
前記変化算出部により算出された前記時間的変化に基づいて予め定められた操作を特定し、特定した操作に対応する命令信号を操作対象機器へ出力する操作特定部と、
を備える操作入力装置。
【請求項２】
前記変化算出部は、撮像画像における前記使用者の手または指の見かけの表と裏との間の変化を検出し、
前記操作特定部は、前記変化算出部により検出された手または指の見かけの表と裏との間の変化を基に、前記操作を特定する請求項１に記載の操作入力装置。
【請求項３】
前記変化算出部は、撮像画像における前記使用者の手の明るさに基づいて、前記使用者の手の表裏を検出する請求項２に記載の操作入力装置。
【請求項４】
前記変化算出部は、撮像画像における前記使用者の身体全体に対する手の位置、および、手における親指の位置に基づいて、当該撮像画像における前記使用者の手または指が、表か裏かを検出する請求項２に記載の操作入力装置。
【請求項５】
使用者を撮像した撮像画像から、前記使用者の手または指の見かけの大きさの時間的変化を算出する変化算出ステップと、
前記変化算出ステップにおいて算出された前記時間的変化に基づいて予め定められた操作を特定する操作特定ステップと、
を備える操作入力方法。
【請求項６】
使用者を撮像した撮像画像のデータから、前記使用者の手または指の見かけの大きさの時間的変化を算出する変化算出手順、および、
前記変化算出手順において算出された前記時間的変化に基づいて予め定められた操作を特定する操作特定手順
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作入力装置、操作入力方法およびプログラムに関する。
【背景技術】
【０００２】
撮影画像に基づいて、ユーザの手振りを認識する手振り認識装置がある（特許文献１参照）。
特許文献１  特開２０００−３３１１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記手振り認識装置は、撮影画像を取得するのに複数台のカメラを含む大規模なハードウェアを用いるとともに、手振りを認識するのに撮影画像に複雑な画像処理を実行している。
【課題を解決するための手段】
【０００４】
本発明の第一態様によると、使用者を撮像する撮像部が撮像した撮像画像から、使用者の手または指の見かけの大きさの時間的変化を算出する変化算出部と、変化算出部により算出された時間的変化に基づいて予め定められた操作を特定し、特定した操作に対応する命令信号を操作対象機器へ出力する操作特定部とを備える操作入力装置が提供される。
【０００５】
本発明の第二態様によると、使用者を撮像した撮像画像から、使用者の手または指の見かけの大きさの時間的変化を算出する変化算出ステップと、変化算出ステップにおいて算出された時間的変化に基づいて予め定められた操作を特定する操作特定ステップとを備える操作入力方法が提供される。
【０００６】
本発明の第三態様によると、使用者を撮像した撮像画像のデータから、使用者の手または指の見かけの大きさの時間的変化を算出する変化算出手順、および、変化算出手順において算出された時間的変化に基づいて予め定められた操作を特定する操作特定手順をコンピュータに実行させるためのプログラムが提供される。
【０００７】
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これらの特徴群のサブコンビネーションもまた発明となり得る。
【図面の簡単な説明】
【０００８】
【図１】表示装置１０の使用形態を示す模式図である。
【図２】表示装置１０の正面図である。
【図３】表示装置１０の使用形態を示す模式的側面図である。
【図４】表示装置１０のブロック図である。
【図５】操作格納部１２６の内容を説明する図である。
【図６】遠隔操作入力部１００の動作手順を示す流れ図である。
【図７】測定部１１２の動作を説明する図である。
【図８】測定値格納部１２２が格納するテーブルの模式図である。
【図９】変化算出部１１４の動作を説明する図である。
【図１０】変化算出部１１４の動作を説明する図である。
【図１１】算出値格納部１２４が格納する変化テーブルの模式図である。
【図１２】ユーザ２０のジェスチャを例示する図である。
【図１３】ユーザ２０のジェスチャを例示する図である。
【図１４】ユーザ２０のジェスチャを例示する図である。
【図１５】撮像部１４０により撮像された右手２２の他の状態を示す。
【図１６】撮像部１４０により撮像された右手２２の他の状態を示す。
【図１７】変化算出部１１４の動作を説明する図である。
【図１８】変化算出部１１４の動作を説明する図である。
【図１９】変化算出部１１４の動作を説明する図である。
【図２０】撮像部１４０により撮像された右手２２の他の状態を示す。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態を説明する。以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。
【００１０】
図１は、表示装置１０の使用形態を示す図である。表示装置１０は、操作対象となる表示部１７０と、表示部１７０に対するユーザ２０の操作を受け付ける遠隔操作入力部１００および直接操作部１６２とを一体的に備える。表示装置１０は、通信端末部２１０を介してインターネット等の通信網に接続され、当該通信網を通じて取得した画像、音声等をユーザ２０に対して表示する。
【００１１】
直接操作部１６２は、ボタン、レバー、タッチパネル等の操作部材を有する。これにより、ユーザ２０は、直接操作部１６２の操作部材に直接に接触して表示装置１０を操作する。
【００１２】
遠隔操作入力部１００は撮像部１４０を有する。ユーザ２０は、身振り、手振り等を撮像部１４０に撮像させることによって表示装置１０に操作を入力できる。これにより、ユーザ２０は、表示装置１０から離れた位置から、リモートコントローラ等の機材を使用することなく表示装置１０を操作できる。
【００１３】
図２は、表示装置１０の正面図である。図１と共通の要素には同じ参照番号を付して重複する説明を省く。
【００１４】
表示部１７０は、ユーザ２０に向かって画像を表示する表示パネル１７４を有する。図２には、一例として、表示パネル１７４にコンテンツ表示領域１７１、アイコン表示領域１７３およびブックマーク表示領域１７５を有する画像が表示されている。コンテンツ表示領域１７１には、ユーザ２０が視聴するコンテンツ、例えば映像が表示される。アイコン表示領域１７３には、表示装置１０の操作項目を示す複数のアイコンが表示される。ブックマーク表示領域１７５には、コンテンツの提供元のリストが表示される。
【００１５】
ユーザ２０は、アイコン表示領域１７３に表示されたアイコンのいずれかを指定して実行を指示することにより表示装置１０を操作する。また、ユーザ２０は、ブックマーク表示領域１７５に表示されたブックマークのいずれかを指定して実行を指示することにより、コンテンツ表示領域１７１に、当該ブックマークに対応するコンテンツの映像を表示させる。このように、表示装置１０は、ユーザ２０の操作に従って表示内容を変化させる。
【００１６】
図３は、表示装置１０の使用形態を示す模式的側面図である。図１および図２と共通の要素には同じ参照番号を付して重複する説明を省く。
【００１７】
撮像部１４０は、図中に点線で示すように、表示パネル１７４を視聴するユーザ２０を撮像できる撮像範囲を有する。これにより撮像部１４０は、表示パネル１７４の前方に位置するユーザ２０の映像を撮像する。遠隔操作入力部１００は、撮像部１４０が撮像したユーザ２０の映像からユーザ２０のジェスチャを検出し、検出したジェスチャに対応する操作を受け付ける。
【００１８】
図４は、表示装置１０のブロック図である。図１から図３までと共通の要素には同じ参照番号を付して重複する説明を省く。なお、下記の例では、ユーザ２０の右手２２の動きから遠隔操作入力部１００が操作を受け付ける場合について説明する。
【００１９】
表示部１７０は、情報処理部１７２および表示パネル１７４を有する。情報処理部１７２は、通信端末部２１０を介してインターネット等の通信網２２０に結合される。これにより情報処理部１７２は、通信網２２０を通じて接続された他の通信端末装置２３０から取得した画像等を表示パネル１７４に表示させる。
【００２０】
遠隔操作入力部１００は、制御部１１０、格納部１２０、命令部１３０、撮像部１４０、クロック生成部１５０および直接入力部１６０を有する。制御部１１０は、遠隔操作入力部１００全体の動作を制御する。また、制御部１１０は、測定部１１２、変化算出部１１４および操作特定部１１６を含む。
【００２１】
測定部１１２は、撮像部１４０から取得したユーザ２０の撮像画像に基づいて、ユーザ２０の身体、例えば右手２２を周期的に検出する。この場合に、測定部１１２は、撮像画像におけるユーザ２０の手の大きさ、撮像画像におけるユーザ２０の手の位置の明るさ等を数値化した測定値を、数値化する毎に格納部１２０に格納する。更に、測定部１１２は、撮像部１４０の撮像範囲におけるユーザ２０の手の位置等を測定して、当該位置の情報を格納部１２０に格納してもよい。
【００２２】
変化算出部１１４は、測定部１１２により測定された複数の測定値の間に生じた変化を算出する。変化算出部１１４は、例えば、測定部１１２が新しい測定値を生成する毎に、過去に測定された測定値に対する差分を当該過去の測定値で割った変化率を算出し、当該変化率を格納部１２０に格納する。
【００２３】
操作特定部１１６は、格納部１２０に格納された変化率から操作を特定する。この場合に、操作特定部１１６は、操作格納部１２６に変化率の条件が格納されているときは、当該変化率が操作格納部１２６に格納されたいずれかの条件を満たすか否かを判断し、条件を満たす場合に、その条件に対応付けられた操作を特定して出力する。
【００２４】
格納部１２０は、測定値格納部１２２、算出値格納部１２４および操作格納部１２６を有する。測定値格納部１２２は、測定部１１２が測定した測定値を格納する。測定部１１２は測定を周期的に実行するので、測定値格納部１２２は、測定値の各々を、当該測定値の測定時刻と関連付けて蓄積する。
【００２５】
算出値格納部１２４は、変化算出部１１４が算出した上記変化率を格納する。変化算出部１１４も周期的に変化を算出するので、算出値格納部１２４は、変化率の各々を、各算出値の算出時刻と関連付けて蓄積する。
【００２６】
命令部１３０は、表示部１７０に対するインターフェースとして、操作特定部１１６が特定した操作を、情報処理部１７２の命令体系に従う形式に変換して送信する。これにより、情報処理部１７２は、命令部１３０から受けた命令に従って処理を実行する。
【００２７】
撮像部１４０は、撮像素子１４２および画像処理部１４４を有する。撮像部１４０の撮像範囲は、例えば、表示装置１０による表示をユーザ２０が視聴し得る範囲内としてもよい。撮像素子１４２は、ＣＣＤセンサ、ＣＭＯＳセンサ等の光電気変換素子を含み、入射した光像を電気信号に変換する。画像処理部１４４は、撮像素子１４２の出力信号を、制御部１１０の処理対象となる画像ファイルに変換する。この場合に撮像部１４０は単一の光学系および撮像素子の組から形成されてもよいし、光学系と撮像素子との組を複数有していてもよい。
【００２８】
クロック生成部１５０は、遠隔操作入力部１００の各要素に対して全体で共通のクロック信号を供給する。これにより、制御部１１０、格納部１２０、命令部１３０および撮像部１４０は、相互に同期して動作する。また、測定部１１２および変化算出部１１４は、予め与えられた時間間隔で、周期的に測定または算出を実行する。
【００２９】
また、制御部１１０は、クロック生成部１５０から供給されたクロック信号を計数して時刻を計測してもよい。これにより、測定値格納部１２２および算出値格納部１２４は、測定値および変化率を、測定または算出の時刻と関連付けて格納できる。
【００３０】
直接入力部１６０は、直接操作部１６２に対する操作を、命令部１３０に伝達する。これにより、ユーザ２０が直接操作部１６２を操作した場合には、当該操作に対応した命令が命令部１３０から表示部１７０に送信される。ユーザ２０が直接操作部１６２を操作した場合に、直接入力部１６０は、クロック生成部１５０の生成するクロック信号に基づく上記測定部１１２等の動作に割り込みをかけて、命令部１３０へ操作の実行を指示する。
【００３１】
表示部１７０において、情報処理部１７２は、命令部１３０から受けた命令に従って動作する。即ち、ユーザ２０が遠隔操作入力部１００または直接入力部１６０を通じて入力した操作は、命令部１３０を通じて情報処理部１７２に入力され、命令として実行される。
【００３２】
例えば、ユーザ２０の操作が「他の画像を取得すること」であった場合に、命令部１３０からの命令に基づいて、情報処理部１７２は、通信網２２０を介して接続された他の通信端末装置２３０に向かって参照情報の送信を要求する。送信要求を受けた通信端末装置２３０は、通信網２２０を通じて参照情報を情報処理部１７２に送信する。情報処理部１７２は、取得した参照情報からユーザ２０に向かって表示すべき画像を生成して表示パネル１７４に表示させる。これにより、ユーザ２０は、表示装置１０に対する操作の結果として画像を視聴することができる。
【００３３】
図５は、操作格納部１２６に格納されるジェスチャおよび操作の内容を説明する図である。操作格納部１２６は、ジェスチャを特定するための測定値の変化率条件と、表示部１７０に対する操作コマンドとを対応付けたジェスチャー判定用テーブルを格納しており、図５は、ジェスチャー判定用テーブルの一例を示す図である。
【００３４】
図５に示す例において、右手を開いた状態から握るジェスチャが電源スイッチの投入操作に対応付けられている。また、右手の甲側から掌側へ回転するジェスチャが画面の左スクロール操作に対応付けられている。
【００３５】
この場合に、図５には当該ジェスチャを特定する条件としての測定値の変化率が操作コマンドと対応付けて格納されている。例えば、ジェスチャごとに高さ変化率、幅変化率および明るさ変化率が対応付けられている。右手を開いた状態から握るジェスチャは、高さは小さくなるが幅および明るさはほとんど変化しない。よって、右手を開いた状態から握るジェスチャは、例えば図５に示すように、高さの変化率がマイナスでその絶対値が予め定められた閾値より大きく「−」、かつ、幅変化率および明るさ変化率の絶対値が予め定められた閾値より小さい「＊」、という変化が連続した二つの時刻「ｔ１」「ｔ２」で起きたことを条件としてもよい。
【００３６】
また、右手が甲側から掌側を向けるように回転するジェスチャは、例えば図５に示すように、高さの変化率および明るさ変化率の絶対値が予め定められた閾値より小さく「＊」、かつ、幅変化率がマイナスでその絶対値が予め定められた閾値より大きい「−」、という変化が時刻「ｔ１」で起きて、高さの変化率の絶対値が予め定められた閾値より小さく「＊」、かつ、幅変化率および明るさ変化率がプラスでその絶対値が予め定められた閾値より大きい「＋」、という変化が時刻「ｔ１」の次の時刻「ｔ２」で起きたことを条件としてもよい。変化率の閾値は、例えば０．１（＝１０％）、０．２５（＝２５％）等のいずれであってもよく、変化を特定できるように、実験によって定めてもよい。
【００３７】
ここで、ジェスチャによる表示部１７０への操作は、図５の上記二例のように、ジェスチャ自体に対応する表示部１７０の動作が直接に実行される操作であってもよい。これに代えて、ジェスチャによる表示部１７０への操作は、表示パネル１７４に表示されたアイコン等のオブジェクトを選択することにより、当該アイコンに対応する表示部１７０の動作が実行される操作であってもよい。更に、アイコン等を選択する操作と、動作を直接に指定する操作とのいずれもが受け付けられてもよい。
【００３８】
図６は、遠隔操作入力部１００の動作手順を示す流れ図である。遠隔操作入力部１００において、制御部１１０は、まず、撮像部１４０から取得した撮像画像に含まれるユーザ２０の顔の検出を試みる（Ｓ１０１）。
【００３９】
撮像部１４０の撮像画像からユーザ２０の顔が検出されない場合（Ｓ１０１：ＮＯ）、制御部１１０は待機する。この場合、制御部１１０は、遠隔操作入力部１００の消費電力を抑制する動作モードに移行させてもよい。また、制御部１１０は、命令部１３０を通じて表示部１７０に指令を送り、表示部１７０の消費電力を抑制する動作モードに移行させてもよい。ただし、ユーザ２０の顔を検出する機能は継続的に動作させる。これにより、ユーザ２０が不在であるか、あるいは、ユーザ２０が表示装置１０の方を見ていない場合に、ユーザ２０の手を検出する動作を省略することができる。
【００４０】
撮像部１４０の撮像画像からユーザ２０の顔が検出された場合（Ｓ１０１：ＹＥＳ）、制御部１１０は、遠隔操作入力部１００の消費電力を抑制する動作モードを解除し、合図の有無を検出する（Ｓ１０２）。なお、合図は、ユーザ２０が表示装置１０に対して操作を開始することを知らせる目的で予め定められたユーザ２０の状態を指す。
【００４１】
合図は、ユーザの動きを伴うジェスチャであってもよいし、ユーザ２０の動きがないポーズであってもよい。また、合図は、声、拍手等による音声によるものであってもよい。この実施形態では、ユーザ２０が、右手２２の手の甲を撮像部１４０に向かってかざした状態を合図とする。合図も、操作格納部１２６に格納して、合図を特定する場合に操作特定部１１６に参照させてもよい。
【００４２】
ユーザ２０が上記合図をした場合、撮像部１４０には、図７に示すような右手２２の画像が撮像される。制御部１１０は、撮像画像から図示の手の形状を抽出した場合に、ユーザ２０の合図を受けたと判断する。ここで、制御部１１０は、表示部１７０を通じて、合図を受け付けた旨のアイコンをユーザに向かって表示してもよい。
【００４３】
なお、撮像部１４０には、ユーザ２０の右手以外の部分も撮像される。しかしながら、制御部１１０はユーザ２０の手振りに対して処理を実行するので、図中には、右手２２の映像を抜き出して示す。また、図７において、右手２２の大きさの目安として方眼模様を図中に記載したが、この模様は右手２２の大きさの目安であって、撮像部１４０の解像度を示しているわけではない。
【００４４】
ステップＳ１０２において、撮像部１４０の撮像画像からユーザ２０の上記合図を検出した場合（Ｓ１０２：ＹＥＳ）、制御部１１０は、測定部１１２による測定を開始する（Ｓ１０３）。測定部１１２は、撮像部１４０から見た右手２２の外形、見かけの大きさ、すなわち、撮像画像における右手２２の大きさを測定する（同ステップ）。例えば、測定部１１２は、右手２２の大きさを高さＨ０と幅Ｗ０とに分けて測定する。以下、見かけの大きさとして高さＨ０と幅Ｗ０とが測定される例で説明を続ける。
【００４５】
測定部１１２は、撮像画像における右手２２の明るさを測定する（ステップＳ１０４）。ここでは、撮像画像において右手２２が占める領域全体の平均の明るさが測定される。
【００４６】
制御部１１０は、測定部１１２が撮像画像において測定した手の大きさおよび手の明るさを、測定値として格納部１２０の測定値格納部１２２に格納する（Ｓ１０５）。図８は、測定値格納部１２２に格納される測定値テーブルを示す。図示のように、測定値格納部１２２においては、撮像画像における手の大きさおよび手の明るさを数値化した測定値が、測定時刻に関連付けて格納される。
【００４７】
制御部１１０は、測定値格納部１２２に、既に格納されている値があるか否かを調べる（Ｓ１０６）。ここで、ユーザ２０が合図を出した後に、測定部１１２が初めて測定した場合は、測定値格納部１２２に初めて測定値が格納される。この場合には、測定値格納部１２２には今回の合図後であって現在よりも以前の格納値は存在しない（Ｓ１０６：ＮＯ）。
【００４８】
ステップＳ１０６において、測定値格納部１２２に既に格納されている測定値がない場合（Ｓ１０６：ＮＯ）、制御部１１０は、次の周期に、測定部１１２による測定を実行させ（Ｓ１０３、Ｓ１０４）、測定値を測定値格納部１２２に繰り返し蓄積させる（Ｓ１０５）。
【００４９】
Ｓ１０６において、測定値格納部１２２に既に格納されている測定値がある場合（Ｓ１０６：ＹＥＳ）、制御部１１０は、変化算出部１１４に測定値の変化率を算出させる（Ｓ１０７）。更に、制御部１１０は、変化算出部１１４により算出された変化率を、算出値格納部１２４に格納させる（Ｓ１０８）。
【００５０】
図９は、変化算出部１１４による処理例を説明する図である。図９に示した例では、図７に示した右手２２の状態と比較すると、右手２２の指が曲がり、右手２２が軽く握られた状態に変化している。
【００５１】
図９に示す状態で、測定部１１２が測定を実行すると、右手２２の幅Ｗ０は図７に示した状態と変わらない。よって、変化算出部１１４が図７に示した状態で測定された測定値に対する、図９に示した状態で測定された測定値の変化率（Ｗ０−Ｗ０）／Ｗ０を算出するとゼロになる。
【００５２】
一方、右手２２の高さＨ１は図７に示した状態よりも小さくなる。よって、変化算出部１１４が、図７に示した状態で測定された測定値に対する、図９に示した状態で測定された測定値の変化率（Ｈ１−Ｈ０）／Ｈ０を算出すると、符号がマイナスであって絶対値がゼロでない値が算出される。
【００５３】
図１０は、変化算出部１１４による他の処理例を説明する図である。図１０に示した例では、図９に示した右手２２の状態と比較すると、右手２２の指がさらに曲がり、右手２２は握りしめられた状態に変化している。
【００５４】
図１０に示す状態で、測定部１１２が測定を実行すると、右手２２の幅Ｗ０は図９に示した状態と変わらないので、変化率を算出するとゼロになる。一方、変化算出部１１４が、図９に示した状態で測定された測定値に対する、図１０に示した状態で測定された測定値の変化率（Ｈ２−Ｈ１）／Ｈ１を算出すると、符号がマイナスであって絶対値がゼロでない値が算出される。
【００５５】
再び図６を参照すると、上記のように、変化算出部１１４は、測定値格納部１２２に格納された測定値毎に直前の測定値との変化率を算出して（Ｓ１０７）、図１１に示すように、算出値格納部１２４に格納する（Ｓ１０８）。次に、制御部１１０は、算出値格納部１２４に格納された変化率を参照して、ユーザ２０の振る舞いに対応した表示装置１０の操作を特定することを試みる（Ｓ１０９）。
【００５６】
ここで、操作特定部１１６は、算出値格納部１２４に格納された高さの変化率、幅の変化率および明るさの変化率が、操作格納部１２６に格納されているテーブルに示された条件のいずかを満足するかどうか判断する。当該変化率がいずれかの条件を満足する場合に、操作特定部１１６は当該条件に対応付けられた操作コマンドを特定して、出力する。
【００５７】
例えば、操作格納部１２６に図５に示す判定用テーブルが格納されている場合に、操作特定部１１６は、条件の判断に必要な時刻分である２つの連続する時刻の変化率を読み出す。操作特定部１１６は、これらの連続する２つ時刻の変化率が、操作格納部１２６の条件を満足するか否かを判断する。
【００５８】
算出値格納部１２４に格納された高さの変化率、幅の変化率および明るさの変化率が、操作格納部１２６に格納されている条件のいずれをも満足しない場合には、特定できる操作がないとして（Ｓ１０９：ＮＯ）、制御部１１０は、ステップＳ１０３に戻る。
【００５９】
算出値格納部１２４に格納された高さの変化率、幅の変化率および明るさの変化率が、操作格納部１２６に格納されている条件のいずれかを満足した場合に（Ｓ１０９：ＹＥＳ）、操作特定部１１６は当該条件に対応付けられたジェスチャが示す操作を特定して制御部１１０に出力する（同ステップ）。制御部１１０は、操作特定部１１６により特定された操作に対応した命令信号を表示部１７０に送信させるべく、命令部１３０に指示する（ステップＳ１１０）。こうして、ユーザ２０は、ステップ１０２における合図に続いて、右手２２を握る動作をすることにより表示装置１０を操作できる。
【００６０】
例えば、図７、図９、図１０の順に右手２２の状態が変化した場合に、連続する二つの時刻において、高さの変化率がマイナスであってその値が閾値を超えており、幅の変化率および明るさの変化率の変化の絶対値が閾値内であれば、操作特定部１１６は図５の上段のジェスチャが入力されたと判断して、当該ジェスチャに対応する電源投入の操作を命令部１３０に出力する。
【００６１】
図１２は、ユーザ２０によるジェスチャの例を示す図である。図１２に示す例では、ユーザ２０は、撮像部１４０に手の甲を向けた状態で、開いた右手２２を徐々に閉じる。このようなユーザ２０の動作により、操作特定部１１６は、図５の最上段のジェスチャを特定する。これにより、命令部１３０は、当該ジェスチャに対応した操作である電源スイッチの投入を実行する。
【００６２】
図１３は、ユーザ２０によるジェスチャの他の例を示す図である。図１３に示す例では、ユーザ２０は、撮像部１４０に手の甲を向けて立てた状態から、指先が撮像部１４０に向かう方向に右手２２を倒している。この場合も、撮像部１４０に対する見かけの手の大きさは、右手２２の高さＨが減少し、かつ、幅Ｗが変わらない、という変化となる。よって、当該ジェスチャによっても表示装置１０の電源スイッチを投入する操作を実行させてもよい。
【００６３】
図１４は、ユーザ２０によるジェスチャのまた他の例を示す図である。図１４に示す例では、ユーザ２０は、撮像部１４０に手の甲を向けて立てた状態から、指先が撮像部１４０に向かう方向に、右手２２と共に肘から先全体を倒している。この場合も、撮像部１４０に対する見かけの手の大きさは、右手２２の高さＨが減少し、かつ、幅Ｗが変わらない、という変化となる。よって、当該ジェスチャによっても表示装置１０の電源スイッチを投入する操作を実行させてもよい。
【００６４】
このように、撮像画像におけるユーザ２０の右手２２の見かけの大きさに着目することにより、ユーザ２０が右手２２を握ることにより生じる変化も、ユーザ２０が右手を手首から前へ倒した場合の変化も、腕全体を前に倒した場合の変化も、いずれもが同様に右手２２の見かけの高さＨを減じる変化となり、同じジェスチャとして特定される。よって、上記の遠隔操作入力部１００においては、右手２２を握る動作、右手２２を手首から前へ倒す動作、および、右腕全体を肩から前倒す動作のいずれの動作によっても、表示装置１０を同じように操作できる。これにより、ユーザ２０のジェスチャに冗長性をもたせ、体格等の異なる多くのユーザ２０のジェスチャに対して、遠隔操作入力部１００を動作させることができる。
【００６５】
このように、表示装置１０の遠隔操作入力部１００は、撮像部１４０の撮像画像からユーザ２０の動作に伴って変化する手の幅、長さ、面積等に応じて操作を特定する。よって、ユーザ２０は、リモートコントローラ等の機材を用いることなく、日常の動作からシームレスで直感的な動作により表示装置１０を非接触で操作できる。
【００６６】
なお、操作特定部１１６が操作を特定できない状態が長時間にわたって継続した場合は、遠隔操作入力部１００の動作を待機状態（例えばステップＳ１０２）に戻してもよい。また、撮像画像から、上記の例における右手２２のような測定対象が消失した場合も、遠隔操作入力部１００の動作を待機状態（例えばステップＳ１０２）に戻してもよい。更に、図６に示した一連の処理と並行してユーザ２０の顔検出を継続し、撮像部１４０の撮像範囲からユーザ２０の顔がなくなった場合は、遠隔操作入力部１００の動作を初期状態（ステップＳ１０１）に戻してもよい。
【００６７】
以上、本実施形態によれば、遠隔操作入力部１００は、撮像部１４０による撮像画像から見たユーザ２０の右手２２の見かけの大きさに基づいて、簡便かつ確実にユーザ２０の意図する操作を特定することができる。特に撮像部１４０が単一の光学系および撮像素子の組からなっている場合には、撮像部１４０を簡便な構成にしつつ、確実にユーザ２０の意図する操作を特定することができる。
【００６８】
図１５は、撮像部１４０により撮像された右手２２の他の例を示す図である。図１５に示した例では、図７に示した右手２２の状態と比較すると、図中における縦軸の回りに右手２２が回転した状態に変化している。
【００６９】
この状態で、測定部１１２が測定を実行すると、右手２２の高さＨ０は図７に示した状態と変わらないが、右手２２の幅Ｗ１は図７に示した状態よりも小さくなっている。よって、変化算出部１１４が、図７に示した状態で測定された測定値に対して、図１１に示した状態で測定された測定値の変化を算出した場合、右手２２の幅Ｗの変化率はマイナスの値を有するとともに、高さＨの変化率はゼロである。
【００７０】
図１６は、撮像部１４０により撮像された右手２２の他の例を示す図である。撮像画像における右手２２は、図中上方に向かって指を伸ばして手を開いている。掌は通常手の甲よりも、反射率が高い。よって、変化算出部１１４において明るさの測定値の変化を算出することにより、表裏を反転させる右手２２の動きを把握できる。例えば、図１５の状態から図１６の状態に変化した場合に、変化算出部１１４は、幅および明るさのプラスの変化率を算出し、高さの変化率をゼロと算出する。
【００７１】
図７、図１５、図１６の順で右手２２の状態が変化した場合に、先の時刻において、幅の変化率がマイナスであってその値が閾値を超えており、高さおよび明るさの変化率の絶対値が閾値内であって、次の時刻において、幅および明るさの変化率がプラスであってその値が閾値を超えており、高さの変化率の絶対値が閾値内であれば、操作特定部１１６は図５の下段のジェスチャが入力されたと判断して、当該ジェスチャに対応する左スクロールの操作を命令部１３０に出力する。
【００７２】
このように、掌か手の甲かを区別できるので、遠隔操作入力部１００を備えた表示装置１０は、ユーザ２０の掌が画面の方を向いたときに操作を検出し、リモートコントローラ等の機材を用いることなく特定の操作を入力できる。ユーザ２０の掌が表示装置１０に向くことは、日常的には生じ難い。よって、本実施形態によれば、ユーザ２０は、日常の動作からシームレスに表示装置１０を非接触で操作できると共に、遠隔操作入力部１００が、ユーザ２０の日常的な動作を誤認識して操作を受け付けることが未然に防止される。
【００７３】
図１７は、撮像部１４０により撮像された右手２２のまた他の例を示す図である。図１７は、ユーザ２０が、右手２２の手の甲を撮像部１４０に向かってかざした状態の撮像画像を示す。このため、図中に矢印Ａで示すように、右手２２は、図中に一点鎖線Ｃで示すユーザ２０の正中線に対して、撮像画像上で左側に位置する。
【００７４】
図１８は、図１７に示した撮像画像のうち、ユーザ２０の右腕の領域を拡大して示す図である。図示のように、ユーザ２０が右手２２の手の甲を撮像部１４０に向けた状態で撮像した画像では、図中に矢印Ｂで示すように、右手の親指２４先端が、右手２２の中心に対して画像上で更に左側に位置する。
【００７５】
図１９は、図１８に示した状態から、ユーザ２０が右手２２を手首で回転させた状態を示す。図示のように、ユーザ２０が右手２２を捻転させることにより、親指２４の位置は、ユーザ２０の身体と右手２２の中心との間に位置する。
【００７６】
このように想定できることから、遠隔操作入力部１００において、測定部１１２はユーザ２０の身体の位置、右手２２の位置および親指２４の位置をそれぞれ測定し、変化算出部１１４は、それらの位置関係の変化を算出する構成であってもよい。これにより、ユーザ２０の右手２２の位置および移動方向等を検出できると共に、親指２４の位置の相対位置に基づいて右手の向きも検出できる。
【００７７】
このように、遠隔操作入力部１００は、測定部１１２で測定される測定項目と、変化算出部１１４で算出される算出項目を増やすほど、ユーザ２０のジェスチャをより詳細且つ確実に検出して、表示装置１０に対する操作を特定できる。なお、変化算出部１１４の算出項目を増やした場合、操作特定部１１６が特定する操作の種類を増やすことができる。また、複数の算出項目を併せてひとつの操作を特定することにより、操作をより確実に特定できるようにしてもよい。
【００７８】
図２０は、撮像部１４０により撮像された右手２２の他の状態を示す。図２０に示した例は、図７に示した右手２２の状態と比較すると、右手２２の人指し指２６を伸ばし、他の指は握った状態に変化している。
【００７９】
ここで、測定部１１２は、右手２２の高さＨ０および幅Ｗ０と共に、人指し指２６を含む親指２４以外の指の高さｈ１および幅ｗ１を個別に計測してもよい。これにより、図２０に示した右手２２の状態が、例えば、図７に示した合図の直後であった場合、変化算出部１１４は、幅ｗ１が狭くなったことに拠って、中指、薬指および小指が曲げられたことを検知できる。また、図２０に示した右手２２の状態が、例えば、図１０に示した状態の後である場合、変化算出部１１４は、高さｈ１が高くなったことに拠って、人指し指が伸ばされたことを検知できる。
【００８０】
このように、遠隔操作入力部１００は、測定部１１２により指の見かけの大きさを測定することにより、ユーザ２０の更に詳細なジェスチャを検出できる。これにより、遠隔操作入力部１００により入力できる操作の種類を増加させることができる。
【００８１】
なお、上記実施形態では、右手２２によるユーザ２０のジェスチャについて説明した。しかしながら、遠隔操作入力部１００が操作を検出する対象がユーザ２０の右手２２に限られないことはいうまでもない。左手によるジェスチャはもちろん、ユーザ２０の足、体幹、頭部等によるジェスチャの他、音声も併用してもよい。
【００８２】
また、上記実施形態では、右手２２の見かけの大きさおよびその変化を高さと幅とに分けたが、見かけの大きさおよび変化を画像上の面積で判断してもよい。ユーザ２０が、右手２２と撮像部１４０との距離が変化するジェスチャをした場合は、撮像画像において、右手２２の高さＨと幅Ｗが一定の割合を保持したまま、その面積が変化する。よって、操作格納部１２６が面積の変化率の条件とジェスチャおよび操作とを対応付けて格納しており、測定部１１２が画像上の面積を測定し、変化算出部１１４が面積の変化率を算出することにより、ジェスチャおよび操作を特定してもよい。
【００８３】
上記実施形態において、遠隔操作入力部１００は表示部１７０と一体的に設けられている。これに代えて、遠隔操作入力部１００の一部、例えば撮像部１４０等が表示部１７０と離間した位置に配されてもよい。また、操作の対象は表示部１７０に限られず、他の機器、例えば空調機器、照明機器であってもよい。
【００８４】
上記実施形態において、測定部１１２、変化算出部１１４および操作特定部１１６の動作として説明した処理は、制御部１１０が読み込んだプログラムに従って遠隔操作入力部１００を制御することにより実行できる。即ち、上記実施形態に係る遠隔操作入力部１００は、プロセッサがプログラムに従って動作してハードウェアを制御する汎用情報処理装置を用いて形成することができる。また、情報処理装置に遠隔操作入力部１００の動作を実行させるプログラムは、当該プログラムを媒介する通信回線、情報記録媒体等を通じて情報処理装置に読み込ませ、実行させることができる。
【００８５】
以上、本発明の実施の形態を説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８７】
１０  表示装置、２０  ユーザ、２２  右手、２４  親指、２６  人指し指、１００  遠隔操作入力部、１１０  制御部、１１２  測定部、１１４  変化算出部、１１６  操作特定部、１２０  格納部、１２２  測定値格納部、１２４  算出値格納部、１２６  操作格納部、１３０  命令部、１４０  撮像部、１４２  撮像素子、１４４  画像処理部、１５０  クロック生成部、１６０  直接入力部、１６２  直接操作部、１７０  表示部、１７１  コンテンツ表示領域、１７２  情報処理部、１７３  アイコン表示領域、１７４  表示パネル、１７５  ブックマーク表示領域、２１０  通信端末部、２２０  通信網、２３０  通信端末装置
【図１】
2013200784.tif 000003
【図２】
2013200784.tif 000004
【図３】
2013200784.tif 000005
【図４】
2013200784.tif 000006
【図５】
2013200784.tif 000007
【図６】
2013200784.tif 000008
【図７】
2013200784.tif 000009
【図８】
2013200784.tif 000010
【図９】
2013200784.tif 000011
【図１０】
2013200784.tif 000012
【図１１】
2013200784.tif 000013
【図１２】
2013200784.tif 000014
【図１３】
2013200784.tif 000015
【図１４】
2013200784.tif 000016
【図１５】
2013200784.tif 000017
【図１６】
2013200784.tif 000018
【図１７】
2013200784.tif 000019
【図１８】
2013200784.tif 000020
【図１９】
2013200784.tif 000021
【図２０】
2013200784.tif 000022