(57)【要約】【課題】１つの撮像デバイスを用いることにより、被写体の動きに応じた入力値を決定できる。【解決手段】被写体を繰り返し撮像する撮像デバイスと、前記撮像デバイスの撮像により出力される信号から入力画像を取得する画像取得手段と、前記信号に基づいて、前記被写体の各部分までの距離を示す距離情報を取得する距離情報取得手段と、前記入力画像および前記距離情報から抽出される特徴量の時間的変化に基づいて、前記被写体の動作に対応した入力値を決定する判断手段とを備える、入力装置。【選択図】図１
2013250742.tif 000002
【特許請求の範囲】
【請求項１】
被写体を繰り返し撮像する撮像デバイスと、
前記撮像デバイスの撮像により出力される信号から入力画像を取得する画像取得手段と、
前記信号に基づいて、前記被写体の各部分までの距離を示す距離情報を取得する距離情報取得手段と、
前記入力画像および前記距離情報から抽出される特徴量の時間的変化に基づいて、前記被写体の動作に対応した入力値を決定する判断手段とを備える、入力装置。
【請求項２】
前記判断手段は、前記入力画像および前記距離情報から抽出される特徴量に基づいて、前記被写体の１以上の特徴部位の位置および対応する距離を取得するとともに、該１以上の特徴部位の位置および距離の時間的変化に基づいて、前記入力値を決定する、請求項１記載の入力装置。
【請求項３】
前記判断手段は、前記１以上の特徴部位の少なくとも一部として、第１特徴部位および第２特徴部位の位置および対応する距離を取得し、前記第１特徴部位を基準とした前記第２特徴部位の相対的な時間的変化に基づいて、前記入力値を決定する、請求項１記載の入力装置。
【請求項４】
前記第１特徴部位は、人物の顔であり、
前記第２特徴部位は、人物の手である、請求項３記載の入力装置。
【請求項５】
前記入力画像および前記距離情報に基づいて、３次元画像を構成する構成手段と、
前記３次元画像を複数のブロックに分割する分割手段とを、さらに備え、
前記判断手段は、前記複数のブロック各々から抽出される特徴量の時間的変化に基づいて、前記入力値を決定する、請求項１記載の入力装置。
【請求項６】
発光デバイスをさらに備え、
前記撮像デバイスは、前記発光デバイスにより発光され、前記被写体で反射された光を受光し、
前記距離情報取得手段は、前記発光デバイスの発光タイミングと、前記撮像デバイスの受光タイミングとに基づいて、前記距離情報を取得する、請求項１〜５いずれか１項記載の入力装置。
【請求項７】
被写体を繰り返し撮像する第１撮像デバイスと、
前記第１撮像デバイスと撮像方向が反対である第２撮像デバイスと、
前記第１撮像デバイスにより撮像される第１入力画像を取得する画像取得手段と、
前記第１入力画像に基づいて、前記被写体の各部分までの距離を示す距離情報を取得する距離情報取得手段と、
前記第１入力画像および前記距離情報から抽出される特徴量の時間的変化に基づいて、前記第２撮像デバイスの制御に係る入力値を決定する判断手段と、を備える情報処理装置。
【請求項８】
前記第２撮像デバイスが撮像する第２入力画像を表示する表示デバイスをさらに備え、
前記表示デバイスは、前記第１入力画像および前記第２入力画像をならべて表示する、請求項７記載の情報処理装置。
【請求項９】
前記判断手段が、所定の前記入力値を決定すると、前記第２撮像デバイスに撮像させる制御手段を、さらに備える請求項８記載の情報処理装置。
【請求項１０】
情報処理装置であって、
筺体と、
前記筺体の第１表面に設けられた第１撮像デバイスと、
前記筺体の第１表面と対向する第２表面に設けられ、前記第１撮像デバイスの撮像方向とは、反対の撮像方向を有する第２デバイスと、
前記第１撮像デバイスにより取得される入力画像に基づいて、前記情報処理装置を把持するユーザが予め定められた動作を行ったことを検知すると、前記第２撮像デバイスに撮像させる制御手段とを備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置および情報処理装置に関する。
【背景技術】
【０００２】
例えば、特許文献１（特開２００９−４２７９６号公報）は、タッチパネルとジェスチャー認識を用いて、ユーザが直感的に分かりやすい入力装置を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−４２７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の技術では、複数の入力デバイスを用いるため、入力装置のサイズが大きくなるという問題があった。
【０００５】
本発明は、このような問題を解決するためにされたものであって、１つの撮像デバイスを用いることにより、被写体の動きに応じた入力値を決定できる入力装置、情報処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明のある局面に従う入力装置は、被写体を繰り返し撮像する撮像デバイスと、撮像デバイスの撮像により出力される信号から入力画像を取得する画像取得手段と、信号に基づいて、被写体の各部分までの距離を示す距離情報を取得する距離情報取得手段と、入力画像および距離情報から抽出される特徴量の時間的変化に基づいて、被写体の動作に対応した入力値を決定する判断手段とを備える。
【０００７】
好ましくは、判断手段は、入力画像および距離情報から抽出される特徴量に基づいて、被写体の１以上の特徴部位の位置および対応する距離を取得するとともに、該１以上の特徴部位の位置および距離の時間的変化に基づいて、入力値を決定する。
【０００８】
好ましくは、判断手段は、１以上の特徴部位の少なくとも一部として、第１特徴部位および第２特徴部位の位置および対応する距離を取得し、第１特徴部位を基準とした第２特徴部位の相対的な時間的変化に基づいて、入力値を決定する。
【０００９】
好ましくは、第１特徴部位は、人物の顔であり、第２特徴部位は、人物の手である。
好ましくは、入力画像および距離情報に基づいて、３次元画像を構成する構成手段と、３次元画像を複数のブロックに分割する分割手段とを、さらに備え、判断手段は、複数のブロック各々から抽出される特徴量の時間的変化に基づいて、入力値を決定する。
【００１０】
好ましくは、発光デバイスをさらに備え、撮像デバイスは、発光デバイスにより発光され、被写体で反射された光を受光し、距離情報取得手段は、発光デバイスの発光タイミングと、撮像デバイスの受光タイミングとに基づいて、距離情報を取得する。
【００１１】
本発明の他の局面によれば、被写体を繰り返し撮像する第１撮像デバイスと、第１撮像デバイスと撮像方向が反対である第２撮像デバイスと、第１撮像デバイスにより撮像される第１入力画像を取得する画像取得手段と、第１入力画像に基づいて、被写体の各部分までの距離を示す距離情報を取得する距離情報取得手段と、第１入力画像および距離情報から抽出される特徴量の時間的変化に基づいて、第２撮像デバイスの制御に係る入力値を決定する判断手段と、を備える。
【００１２】
好ましくは、第２撮像デバイスが撮像する第２入力画像を表示する表示デバイスをさらに備え、表示デバイスは、第１入力画像および第２入力画像をならべて表示する。
【００１３】
好ましくは、判断手段が、所定の入力値を決定すると、第２撮像デバイスに撮像させる制御手段を、さらに備える。
【００１４】
本発明の他の局面によれば、情報処理装置であって、筺体と、筺体の第１表面に設けられた第１撮像デバイスと、筺体の第１表面と対向する第２表面に設けられ、第１撮像デバイスの撮像方向とは、反対の撮像方向を有する第２デバイスと、第１撮像デバイスにより取得される入力画像に基づいて、情報処理装置を把持するユーザが予め定められた動作を行ったことを検知すると、第２撮像デバイスに撮像させる制御手段とを備える。
【発明の効果】
【００１５】
ある局面において、入力装置は、１つの撮像デバイスを用いることにより、被写体の動きに応じた入力値を決定できる。
【００１６】
この発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の概略を説明した図である。
【図２】本実施形態の情報処理装置の外観図の一例を示した図である。
【図３】本実施形態の情報処理装置のハードウェア構成例を示した図である。
【図４】入力装置および情報処理装置の機能構成例を示した図である。
【図５】複数のブロックに分割された３次元画像の一例を示した図である。
【図６】第１ジェスチャーテーブルの一例を示した図である。
【図７】変換テーブルの一例を示した図である。
【図８】ユーザのジェスチャー用の画像の表示手法の一例を示した図である。
【図９】本実施形態の情報処理装置の処理フローの一例を示した図である。
【図１０】ジェスチャー認識処理の処理フローの一例を示した図である。
【図１１】別の実施形態のユーザのジェスチャー例を示した図である。
【図１２】第２ジェスチャーテーブルの一例を示した図である。
【図１３】制御システムの一例を示した図である。
【図１４】第１撮像デバイスの概略図の一例を示した図である。
【図１５】距離情報導出手法の一例を説明するための図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。従って、それらについての詳細な説明は繰り返さない。
【００１９】
＜概略＞
図１を参照して、本実施形態の入力装置の概略を説明する。図１は、本実施形態の概略を説明した図である。本実施形態の入力装置は、被写体αがユーザ（人物）である場合には、被写体αの動き（ジェスチャー）を認識し、該認識結果に基づいた入力値を決定する。
【００２０】
撮像デバイスは、被写体αを繰り返し撮像する。「繰り返し撮像する」とは、本実施例では、同一周期（例えば、０．１秒）ごとに撮像することや、異なる周期ごとに撮像することである。
【００２１】
入力装置は、第１撮像デバイス２が撮像することにより、該第１撮像デバイス２から出力される信号Ｓから入力画像４を取得する。ここで、入力画像は、例えば、２次元的なカラー画像である。更に詳細には、カラー画像はＲＧＢ画像である。図１の例では、第１撮像デバイス２が繰り返し撮像することにより、入力装置は、単位時刻ｔ＝１、２、３・・・各々の入力画像４を取得する。ここで、単位時刻とは、単位時間ごとの時刻とする。
【００２２】
また、入力装置は、第１発光部１４が発光した光と信号Ｓとに基づいて、被写体αの各部分までの距離を示す、単位時刻ｔ＝１、２、３・・・各々の距離情報６を取得する。ここで、距離情報は、ある基準点から被写体αの各部分までの距離を示す情報である。ある基準点は、第１撮像デバイス２としてもよく、他の点としてもよい。典型的な例として、基準点は、第１撮像デバイス２であるとする。
【００２３】
距離情報は、被写体αの各部分の位置に対応づけた距離を含むので、距離画像として表現できる。距離画像は、各部分までの距離に応じた色で表示された画像である。例えば、距離が短い場合には、淡色で示し、距離が長い場合には、濃色で示す。また、各部分は、距離画像の単位画像各々と対応するものである。単位画像は、１ピクセルとしてもよく、複数ピクセルの集合体としてもよい。
【００２４】
次に、好ましくは、入力装置は、単位時刻ｔ＝１、２、３各々の入力画像４（２次元画像）、および、単位時刻ｔ＝１、２、３各々の距離情報６（ｚ軸方向画像）を統合することにより、単位時刻ｔ＝１、２、３各々の３次元画像８を構成する。
【００２５】
入力装置は、単位時刻ｔ＝１、２、３各々の３次元画像８から、被写体αの１以上の特徴部位の位置および対応する距離を取得する。ここで、特徴部位は、被写体を構成する部位（以下、「構成部位」という。）のうち、特徴的な部位である。構成部位は、例えば、ユーザの顔、手、目、鼻、口、胴、足などである。また、特徴部位は、構成部位のうち、予め定められる部位であり、本実施形態では、例えば、ユーザの顔、手とする。
【００２６】
また、入力装置は、被写体αの１以上の特徴部分の特定は、典型的には、特徴量を用いて行う。該特定手法については後述する。特徴量は、例えば、被写体の色を示す色情報などである。
【００２７】
さらに、入力装置は、１つ以上の特徴部位の位置および距離の時間的変化に基づいて、被写体αの動き（ジェスチャー）に対応する入力値を決定する。被写体αをユーザαとし、例えば、入力装置は、ユーザαの顔を基準の特徴部位とし、ユーザαの手を基準の相対的な位置（座標）および距離Ｌの時間的な変化に基づいて、入力値を決定する。
【００２８】
図１の例では、ユーザαの顔を基準部位とし、ユーザのαの手の相対的な位置および距離Ｌの時間的な変化に基づいて、ユーザαの動き（ジェスチャー）として、ユーザが手を振っていることを認識する。そして、入力装置は、「ユーザが手を振る」というジェスチャーに対応する入力値を決定する。
【００２９】
上述の入力装置は、時情報処理装置の一部として組み込まれるようにしてもよい。該情報処理装置は、該決定された入力値に対応した処理を行う。
【００３０】
例えば、情報処理装置が、撮像機能を備える場合には、ユーザが所定のジェスチャーを行うことにより、入力装置が該所定のジェスチャーを認識し、認識結果に対応した入力値を決定し、情報処理装置は、撮像処理を行う。
【００３１】
このように、本実施形態では、二次元のＲＧＢ画像と、距離情報とを取得できる撮像デバイスを用いて、被写体αの動きに対応する入力値を決定できる。従って、従来の入力装置と比較して、本実施形態の入力装置は、装置サイズを小型できる。
【００３２】
［実施形態１］
＜外観図＞
次に、図２を参照して、本実施形態の情報処理装置の外観図を説明する。図２は、本実施形態の情報処理装置の外観図の一例を示した図である。情報処理装置は、例えば、携帯電話、スマートフォン、ＰＣ（Personal  Computer）、タブレット、などである。図２に示す情報処理装置はスマートフォンである。図２（Ａ）は、情報処理装置１００の表示デバイス１６を含む側の面の一例を示した図である。図２（Ｂ）は、図２（Ａ）に示した情報処理装置１００と反対側の面の一例を示した図である。
【００３３】
情報処理装置１００は、図２（Ａ）に示すように、筺体１００１と、第１撮像デバイス２（例えば、図１に示した第１撮像デバイス２）と、第１発光部１４と、表示デバイス１６と、操作ボタン１８と、スピーカ１９と、を含む。また、情報処理装置１００は、図２（Ｂ）に示すように、第２撮像デバイス２０と、第２発光部２２と、を含む。
【００３４】
図２の例では、筺体１００１は、直方体形状である。
第１撮像デバイス２は、図１で説明したように、主に、ユーザのジェスチャー認識用の撮像デバイスである。第１発光部１４は、図１に示した距離情報６を求めるために、発光する。第１撮像デバイス２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどで構成される。
【００３５】
表示デバイス１６は、第１撮像デバイス２で撮像した画像、第２撮像デバイス２０で撮像した画像、および様々な情報を表示するものである。また、表示デバイス１６は、タッチパネル機能を備えるものであり、ユーザからの様々な操作を受け付ける。
【００３６】
操作ボタン１８は様々なボタンを含む。図２（Ａ）の例では、操作ボタン１８は、メニューボタン、ホームボタン、戻るボタン、検索ボタンなどを含む。ユーザは、表示デバイス１６への操作の他、操作ボタン１８を押下することにより、様々な操作を行うことができる。
【００３７】
第２撮像デバイス２０は、人物、物、風景などを撮像する。上述のように、ユーザが所定のジェスチャを行うことにより、第１撮像デバイス２が該ジェスチャーを撮像し、該ジェスチャを認識し、該認識結果に基づいて、第２撮像デバイス２０が撮像を行うようにすることなどができる。第２発光部２２は、第２撮像デバイス２０の撮像処理のために発光する。
【００３８】
また、第１撮像デバイス２が設けられている表面を第１表面１００１ａとし、第２撮像デバイス２０が設けられている表面を第２表面１００１ｂとする。また、ユーザは筺体１００１を把持して、第１撮像デバイス２および第２撮像デバイス２０のうち少なくとも一方に撮像させる。
【００３９】
＜ハードウェア構成＞
次に、図３を参照して、情報処理装置１００のハードウェア構成について説明する。図３は、情報処理装置１００のハードウェア構成例を示した図である。図３の例では、情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０２と、ＲＡＭ（Random Access Memory）１０４と、ＲＯＭ（Read Only Memory）１０６と、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）１０８と、ＨＤＤ（Hard disk drive）１１０と、通信部１１２と、表示デバイス１６と、操作ボタン１８と、外部メディアＩ／Ｆ部１１８と、第１撮像デバイス２と、第２撮像デバイス２０と、を含む。表示デバイス１６と、操作ボタン１８、第１撮像デバイス２、および第２撮像デバイス２０は、上述した通りなので、説明を繰り返さない。
【００４０】
ＣＰＵ１０２は、ＲＯＭ１０６に格納されているプログラムや各種データに基づいて、処理を行う。ＲＡＭ１０４は、ＲＯＭ１０６やＨＤＤ１１０から読み出された各種プログラムやデータを一時保持する。ＲＯＭ１０６は、情報処理装置１００が、起動されるときに実行されるプログラムや各種データを格納する。ＨＤＤ１１０は、各種プログラムなど様々なデータを格納する。通信部１１２は、他の情報処理装置（図示せず）から、様々な情報を受信する。
【００４１】
外部メディアＩ／Ｆ部１０８は、情報処理装置１００と、外部メディア１２０（例えば、ＣＤ−ＲＯＭやＳＤカード）とのインターフェースの役割を果たす。外部メディア１２０に格納されている各種データは、外部メディアＩ／Ｆ部１０８を経由して、ＨＤＤ１１０などに格納される。
【００４２】
＜機能構成例＞
次に、図４を参照して、本実施形態の入力装置２００および情報処理装置１００の機能構成例を説明する。図４は、入力装置２００および情報処理装置１００の機能構成例を示した図である。上述のように、情報処理装置１００は、入力装置２００を含む。
【００４３】
入力装置２００は、第１撮像デバイス２と、第１発光部１４と、第２撮像デバイス２０と、第２発光部２２と、距離情報取得部２０２と、画像取得部２０４と、判断部２０６と、決定部２０８と、制御部２１０と、表示デバイス１６と、を含む。
【００４４】
情報処理装置１００は、入力装置２００と、制御部２１０と、第２撮像デバイス２０と、第２発光部２２と、表示デバイス１６と、を含む。
【００４５】
第１発光部１４は、発光することにより被写体αに対して光を投射する。そして、第１撮像デバイス２は、被写体αからの反射光を受光する。このように、第１撮像デバイス２は、被写体αからの反射光を受光する受光部としての役割を果たす。
【００４６】
また、第１撮像デバイス２は、被写体αを連続的に撮像する。上述のように、「繰り返し撮像する」とは、単位時間（例えば、０．１秒）ごとに撮像することをいう。第１撮像デバイス２は、被写体αを撮像する毎に、反射光を受光したことにより生成される受光情報（信号Ｓ）により、距離情報および入力画像を導出する。第１撮像デバイス２は、距離情報を距離情報取得部２０２へ出力する。また、第１撮像デバイス２は、入力画像を画像取得部２０４へ出力する。距離情報取得部２０２は、出力された距離情報を取得する。また、画像取得部２０４は、出力された入力画像を取得する。
【００４７】
距離情報は、被写体αの各部分までの距離を示し、距離情報取得部２０２は、単位時刻ｔ＝１、２、３・・・各々の距離情報を取得する。ここで、距離の始点を第１撮像デバイス２としてもよく、他の点を始点としてもよい。以下では、典型的な例として、距離の始点を第１撮像デバイス２とする。つまり、距離情報は、第１撮像デバイス２から被写体αの各部分までの距離を示す情報である。
【００４８】
距離情報は、例えば、距離画像である。距離画像は、各部分までの距離に応じた色で表示された画像である。例えば、距離が短い場合には、淡色で示し、距離が長い場合には、濃色で示す。また、各部分は、「距離画像の単位画像各々」と対応するものである。単位画像は、１ピクセルとしてもよく、複数ピクセルの集合体としてもよい。
【００４９】
また、入力画像は、第１撮像デバイスが撮像した色情報が含まれた２次元的なＲＧＢ画像である。単位時刻ｔ＝１、２、３・・・各々の入力画像（図１のＲＧＢ画像を参照）を取得する。
【００５０】
判断部２０６は、各時刻ごとの入力画像、および、各時刻ごとの距離情報に基づいて、被写体αの１以上の特徴部位の位置および対応する距離を取得する。更に、判断部２０６は、取得された１つ以上の特徴部位の位置および距離の時間的変化に基づいて、被写体αの動きに対応した入力値を決定する。
【００５１】
ここで、「特徴部位」は、被写体αを構成する部位のうち、特徴的な部位である。また、被写体αをユーザとする。該構成する部位は、例えば、ユーザの顔、手、目、鼻、口、胴、足などである。また、特徴部位は、構成部位のうち、予め定められる部位であり、本実施形態では、ユーザαの顔、手とする。
【００５２】
以下、判断部２０６の処理について説明する。距離情報取得部２０２からの距離画像、および、画像取得部２０４からの入力画像は、構成部２０６２に入力される。構成部２０６２は、距離画像および入力画像を統合することにより、３次元画像を生成する。生成された３次元画像は、分割部２０６４に入力される。
【００５３】
分割部２０６４は、時刻ｔの時点において、３次元画像８をＭ個（Ｍは２以上の整数）のブロック画像８ｍｔ（ただし、ｍ＝１，・・・，Ｍ、ｔ＝１，２，３・・・）に分割する。図５を参照して、複数のブロックについてさらに説明する。図５はユーザαの手の画像である。図５は、時刻ｔ＝１の３次元画像８Ａ、時刻ｔ＝２での３次元画像８Ｂ、時刻ｔ＝３での３次元画像８ＣがＭ個のブロックに分割されていることを示す。図５に示すように、構成部２０６２が３次元画像を構成する度に、Ｍ個のブロック画像８ｍｔに分割する。
【００５４】
次に、抽出部２０６６は、各時刻ｔごとに、３次元画像の各ブロック画像８ｍｔの特徴量ｆｍｔを抽出する。ここで、特徴量ｆｍｔは、各ブロック画像を数値化したものである。特徴量ｆｍｔは、例えば、ブロック画像の濃淡値、ブロック画像の色値、ブロック画像の被写体αまでの距離などを含む。
【００５５】
そして検出部２０６８は、第１記憶部１０６に記憶されている第１ジェスチャーテーブルを用いて、抽出部２０６６が抽出した特徴量ｆｍｔの時間的変化に基づいて、被写体αの動きに対応した入力値を決定する。つまり、検出部２０６８は１以上の特徴部位の位置および対応する距離を取得し、特徴部位の位置および距離の時間的変化に基づいて、被写体αの動きに対応した入力値を決定する。図５の例では、特徴部位は、ユーザの手である。
【００５６】
図６を参照して、第１ジェスチャーテーブルについて説明する。図６は、第１ジェスチャーテーブルの一例を示した図である。図６の例での第１ジェスチャーテーブルは、各ブロック画像８ｍの特徴量ｆｍｔの時間的変化と、ジェスチャー（ユーザの動き）と、が対応付けられている。
【００５７】
図６の例では、ブロック画像８１ｔの特徴量の変位が、ｆａ１１→ｆａ１２→ｆａ１３・・・であり、ブロック画像８ｍｔの特徴量の変位が、ｆａｍ１→ｆａｍ２→ｆａｍ３・・・であり、ブロック画像８Ｍｔの特徴量の変位が、ｆａＭ１→ｆａＭ２→ｆａＭ３・・・となる場合には、ジェスチャーは「手を振る」である。
【００５８】
検出部２０６８は、第１ジェスチャーテーブルを参照して、抽出部が抽出した特徴量の時間的変化に基づいて、ジェスチャーを認識する。
【００５９】
そして、ユーザは自分のジェスチャーが終了すると、ユーザはジェスチャーが終了したことを示す操作（以下、「終了操作」という。）、または、ユーザはジェスチャーが終了したことを示すジェスチャー（以下、「終了ジェスチャー」という。）を行う。終了ジェスチャーは、例えば、ユーザの瞬きの開閉などである。また、終了操作は、例えば、操作ボタン１８内のＯＫボタンを押下すること、または、表示デバイスに表示されたＯＫキーをタッチすることなどである。
【００６０】
終了ジェスチャーまたは終了操作がユーザにより行われると、決定部２０８は、検出部２０６８が検出したジェスチャーを、実際のジェスチャーとして決定する。終了操作または終了ジェスチャーが行われると、決定部２０８は、決定信号を検出部２０６８に対して送信する。検出部２０６８は、決定信号を受信すると、第１記憶部１０７に記憶されている第２ジェスチャーテーブルを参照して、ジェスチャーを認識する。制御部２１０は、第２記憶部２１２に記憶されている変換テーブルを用いて、決定されたジェスチャーを入力値に変換する。なお、決定されたジェスチャーを入力値に変換する処理は、検出部２０６８が行うようにしてもよい。
【００６１】
ここで、図７を参照して、変換テーブルについて説明する。図７は、変換テーブルの一例を示した図である。図７の例では、決定部２０８が決定したジェスチャーと、入力値とが対応付けられている。図７の例では、ジェスチャー「ウインク」と、入力値β１とが対応付けられている。制御部２１０は、変換テーブルを参照して、決定部２０８が決定したジェスチャーに対応する入力値を出力する。
【００６２】
さらに、図４の例では、制御部２１０が変換した入力値に応じた処理を他のデバイスに行わせる。図７の例では、制御部２１０が変換した入力値がβ１である場合には（つまり、ジェスチャーが「ウインク」である場合には）、制御部２１０が第２撮像デバイス２０に撮像させる。また、制御部２１０が変換した入力値がβ２である場合には（つまり、ジェスチャーが「手を振る」である場合には）、第２発光部２２を発光させる。また、その他のジェスチャーと、その他の入力値とを対応付けるようにしてもよい。
【００６３】
情報処理装置１００の外観が図２に示す場合に、表示デバイス１６に表示された撮像キーをユーザがタッチすることにより、第２撮像デバイス２０が撮像する構成であると、該撮像キーをタッチする際に、情報処理装置１００がブレてしまい、適切に撮像できない場合がある。そこで、上違法処理装置１００を把持したユーザによる予め定められたジェスチャー（つまり、予め定められた入力値）をトリガとして第２撮像デバイス２０に撮像させるようにすると、情報処理装置１００がブレることはなく、適切に第２撮像デバイス２０に撮像させることができる。
【００６４】
また、制御部２１０は、表示デバイス１６による表示制御等も行う。図８を参照して、ユーザのジェスチャー用の画像の表示手法を説明する。図８は、ユーザのジェスチャー用の画像の表示手法の一例を示した図である。また、以下の説明では、第１撮像デバイス２が撮像する画像を「第１入力画像」といい、第２撮像デバイス２０は撮像する画像を「第２入力画像」という。
【００６５】
図８に示すように、表示デバイス１６は、第１領域１６１と、第２領域１６２とを含む。第１領域１６１は、第１入力画像を表示する領域である。第２領域１６２は、第２入力画像を表示する領域である。図８の例では、第１入力画像は、被写体αの顔α１と、手α２との画像である。また、第２入力画像は、風景の画像である。
【００６６】
図８に示すように、表示デバイス１６が、第１入力画像および第２入力画像を表示することにより、ユーザは第１入力画像および第２入力画像を認識することができる。従って、例えば、ユーザは、ジェスチャー画像（第１入力画像）を目視しながら、第２撮像デバイス２０が撮像する画像（第２入力画像）を目視できる。
【００６７】
また、図８の例では、第２領域１６２が第１領域１６１を含む構成である。その他、ユーザが第１入力画像および第２入力画像を目視できるのであれば、第1入力画像および第２入力画像の表示手法は問わない。例えば、第１入力画像および第２入力画像を並べて表示するようにしてもよい。
【００６８】
＜処理の流れ＞
次に、図９を参照して、処理の流れについて説明する。図９は、本実施形態の情報処理装置１００の処理フローを示した図である。
【００６９】
ステップＳ２において、ユーザが該当するアプリケーションを起動させると、制御部２１０は、第２撮像デバイス２０を起動させる。そうすると、制御部２１０は、表示デバイス１６などに、モード選択画面を表示させる。モード選択画面は、例えば、「ジェスチャー入力モード」または「通常モード」の選択を受け付ける画面である。通常モードは、ユーザが操作ボタン１８を押下することや、表示デバイス１６に表示されたキーをタッチすることにより、情報処理装置１００を制御するモードである。
【００７０】
ユーザが、ジェスチャー入力モードを選択すると、制御部２１０は、ＹＥＳと判断し、処理はステップＳ６に移行する。一方、ユーザが、通常モードを選択すると、制御部２１０は、ＮＯと判断し、ステップＳ５に移行する。
【００７１】
ステップＳ５では、制御部２１０は、通常モードに設定する。
ステップＳ６では、制御部２１０は、第１撮像デバイス２を起動させる。
【００７２】
ステップＳ８では、制御部２１０は、ジェスチャー入力モードの準備が完了したか否かを判断する。ジェスチャー入力モードの準備は、ジェスチャー認識用の画像の表示領域（図８に示す第１領域１６１）の生成と、第１発光部１４の発光等を含む。制御部２１０は、ジェスチャー入力モードの準備が完了するまで待機する（ステップＳ８のＮＯ）。また、制御部２１０は、ジェスチャー入力モードの準備が完了したと判断すると（ステップＳのＹＥＳ）、処理はステップＳ１０に移行する。
【００７３】
ステップＳ１０では、判断部２０６は、ジェスチャー認識を行う。該ジェスチャー認識の処理の流れについては後述する。
【００７４】
ステップＳ１２では、制御部２１０は、判断部２０６（検出部２０６８）が検出したユーザのジェスチャに決定されたか否かを判断する。上述のように、ユーザにより決定ジェスチャーがされたか、または、決定操作または決定ジェスチャーがされたかなどにより、判断部２０６は、ジェスチャーを決定する。
【００７５】
ステップＳ１４では、制御部２１０は、決定部２０８により決定された入力値に応じた制御を行う。該制御は、例えば、第２撮像デバイス２０に撮像させる制御などを含む。ステップＳ１４の処理終了後、処理は、ステップＳ８に戻る。
【００７６】
≪ジェスチャー認識処理について≫
次に、図１０を参照して、ジェスチャー認識処理の流れについて説明する。図１０は、ジェスチャー認識処理の流れの一例を示した図である。
【００７７】
ステップＳ１０２では、構成部２０６２は、３次元画像を構成する。ステップＳ１０４では、分割部２０６４は、３次元画像をＭ個のブロックに分割する（図５参照）。ステップＳ１０６では、抽出部２０６６は、Ｍ個のブロック各々から特徴量を抽出する。ステップＳ１０８では、検出部２０６８は、抽出された特徴量と、第１記憶部１０６に記憶されている第１ジェスチャーテーブルとに基づいて、パターンマッチングにより、ユーザのジェスチャーを仮に認識する。
【００７８】
≪検出部２０６８の他の検出手法≫
また、上述の例では、「検出部２０６８は、第１記憶部１０６に記憶されている第１ジェスチャーテーブルを用いて、抽出部２０６６が抽出した特徴量ｆｍｔの時間的変化に基づいて、被写体αの動きに対応した入力値を決定する。」として説明した。その他の例として、検出部２０６８は、抽出部２０６６が抽出した特徴量に基づいて、被写体α（ユーザ）の１以上の特徴部位の位置および対応する距離を取得するとともに、該１以上の特徴部位の位置および距離の時間的変化に基づいて、入力値を決定する」ようにしてもよい。
【００７９】
上述の通り、特徴部位は、「特徴部位」は、被写体α（ユーザ）を構成する部位のうち、特徴的な部位である。該構成する部位は、例えば、ユーザの顔、手、目、鼻、口、胴、足などである。
【００８０】
検出部２０６８は、抽出部２０６６が抽出した特徴量を用いて、特徴部位を検出する。特徴部位の検出手法は、様々提案されているが、検出手法の一例として、例えば、特徴量の集合と特徴部位とを対応付けたデータベースを用いる手法等がある。
【００８１】
検出部２０６８は、特徴部位を検出することにより、該特徴部位の位置および対応する距離を取得する。さらに、制御部２１０は、該１以上の特徴部位の位置および距離の時間的変化に基づいて、入力値を決定する。
【００８２】
≪まとめ≫
この実施形態１の情報処理装置１００および入力装置２００によれば、１つの撮像デバイスを用いることにより、被写体の動きに応じた入力値を決定できる。従って、従来と比較して、装置サイズを小型化でき、構成も簡単にでき、製造コストも低減できる。また、ジェスチャー認識をする際に、ジェスチャー辞書を不要とし、自由度の高いジェスチャーを認識可能とすることができる。
【００８３】
［実施形態２］
実施形態１では、ユーザが１以上の特徴部位を動かし、ジェスチャー認識させる例を説明した。実施形態２では、ユーザが２以上の特徴部位を動かし、ジェスチャー認識させる例について説明する。例えば、２以上の特徴部位を、ユーザの顔、ユーザの右手とする。この場合にユーザは左手に情報処理装置を把持し、ユーザは、ユーザの顔およびユーザの右手を動かす。そうすると、ユーザの左手が微妙に動いたり、ユーザの顔が微妙に動いたりするため、情報処理装置が、ジェスチャー認識を行う場合がある。
【００８４】
そこで、実施形態２の入力装置、情報処理装置は、情報処理装置が微妙に動いたりなどしても、適切に、ジェスチャー認識を行うことができる。
【００８５】
＜機能構成例＞
図４を参照して、ユーザが図１１に示すジェスチャーを行った場合に、判断部２０６のジェスチャー認識処理の詳細を説明する。図１１は、実施形態２のユーザのジェスチャー例を示した図である。また、図４において、判断部２０６内の構成部２０６２、分割部２０６４、抽出部２０６６の処理については、実施形態１と同様なので説明を繰り返さない。
【００８６】
実施形態２の情報処理装置１００Ｂの外観図は図２と同様であり、ハードウェア構成は図３と同様であり、機能構成例は図４と同様である。情報処理装置１００Ｂの外観、ハードウェア構成については、実施形態１と同様なので説明を繰り返さない。
【００８７】
本実施形態２では、２以上の特徴部位のうちの１つを基準特徴部位α１１（第１特徴部位）とし、それ以外の特徴部位を第２特徴部位α１２とする。また、図１１の例では、基準特徴部位α１１を「ユーザの顔」とし、第２特徴部位α１２を「ユーザの手」とする。図１１では、時刻ｔ＝１〜３各々の３次元画像の一例を示す。
【００８８】
時刻ｔ＝１において、抽出部２０６６は、Ｍ個のブロック各々の特徴量を抽出すると、検出部２０６８は、抽出された特徴量に基づいて、基準特徴部位α１１を検出する。この例では、基準特徴部位α１１は、「ユーザの顔」とする。検出部２０６８は、「ユーザの顔」を検出する。ユーザの顔の検出手法は、公知の技術を用いればよい。
【００８９】
検出部２０６８は、ユーザの顔α１１を検出すると、ユーザの顔α１１内のいずれかの点を原点とする。好ましくは、該原点は、ユーザの顔（第１特徴部位）α１１の重心とする。時刻ｔでの原点の座標を（ｘ０ｔ、ｙ０ｔ、ｚ０ｔ）とする。つまり、時刻ｔ＝１での原点の座標を（ｘ０１、ｙ０１、ｚ０１）とする。
【００９０】
さらに、検出部２０６８は、抽出部２０６６が抽出したＭ個のブロック各々の特徴量と、予め定められた閾値と、を比較する。検出部２０６８は、該閾値より大きい特徴量のブロックを、着目ブロック（以下、「着目点」という。）として認識する。図１１の例では、図面簡略化のために、着目点Ｓ１を１点のみ示しているが、実際は着目点はＬ個（Ｌは２以上の整数）ある。時刻ｔでの着目点Ｓ１の座標を（ｘ１ｔ、ｙ１ｔ、ｚ１ｔ）とする。つまり、時刻ｔ＝１での着目点Ｓ１の座標を（ｘ１１、ｙ１１、ｚ１１）とする。
【００９１】
検出部２０６８は、原点（ｘ０１、ｙ０１、ｚ０１）、および、着目点Ｓ１（ｘ１１、ｙ１１、ｚ１１）を検出すると、原点と着目点Ｓ１の距離Δ１１を算出する。ここで、距離Δ１１は３次元で表現され、距離Δ１１＝（Δｘ１１、Δｙ１１、Δｚ１１）とする。
【００９２】
ただし、
Δｘ１１＝ｘ１１−ｘ０１
Δｙ１１＝ｙ１１−ｙ０１
Δｚ１１＝ｚ１１−ｚ０１
となる。
【００９３】
同様に、時刻ｔ＝２において、抽出部２０６６が、Ｍ個のブロック各々の特徴量を抽出すると、検出部２０６８は、原点（ｘ０２、ｙ０２、ｚ０２）および着目点Ｓ１（ｘ１２、ｙ１２、ｚ１２）を検出する。そして、検出部２０６８は、原点と着目点Ｓ１との距離Δ１２＝（Δｘ１２＝ｘ１２−ｘ０２、Δｙ１２＝ｙ１２−ｙ０２、Δｚ１２＝ｚ１２−ｚ０２）となる。
【００９４】
同様に、時刻ｔ＝３において、抽出部２０６６が、Ｍ個のブロック各々の特徴量を抽出すると、検出部２０６８は、原点（ｘ０３、ｙ０３、ｚ０３）および着目点Ｓ１（ｘ１３、ｙ１３、ｚ１３）を検出する。そして、検出部２０６８は、原点と着目点Ｓ１との距離Δ１３＝（Δｘ１３＝ｘ１３−ｘ０３、Δｙ１３＝ｙ１３−ｙ０３、Δｚ１３＝ｚ１３−ｚ０３）となる。
【００９５】
そして、ユーザから、決定ジェスチャーまたは決定操作がなされると、決定部２０８は、決定信号を検出部２０６８に対して送信する。検出部２０６８は、決定信号を受信すると、第１記憶部１０７に記憶されている第２ジェスチャーテーブルを参照して、ジェスチャーを認識する。
【００９６】
図１２は、第２ジェスチャーテーブルを用いて検出部２０６９はジェスチャーを認識する。図１２の例では、距離の時間的変化とジェスチャーとが対応付けられている。検出部２０６９は、各時刻ごとの、距離の変化を検出し、該検出された距離の変化と対応するジェスチャーを、ユーザのジェスチャーとして認識する。
【００９７】
なお、図１２では、図面簡略化のために、１つの着目点の距離の変化と、ジェスチャーとが対応付けられているが、実際はＭ個の着目点の距離の変化と、ジェスチャーとが対応付けられている。
【００９８】
この実施形態２によれば、情報処理装置１００Ｂは、２以上の特徴部位によるジェスチャーを認識できるため、複雑なジェスチャーを認識できる。また、この実施形態２によれば、検出部２０６９は、第１特徴部位（例えば、ユーザの顔）を基準とした第２特徴部位（例えば、ユーザの手）の相対的な時間変化に基づいて、入力値を決定できることから、基準特徴部位（ユーザの顔）のブレや、情報処理装置１００Ｂのブレ等を吸収することができ、適切にジェスチャー認識を行うことができる。
【００９９】
［実施形態１および２の変形例（その１）］
図１３は、実施形態１、２の変形例（その１）の制御システムの一例を示した図である。上記では、情報処理装置１００が入力装置２００を含む構成を説明した。該変形例では、入力装置２００と、入力装置から出力された入力値に基づいた処理を行う処理装置３００と、が別筺体である構成を説明する。
【０１００】
ユーザが被写体αとしてジェスチャーを行う。入力装置２００の検出部２０６８は、ユーザαのジェスチャーを認識し、制御部２１０が認識したジェスチャーに対応した入力値を決定する。入力装置２００は、該決定された入力値を処理装置３００へ送信する。処理装置３００は、送信された入力値を受信すると、該入力値に応じた処理を行う。
【０１０１】
また、入力装置２００と処理装置３００とは、ネットワーク接続させるようにしてもよい。
【０１０２】
［実施形態１および２の変形例（その２）］
実施形態１、２の変形例（その２）では、構成部２０６２（図４参照）を省略するようにしてもよい。この場合には、分割部２０６４は、各時刻ごとに、距離情報取得部２０２から送信された距離画像、および、画像取得部２０４から送信された入力画像をＭ個のブロックに分割するようにすればよい。
【０１０３】
［入力画像および距離情報の取得について］
次に、図１４を参照して距離情報取得部２０２の距離情報の取得手法、および、画像取得部２０４の入力画像の取得方法の一例について簡単に説明する。該取得方法は、例えば、特開２０１１−１２８０２４号公報に開示されている。図１４は、第１撮像デバイス２の概略図の一例である。
【０１０４】
第１発光部１４は、パルス状の近赤外線の投射光Ｌ１を被写体αに向けて投射する。受光部５０３は、この投射光Ｌ１の被写体αからの反射光Ｌ２と、自然光または照明光とを
受光して光電変換を行うことにより、信号α（図１等参照）を生成する。受光部５０３は、複数の色画素と複数の距離画素とを含む。複数の色画素は所定の色配列で周期的に配置される。複数の距離画素は、被写体αまでの距離に応じた受光情報を取得する。
【０１０５】
距離情報導出部４１３は、受光情報に基づいて、距離情報を導出する。また、画像導出部４１４は、信号αに基づいて、Ｒ（赤），Ｇ（緑）およびＢ（青）の色情報が含まれた入力画像を導出する。
【０１０６】
次に、図１５を参照して、距離情報導出部４１３の距離情報導出手法の一例について説明する。図１５は、距離情報導出部４１３の距離情報導出手法の一例を説明するための図である。
【０１０７】
図１５に示すように、第１発光部１４は被写体αに対して光Ｌ１を投射する。そして、第１撮像デバイス２内の受光部５０３が、反射光Ｌ２を受光する。距離情報導出部４１３は、発光部が発光した時から、受光部５０３が受光した時までの光の飛行時間を測定する。そして、距離情報導出部４１３は、該測定された飛行時間と、光の速さ（３×１０８ｍ／ｓ）と、基づいて、距離情報を導出する。
【０１０８】
つまり、第１発光部１４の発光タイミングと、第１撮像デバイス２の受光タイミングとにより、距離情報導出部４１３は、距離情報を導出することができる。
【０１０９】
［その他］
本実施形態の入力装置および情報処理装置は、ＣＰＵとその上で実行されるプログラムにより実現される。本実施形態を実現するプログラムは、コンピュータが読み取り可能な記録媒体、例えば半導体メモリ、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等に格納することができ、これらの記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。また、本実施形態の入力装置および情報処理装置の一部または全ての構成をハードウェアで実現してもよい。
【０１１０】
また、今回開示された実施形態はすべての点で例示であって、制限的なものではない。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１１１】
２  第１撮像デバイス、１４  第１発光部、１６  表示デバイス、１８  操作ボタン、１９  スピーカ、２０  第２撮像デバイス、２２  第２発光部、１００  情報処理装置、１０４  ＲＡＭ、１０６  ＲＯＭ、１１２  通信部、１２０  外部メディア、２００  入力装置、２０２  距離情報取得部、２０４  画像取得部、２０６  判断部、２０８  決定部、２１０  制御部、２１２  第２記憶部、３００  処理装置、４１３  距離情報導出部、４１４  画像導出部、５０３  受光部、２０６２  構成部、２０６４  分割部、２０６６  抽出部。
【図１】
2013250742.tif 000003
【図２】
2013250742.tif 000004
【図３】
2013250742.tif 000005
【図４】
2013250742.tif 000006
【図５】
2013250742.tif 000007
【図６】
2013250742.tif 000008
【図７】
2013250742.tif 000009
【図８】
2013250742.tif 000010
【図９】
2013250742.tif 000011
【図１０】
2013250742.tif 000012
【図１１】
2013250742.tif 000013
【図１２】
2013250742.tif 000014
【図１３】
2013250742.tif 000015
【図１４】
2013250742.tif 000016
【図１５】
2013250742.tif 000017