(57)【要約】【課題】ジェスチャに応じて通信制御することが可能な通信システムおよびプログラムを提供する。【解決手段】ユーザの通信相手先を指定する通信先指定部と、前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部と、を備える、通信システム。【選択図】図１
2014082668.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの通信相手先を指定する通信先指定部と、
前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、
前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部と、
を備える、通信システム。
【請求項２】
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を開始するよう制御する、請求項１に記載の通信システム。
【請求項３】
前記制御部は、前記認識されたジェスチャに応じて、発呼状態にするよう制御する、請求項１に記載の通信システム。
【請求項４】
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を終了するよう制御する、請求項１に記載の通信システム。
【請求項５】
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信種別を決定する、請求項１に記載の通信システム。
【請求項６】
前記通信種別は、電話通信、インターネット通信、またはメール通信である、請求項５に記載の通信システム。
【請求項７】
前記制御部は、前記ジェスチャに応じて、前記通信相手先との通信種別を設定する設定モードに移行する、請求項１に記載の通信システム。
【請求項８】
前記通信システムは、
前記ユーザの周囲に配された撮像部をさらに備え、
前記撮像画像は、前記撮像部により取得される、請求項１に記載の通信システム。
【請求項９】
前記通信システムは、
前記ユーザの周囲に配されたアクチュエータをさらに備え、
前記制御部は、前記通信相手先から取得したデータを、前記アクチュエータから出力するよう制御する、請求項１に記載の通信システム。
【請求項１０】
前記通信先指定部は、デフォルトの相手先を通信相手先に指定する、請求項１に記載の通信システム。
【請求項１１】
前記通信先指定部は、前記ユーザに指定された相手先を通信相手先に指定する、請求項１に記載の通信システム。
【請求項１２】
前記通信システムは、
前記ユーザの音声を認識する音声認識部をさらに備え、
前記通信先指定部は、前記音声認識部により認識された通信相手の名称、電話番号、またはアドレスに応じて、前記通信相手先を指定する、請求項１１に記載の通信システム。
【請求項１３】
前記ジェスチャ認識部は、ユーザの国籍あるいはユーザが居る国に応じて異なるジェスチャ認識を行う、請求項１に記載の通信システム。
【請求項１４】
コンピュータを、
ユーザの通信相手先を指定する通信先指定部と、
前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識する認識部と、
前記認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部、
として機能させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、通信システムおよびプログラムに関する。
【背景技術】
【０００２】
近年、ノートＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末等のモバイル端末装置が普及している。これらのモバイル端末装置は、操作入力用のボタン、スイッチ、タッチパネルディスプレイ等が設けられ、ユーザによる操作入力に応じて各アプリケーションを実行する。
【０００３】
ここで、モバイル端末装置の操作入力方法は、上述したボタンやスイッチ等からの操作入力の他、モバイル端末装置自身を動かすことでアプリケーション実行のトリガとする方法も提案されている。例えば、下記特許文献１では、モバイルデバイスに設けられた加速度計および近接センサ等から供給されるデータを使用して、ユーザの所定の姿勢や、モバイルデバイスを「シェイク」したり「フリップ」したりするジェスチャを識別することが開示されている。そして、特許文献１のモバイルデバイスは、識別したユーザの姿勢やジェスチャを録音ジェスチャとし、録音アプリケーションを実行する。
【０００４】
また、下記特許文献２、３では、無線ハンドセット等の通信装置において、通信装置に設けられた加速度計の出力に応じて、通信装置の動きを検知し、通信装置の状態を制御することが開示されている。具体的には、特許文献２、３では、例えば通信装置の動き（静止ポジションから移動へ推移）が検知された場合に、通信装置をオフフック状態にして、ユーザが「電話」ボタンを押さないで、かかってきた呼と通信できるようにする。また、通信装置の動き（静止ポジションから移動へ推移）が検知された場合に、即時ＯＮ状態にして、ユーザが「電話」ボタンを押さないで、直ちにダイヤルトーンがあり、発呼できる状態にしてもよい。このように、特許文献２、３では、無線電話機（無線ハンドセット）の動作態様を検知してオフフック状態や即時ＯＮ状態にすることで、有線電話機（有線ハンドセット）と同様に状態の切り替えを行うことができる。
【０００５】
また、下記特許文献４では、画像を比較し、予め登録したキーロック解除用の画像と一致する場合には、キーロックを解除するテレビ電話端末が開示されている。このように、キーロック解除アプリケーションの実行を、ボタンやスイッチから操作入力ではなく、画像比較に基づいて行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１２−５０８５３０号公報
【特許文献２】特開２００１−３６６２８号公報
【特許文献３】特許第４９３８１００号公報
【特許文献４】特開２０００−１８４０５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３に開示されている技術は通信端末（いわゆるガジェット）に設けられた加速度計等の出力に応じて録音動作等を実行するものであって、通信端末を所持しないユーザのジェスチャのみに応じた制御については何ら言及されていない。
【０００８】
また、特許文献４においても、通信端末を所持しないユーザのジェスチャのみに応じた制御については何ら言及されていない。
【０００９】
特に、大量のイメージセンサ、マイク、スピーカ等が広範囲に配され、ユーザの身体拡張を実現する手段として用いる新たなコミュニケーション方法（通信システム）を想定したジェスチャ入力に関する技術は、何ら提案されていない。
【００１０】
そこで、本開示では、ジェスチャに応じて通信制御することが可能な、新規かつ改良された通信システムおよびプログラムを提案する。
【課題を解決するための手段】
【００１１】
本開示によれば、ユーザの通信相手先を指定する通信先指定部と、前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部と、を備える、通信システムを提案する。
【００１２】
本開示によれば、コンピュータを、ユーザの通信相手先を指定する通信先指定部と、前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識する認識部と、前記認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部、として機能させるための、プログラムを提案する。
【発明の効果】
【００１３】
以上説明したように本開示によれば、ジェスチャに応じて通信制御することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施形態による通信システムの概要を説明するための図である。
【図２】本実施形態による信号処理装置の主要構成例を示すブロック図である。
【図３】第１の実施形態による通信制御の処理を示すフローチャートである。
【図４】第１の実施形態による電話通信に関するジェスチャ入力の一例について説明するための図である。
【図５】第１の実施形態によるメール通信に関するジェスチャ入力の一例について説明するための図である。
【図６】第１の実施形態によるメール通信に関するジェスチャ入力の他の例について説明するための図である。
【図７】第２の実施形態によるジェスチャ認識による通信制御の処理を示すフローチャートである。
【図８】第３の実施形態によるジェスチャ登録の動作処理を示すフローチャートである。
【図９】第３の実施形態によるジェスチャ登録の画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による通信システムの概要
２．本実施形態による端末装置の主要構成例
３．各実施形態
３−１．第１の実施形態
３−２．第２の実施形態
３−３．第３の実施形態
４．まとめ
【００１７】
＜１．本開示の一実施形態による通信システムの概要＞
まず、本開示の一実施形態による通信システムの概要について、図１を参照して説明する。図１は、本開示の一実施形態による通信システムの概要を説明するための図である。図１に示すように、本実施形態では、屋外や屋内の床、壁、天井等の至る所に複数のマイクロフォン（以下、マイクと称す）２ａ〜２ｄやカメラ３ａ〜３ｂ等のセンサと、スピーカ４ａ〜４ｄ等のアクチュエータとが配置されていることを想定する。
【００１８】
マイク２ａ〜２ｄ（以下、マイク２とも称す）は、ユーザの音声を集音し、信号処理装置１に出力する。カメラ３ａ〜３ｂ（以下、カメラ３とも称す）は、ユーザを撮影し、撮影画像を信号処理装置１に出力する。スピーカ４ａ〜４ｄ（以下、スピーカ４とも称す）は、信号処理装置１から出力されるオーディオ信号（相手先ユーザの音声や、発信音、着信音等）を再生する。
【００１９】
なお、図１では、センサおよびアクチュエータの具体例として、マイク２ａ〜２ｄ、カメラ３ａ〜３ｂ、スピーカ４ａ〜４ｄを示したが、各センサおよびアクチュエータの数は、図１に示す例に限定されない。また、センサおよびアクチュエータの種別は、図１に示す例に限定されない。例えば、センサとして、さらに人感センサが設置されていてもよいし、アクチュエータとしてさらにディスプレイが設置されていてもよい。人感センサは、周囲にユーザが居ることを検知し、検知結果を信号処理装置１に出力する。また、ディスプレイは、信号処理装置１による表示制御に応じて、Ｗｅｂ画面やメール画面を表示する。
【００２０】
信号処理装置１は、これらセンサおよびアクチュエータと接続し、上述したようにデータの入出力を行う。また、信号処理装置１は、遠隔地に居る相手ユーザの周囲に同様に配されたセンサおよびアクチュエータと接続する信号処理装置と通信（データの送受信）したり、相手ユーザが所持する携帯電話端末やスマートフォンと通信したりすることができる。
【００２１】
これにより、ユーザが携帯電話端末やスマートフォン、タブレット端末等の通信端末を所持していなくても遠隔地に居る相手ユーザと通信ができる新たなコミュニケーションシステム（通信システム）が実現される。
【００２２】
ここで、ユーザが通信を開始したり相手ユーザを指定したりするための指示は、例えば音声による入力が考え得る。具体的には、信号処理装置１は、マイク２から集音したユーザの音声を解析し、「ＡＡさんと電話したい」といったコマンドを受け付け、ＡＡが居るエリアの信号処理装置と通信し、呼び出しを行う。
【００２３】
しかしながら、音声入力に限らず、ジェスチャ入力も可能となれば、このような通信端末を持ち歩く必要のない新たなコミュニケーションシステムにおいて、さらに利便性が向上する。
【００２４】
そこで、上記事情を一着眼点にして本開示の各実施形態による通信システムを創作するに至った。本開示の各実施形態による通信システムによれば、ジェスチャに応じて通信の開始／終了や、通信種別を制御することができる。
【００２５】
より具体的には、信号処理装置１は、カメラ３によりユーザを撮影した撮影画像に基づいて、ユーザのジェスチャを認識し、認識したジェスチャに応じて通信制御を行う。例えば、図１に示すように、親指と小指を立てて顔の近くに持っていく電話をかける動作のジェスチャＧ１が認識された場合、信号処理装置１は、電話通信開始の制御を行う。電話通信開始の制御とは、発呼状態（ダイヤルトーンがスピーカ４から鳴る状態、または相手先が既に指定されている場合は相手先への発信音および呼び出し音がスピーカ４から鳴る状態）にしたり、着呼に応じる（電話に出る）状態にしたりする制御である。
【００２６】
また、信号処理装置１は、ジェスチャに応じて、電話通信、インターネット通信、メール通信等のいずれかの通信種別であるかを判断し、電話の場合は発呼状態に制御し、インターネットやメールの場合はディスプレイに所定の画面を表示するよう制御してもよい。このように、ユーザは、ジェスチャにより通信種別を選択することができる。
【００２７】
以下、このような本実施形態による通信システムに含まれる信号処理装置１の主要構成例について図２を参照して説明する。
【００２８】
＜２．本実施形態による信号処理装置の主要構成例＞
図２は、本実施形態による信号処理装置１の主要構成例を示すブロック図である。図２に示すように、信号処理装置１は、制御部１０、アンプ・ＡＤＣ（アナログ−デジタルコンバータ）部１２、ＤＡＣ（デジタル−アナログコンバータ）・アンプ部１４、信号処理部１６、ジェスチャＤＢ（データベース）１８、および通信Ｉ／Ｆ（インタフェース）２０を有する。なお、また、複数のマイク２、スピーカ４、カメラ３は、図２に示す例では、信号処理装置１と別に構成されているが、信号処理装置１に含まれていてもよい。
【００２９】
（制御部）
制御部１０は、信号処理装置１の各構成を制御する機能を有する。具体的には、本実施形態による制御部１０は、図２に示すように、音声認識部１００、通信先指定部１１０、ジェスチャ認識部１２０、および通信制御部１３０として機能する。
【００３０】
・音声認識部
音声認識部１００は、マイク２で集音されたユーザの音声を形態素解析し、通信相手の名称や、電話番号、アドレス等を認識する。また、音声認識部１００は認識結果を通信先指定部１１０に出力する。
【００３１】
・通信先指定部
通信先指定部１１０は、音声認識部１００から出力された認識結果に応じて、ユーザがコンタクトを要求する通信相手先を指定（決定）する機能を有する。具体的には、例えば通信先指定部１１０は、音声認識された通信相手の名称に紐付けられた電話番号や、音声認識された電話番号等に基づいて、通信相手が所持する携帯電話端末を通信相手先に決定する。また、通信先指定部１１０は、音声認識された通信相手が現在居る場所の周辺に配されるマイクやスピーカと接続する信号処理装置を通信相手先に決定してもよい。この場合、通信先指定部１１０は、通信Ｉ／Ｆ２０から管理サーバ（不図示）に問い合わせを行い、通信相手が現在居る場所の周辺に配されるマイクやスピーカと接続する信号処理装置のＩＰアドレス等を取得してもよい。
【００３２】
以上、通信先指定部１１０がユーザに任意で指定された対象を通信相手先として決定する場合について説明したが、本実施形態による通信先の決定はこれに限定されず、通信先指定部１１０は、予め設定されたデフォルトの対象を通信相手先として決定してもよい。
【００３３】
・ジェスチャ認識部
ジェスチャ認識部１２０は、カメラ３で撮影された撮影画像に基づいて、ユーザのジェスチャを認識する。また、ジェスチャ認識部１２０は、認識結果を通信制御部１３０に出力する。ジェスチャ認識部１２０が認識するジェスチャは、予めジェスチャＤＢ１８に登録されていてもよい。例えば、ジェスチャ認識部１２０は、例えば撮影画像とジェスチャＤＢ１８に登録されているジェスチャ画像とを比較し、手の形や動きが一致する場合、ジェスチャとして認識する。
【００３４】
・通信制御部
通信制御部１３０は、ジェスチャ認識部１２０により認識されたジェスチャに応じて、通信先指定部１１０により指定された通信相手先との通信を制御する。具体的には、通信制御部１３０は、電話通信の開始／終了制御や、通信種別に応じた通信プロトコルでの接続を行うよう制御する。また、通信制御部１３０は、ジェスチャＤＢ１８を参照し、認識されたジェスチャに対応付けられた制御を実行する。
【００３５】
（アンプ・ＡＤＣ部）
アンプ・ＡＤＣ部１２は、マイク２から出力された音声情報を増幅するアンプと、アンプにより増幅された音声情報を、アナログ電気信号からデジタル電気信号に変換するＡＤＣを有する。また、アンプ・ＡＤＣ部１２は、デジタル電気信号に変換した音声情報を信号処理部１６に出力する。
【００３６】
（ＤＡＣ・アンプ部）
ＤＡＣ・アンプ部１４は、信号処理部１６から出力された通話相手の音声情報を、デジタル電気信号からアナログ電気信号に変換するＤＡＣと、アナログ電気信号に変換された音声情報を増幅するアンプを有する。また、ＤＡＣ・アンプ部１４は、アナログ電気信号に変換し、増幅した音声情報をスピーカ４に出力する。
【００３７】
（信号処理部）
信号処理部１６は、制御部１０による制御にしたがって、マイク２で集音され、アンプ・ＡＤＣ部１２から出力された音声情報（送話音声）、または通信Ｉ／Ｆ２０により受信した音声情報（受話音声）に対して、所定の信号処理を行う機能を有する。所定の信号処理とは、例えばノイズ除去処理である。
【００３８】
また、信号処理部１６は、マイク２で集音され、ノイズ除去処理等を行ったユーザの音声情報を制御部１０の音声認識部１００に出力する。なお電話通信中においては、信号処理部１６は、マイク２で集音され、ノイズ除去処理等を行ったユーザの音声情報を送話音声として通信部Ｉ／Ｆ２０に直接出力し、通信相手先に送信させてもよい。
【００３９】
（ジェスチャＤＢ）
ジェスチャＤＢ１８は、ジェスチャと通信制御とを対応付けたデータを記憶する。具体的には、ジェスチャＤＢ１８は、ジェスチャの画像（静止画、動画）と、対応する通信制御内容（通信開始／終了、通信種別）を紐付けて記憶してもよい。
【００４０】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ２０は、外部装置とデータを送受信する機能を有する。具体的には、本実施形態による通信Ｉ／Ｆ２０は、信号処理部１６から出力された音声情報（送話音声）を、電話通信相手先に送信する。また、通信Ｉ／Ｆ２０は、電話通信相手先から通話相手の音声情報（受話音声）を受信し、信号処理部１６に出力する。また、通信Ｉ／Ｆ２０は、制御部１０の通信制御部１３０による制御に応じて、通信開始／終了を制御する。また、通信Ｉ／Ｆ２０は、制御部１０の通信制御部１３０による制御に応じて、所定の通信種別に応じた通信プロトコルで接続する。具体的には、通信Ｉ／Ｆ２０は、通信制御部１３０による制御に応じて、電話通信、メール通信、またはインターネット通信等の各通信種別に応じた通信プロトコルで所定の回線に接続する。
【００４１】
以上、本実施形態による信号処理装置１の主要構成例について詳細に説明した。続いて、本実施形態の信号処理装置１によるジェスチャに応じた通信制御について、複数の実施形態を用いて具体的に説明する。
【００４２】
＜３．各実施形態＞
［３−１．第１の実施形態］
図３は、第１の実施形態による通信制御の処理を示すフローチャートである。図３に示すように、まず、ステップＳ１０３において、カメラ３は、特定ユーザを撮影し、撮影した撮影画像を信号処理装置１に出力する。
【００４３】
次いで、ステップＳ１０６において、信号処理装置１のジェスチャ認識部１２０は、撮影画像に基づいて、ジェスチャを認識する。ここで認識するジェスチャは、電話通信、メール通信、またはインターネット通信のいずれかを開始するための共通ジェスチャであってもよいし、電話通信、メール通信、またはインターネット通信のいずれかの開始を示す個別ジェスチャであってもよい。また、ジェスチャ認識部１２０は、継続的にカメラ３から出力される撮影画像に対して、継続的にジェスチャ認識処理を行ってもよい。
【００４４】
次に、ジェスチャを認識できた場合（Ｓ１０６／ＹＥＳ）、ステップＳ１０９において、通信制御部１３０は、電話通信開始か否かを判断する。具体的には、例えばジェスチャ認識部１２０により認識されたジェスチャが、電話通信開始を示す個別ジェスチャであった場合、通信制御部１３０は、電話通信開始と判断する。または、認識されたジェスチャが通信開始を示す共通ジェスチャの場合、通信相手先との通信種別を設定する設定モードに移行され、通信制御部１３０は、例えばマイク２からユーザ音声が集音されたか否かに応じて電話通信開始か否かを判断する。
【００４５】
ここで、電話通信に関するジェスチャ入力の一例について、図４を参照して説明する。図４の状態Ｓ１−１に示すように、まず親指および小指のみを立てた手を耳の近くに持っていくジェスチャＧ１が、カメラ３により撮影され、ジェスチャ認識部１２０よりジェスチャ認識される。かかるジェスチャが電話通信開始を示す個別ジェスチャであった場合、通信制御部１３０は、電話通信開始と判断する。また、かかるジェスチャが何らかの通信開始を示す共通ジェスチャであった場合、通信制御部１３０は、さらにマイク２でユーザの音声（例えば電話番号の発声や通信相手の名称の発声）を集音した場合に電話通信開始と判断してもよい。なお、共通ジェスチャや電話通信開始を示す個別ジェスチャは、様々な態様が考えられ、また、国や文化によってジェスチャが意味するものは異なるので、ジェスチャ認識部１２０は、ユーザの国籍あるいはユーザが居る国に応じてジェスチャ認識を行ってもよい（ジェスチャ認識の切り替え）。ユーザが居る国とは、例えばユーザが居住している国である。具体的には、Ａ国に居住するＢ国籍のユーザは、国籍はＢ国であってもＡ国のジェスチャに慣れ親しんでいる場合が想定されるので、ジェスチャ認識部１２０は、ユーザの居住国に応じて異なるジェスチャ認識を行う。
【００４６】
次いで、電話通信開始と判断されると（Ｓ１０９／ＹＥＳ）、ステップＳ１１５において、通信制御部１３０は、電話通信接続を行い、発呼状態（例えばダイヤルトーンをスピーカ４から出力）にして、さらに通信先指定部１１０において相手先の指定を行う。具体的には、例えばユーザが電話番号や相手先の名称を発した音声をマイク２が集音し、集音した音声情報を音声認識部１００が認識し、かかる認識結果に基づいて、通信先指定部１１０が相手先の指定を行う。また、通信先指定部１１０は、予め設定されたデフォルトの相手先を指定してもよい。
【００４７】
次に、ステップＳ１１８において、通信制御部１３０は、通信先指定部１１０は、通信相手先の呼び出しを行う。この際、制御部１０は、スピーカ４から呼び出し音を出力してもよい。
【００４８】
次いで、ステップＳ１２１において、通信制御部１３０は、相手先が応答した場合に通話を開始する。これにより例えば図４の状態Ｓ１−２に示すように、通信Ｉ／Ｆ２０により受信した相手先の声（受話音声）がスピーカ４から出力され、ユーザが発した声（送話音声）がマイク２から集音されて通信Ｉ／Ｆ２０により相手先に送信される。
【００４９】
続いて、ステップＳ１２４において、ジェスチャ認識部１２０は、通話終了のジェスチャが認識されたか否かを判断する。具体的には、例えば図４の状態Ｓ１−３に示すように、通話開始後に（通話中に）、ユーザが親指および小指のみを立てた手を耳の近くから下に降ろすジェスチャＧ２が、カメラ３により撮影されると、ジェスチャ認識部１２０は通話終了のジェスチャとして認識する。
【００５０】
そして、通話終了のジェスチャが認識された場合（Ｓ１２４／ＹＥＳ）、ステップＳ１３０において、通信制御部１３０は通話を終了するよう制御する。
【００５１】
また、通話終了のジェスチャが認識されない場合（Ｓ１２４／ＮＯ）、ステップＳ１２７において、通信制御部１３０は通話を継続する。
【００５２】
一方、上記Ｓ１０９で電話ではないと判断された場合（Ｓ１０９／ＮＯ）、ステップＳ１１２において、制御部１０はメール通信またはインターネット通信を開始／開始準備する。具体的には、制御部１０は、メールフォームをユーザの周囲に配されているディスプレイに表示してメール通信の開始準備をしたり、インターネット通信を開始して通信Ｉ／Ｆ２０を介してネットワーク上から取得したＷｅｂ画面を同ディスプレイに表示したりする。
【００５３】
また、メール通信かインターネット通信かの判断については、ジェスチャ認識部１２０により認識された個別ジェスチャ（メール通信を指示するジェスチャ、インターネット通信を指示するジェスチャ）に応じて判断されてもよい。また、ジェスチャ認識部１２０により認識されたジェスチャが共通ジェスチャであって、さらにマイク２でユーザの音声が何も集音されなかった場合、制御部２０は、メール通信かインターネット通信をユーザに選択させる選択画面をディスプレイに表示してもよい。
【００５４】
ここで、メール通信に関するジェスチャ入力の一例について、図５を参照して説明する。図５の状態Ｓ２−１に示すように、ユーザがペンを持つようにして文字を書くジェスチャＧ３が、カメラ３により撮影されると、ジェスチャ認識部１２０は、メール通信を指示するジェスチャとして認識する。この場合、信号処理装置１の制御部２０は、図５の状態Ｓ２−２に示すように、ユーザの周囲に配されたタッチパネルディスプレイ５にメールフォームおよび操作画面を表示するよう制御する。ユーザは、かかるタッチパネルディスプレイ５に表示された操作画面に対してタッチ操作を行い、メールフォームに宛先や本文を入力する。ここで、制御部２０は、横書きジェスチャならば英語入力、縦書きジェスチャならば日本語入力といったように、文字を書く方向に応じて異なる言語入力に設定してもよい。
【００５５】
なお、メール通信を指示するジェスチャは、図５に示すジェスチャＧ３に限定されない。例えば、「メールを送る」という意味の手話によるジェスチャや、操作画面を操作するよう手を挙げるジェスチャ（例えば両手を挙げてキーボードを打つジェスチャ）や、指で空中に四角（メールやキーボードの形）を描くジェスチャであってもよい。また、一方の手で他方の掌に文字を書くジェスチャであってもよい。このように、様々なジェスチャが考えられ、また、国や文化によってジェスチャが意味するものが異なるので、ジェスチャ認識部１２０は、ユーザの国籍に応じたジェスチャ認識を行ってもよい。
【００５６】
そして、入力終了後、メール送信を行う場合、ユーザは、操作画面に含まれる送信ボタンをタッチして送信指示を行ってもよいし、ジェスチャ入力により送信指示を行ってもよい。例えば図５の状態Ｓ２−３に示すように、手を身体の前から前方に払うジェスチャＧ４がカメラ３により撮影され、ジェスチャ認識部１２０により送信指示として認識されると、制御部１０は、メール送信を実行して処理を終了させる。
【００５７】
以上、メール通信に関するジェスチャ入力の一例について説明した。なお、図５では、ディスプレイの一例として、ユーザの周囲、例えば壁に設置されたタッチパネルディスプレイ５を用いたが、メールフォーム等を表示するディスプレイはこれに限定されない。例えば、ユーザがＨＭＤ（ヘッドマウンドディスプレイ）を装着している場合、信号処理装置１の制御部１０は、当該ＨＭＤにメールフォーム等を表示するよう通信Ｉ／Ｆ２０からＷｉ−Ｆｉや赤外線通信等の近距離無線通信により制御指示を送信する。このようにＨＭＤがディスプレイの一例として用いられる場合について図６を参照して説明する。
【００５８】
図６は、メール通信に関するジェスチャ入力の他の例について説明するための図である。図６に示すＨＭＤ７は、例えばシースルー型ＨＭＤ（メガネ型ディスプレイ）であって、ユーザの眼の前に配されるレンズ部分には、透過率を制御できるディスプレイが設けられている。かかるディスプレイは、通常時は透明の状態に制御されるので、眼鏡のように常に装着していても日常生活に支障は無い。
【００５９】
本実施形態においては、図６の状態Ｓ３−１に示すように、ユーザがペンを持つようにして文字を書くジェスチャＧ３が、カメラ３により撮影されると、ジェスチャ認識部１２０は、メール通信を指示するジェスチャとして認識する。
【００６０】
この場合、信号処理装置１の制御部２０は、図６の状態Ｓ３−２に示すように、ＨＭＤ７にメールフォーム７１および操作画面７３をＡＲ（拡張現実）表示させるよう、通信Ｉ／Ｆ２０からＨＭＤ７に近距離無線通信により制御指示を送信する。ユーザは、ＨＭＤ７に表示された仮想的な操作画面７３の所定のキー部分の位置に指を重ねることで、メールフォーム７１に宛先や本文を入力できる。具体的には、例えばＨＭＤ７にユーザの視線方向を撮影するカメラが設けられ、かかるカメラによりキー入力を行う指を撮影し、仮想的な操作画面７３の各キーの表示位置と指の位置とを比較することで、ＨＭＤ７は操作入力を受け付けることができる。また、ＨＭＤ７は、入力データを信号処理装置１に送信する。
【００６１】
そして、入力終了後、メール送信を行う場合、ユーザは、操作画面に含まれる仮想的な送信ボタンを操作して送信指示を行ってもよいし、ジェスチャ入力により送信指示を行ってもよい。例えば図５の状態Ｓ３−３に示すように、手を身体の前から前方に払うジェスチャＧ４がカメラ３により撮影され、ジェスチャ認識部１２０により送信指示として認識されると、制御部１０は、メール送信を実行して処理を終了させる。
【００６２】
なお、上述した図６では、ディスプレイをＨＭＤ７で実現する場合について説明したが、ＨＭＤ７にマイク、スピーカ、カメラ、および図２に示す信号処理装置１の各構成を設け、本実施形態に係るジェスチャによる通信制御をＨＭＤ７で実現してもよい。
【００６３】
［３−２．第２の実施形態］
第１の実施形態では、ジェスチャ認識部１２０は、カメラ３で撮影された撮影画像に基づいてユーザのジェスチャを認識しているが、本実施形態によるジェスチャ認識部１２０はこれに限定されず、例えば筋電に基づいてユーザのジェスチャを認識してもよい。以下、図７を参照して筋電に基づいてユーザのジェスチャを認識する場合について説明する。
【００６４】
図７は、第２の実施形態によるジェスチャ認識による通信制御の処理を示すフローチャートである。図７では、一例として電話通信の開始・終了を制御する場合の処理を示す。
【００６５】
図７に示すように、まず、ステップＳ１０４において、信号処理装置１は、ユーザの筋電を検出する。具体的には、ユーザの皮膚に装着された筋電センサにより検出された検知データを、当該筋電センサから受信する。
【００６６】
次いで、ステップＳ１０７において、信号処理装置１のジェスチャ認識部１２０は、筋電センサにより検出された検知データに基づいて、手（腕）が挙がる動作（ジェスチャ）であるか否かを判断する。
【００６７】
次に、手が挙がる動作であると判断された場合（Ｓ１０７／ＹＥＳ）、ステップＳ１１０において、ジェスチャ認識部１２０は、手が挙がっている時間が、予め設定された時間（例えばｔ秒）以上であるか否かを判断する。
【００６８】
次いで、手が挙がっている時間がｔ秒以上である場合（Ｓ１１０／ＹＥＳ）、ジェスチャ認識部１２０は、電話通信開始を示すジェスチャであると認識し、認識結果を通信制御部１３０に出力する。通信制御部１３０は、電話通信を開始するに際して、まず、ステップＳ１１１で、電話通信の相手先が予めデフォルト設定されているか否かを判断する。
【００６９】
次に、相手先がデフォルト設定されていない場合（Ｓ１１１／ＮＯ）、ステップＳ１１６において、通信先指定部１１０は、ユーザ指示に応じて相手先の指定を行う。具体的には、例えばユーザが電話番号や相手先の名称を発した音声をマイク２が集音し、集音した音声情報を音声認識部１００が認識し、かかる認識結果に基づいて、通信先指定部１１０が相手先の指定を行う。
【００７０】
次いで、音声認識等ができず、相手先の指定ができなかった場合（Ｓ１１６／ＮＯ）、ステップＳ１１７において、制御部１０はエラー通知を行う。エラー通知は、例えばスピーカ４から「相手先を指定してください」といったアナウンスを流すものであってもよい。
【００７１】
続いて、相手先の指定ができた場合（Ｓ１１６／ＹＥＳ）、および相手先がデフォルト設定されている場合（Ｓ１１１／ＹＥＳ）、処理はステップＳ１１８に進む。ステップＳ１１８において、通信制御部１３０は、通信先指定部１１０により指定された相手先（デフォルトまたは任意の相手先）の呼び出しを行う。
【００７２】
そして、ステップＳ１２１〜Ｓ１３０において、図３に示す同ステップと同様の処理が行われる。
【００７３】
［３−３．第３の実施形態］
続いて、第３の実施形態として、ジェスチャＤＢ１８に任意のジェスチャを登録する場合について説明する。上述した図４〜図６に示す各ジェスチャは、電話開始／終了や、メール通信を指示するためのジェスチャの一例であって、国や文化、時代によって、ジェスチャの形や、そのジェスチャが意味するものは異なる。そこで、本実施形態では、ジェスチャＤＢ１８に任意のジェスチャを登録できるようにすることで、国や文化、時代に合わせたジェスチャ入力を可能とする。このようなジェスチャ登録は、パーソナルコンピュータ（ＰＣ）、スマートフォン、ノートＰＣ等によって別途行われ、登録データが有線／無線通信を介して信号処理装置１のジェスチャＤＢ１８に格納されもよい。また、図１に示すカメラ３と、図５に示すタッチパネルディスプレイ５を用いて、信号処理装置１のジェスチャＤＢ１８に直接格納させてもよい。
【００７４】
以下、本実施形態によるジェスチャ登録の動作処理について図８〜図９を参照して説明する。なお、以下に説明する例では、ジェスチャ登録がパーソナルコンピュータ（ＰＣ）で別途行われる場合について説明する。
【００７５】
図８は、第３の実施形態によるジェスチャ登録の動作処理を示すフローチャートである。図８に示すように、まず、ステップＳ１４３において、ＰＣは、ＰＣの表示部に、ジェスチャ種別メニュー画面を表示する。ジェスチャ種別メニュー画面とは、これから登録するジェスチャ種別として、電話、ＴＶ電話、メール、インターネット等のいずれかを選択するためのメニュー画面である。
【００７６】
次いで、ステップＳ１４６において、ＰＣは、ユーザによるジェスチャ種別の選択を受け付ける。ユーザは、例えばＰＣの操作部（マウスやキーボード）を操作して任意のジェスチャ種別を選択する。
【００７７】
次に、ステップＳ１４９において、ＰＣは、カメラ（ＰＣに接続されたカメラ）によりユーザのジェスチャ動作を撮影する。
【００７８】
次いで、ステップＳ１５２において、ＰＣは、ジェスチャ動作を撮影した撮影画像を解析し、画像認識（ジェスチャ動作を認識）できたか否かを判断する。また、ＰＣは、撮影した撮影画像を表示部に再生表示し、ユーザによりこのジェスチャでＯＫか否かを判断させてもよい。ユーザは、表示部で再生表示される撮影画像を目視で確認し、ＯＫの場合、ＰＣの表示部に表示される登録ボタンを選択する。
【００７９】
次に、画像認識できた（ユーザによりＯＫと判断された）場合（Ｓ１５２／ＹＥＳ）、ステップＳ１５５において、ＰＣは、ジェスチャの撮影画像と、選択されたジェスチャ種別（制御内容）を対応付けて登録処理を行う。具体的には、例えばＰＣは、ジェスチャの撮影画像と、選択されたジェスチャ種別（制御内容）を対応付けたデータを、信号処理装置１に送信し、信号処理装置１のジェスチャＤＢ１８に格納させてもよい。
【００８０】
そして、ステップＳ１５８において、続けてその他のジェスチャを登録する場合（Ｓ１５８／ＹＥＳ）、ＰＣの処理はＳ１４３に戻る。
【００８１】
以上、本実施形態によるジェスチャ登録処理について説明した。ここで、ジェスチャ登録の画面の一例を図９に示す。図９に示すように、ＰＣの表示部８にジェスチャ登録画面が表示され、ジェスチャ登録画面は、種別メニュー（電話開始／終了、ＴＶ電話開始／終了、メール送信等）、撮影画像の再生表示領域、撮影スタートボタン、および登録ボタンを含む。また、表示部８の上部には、カメラ９が装着されている。これにより、ＰＣは、カメラ９により撮影したジェスチャ動作を、ユーザに選択されたジェスチャ種別と対応つけて登録することができる。
【００８２】
＜４．まとめ＞
上述したように、本実施形態による通信システムでは、ジェスチャに応じて通信の開始／終了や、通信種別を制御することが可能となる。具体的には、信号処理装置１は、カメラ３によりユーザのジェスチャを撮影した撮影画像に基づいて、ジェスチャを認識し、認識したジェスチャに応じて、電話通信の開始／終了、メール通信の準備（メールフォームの表示）、インターネット通信等を行う。
【００８３】
これによりユーザは、手に何ら通信端末を所持しないで遠隔地の相手と通信することが可能な新たなコミュニケーションシステムにおいて、ジェスチャにより通信開始／終了を指示することができる。また、電話、メール、インターネット等を示す個別ジェスチャにより、通信プロトコル（通信種別）を選択することができる。
【００８４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８５】
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの通信相手先を指定する通信先指定部と、
前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識するジェスチャ認識部と、
前記ジェスチャ認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部と、
を備える、通信システム。
（２）
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を開始するよう制御する、前記（１）に記載の通信システム。
（３）
前記制御部は、前記認識されたジェスチャに応じて、発呼状態にするよう制御する、前記（１）または（２）に記載の通信システム。
（４）
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信を終了するよう制御する、前記（１）〜（３）のいずれか１項に記載の通信システム。
（５）
前記制御部は、前記認識されたジェスチャに応じて、前記通信相手先との通信種別を決定する、前記（１）〜（４）のいずれか１項に記載の通信システム。
（６）
前記通信種別は、電話通信、インターネット通信、またはメール通信である、前記（５）に記載の通信システム。
（７）
前記制御部は、前記ジェスチャに応じて、前記通信相手先との通信種別を設定する設定モードに移行する、前記（１）〜（６）のいずれか１項に記載の通信システム。
（８）
前記通信システムは、
前記ユーザの周囲に配された撮像部をさらに備え、
前記撮像画像は、前記撮像部により取得される、前記（１）〜（７）に記載の通信システム。
（９）
前記通信システムは、
前記ユーザの周囲に配されたアクチュエータをさらに備え、
前記制御部は、前記通信相手先から取得したデータを、前記アクチュエータから出力するよう制御する、前記（１）〜（８）に記載の通信システム。
（１０）
前記通信先指定部は、デフォルトの相手先を通信相手先に指定する、前記（１）〜（９）のいずれか１項に記載の通信システム。
（１１）
前記通信先指定部は、前記ユーザに指定された相手先を通信相手先に指定する、前記（１）〜（９）のいずれか１項に記載の通信システム。
（１２）
前記通信システムは、
前記ユーザの音声を認識する音声認識部をさらに備え、
前記通信先指定部は、前記音声認識部により認識された通信相手の名称、電話番号、またはアドレスに応じて、前記通信相手先を指定する、前記（１１）に記載の通信システム。
（１３）
前記ジェスチャ認識部は、ユーザの国籍あるいはユーザが居る国に応じて異なるジェスチャ認識を行う、前記（１）〜（１２）に記載の通信システム。
（１４）
コンピュータを、
ユーザの通信相手先を指定する通信先指定部と、
前記ユーザを撮像した撮像画像に基づいて、ユーザのジェスチャを認識する認識部と、
前記認識部により認識されたジェスチャに応じて、前記通信相手先との通信を制御する制御部、
として機能させるための、プログラム。
【符号の説明】
【００８６】
１    信号処理装置
２、２ａ〜２ｄ    マイクロフォン
３、３ａ〜３ｂ    カメラ
４、４ａ〜４ｄ    スピーカ
５    タッチパネルディスプレイ
７    ＨＭＤ
８    ＰＣの表示部
９    カメラ
１０    制御部
１００    音声認識部
１１０    通信先指定部
１２０    ジェスチャ認識部
１３０    通信制御部
１２    アンプ・ＡＤＣ部
１４    ＤＡＣ・アンプ部
１６    信号処理部
１８    ジェスチャＤＢ
２０    通信Ｉ／Ｆ
【図１】
2014082668.tif 000003
【図２】
2014082668.tif 000004
【図３】
2014082668.tif 000005
【図４】
2014082668.tif 000006
【図５】
2014082668.tif 000007
【図６】
2014082668.tif 000008
【図７】
2014082668.tif 000009
【図８】
2014082668.tif 000010
【図９】
2014082668.tif 000011