(57)【特許請求の範囲】
【請求項１】
端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、
それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得部と、
一定時間の間に前記時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、
前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置をサービス処理の対象端末に選択する選択部と、
前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部と、
を備え，
前記第１のジェスチャは、前記サービス処理を開始させる開始ジェスチャであり、
前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
を特徴とする情報処理装置。
【請求項２】
前記選択部は、前記抽出された顔画像との類似度が閾値以上かつ最も高い顔画像に対応付けられた端末識別情報が示す端末装置を前記サービス処理の対象端末に選択する請求項１に記載の情報処理装置。
【請求項３】
前記選択部は、前記閾値の値を調整する請求項２に記載の情報処理装置。
【請求項４】
複数種類のジェスチャそれぞれが前記第１のジェスチャである請求項１〜３のいずれか１つに記載の情報処理装置。
【請求項５】
前記認識部は、前記撮像画像から前記第２のジェスチャを行ったユーザの顔画像を抽出し、
前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致せず、かつ前記サービス処理を開始した本人以外による操作の可否を定義した他人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させる請求項１から請求項４のうち、いずれか一項に記載の情報処理装置。
【請求項６】
前記サービス処理は、前記情報処理装置による前記端末装置が有するコンテンツの出力、前記情報処理装置が有するコンテンツの前記端末装置への配信、及び前記情報処理装置による前記端末装置のセキュリティレベルに応じた機器制御の少なくともいずれかである請求項１から請求項５のうち、いずれか一項に記載の情報処理装置。
【請求項７】
端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、
それぞれが端末装置を所持する複数のユーザを時系列で撮像する撮像部と、
前記撮像部により撮像された撮像画像を時系列で取得する画像取得部と、
一定時間の間に前記時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、
前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置をサービス処理の対象端末に選択する選択部と、
前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部と、  を備え、
前記第１のジェスチャは、前記サービス処理を開始させる開始ジェスチャであり、
前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
を特徴とする情報処理システム。
【請求項８】
端末識別情報記憶部が、端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶ステップと、
画像取得部が、それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得ステップと、
認識部が、一定時間の間に前記時系列で取得された撮像画像に基づいて、サービス処理を開始させる開始ジェスチャである第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識ステップと、
選択部が、前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置を前記サービス処理の対象端末に選択する選択ステップと、
実行制御部が、前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御ステップと、を含み、
前記実行制御ステップでは、前記実行制御部が、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
前記認識ステップでは、前記認識部が、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
前記選択ステップでは、前記選択部が、前記抽出された顔画像と類似する顔画像を選択し、
前記実行制御ステップでは、前記実行制御部が、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
を特徴とするサービス処理実行制御方法。
【請求項９】
コンピュータを、
端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、
それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得部と、
一定時間の間に前記時系列で取得された撮像画像に基づいて、サービス処理を開始させる開始ジェスチャである第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、
前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置を前記サービス処理の対象端末に選択する選択部と、
前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部として機能させ、
前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、
前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、
前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、
前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させること
を特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクタなどの情報処理装置と、複数の端末装置とを、ネットワークを介して接続したシステムが知られている（例えば、特許文献１を参照）。なお、端末装置としては、例えば、タブレットやスマートフォンなどのスマート端末や、ＰＣ（Personal  Computer）などが挙げられる。
【０００３】
このようなシステムでは、ユーザが、複数の端末装置の中から、情報処理装置に投影対象画像を出力する端末装置を選択し、情報処理装置は、選択された端末装置から出力された投影対象画像を投影することで、サービス処理（画像投影）を実行する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような従来技術では、ユーザは、サービス処理の対象端末を選択するために、複数の端末装置のリストの中から当該サービス処理の対象端末を探し出す必要があり、サービス処理の対象端末でサービス処理を実行するまでに時間を要していた。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、サービス処理の対象端末でサービス処理を実行するまでに要する時間を短縮することができる情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる情報処理装置は、端末装置を識別する端末識別情報と、当該端末装置を所持するユーザの顔画像と、優先度とを対応付けて記憶する端末識別情報記憶部と、それぞれが端末装置を所持する複数のユーザを撮像した撮像画像を時系列で取得する画像取得部と、一定時間の間に前記時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該第１のジェスチャを複数認識した場合、当該撮像画像から当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する認識部と、前記抽出された複数の顔画像それぞれに類似する顔画像のうち、優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置をサービス処理の対象端末に選択する選択部と、前記選択された端末装置と通信し、前記サービス処理の実行を制御する実行制御部と、を備え，前記第１のジェスチャは、前記サービス処理を開始させる開始ジェスチャであり、前記実行制御部は、前記サービス処理の対象端末に選択された端末装置と通信し、前記サービス処理の実行を開始し、前記認識部は、前記時系列で取得された撮像画像に基づいて，前記サービス処理を終了させる終了ジェスチャである第２のジェスチャを行ったユーザの顔画像を抽出し、前記選択部は、前記抽出された顔画像と類似する顔画像を選択し、前記実行制御部は、前記第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、前記第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ前記サービス処理を開始した本人による操作の可否を定義した本人操作可否情報が操作可を示す場合、前記サービス処理が開始された端末装置と通信し、前記サービス処理を終了させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、サービス処理の対象端末でサービス処理を実行するまでに要する時間を短縮することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態の情報処理システムの構成の一例を示すブロック図である。
【図２】図２は、本実施形態の端末装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、本実施形態の撮像装置のハードウェア構成の一例を示すブロック図である。
【図４】図４は、本実施形態の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図５】図５は、本実施形態の端末装置、撮像装置、及び情報処理装置の機能構成の一例を示すブロック図である。
【図６】図６は、本実施形態の認識手法の一例を示す説明図である。
【図７】図７は、本実施形態の認識手法の一例を示す説明図である。
【図８】図８は、本実施形態の認識手法の一例を示す説明図である。
【図９】図９は、本実施形態の認識手法の一例を示す説明図である。
【図１０】図１０は、本実施形態の認識手法の一例を示す説明図である。
【図１１】図１１は、本実施形態の認識手法の一例を示す説明図である。
【図１２】図１２は、本実施形態の端末識別情報記憶部に記憶されている情報の一例を示す図である。
【図１３】図１３は、本実施形態の抽出された顔画像と類似する顔画像の一例を示す説明図である。
【図１４】図１４は、本実施形態の抽出された顔画像と類似する顔画像の一例を示す説明図である。
【図１５】図１５は、本実施形態の認識精度設定画面の一例を示す図である。
【図１６】図１６は、本実施形態の情報処理システムで実行される処理の一例を示すシーケンス図である。
【図１７】図１７は、本実施形態の認識部で実行される処理の一例を示すフローチャートである。
【図１８】図１８は、変形例１の説明図である。
【図１９】図１９は、変形例１の端末識別情報記憶部に記憶されている情報の一例を示す図である。
【図２０】図２０は、変形例２のジェスチャ画像記憶部に記憶されている情報の一例を示す図である。
【図２１】図２１は、変形例３のジェスチャ画像記憶部に記憶されている情報の一例を示す図である。
【図２２】図２２は、変形例４の端末装置、撮像装置、及び情報処理装置の機能構成の一例を示すブロック図である。
【図２３】図２３は、変形例４の操作可否情報記憶部に記憶されている情報の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明にかかる情報処理装置、情報処理システム、サービス処理実行制御方法及びプログラムの実施形態を詳細に説明する。
【００１０】
図１は、本実施形態の情報処理システム１の構成の一例を示すブロック図である。図１に示すように、情報処理システム１は、端末装置１００−１〜１００−Ｎ（Ｎは２以上の自然数）と、撮像装置２００と、情報処理装置３００と、を備える。
【００１１】
端末装置１００−１〜１００−Ｎ、撮像装置２００、及び情報処理理装置３００は、ネットワーク２を介して接続されている。ネットワーク２は、例えば、ＬＡＮ（Local  Area  Network）やインターネットなどにより実現できる。なお、撮像装置２００と情報処理装置３００とは、ネットワーク２ではなく通信ケーブルなどで直接接続されていてもよい。
【００１２】
なお、以下の説明では、端末装置１００−１〜１００−Ｎを各々区別する必要がない場合は、単に端末装置１００と称する。
【００１３】
端末装置１００は、タブレットやスマートフォンなどのスマート端末や、ＰＣ（Personal  Computer）などが挙げられる。本実施形態では、端末装置１００がタブレットである場合を例に取り説明するが、これに限定されるものではない。
【００１４】
図２は、本実施形態の端末装置１００のハードウェア構成の一例を示すブロック図である。図２に示すように、端末装置１００は、ＣＰＵ（Central  Processing  Unit）などの制御装置１１と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などの主記憶装置１２と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの補助記憶装置１３と、タッチパネルなどの表示装置１４及び入力装置１５と、通信インタフェースなどの通信装置１６と、イメージセンサなどの撮像装置１７と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００１５】
撮像装置２００は、ビデオカメラなどが挙げられる。図３は、本実施形態の撮像装置２００のハードウェア構成の一例を示すブロック図である。図３に示すように、撮像装置２００は、ＣＰＵなどの制御装置２１と、ＲＯＭやＲＡＭなどの主記憶装置２２と、ＨＤＤやＳＳＤなどの補助記憶装置２３と、タッチパネルなどの表示装置２４及び入力装置２５と、通信インタフェースなどの通信装置２６と、イメージセンサなどの撮像装置２７と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００１６】
情報処理装置３００は、例えば、プロジェクタ、カメラ、エアコン、冷蔵庫、蛍光灯、自販機、及びハンドヘルド型端末等の各種電子機器、印刷装置、複写機、複合機、スキャナ装置、及びファクシミリ装置等の画像形成装置、並びにスマート端末やＰＣ等が挙げられる。複合機は、複写機能、印刷機能、スキャナ機能、及びファクシミリ機能のうち少なくとも２つの機能を有するものである。なお本実施形態では、情報処理装置３００がプロジェクタである場合を例に取り説明するが、これに限定されるものではない。
【００１７】
図４は、本実施形態の情報処理装置３００のハードウェア構成の一例を示すブロック図である。図４に示すように、情報処理装置３００は、ＣＰＵなどの制御装置３１と、ＲＯＭやＲＡＭなどの主記憶装置３２と、ＨＤＤやＳＳＤなどの補助記憶装置３３と、画像投影に関わる画像処理を行うエンジン３４と、タッチパネルなどの表示装置３５及び入力装置３６と、通信インタフェースなどの通信装置３７と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００１８】
なお本実施形態では、情報処理システム１が、学校での授業などに使用される場合を例に取り説明するが、これに限定されるものではない。具体的には、教室などにいる教師及び複数の生徒それぞれが端末装置１００を所持しており、撮像装置２００は、教師及び複数の生徒の全員が収まるように教室内を時系列で撮像し、撮像した時系列の画像を情報処理装置３００に出力する。そして情報処理装置３００は、撮像装置２００から出力された時系列の画像から、所定のジェスチャを行った教師又は生徒を特定し、特定した教師又は生徒が所持する端末装置１００を、投影対象画像を情報処理装置３００に出力する端末に選択し、選択した端末装置１００から出力された投影対象画像を投影する。
【００１９】
このように本実施形態の情報処理システム１では、教師又は生徒のジェスチャ（例えば、挙手）を認識することで、投影対象画像を情報処理装置３００に出力する端末装置１００の選択を自動化しているため、当該端末装置１００の選択に時間を要さず、当該端末装置１００の投影対象画像を情報処理装置３００から即座に投影でき、授業の進行を阻害せず、授業の円滑な進行を支援できる。なお、以下の説明では、教師や生徒をユーザと称する場合もある。
【００２０】
図５は、本実施形態の端末装置１００、撮像装置２００、及び情報処理装置３００の機能構成の一例を示すブロック図である。
【００２１】
図５に示すように、端末装置１００は、撮像部１０１と、登録要求部１０３と、実行制御部１０５と、を含む。撮像部１０１は、例えば、撮像装置１７などにより実現できる。登録要求部１０３及び実行制御部１０５は、例えば、制御装置１１、主記憶装置１２及び通信装置１６などにより実現できる。
【００２２】
また図５に示すように、撮像装置２００は、撮像部２０１と、画像送信部２０３と、を含む。撮像部２０１は、例えば、撮像装置２７などにより実現できる。画像送信部２０３は、例えば、制御装置２１、主記憶装置２２及び通信装置２６などにより実現できる。
【００２３】
また図５に示すように、情報処理装置３００は、登録部３０１と、ジェスチャ画像記憶部３０３と、端末識別情報記憶部３０５と、画像取得部３０７と、認識部３０９と、選択部３１１と、実行制御部３１３と、を含む。
【００２４】
登録部３０１、画像取得部３０７、及び実行制御部３１３は、例えば、制御装置３１、主記憶装置３２及び通信装置３７などにより実現できる。ジェスチャ画像記憶部３０３及び端末識別情報記憶部３０５は、例えば、補助記憶装置３３などにより実現できる。認識部３０９及び選択部３１１は、例えば、制御装置３１及び主記憶装置３２などにより実現できる。
【００２５】
撮像部１０１は、認識部３０９の認識対象のジェスチャを示すジェスチャ画像を撮像したり、端末装置１００を所持するユーザ（教師又は生徒）の顔画像を撮像したりする。本実施形態では、認識部３０９の認識対象のジェスチャが挙手である場合を例に取り説明するが、これに限定されるものではない。
【００２６】
登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像されたジェスチャ画像や、撮像部１０１により撮像された端末装置１００を所持するユーザの顔画像と端末装置１００を識別する端末識別情報との組の登録を要求する。本実施形態では、端末識別情報が端末装置１００のＩＰアドレスである場合を例に取り説明するが、これに限定されるものではない。端末識別情報は、例えば、補助記憶装置１３などに記憶されている。
【００２７】
また本実施形態では、ジェスチャ画像の登録要求、及び顔画像と端末識別情報との組の登録要求は、端末装置１００と情報処理装置３００との接続時に行われることを想定しているが、これに限定されるものではない。なお、ジェスチャ画像の登録要求は、任意の端末装置１００が行えばよく、全ての端末装置１００で行う必要はない。一方、顔画像と端末識別情報との組の登録要求は、全ての端末装置１００で行う必要がある。
【００２８】
登録部３０１は、端末装置１００からジェスチャ画像の登録要求を受け付けると、当該ジェスチャ画像をジェスチャ画像記憶部３０３に登録する。また登録部３０１は、端末装置１００から顔画像と端末識別情報との組の登録要求を受け付けると、当該顔画像と端末識別情報との組を端末識別情報記憶部３０５に登録する。なお、登録部３０１は、端末装置１００と情報処理装置３００との切断時に、端末識別情報記憶部３０５から、顔画像と当該端末装置１００の端末識別情報との組を削除する。
【００２９】
撮像部２０１は、それぞれが端末装置１００を所持する複数のユーザ（教師及び複数の生徒）の全員が収まるように教室内を時系列で撮像する。なお、撮像部２０１が撮像する時系列の撮像画像は、動画であってもよいし、静止画を定期的に撮像したものであってもよい。
【００３０】
画像送信部２０３は、撮像部２０１により撮像された時系列の撮像画像を情報処理装置３００に送信する。
【００３１】
画像取得部３０７は、撮像装置２００から、それぞれが端末装置１００を所持する複数のユーザ（教師及び複数の生徒）を撮像した撮像画像を時系列で取得する。
【００３２】
認識部３０９は、画像取得部３０７により時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該撮像画像から当該第１のジェスチャを行ったユーザの顔画像を抽出する。本実施形態では、第１のジェスチャが左手の挙手である場合を例に取り説明するが、これに限定されるものではない。
【００３３】
具体的には、認識部３０９は、画像取得部３０７により取得された前回の撮像画像（例えば、図６に示す画像）と、画像取得部３０７により取得された最新の撮像画像（例えば、図７に示す画像）と、の差分を抽出し、当該抽出した差分を示す差分画像（例えば、図８に示す画像）を生成する。なお、図６に示す画像では、誰も挙手していないが、図７に示す画像では、左のユーザが左手を挙手しているため、図８に示す差分画像は、左のユーザの挙手した左腕となっている。
【００３４】
そして認識部３０９は、ジェスチャ画像記憶部３０３に記憶されているジェスチャ画像をテンプレートとして、差分画像に対するテンプレートマッチングを行い、ジェスチャ画像が示すジェスチャを検索する。例えば、図９に示す左腕を挙手したジェスチャ画像５０１がジェスチャ画像記憶部３０３に記憶されている場合、認識部３０９は、図９に示すように、ジェスチャ画像５０１をテンプレートとして、図８に示す差分画像に対するテンプレートマッチングを行う。この結果、図１０に示すように、図８に示す差分画像上でテンプレートマッチングされた左腕の位置（詳細には、左腕を囲う矩形の左上の座標（Ｘ，Ｙ）が特定される。
【００３５】
更に認識部３０９は、特定した左腕の位置（Ｘ，Ｙ）に基づいて、画像取得部３０７により時系列で取得された最新の撮像画像（図７に示す画像）から、左手を挙手したユーザ（左のユーザ）の顔画像を切り出す。本実施形態では、認識した第１のジェスチャが左手の挙手であるため、認識部３０９は、図１１に示すように、図７に示す画像の左上を原点として、（Ｘ−Ｚ，Ｙ）、（Ｘ，Ｙ）、（Ｘ−Ｚ，Ｙ＋Ｚ）、（Ｘ，Ｙ＋Ｚ）を頂点とする矩形を、左手を挙手したユーザ（左のユーザ）の顔画像として切り出す。なお、切り出される顔画像の位置は、これに限定されず、第１のジェスチャのパターンによって異なる。
【００３６】
選択部３１１は、認識部３０９により抽出された顔画像と類似する顔画像に対応付けられた端末識別情報が示す端末装置１００をサービス処理の対象端末に選択する。具体的には、端末識別情報記憶部３０５には、図１２に示すように、端末装置１００を識別する端末識別情報と、当該端末装置１００を所持するユーザの顔画像と、が対応付けて記憶されているため、選択部３１１は、認識部３０９により抽出された顔画像と類似する顔画像に対応付けられた端末識別情報を取得し、取得した端末識別情報が示す端末装置１００をサービス処理の対象端末に選択する。
【００３７】
なお、認識部３０９により抽出された顔画像と類似する顔画像は、例えば、端末識別情報記憶部３０５に記憶されている顔画像のうち、認識部３０９により抽出された顔画像と最も類似する顔画像とすればよい。例えば、図１３に示す例の場合、端末識別情報記憶部３０５に記憶されている顔画像５１２〜５１５のうち、認識部３０９により抽出された顔画像５１１との類似度が最も高い顔画像５１４が、認識部３０９により抽出された顔画像５１１と類似する顔画像となる。なお、図１３に示す例では、類似度は、０〜１の数値で表され、１に近づくほど類似度が高くなる。
【００３８】
また、認識部３０９により抽出された顔画像と類似する顔画像は、閾値以上の類似度であることを条件としてもよい。このようにすれば、顔ではない画像を顔画像として誤検出した場合であっても、挙手をしていないユーザの端末装置１００が、投影対象画像を情報処理装置３００に出力する端末として誤選択されてしまうことを防止できる。例えば、図１４に示す例の場合、端末識別情報記憶部３０５に記憶されている顔画像５２２〜５２５のうち、認識部３０９により顔画像と誤検出された画像５２１との類似度が閾値以上のものはない。このため、画像５２１との類似度が最も高い顔画像５２３のユーザの端末装置１００が、投影対象画像を情報処理装置３００に出力する端末として誤選択されてしまうことを防止できる。
【００３９】
なお、選択部３１１は、閾値の値を調整してもよい。例えば、選択部３１１は、図１５に示すような認識精度設定画面を表示装置３５上に表示し、ユーザによる入力装置３６からの操作入力に基づいて、認識精度のレベルを設定することで、閾値の値を調整してもよい。このようにすれば、利用環境（明るさ等）に応じた最適な閾値を設定できる。
【００４０】
実行制御部３１３は、選択部３１１により選択された端末装置１００と通信し、サービス処理の実行を制御する。具体的には、実行制御部３１３は、選択部３１１により選択された端末装置１００と通信し、端末装置１００の実行制御部１０５と協働してサービス処理の実行を制御する。
【００４１】
本実施形態では、サービス処理は、投影対象画像の投影であり、情報処理装置３００による端末装置１００が有するコンテンツの出力であるため、実行制御部３１３は、選択部３１１により選択された端末装置１００と通信し、投影対象画像を要求する。実行制御部１０５は、端末装置１００の表示装置１４に表示されている画面をキャプチャして投影対象画像とし、情報処理装置３００に出力する。そして実行制御部３１３は、端末装置１００から出力された投影対象画像を投影する。
【００４２】
なお、情報処理装置３００による端末装置１００が有するコンテンツの出力は、投影対象画像の投影に限定されず、印刷対象画像の印刷などであってもよい。また、サービス処理は、情報処理装置３００が有するコンテンツの端末装置１００への配信や、情報処理装置３００による端末装置１００のセキュリティレベルに応じた機器制御（扉のロック解除）などであってもよい。
【００４３】
図１６は、本実施形態の情報処理システム１で実行される処理の一例を示すシーケンス図である。
【００４４】
まず、撮像部１０１は、認識部３０９の認識対象のジェスチャを示すジェスチャ画像を撮像する（ステップＳ１０１）。
【００４５】
続いて、登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像されたジェスチャ画像の登録を要求する（ステップＳ１０３）。
【００４６】
続いて、登録部３０１は、端末装置１００からジェスチャ画像の登録要求を受け付けると、当該ジェスチャ画像をジェスチャ画像記憶部３０３に登録する（ステップＳ１０５）。
【００４７】
続いて、撮像部１０１は、端末装置１００を所持するユーザ（教師又は生徒）の顔画像を撮像する（ステップＳ１０７）。
【００４８】
続いて、登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像された端末装置１００を所持するユーザの顔画像と端末装置１００を識別する端末識別情報との組の登録を要求する（ステップＳ１０９）。
【００４９】
続いて、登録部３０１は、端末装置１００から顔画像と端末識別情報との組の登録要求を受け付けると、当該顔画像と端末識別情報との組を端末識別情報記憶部３０５に登録する（ステップＳ１１１）。
【００５０】
続いて、撮像部２０１は、それぞれが端末装置１００を所持する複数のユーザ（教師及び複数の生徒）の全員が収まるように教室内などの空間を時系列で撮像する（ステップＳ１２１）。
【００５１】
続いて、画像送信部２０３は、撮像部２０１により撮像された時系列の撮像画像を情報処理装置３００に送信し、画像取得部３０７は、撮像装置２００から、撮像画像を時系列で取得する（ステップＳ１２３）。
【００５２】
続いて、認識部３０９は、画像取得部３０７により時系列で取得された撮像画像に基づいて第１のジェスチャを認識し、当該撮像画像から当該第１のジェスチャを行ったユーザの顔画像を抽出する（ステップＳ１２５）。
【００５３】
続いて、選択部３１１は、認識部３０９により抽出された顔画像と類似する顔画像に対応付けられた端末識別情報が示す端末装置１００をサービス処理の対象端末（投影対象の端末装置）に選択する（ステップＳ１２７）。
【００５４】
続いて、実行制御部３１３は、選択部３１１により選択された端末装置１００に、投影対象画像を要求する（ステップＳ１２９）。
【００５５】
続いて、実行制御部１０５は、端末装置１００の表示装置１４に表示されている画面をキャプチャして投影対象画像とし（ステップＳ１３１）、情報処理装置３００に出力する（ステップＳ１３３）。
【００５６】
続いて、実行制御部３１３は、端末装置１００から出力された投影対象画像を投影する（ステップＳ１３５）。
【００５７】
図１７は、本実施形態の認識部３０９で実行される処理の一例を示すフローチャートである。
【００５８】
まず、認識部３０９は、画像取得部３０７により取得された最新の撮像画像（例えば、図７に示す画像）を取得する（ステップＳ２０１）。
【００５９】
続いて、認識部３０９は、最新の撮像画像（例えば、図７に示す画像）と、画像取得部３０７により取得された前回の撮像画像（例えば、図６に示す画像）と、の差分を抽出し、当該抽出した差分を示す差分画像（例えば、図８に示す画像）を生成する（ステップＳ２０３）。
【００６０】
続いて、認識部３０９は、ジェスチャ画像記憶部３０３に記憶されているジェスチャ画像をテンプレートとして、差分画像に対するテンプレートマッチングを行い、ジェスチャ画像が示す所定のジェスチャを検索する（ステップＳ２０５）。
【００６１】
ジェスチャが検索された場合（ステップＳ２０７でＹｅｓ）、認識部３０９は、最新の撮像画像（図７に示す画像）から、検索されたジェスチャ近傍の部分画像を、所定のジェスチャを行ったユーザの顔画像として切り出す（ステップＳ２０９）。
【００６２】
なお、ジェスチャが検索されなかった場合（ステップＳ２０７でＮｏ）、ステップＳ２０９の処理は実行されない。
【００６３】
以上のように本実施形態によれば、ユーザ（教師又は生徒）のジェスチャ（例えば、挙手）を認識することで、投影対象画像を情報処理装置３００に出力する端末装置１００の選択を自動化しているため、当該端末装置１００の選択に時間を要さず、当該端末装置１００の投影対象画像を情報処理装置３００から即座に投影でき、授業の進行を阻害せず、授業の円滑な進行を支援できる。
【００６４】
（変形例１）
上記実施形態において、認識部３０９は、一定時間の間に時系列で取得された撮像画像に基づいて、第１のジェスチャを認識するようにしてもよい。このようにすれば、図１８に示すように、一定時間の間に、時間差で異なるユーザが挙手を行った場合であっても、最初に挙手をしたユーザではなく、２番目に挙手をしたユーザが所持する端末装置１００を選択することもできる。
【００６５】
なお、図１８に示す例では、撮像画像６０２を最新の撮像画像、撮像画像６０１を前回の撮像画像としてジェスチャ認識を行った場合、左のユーザの挙手が認識され、撮像画像６０３を最新の撮像画像、撮像画像６０２を前回の撮像画像としてジェスチャ認識を行った場合、右のユーザの挙手が認識される。
【００６６】
また、一定時間については、上記実施形態で説明した閾値のように、ユーザが時間を設定できるようにしてもよい。
【００６７】
そして認識部３０９は、第１のジェスチャを複数認識した場合、当該第１のジェスチャを行った複数のユーザそれぞれの顔画像を抽出する。
【００６８】
なお、変形例１では、端末識別情報記憶部３０５には、図１９に示すように、端末装置１００を識別する端末識別情報と、当該端末装置１００を所持するユーザの顔画像と、当該端末装置１００を所持するユーザの優先度と、を対応付けて記憶されている。優先度は、値が小さいほど高いものとするが、これに限定されるものではない。
【００６９】
そして選択部３１１は、認識部３０９により抽出された複数の顔画像それぞれに類似する顔画像のうち優先度が最も高い顔画像に対応付けられた端末識別情報が示す端末装置１００をサービス処理の対象端末に選択する。
【００７０】
以上より、一定時間内に複数のユーザが挙手した場合には、優先度が最も高いユーザが所持する端末装置１００がサービス処理の対象端末に選択される。例えば、生徒よりも教師の優先度を高くすれば、生徒と教師が挙手した場合には、教師が所持する端末装置１００がサービス処理の対象端末に優先的に選択される。
【００７１】
（変形例２）
上記実施形態において、複数種類のジェスチャそれぞれが第１のジェスチャであってもよい。具体的には、撮像部１０１は、認識部３０９の認識対象のジェスチャを示すジェスチャ画像を複数種類撮像し、登録要求部１０３は、情報処理装置３００に対し、撮像部１０１により撮像された複数種類のジェスチャ画像の登録を要求し、登録部３０１は、端末装置１００から複数種類のジェスチャ画像の登録要求を受け付けると、図２０に示すように、当該複数種類のジェスチャ画像をジェスチャ画像記憶部３０３に登録してもよい。
【００７２】
このようにすれば、複数種類のジェスチャ画像を用いてジェスチャが認識されるため、サービス処理の対象端末に選択させるためのジェスチャのパターンを様々用意することができる。
【００７３】
（変形例３）
変形例２において、ジェスチャの種類毎に、サービス処理においてジェスチャに応じた動作を実行させるようにしてもよい。例えば、ジェスチャ画像記憶部３０３に、図２１に示すように、ジェスチャ画像と、当該ジェスチャ画像が示すジェスチャに応じた動作例とを対応付けた情報を登録するようにしてもよい。この場合、登録要求部１０３は、ジェスチャ画像と当該ジェスチャ画像が示すジェスチャに応じた動作例を示す情報との組を含めて登録要求を行えばよい。
【００７４】
なお、変形例３では、第１のジェスチャは、サービス処理を開始させる開始ジェスチャであるものとする。具体的には、第１のジェスチャは、図２１のＩＤが１の右手を挙手するジェスチャであり、投影対象画像の投影を開始するジェスチャとする。また、第２のジェスチャは、サービス処理を終了させる終了ジェスチャであるものとする。具体的には、第２のジェスチャは、図２１のＩＤが２の左手を挙手するジェスチャであり、投影対象画像の投影を終了するジェスチャとする。
【００７５】
この場合、認識部３０９が第１のジェスチャを認識した場合の認識部３０９、選択部３１１、及び実行制御部３１３の動作は、実施形態と同様である。なお、実行制御部３１３は、サービス処理の対象端末に選択された端末装置１００と通信し、サービス処理の実行を開始する。
【００７６】
一方、認識部３０９が第２のジェスチャを認識した場合、実行制御部３１３は、サービス処理が開始された端末装置１００と通信し、サービス処理において第２のジェスチャに応じた動作を実行させる。具体的には、実行制御部３１３は、サービス処理が開始された端末装置１００と通信し、サービス処理を終了させる。
【００７７】
例えば、実行制御部３１３は、投影対象画像の投影が開始された端末装置１００と通信し、投影対象画像の投影を終了させる。具体的には、実行制御部３１３は、投影対象画像の投影が開始された端末装置１００に、投影対象画像の出力停止を要求し、実行制御部１０５は、端末装置１００の表示装置１４に表示されている画面のキャプチャ及び投影対象画像の情報処理装置３００への出力を停止し、実行制御部３１３は、投影対象画像の投影を中止する。
【００７８】
このようにすれば、複数種類のジェスチャを用いて、サービス処理において様々な動作を実行させることができる。
【００７９】
（変形例４）
変形例３において、第２のジェスチャを行ったユーザが第１のジェスチャを行ったユーザと同一人物であるか否かで、第２のジェスチャに応じた動作の実行可否を制御してもよい。
【００８０】
図２２は、変形例４の端末装置１００、撮像装置２００、及び情報処理装置１３００の機能構成の一例を示すブロック図である。図２２に示すように、情報処理装置１３００は、操作可否情報記憶部１３１５を更に含む。
【００８１】
操作可否情報記憶部１３１５は、対象者と操作の可否とを対応付けた情報であり、図２３に示す例では、対象者が本人（同一人物）であれば、操作が許可され、対象者が本人以外（他人）であれば、操作が不許可となる。
【００８２】
変形例４では、認識部３０９は、撮像画像から第２のジェスチャを行ったユーザの顔画像を抽出し、選択部３１１は、抽出された顔画像と類似する顔画像を選択する。
【００８３】
そして実行制御部３１３は、第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致し、かつ操作可否情報記憶部１３１５において、サービス処理を開始した本人による操作の可否を定義した本人操作可否情報（対象者が本人の場合の操作の可否）が操作可を示す場合、サービス処理が開始された端末装置１００と通信し、サービス処理を終了させる。
【００８４】
また実行制御部３１３は、第１のジェスチャを行ったユーザの顔画像と類似する顔画像と、第２のジェスチャを行ったユーザの顔画像と類似する顔画像とが一致せず、かつ操作可否情報記憶部１３１５において、サービス処理を開始した本人以外による操作の可否を定義した他人操作可否情報（対象者が本人以外の場合の操作の可否）が操作可を示す場合、サービス処理が開始された端末装置１００と通信し、サービス処理を終了させる。
【００８５】
このようにすれば、サービス処理を開始した本人以外によるサービス処理に関する操作を防止できる。
【００８６】
なお、図２３に示す例において、対象者が本人（同一人物）であれば、操作が不許可となり、対象者が本人以外（他人）であれば、操作が許可となるようにしてもよい。このようにすれば、生徒が開始したサービス処理を、先生が終了させるなどとすることができる。
【００８７】
（プログラム）
上記実施形態の端末装置１００、撮像装置２００、及び情報処理装置３００（以下、「上記実施形態及び各変形例の各装置」と称する）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【００８８】
また、上記実施形態及び各変形例の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態及び各変形例の各装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態及び各変形例の各装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【００８９】
上記実施形態及び各変形例の各装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、ＣＰＵがＲＯＭからプログラムをＲＡＭ上に読み出して実行することにより、上記各機能部がコンピュータ上で実現されるようになっている。
【００９０】
なお、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９１】
１  情報処理システム
２  ネットワーク
１００−１〜１００−Ｎ（１００）  端末装置
１０１  撮像部
１０３  登録要求部
１０５  実行制御部
２００  撮像装置
２０１  撮像部
２０３  画像送信部
３００、１３００  情報処理装置
３０１  登録部
３０３  ジェスチャ画像記憶部
３０５  端末識別情報記憶部
３０７  画像取得部
３０９  認識部
３１１  選択部
３１３  実行制御部
１３１５  操作可否情報記憶部
【先行技術文献】
【特許文献】
【００９２】
【特許文献１】特開２０１４−０４４７３８号公報
【図１】
0006790396.tif 000002
【図２】
0006790396.tif 000003
【図３】
0006790396.tif 000004
【図４】
0006790396.tif 000005
【図５】
0006790396.tif 000006
【図６】
0006790396.tif 000007
【図７】
0006790396.tif 000008
【図８】
0006790396.tif 000009
【図９】
0006790396.tif 000010
【図１０】
0006790396.tif 000011
【図１１】
0006790396.tif 000012
【図１２】
0006790396.tif 000013
【図１３】
0006790396.tif 000014
【図１４】
0006790396.tif 000015
【図１５】
0006790396.tif 000016
【図１６】
0006790396.tif 000017
【図１７】
0006790396.tif 000018
【図１８】
0006790396.tif 000019
【図１９】
0006790396.tif 000020
【図２０】
0006790396.tif 000021
【図２１】
0006790396.tif 000022
【図２２】
0006790396.tif 000023
【図２３】
0006790396.tif 000024