(57)【要約】      （修正有）【課題】同一画面内に配置された複数の映像が、どの携帯端末からの映像データに基づく映像であるかを、ユーザに分り易く表示する。【解決手段】インタフェース部１は、複数の入力端末からの映像データ７を受信する。入力端末検出部２は、カメラ撮像部４の撮像データから、複数の入力端末の位置に関する位置関連情報を検出する。制御部３は、入力端末検出部２が検出した位置関連情報に基づき、複数の入力端末からの映像データ７に基づく映像各々を、映像表示部６の所定領域各々に配置して表示する。【選択図】図１
2015002485.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力端末からの映像データを受信するインタフェース部と、
撮像装置と、
前記撮像装置の撮像データから、前記複数の入力端末の位置に関する位置関連情報を検出する入力端末検出部と、
前記入力端末検出部が検出した位置関連情報に基づき、前記複数の入力端末からの映像データに基づく映像各々を、表示画面の所定領域各々に配置して表示する制御部と、
を備えること表示装置。
【請求項２】
前記インタフェース部は、前記複数の入力端末各々から当該端末の動きを示す内部動き情報を受信し、
前記入力端末検出部は、前記内部動き情報と前記撮像装置の撮像データから検出した前記複数の端末の動きを示す外部動き情報とに基づいて、前記位置関連情報を検出する、
請求項１に記載の表示装置。
【請求項３】
前記インタフェース部は、前記複数の入力端末に制御データを送信し、
前記入力端末検出部は、前記制御データの送信タイミング情報と前記撮像装置の撮像データから検出する前記複数の入力端末各々の前記制御データに応答する動作のタイミング情報とから前記位置関連情報を検出する、
請求項１に記載の表示装置。
【請求項４】
前記制御部は、前記撮像装置で撮像したユーザの映像を当該ユーザが操作する入力端末から受信した映像データに基づく映像と対応付けて表示する、
請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
表示装置における表示方法であって、
前記表示装置が複数の入力端末から映像データを受信する入力過程と、
前記表示装置が撮像装置の撮像データから、前記複数の入力端末の位置に関する位置関連情報を検出する入力端末検出過程と、
前記表示装置が、前記入力端末検出過程において検出した位置関連情報に基づき、前記複数の入力端末からの映像データに基づく映像各々を、表示画面の所定領域各々に配置して表示する分割表示制御過程と、
を有する表示方法。
【請求項６】
表示装置のコンピュータに、
複数の入力端末から映像データを受信する入力手順、
撮像装置の撮像データから、前記複数の入力端末の位置に関する位置関連情報を検出する入力端末検出手順、
前記入力端末検出手順において検出した位置関連情報に基づき、前記複数の入力端末からの映像データに基づく映像各々を、表示画面の所定領域各々に配置して表示する分割表示制御手順、
を実行させる表示プログラム。
【請求項７】
複数の入力端末の位置に関する位置関連情報に基づき、複数の入力端末からの映像データに基づく映像を配置する制御部を備えるプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示方法、表示プログラム、及びプロセッサに関する。
【背景技術】
【０００２】
近年、映像インフラのデジタル化や広帯域化、表示装置の大型化や高解像度化、撮影装置の微細化や高機能化など映像技術の発展によって、高品質で大画面の映像表示装置が、急速に普及している。家庭用には、大画面ＦｕｌｌＨＤテレビ(画素数１９２０×１０８０)の１００インチクラスが販売されている。更に、４Ｋテレビ（画素数３８４０×２１６０）の商品化や、スーパーハイビジョン(画素数７６８０×４３２０)などの研究開発も活発化している。このように映像表示装置の高精細化、大画面化はますます加速している。
このような映像表示装置には、その大画面・高精細である特徴を生かし、複数の映像データに基づく映像を、同じ画面内で並べて表示する機能を有するものが多い。以下で、このような映像表示装置を「分割画面表示装置」ということがある。
【０００３】
特許文献１では、監視用カメラからの複数の映像を表示する多分割画面表示装置において、画面内の分割領域に複数の映像を表示し、注視したい映像をズームアップすることにより、他の個所の映像を同時に観察できるようにするとともに、細部が見にくいという縮小画像の欠点を解決する技術が記載されている。
【０００４】
特許文献２では、監視システム用の多分割画面表示装置において、任意の映像を拡大表示する場合、それぞれの映像表示領域の位置やサイズを変え、画面構成の切換えを行うことで、ユーザにとって見やすい画面を生成し、表示する技術が開示されている。
【０００５】
このような映像装置が備える映像データの入力手段としては、ＨＤＭＩ（登録商標）を代表とするケーブルを介した有線ネットワークが、広く普及している。他にも、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）（登録商標）など、小型・低消費電力を特長とした携帯端末向けの高速映像伝送用のインタフェースが規格化され、スマートフォンなどに搭載されはじめている。
【０００６】
他方、Ｗｉ−Ｆｉダイレクトの開発とその製品化が、盛況となっている。Ｗｉ−Ｆｉダイレクトは、ＩＥＥＥ８０２．１１に代表される無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）システムを用いた無線伝送方式である。無線映像伝送は、機器の配置と移動に高い自由度を有しており、有線ネットワークに代わり、急速に普及しつつある。ＩＥＥＥ８０２．１１で規定される無線ＬＡＮシステムは、親機として動作するアクセスポイントと、子機として動作する複数のステーションと、からなる無線通信装置のグループで構成される。
【０００７】
Ｗｉ−Ｆｉ Ａｌｌｉａｎｃｅ（ワイファイアライアンス、無線ＬＡＮ製品の普及促進を図ることを目的とした業界団体）で策定されたＷｉ−Ｆｉダイレクトにおいては、複数の無線通信装置が、互いの存在を検出する（Ｄｅｖｉｃｅ ｄｉｓｃｏｖｅｒｙ、Ｓｅｒｖｉｃｅ ｄｉｓｃｏｖｅｒｙ）。そして、ＷＰＳ（Ｗｉ−Ｆｉ Ｐｒｏｔｅｃｔｅｄ Ｓｅｔｕｐ、無線ＬＡＮ機器の接続とセキュリティの設定を簡単に実行するための規格）で機器認証を行うことにより、無線通信装置間で１対１の接続を確立することができる。このＷｉ−Ｆｉダイレクトでは、複数の無線通信装置が、親機（Ｇｒｏｕｐ ｏｗｎｅｒ）、または子機（Ｃｌｉｅｎｔ）のいずれとしての役割を担うかを決定し、通信グループを形成する。そのため、無線通信装置同士が、アクセスポイントを介さずに、直接通信することも可能である。このように、携帯端末と大画面映像表示装置との連携は、今後ますます盛況になると考えられる。
【０００８】
上述の無線伝送方式を用いることにより、例えば、タブレットやスマートフォンなどの複数の携帯端末から表示装置に、無線伝送で、映像データを入力することができる。そして、各端末からの映像データに基づく映像を、同じ画面内に並べて表示し、複数ユーザで一緒に楽しむことが可能となる。このような表示装置の活用方法は、各ユーザが他ユーザの携帯端末の映像を大画面で一緒に見ながらゲームを楽しむといった、マルチユーザ参加型ゲームなどの分野において、大きな期待が寄せられている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−７７９６５号公報
【特許文献２】特開２００８−２８８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、このような同一画面内の複数映像の表示において、表示されている各映像が、どの携帯端末（ユーザ）が入力した映像データに基づく映像であるのかが、分りにくいという課題があった。
【００１１】
例えば、ＨＤＭＩケーブルなどの有線ネットワークで、端末と分割画面表示装置とを接続する場合は、複数の映像各々がどのＨＤＭＩポートから入力されている映像データに基づいているかを、分割画面表示装置が表示する。そして、そのＨＤＭＩポートにケーブル接続している携帯端末を各ユーザが視認する。ユーザは、表示されている各映像がどの携帯端末からの映像データに基づくのかを、こういった非常に煩雑な作業によって、確認しなくてはいけない。
【００１２】
更に、無線伝送環境では、ユーザが視認できる接続ケーブルや接続ポートなどが無い。そのため、画面内に配置された各映像と、携帯端末との対応関係を、ユーザが視認することはできない。また、無線伝送環境では、携帯端末（ユーザ）は自由に移動できるため、携帯端末間の位置関係が変わりやすく、画面内に配置された映像と、携帯端末との対応関係が、より分りづらくなるという課題もあった。
【００１３】
映像表示装置の大画面化・高精細化により、画面内に複数の映像を並べる場合でも、高品質な映像が表示できる。そして、映像伝送も、無線伝送技術の進展により、手軽にできる環境が整いつつある。分割画面表示の利便性を高める上で、画面内の映像と、携帯端末との対応関係を、ユーザに分かり易く示すことは、解決すべき重要な課題である。
【課題を解決するための手段】
【００１４】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、複数の入力端末からの映像データを受信するインタフェース部と、撮像装置と、撮像装置の撮像データから、前記複数の入力端末の位置に関する位置関連情報を検出する入力端末検出部と、前記入力端末検出部が検出した位置関連情報に基づき、前記複数の入力端末からの映像データに基づく映像各々を、表示画面の所定領域各々に配置して表示する制御部と、を備えることを特徴とする表示装置である。
【００１５】
（２）また、本発明の一態様は、上記の表示装置において、前記インタフェース部は、前記複数の入力端末各々から当該端末の動きを示す内部動き情報を受信し、前記入力端末検出部は、前記内部動き情報と前記撮像装置の撮像データから検出した前記複数の端末の動きを示す外部動き情報とに基づいて、前記位置関連情報を検出することを特徴とする。
【００１６】
（３）また、本発明の一態様は、上記の表示装置において、前記インタフェース部は、前記複数の入力端末に制御データを送信し、前記入力端末検出部は、前記制御データの送信タイミング情報と前記撮像装置の撮像データから検出する前記複数の入力端末各々の前記制御データに応答する動作のタイミング情報とから前記位置関連情報を検出することを特徴とする。
【００１７】
（４）また、本発明の一態様は、上記の表示装置において、前記制御部は、前記撮像装置で撮像したユーザの映像を当該ユーザが操作する入力端末から受信した映像データに基づく映像と対応付けて表示することを特徴とする。
【００１８】
（５）また、本発明の一態様は、表示装置における表示方法であって、前記表示装置が、複数の入力端末から映像データを受信する入力過程と、前記表示装置が、撮像装置の撮像データから、前記複数の入力端末の位置に関する位置関連情報を検出する入力端末検出過程と、前記表示装置が、前記入力端末検出過程において検出した位置関連情報に基づき、前記複数の入力端末からの映像データに基づく映像各々を、表示画面の所定領域各々に配置して表示する制御過程と、を有することを特徴とする表示方法である。
【００１９】
（６）また、本発明の一態様は、コンピュータに、複数の入力端末から映像データを受信する入力手順、撮像装置の撮像データから、前記複数の入力端末の位置に関する位置関連情報を検出する入力端末検出手順、前記入力端末検出手順において検出した位置関連情報に基づき、前記複数の入力端末からの映像データに基づく映像各々を、表示画面の所定領域各々に配置して表示する制御手順、を実行させる表示プログラムである。
【００２０】
（７）また、本発明の一態様は、複数の入力端末の位置に関する位置関連情報に基づき、複数の入力端末からの映像データに基づく映像を配置する制御部を備えるプロセッサである。
【発明の効果】
【００２１】
本発明によれば、同一画面内に配置された複数の映像が、どの携帯端末からの映像データに基づく映像であるかを、ユーザに分り易く表示することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態に係る表示装置の構成を示す概略ブロック図である。
【図２】第１の実施形態に係る表示装置の使用環境を説明するシステム外観図である。
【図３】第１の実施形態に係る入力端末検出部の構成を示す内部ブロック図である。
【図４】第１の実施形態に係るカメラ撮像部による撮像データの一例を示す図である
【図５】第１の実施形態に係る端末管理データの一例を示す図である。
【図６】第１の実施形態に係る映像解析部の処理内容の一例を示すフローチャートである。
【図７】第１の実施形態に係る追加登録処理の一例を示す図である。
【図８】第１の実施形態に係る分割画面表示の一例を説明する図である。
【図９】第１の実施形態に係る分割画面表示の別例を説明する図である。
【図１０】第１の実施形態に係る制御部の構成を示す内部ブロック図である。
【図１１】本発明の第２の実施形態に係る表示装置の構成を示す概略ブロック図である。
【図１２】第２の実施形態に係る入力端末検出部の構成を示す内部ブロック図である。
【図１３】第２の実施形態に係る動き解析部の処理内容の一例を示すフローチャートである。
【図１４】本発明の第２及び第３の実施形態に係る分割画面表示の一例を説明する図である。
【図１５】本発明の第３の実施形態に係る表示装置の構成を示す概略ブロック図である。
【図１６】第３の実施形態に係る入力端末検出部の構成を示す内部ブロック図である。
【図１７】第３の実施形態に係る動作解析部の処理内容の一例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳細に説明する。
図１は、本発明の第１の実施形態に係る表示装置の構成を示す概略ブロック図である。
表示装置１０は、インタフェース部１と、入力端末検出部２と、制御部３と、映像表示部６とを、含んで構成される。インタフェース部１は、複数の受信ポートを備える。入力端末検出部２は、カメラ撮像部４と映像解析部５とを含んで構成される。
なお、分割画面表示とは、複数の映像データ各々に基づく映像各々を、同一画面内の所定領域に、並べて表示することをいう。また、所定領域は、連続して並べられても良いし、所定の間隔をおいて並べられても良い。
【００２４】
インタフェース部１は、複数の受信ポートを介して、複数の携帯端末から映像データを、受信する。携帯端末からインタフェース部１への映像伝送方式としては、例えば、Ｗｉ−Ｆｉダイレクトを使用する。Ｗｉ−Ｆｉダイレクトではアクセスポイントを使わずに、複数台の端末間で１対１の接続を、同時に確立することができる。携帯端末が出力する映像データには、送信元である携帯端末の端末ＩＤが付加されている。
【００２５】
端末ＩＤとしては、ＢＳＳＩＤ（Ｔｈｅ  Ｂａｓｉｃ  Ｓｅｒｖｉｃｅ  Ｓｅｔ  Ｉｄｅｎｔｉｆｉｅｒ）やＭＡＣアドレス（Ｍｅｄｉａ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌ  ａｄｄｒｅｓｓ）を用いることができる。ＢＳＳＩＤは、Ｗｉ−Ｆｉダイレクトの接続シーケンスであるＤｅｖｉｃｅ  ｄｉｓｃｏｖｅｒｙのプローブレスポンス（応答信号）や、プローブリクエスト（応答要求信号）で使用される。また、ＭＡＣアドレスは、ネットワーク端末のハードウェアに一意に割り当てられる物理アドレスである。なお、本実施形態では映像データの伝送方式として、Ｗｉ−Ｆｉダイレクトを用いるが、本発明の実施形態は、本伝送方式に限定されない。例えば、ＵＳＢ、ＨＤＭＩ、ＩＥＥＥ１３９４などの有線ネットワークでも、本発明を実施することができる。
【００２６】
インタフェース部１は、複数の受信ポートを有し、受信した複数の映像データ７各々をその受信ポートを介して制御部３に出力する。また、インタフェース部１は、受信した複数の映像データ７各々に付加されている複数の端末ＩＤを入力端末検出部２の映像解析部５に出力する。
【００２７】
カメラ撮像部４は、ユーザ全員を撮像することができる。ここで、ユーザとは、携帯端末を操作し、映像表示部６を視聴する者である。カメラ撮像部４は、撮像した映像データ（撮像データとも称する）を映像解析部５に出力する。
【００２８】
入力端末検出部２の映像解析部５は、カメラ撮像部４から入力された撮像データ８を解析し、ユーザ毎に当該ユーザの位置に関する情報（位置関連情報とも称する）とユーザの顔器官特徴点情報を生成する。ここで、顔器官特徴点情報とは、顔の特徴点の座標である。位置関連情報は、例えば、ユーザの並び順や、撮像データにおける各ユーザの座標などである。映像解析部５は、端末ＩＤと顔器官特徴点情報とを、対応付けた端末管理情報を、予め記憶する。映像解析部５は、解析結果の顔器官特徴点情報と予め記憶する顔器官特徴点情報とに基づいて、インタフェース部１から入力された端末ＩＤと位置関連情報とを、対応付ける。ここで、対応付けた情報を対応関係情報と称する。入力端末検出部２は、生成した対応関係情報を、制御部３に出力する。
【００２９】
制御部３は、インタフェース部１から複数の映像データ７各々を取得する。他方、制御部３は、対応関係情報を、入力端末検出部２から取得する。制御部３は、ユーザの位置関連情報と映像データ７Ａ〜７Ｄ各々とを、対応関係情報の端末ＩＤと映像データ７各々に付加された端末ＩＤとに基づいて、対応付ける。制御部３は、上述のユーザの位置関連情報各々に基づいて、複数の映像各々の配置を決定する。制御部３は、決定した配置に並べられた映像の映像データを生成する。制御部３は、生成した映像データを映像表示部６に出力する。
【００３０】
映像表示部６は、制御部３から入力された映像データに基づいて、映像を表示する。映像表示部６には、例えば、液晶ディスプレイパネル、有機ＥＬディスプレイパネルなどを使用する。
従って、各ユーザは、自分の操作する携帯端末が出力している映像データが、表示装置１０の画面中のどの映像であるかを、容易に判断することができる。
【００３１】
なお、本実施形態では特に図示を行っていないが、表示装置１０は、映像表示装置が通常備えるスピーカーなどの音声出力部や、ＴＶ放送のデータを受信するＴＶ受信部などを、備えても良い。この音声出力部は、制御部３に接続され、画面の構成に応じた音声出力がなされる。また、表示装置１０は、ＴＶ放送の映像データに基づく映像を、その他の映像とともに分割画面表示しても良い。
【００３２】
図２は、本実施形態に係る表示装置１０の使用環境を説明するシステム外観図である。
本実施形態において、４名のユーザ２２Ａ、２２Ｂ、２２Ｃ、２２Ｄ（ユーザ２２Ａ〜２２Ｄをユーザ２２と総称する）は、それぞれ携帯端末２１Ａ、２１Ｂ、２１Ｃ、２２Ｄ（携帯端末２１Ａ〜２１Ｄを携帯端末２１と総称する）を操作して、表示装置１０のインタフェース部１に、映像データ７Ａ〜７Ｄと端末ＩＤとを、送信する。ユーザ２２は、携帯端末２１を操作しつつ、映像表示部６を、視聴することができる。なお、本実施形態では、一例として、４名のユーザがいる環境で説明するが、ユーザの数は特に４名に限定されない。
【００３３】
本実施形態において、入力端末検出部２のカメラ撮像部４は、表示装置１０の筐体上部の中央に位置する。カメラ撮像部４は、４名のユーザ２２全員を撮像する。このとき、ユーザ２２は、映像表示部６が表示する映像に対して、真正面から相対している。
【００３４】
カメラ撮像部４は、ユーザ２２Ａ〜２２Ｄが移動しても、全てのユーザにピントを合わせられることが望ましい。そのため、カメラ撮像部４のカメラモジュールとして、例えば、水平方向に約１００度以上の撮像画角を有する広角レンズを備えたものや、レンズ焦点範囲が広いパンフォーカスレンズを備えたもの、全ての撮像距離でピントが合う全焦点撮像機能を持ったものなどが、使用できる。
【００３５】
また、カメラ撮像部４で撮像される撮像データ８に対しては、後述する顔検出処理が行われる。そのため、カメラ撮像部４には、レンズ歪を高精度に補正できる歪補正機能が、搭載されていることが望ましい。
【００３６】
図３は、本実施形態に係る入力端末検出部２（図１）の構成を示す内部ブロック図である。
入力端末検出部２は、カメラ撮像部４と映像解析部５とを含んで構成される。映像解析部５は、顔検出部３３と端末判定部３４とを含んで構成される。端末判定部３４は、端末管理データ３５を有する。
【００３７】
カメラ撮像部４は、４名のユーザ２２全員を撮像する。カメラ撮像部４は、撮像データを映像解析部５に出力する。
【００３８】
映像解析部５の顔検出部３３は、カメラ撮像部４から入力された撮像データ８から、ユーザ２２Ａ〜２２Ｄ各々の顔領域を検出する。顔検出部３３は、検出した顔領域の映像データに基づいて、顔器官特徴点情報（「第１の顔器官情報」とも称する）と顔領域中心座標とを、検出する。なお、顔領域中心座標は、上記ユーザの位置関連情報の一例である。顔検出部３３は、検出した第１の顔器官情報各々と顔領域中心座標各々とを、対応付ける。顔検出部３３は、第１の顔器官情報及び顔領域中心座標並びにその対応関係を、端末判定部３４に出力する。
【００３９】
端末判定部３４は、第１の顔器官情報及び顔領域中心座標並びにその対応関係を、顔検出部３３から取得する。他方、端末判定部３４は、端末ＩＤをインタフェース部１から取得する。端末判定部３４は、端末ＩＤに対応する顔器官特徴点情報（「第２の顔器官情報」とも称する）を、端末管理データ３５を参照して取得する。端末判定部３４は、第１及び第２の顔器官情報に基づいて、端末ＩＤ各々と顔領域中心座標各々とを、対応付けることで、対応関係情報を生成する。端末判定部３４は、生成した対応関係情報を、制御部３に出力する。
【００４０】
図４は、本実施形態に係るカメラ撮像部４（図１）による撮像データ８の例示である。
図４は、顔検出部３３が、４名のユーザ２２Ａ〜２２Ｄ各々の顔領域４１Ａ〜４１Ｄ各々を、検出したことを示している。顔検出部３３は、顔領域４１Ａ〜４１Ｄ各々を解析し、顔領域中心座標４２Ａ〜４２Ｄ各々を検出する。
【００４１】
顔検出部３３による顔領域の検出方法としては、例えば、入力された撮像データ８に対して、探索窓（例えば８ピクセル×８ピクセルのような判定領域)を、左上から走査する方法などが考えられる。そして、顔検出部３３は、探索窓の領域内に、顔と認識できる特徴点があるかどうかを判定する。顔検出部３３は、このような顔の特徴点として、顔の輪郭、目、鼻、口などの顔器官を利用できる。顔検出の方法としては、Ｖｉｏｌａ−Ｊｏｎｅｓ法など、様々なアルゴリズムが提案されている。本実施形態では、特定のアルゴリズムに限定することなく使用することができる。
【００４２】
顔検出部３３は、顔領域４１Ａ〜４１Ｄ各々を解析し、顔器官特徴点情報（第１の顔器官情報）を検出する。顔器官特徴点情報は、例えば、顔器官の位置情報などである。
【００４３】
図５は、本実施形態に係る端末管理データ３５（図３）の一例を示す図である。
端末管理データ３５には、ユーザの顔画像データと、顔器官特徴点情報と、端末ＩＤとが、対応付けられて保存されている。
端末判定部３４は、入力された端末ＩＤに対応する顔器官特徴点情報（第２の顔器官情報）を、端末管理データ３５を参照することで取得する。
【００４４】
なお、本実施形態では、表示装置１０を使用すると思われるユーザと、当該ユーザが使用する端末の端末ＩＤとが、端末管理データ３５に予め登録されている。しかし、後述のように、端末管理データ３５に、登録されていないユーザを、随時追加することも可能である。
【００４５】
図６は、本実施形態に係る映像解析部５（図１）の処理内容の一例を示すフローチャートである。
（ステップＳ１０）顔検出部３３は、カメラ撮像部４から入力された撮像データ８に対して顔検出処理を実行し、顔領域４１を検出する。その後、ステップＳ２０に進む。
【００４６】
（ステップＳ２０）顔検出部３３は、顔器官情報（第１の顔器官情報）と顔領域中心座標４２とを、顔領域４１から検出する。顔検出部３３は、検出した第１の顔器官情報各々と顔領域中心座標４２Ａ〜４２Ｄとを、対応付ける。顔検出部３３は、第１の顔器官情報及び顔領域中心座標４２並びにその対応関係を、端末判定部３４に出力する。その後、ステップＳ３０に進む。
【００４７】
（ステップＳ３０）端末判定部３４は、インタフェース部１から入力された端末ＩＤを、確認する。その後、ステップＳ４０に進む。
【００４８】
（ステップＳ４０）端末判定部３４は、ステップＳ４０で確認された端末ＩＤが、端末管理データ３５に登録されているかどうかを判定する。全ての端末ＩＤが登録されていると判定した場合（ＹＥＳ）、ステップＳ５０に進む。一方、登録されていない携帯端末（未登録端末とも称する）ＩＤがあると判定した場合（ＮＯ）、ステップＳ４５に進む。
【００４９】
（ステップＳ４５）端末判定部３４は、未登録端末登録用の画面を、映像表示部６に表示させる。端末判定部３４は、ユーザの操作に従い、未登録端末ＩＤ、未登録端末を操作するユーザの顔画像及びその顔器官特徴点情報を、端末管理データ３５に追加登録する。その後、ステップＳ５０に進む。
【００５０】
（ステップＳ５０）端末判定部３４は、端末管理データ３５を参照し、ステップＳ３０で取得した端末ＩＤに対応する顔器官特徴点情報（第２の顔器官情報）を、取得する。端末判定部３４は、第１及び第２の顔器官情報のマッチングを判定する。その後、ステップＳ６０に進む。
【００５１】
（ステップＳ６０）端末判定部３４は、ステップＳ５０の判定結果に基づいて、顔領域中心座標４２Ａ〜４２Ｄ各々と、４つの端末ＩＤ各々とを、対応付ける。端末判定部３４は、顔領域中心座標４２及び端末ＩＤ並びにその対応関係を、制御部３に出力する。その後、ステップＳ１０に戻る。
【００５２】
（ステップＳ７０）端末判定部３４は、処理を終了するかどうかを判定する。この判定は、例えば、ユーザの入力により決定する。処理を終了する場合（ＹＥＳ）、処理を終了する。一方、処理を続ける場合（ＮＯ）、ステップＳ１０に戻る。
【００５３】
以下、ステップＳ４５における、未登録端末の追加処理の一例を説明する。
図７は、本実施形態に係る追加登録処理の一例を示す図である。
この図において、映像表示部６は、映像７１と、ユーザの顔の画像７２と、追加登録の決定ボタン７３とを、表示している。
【００５４】
映像７１は、未登録の携帯端末から受信した映像データに基づいている。
【００５５】
顔の画像７２は、顔検出部３３で検出した顔領域４１Ａ〜４１Ｄ内のいずれかである。顔の画像７２は、第１の顔器官情報と、第２の顔器官情報との、マッチング判定の結果に基づいて選択される。すなわち、顔の画像７２は、顔器官情報のマッチング成績が低く、未登録端末のユーザである可能性が高い、ユーザの顔である。
【００５６】
ユーザは、映像７１と顔の画像７２との対応関係を確認し、追加登録の決定ボタン７３の操作を行う。対応関係が間違っている場合は、ユーザは、顔の画像７２を変更することができる。ユーザは、例えば、携帯端末２１や表示装置１０のリモコンなどを利用して、追加登録の決定ボタン７３の操作や、顔の画像７２の変更を、行うことができる。ユーザの指示に従い、端末判定部３４は、顔の画像７２と、当該顔器官特徴点情報と、端末ＩＤとを、正しく対応付けて、端末管理データ３５に追加登録する。
【００５７】
図８は、本実施形態に係る分割画面表示の一例を説明するシステムの外観図である。
４つの分割表示領域８１〜８４は、４台の携帯端末２１Ａ〜２１Ｄ各々が出力した映像データ７Ａ〜７Ｄ各々に基づく映像を、表示する領域である。この図において、各ユーザは、左から２２Ａ、２２Ｂ、２２Ｃ、２２Ｄの順に、並んでいる。このユーザの相対位置に対応して、分割表示領域８１〜８４各々には、左から順に、携帯端末２１Ａ、２１Ｂ、２１Ｃ、２１Ｄから出力された映像データに基づく映像各々が、表示される。
【００５８】
図９は、本実施形態に係る分割画面表示の別例を説明するシステムの外観図である。
図９は、図８において、ユーザ２２Ａ〜２２Ｄの相対位置に、変更があった場合を示している。すなわち、図９が図８と異なる点は、携帯端末２１Ａとそのユーザ２２Ａの位置と、携帯端末２１Ｂとそのユーザ２２Ｂの位置とが、相対的に入れ替わっている点である。そのため、この図において、ユーザは、左から２２Ｂ、２２Ａ、２２Ｃ、２２Ｄの順に、並んでいる。このユーザの相対位置に対応して、分割表示領域８１〜８４には、左から順に、携帯端末２１Ｂ、２１Ａ、２１Ｃ、２１Ｄ各々から出力された映像データに基づく映像各々が、表示される。
【００５９】
図１０は、本実施形態に係る制御部３の構成を示す内部ブロック図である。
制御部３は、領域管理部１０１と、映像処理部１０２と、画面生成部１０３とを含んで構成される。
【００６０】
領域管理部１０１は、端末ＩＤと顔領域中心座標４２との対応関係情報を、入力端末検出部２から取得する。領域管理部１０１は、分割表示領域８１〜８４のデータを生成する。領域管理部１０１は、分割表示領域８１〜８４の位置情報及び顔領域中心座標４２に基づいて、分割表示領域８１〜８４各々と４つの端末ＩＤ各々とを、対応付ける。領域管理部１０１は、分割表示領域８１〜８４のデータ及び端末ＩＤ並びにその対応関係を、映像処理部１０２に出力する。
【００６１】
映像処理部１０２は、分割表示領域８１〜８４のデータ及び端末ＩＤ並びにその対応関係を、領域管理部１０１から取得する。他方、映像処理部１０２は、端末ＩＤが付加された映像データ７Ａ〜７Ｄを、インタフェース部１から取得する。映像処理部１０２は、端末ＩＤに基づいて、映像データ７Ａ〜７Ｄ各々と分割表示領域８１〜８４各々とを、対応付ける。映像処理部１０２は、映像データ７Ａ〜Ｄ各々を、分割表示領域各々の表示サイズに変換する。映像処理部１０２は、変換された映像データ７Ａ〜７Ｄ及び分割表示領域８１〜８４のデータ並びにその対応関係を、画面生成部１０３に出力する。
【００６２】
画面生成部１０３は、変換された映像データ７Ａ〜７Ｄ及び分割表示領域８１〜８４のデータ並びにその対応関係を、映像処理部１０２から取得する。画面生成部１０３は、対応する分割表示領域８１〜８４のデータ各々に基づいて、映像データ７Ａ〜７Ｄ各々の配置を決定する。画面生成部１０３は、決定した配置に入力映像を並べた映像の映像データを生成する。画面生成部１０３は、生成した映像データを、映像表示部６に出力する。
【００６３】
以下、領域管理部１０１による具体的な処理の一例を示す。
領域管理部１０１は、端末の数である４つの分割表示領域８１〜８４のデータを、生成する。このデータは、分割表示領域８１〜８４のサイズや、各領域の位置情報を、含む。ここで、各領域の位置情報とは、例えば、各領域の中心座標などである。
【００６４】
領域管理部１０１は、入力端末検出部２から入力された端末ＩＤ各々を、対応する顔領域中心座標４２に基づいて、ソートする（「第１のソート」とも称する）。領域管理部１０１は、生成した分割表示領域８１〜８４のデータを、その位置情報に基づいて、端末ＩＤと同様の規則で、ソートする（「第２のソート」とも称する）。領域管理部１０１は、第１及び第２のソートの結果に基づいて、４つの端末ＩＤ各々と分割表示領域８１〜８４各々とを、対応付ける。領域管理部１０１は、分割表示領域８１〜８４のデータ及び端末ＩＤ並びにその対応関係を、映像処理部１０２へと出力する。
【００６５】
なお、位置関係に基づく、入力映像と分割表示領域との対応付けは、上記以外の規則も可能である。例えば、制御部３は、各携帯端末２１に対応する分割表示領域のデータの生成に、当該端末ＩＤの顔領域中心座標を、使用しても良い。また、こうすることで、制御部３は、ユーザの相対位置だけでなく、絶対位置を、映像の配置に反映させることができる。
【００６６】
以上により、インタフェース部１は、複数の携帯端末２１Ａ〜２１Ｄ各々からの映像データ７Ａ〜７Ｄ各々を受信する。入力端末検出部２は、カメラ撮像部４の撮像データ８から、複数の携帯端末２１Ａ〜２１Ｄ各々の位置に関する顔領域中心座標４２Ａ〜４２Ｄ各々を検出する。制御部３は、入力端末検出部２が検出した顔領域中心座標４２Ａ〜４２Ｄ各々に基づき、複数の携帯端末２１Ａ〜２１Ｄからの映像データ７Ａ〜７Ｄ各々に基づく映像各々を、映像表示部６の分割表示領域８１〜８４各々に配置して表示する。
【００６７】
これにより、表示装置１０は、同一画面内に配置された複数の映像が、どの携帯端末からの映像データに基づく映像であるかを、ユーザに分り易く表示することができる。
【００６８】
例えば、制御部３は、ユーザ２２Ａ〜２２Ｄの位置の並び順に映像データ７Ａ〜７Ｄに基づく映像各々を配置して表示する。これにより表示装置１０は、４名のユーザ２２Ａ〜２２Ｄの実際の位置関係を、分割表示領域８１〜８４に表示される映像に反映できる。そのため、各ユーザは、自分の携帯端末の出力した映像がどの映像であるか、他のユーザの携帯端末がどの映像であるか、ということを、直観的に把握することが可能である。
【００６９】
更に、表示装置１０は、上記構成を備えることで、ユーザの移動に応じ、随時映像の配置を、更新することができる。そのため、ユーザが自由に移動できる無線伝送環境においても、表示装置１０は、ユーザの位置を、分割画面表示に、随時反映させることができる。
【００７０】
なお、表示装置１０が画面構成を頻繁に変更すると、ユーザが混乱する可能性が考えられる。そのため、表示装置１０は、所定の時間閾値を設けて、ユーザの位置関係の変更を確実に判定してから、画面構成の変更処理を行うのが望ましい。その際、例えば、メッセージの表示などにより、画面構成の変更予定をユーザに知らせた後で、変更処理を行っても良い。
【００７１】
また、制御部３は、カメラ撮像部４で撮像したユーザ２２Ａ〜２２Ｄの映像４１Ａ〜４１Ｄを当該ユーザが操作する携帯端末２１Ａ〜２１Ｄ各々から受信した映像データ７Ａ〜７Ｄ各々に基づく映像と対応付けて表示しても良い。
【００７２】
図８に示すように、表示装置１０は、分割表示領域８１〜８４の上部などに、ユーザの顔領域の映像４１を携帯端末２１Ａ〜２１Ｄからの映像データ７Ａ〜７Ｄに基づく映像各々と対応付けて表示することができる。
【００７３】
以上により、各ユーザは、自分の携帯端末の出力した映像がどの映像であるか、他のユーザの携帯端末がどの映像であるか、ということを、直観的に把握することができる。また、表示装置が顔の映像を随時更新することで、各ユーザは、お互いの表情を確認でき、マルチユーザ参加型ゲームなどを、一層楽しむことができる。
【００７４】
（第２の実施形態）
本発明の第２の実施形態について、図１１〜１４を参照して詳細に説明する。なお、第１の実施形態と同じ機能の部分については、同じ符号を用いて、その説明は省略する。
【００７５】
図１１は、本発明の第２の実施形態に係る表示装置１０ａの構成を示す概略ブロック図である。
表示装置１０ａは、インタフェース部１ａと、入力端末検出部２ａと、制御部３と、映像表示部６とを、含んで構成される。インタフェース部１ａは、複数の受信ポートを備える。入力端末検出部２ａは、カメラ撮像部４と動き解析部１１１とを含んで構成される。
【００７６】
第１の実施形態の表示装置１０と異なる所は、２つある。１つは、インタフェース部１ａは、端末ＩＤが付加された映像データに加えて、各携帯端末の動き情報を、携帯端末２１から受信する点である。もう一つは、動き解析部１１１を、映像解析部５に替えて備える点である。インタフェース部１ａは、受信した端末ＩＤと端末動き情報とを、動き解析部１１１に出力する。動き解析部１１１は、インタフェース部１からの端末動き情報と、カメラ撮像部４で撮像される撮像データ８と、に基づき、端末の判定を行う。
【００７７】
インタフェース部１ａが受信する携帯端末の動き情報について説明する。
第２の実施形態では、携帯端末２１は、端末自体の動きを検出する動きセンサーを、備えている。動きセンサーとしては、例えば、加速度センサーや角速度センサーなどを、用いることができる。なお、加速度センサーや角速度センサーは、スマートフォンなどの携帯端末に一般的に搭載されている。
【００７８】
加速度センサーは、３次元座標系における加速度とその方向とを、検出し、携帯端末の回転や移動などの動きを、検出するセンサーである。角速度センサーは、ジャイロセンサーとも呼ばれ、携帯端末の回転角速度を、検出するセンサーである。携帯端末２１は、各センサーで検出した端末動き情報を、インタフェース部１に送信する。インタフェース部１は、端末動き情報各々と、端末ＩＤが付加された映像データ７Ａ〜７Ｄ各々とを、携帯端末２１Ａ〜２１Ｄ各々から受信する。
【００７９】
図１２は、本実施形態に係る入力端末検出部２ａの構成を示す内部ブロック図である。
入力端末検出部２ａは、カメラ撮像部４と動き解析部１１１とを、備えている。動き解析部１１１は、顔検出部３３と、端末動き検出部１１２と、端末判定部１１３とを、備える。
【００８０】
カメラ撮像部４は、ユーザ２２と携帯端末２１とを、撮像する。カメラ撮像部４は、撮像データ８を、顔検出部３３に出力する。
【００８１】
顔検出部３３は、カメラ撮像部４から入力された撮像データ８から、ユーザ２２Ａ〜２２Ｄの顔領域４１とその中心座標４２とを、検出する。顔検出部３３は、顔領域中心座標４２を、端末動き検出部１１２に出力する。
【００８２】
端末動き検出部１１２は、顔領域中心座標４２を、顔検出部３３から取得する。端末動き検出部１１２は、顔領域中心座標４２に基づいて、ユーザ２２Ａ〜２２Ｄ各々が操作する携帯端末２１Ａ〜２１Ｄ各々を、検出する。端末動き検出部１１２は、携帯端末２１Ａ〜Ｄの動き情報（「第１の動き情報」とも称する）を、撮像データ８から検出する。端末動き検出部１１２は、第１の動き情報各々と、端末の検出に用いた顔領域中心座標４２Ａ〜４２Ｄ各々とを、対応付ける。端末動き検出部１１２は、第１の動き情報及び顔領域中心座標並びにその対応関係を、端末判定部１１３に出力する。
【００８３】
端末判定部１１３は、第１の動き情報及び顔領域中心座標並びにその対応関係を、端末動き検出部１１２から取得する。他方、端末判定部１１３は、端末ＩＤ及び端末動き情報（「第２の動き情報」とも称する）並びにその対応関係を、インタフェース部１ａから取得する。端末判定部１１３は、第１及び第２の動き情報に基づいて、４つの端末ＩＤと顔領域中心座標４２Ａ〜４２Ｄとを対応付け、対応関係情報を生成する。端末判定部１１３は、生成した対応関係情報を、制御部３に出力する。
【００８４】
なお、端末動き検出部１１２による端末動き情報の検出方法としては、撮像データ８の各フレームで携帯端末を検出し、その前後のフレームでの検出座標を比較するフレーム間検出方法がある。また、動画像圧縮技術で用いられている、フレーム間の差分を利用して携帯端末の動き情報を検出する方法なども利用可能である。本実施形態では、特定の方法に限定することなく使用できる。
【００８５】
図１３は、本実施形態に係る動き解析部１１１（図１２）の処理内容の一例を示すフローチャートである。
（ステップＳ２１０）顔検出部３３は、カメラ撮像部４から入力された撮像データ８に対して、第１の実施形態で説明した顔検出処理を行う。顔検出部３３は、顔領域４１とその中心座標４２とを、検出する。その後、ステップＳ２２０に進む。
【００８６】
（ステップＳ２２０）端末動き検出部１１２は、ステップＳ２１０で検出された顔領域４１の下方近傍領域に対して、予め用意してある携帯端末の形状に関するテンプレートを用い、携帯端末を検出する。その後、ステップＳ２３０に進む。
【００８７】
（ステップＳ２３０）端末動き検出部１１２は、ステップＳ２２０で検出した携帯端末の動き（第１の動き情報）を、検出する。端末動き検出部１１２は、第１の動き情報と、顔領域の中心座標４２とを、対応付ける。なお、この顔領域は、ステップＳ２２０で携帯端末の検出に使用したものであり、当該中心座標を、第１の動き情報と対応付ける。端末動き検出部１１２は、第１の動き情報及び顔領域中心座標を、端末判定部１１３に出力する。その後、ステップＳ２４０に進む。
【００８８】
（ステップＳ２４０）端末判定部１１３は、第１の動き情報及び顔領域中心座標を、端末動き検出部１１２から取得する。また、端末判定部１１３は、携帯端末の動き情報（第２の動き情報）と、端末ＩＤとを、インタフェース部１ａから取得する。端末判定部１１３は、第１及び第２の動き情報のマッチングを判定する。その後、ステップＳ２５０に進む。
【００８９】
（ステップＳ２５０）端末判定部１１３は、ステップＳ２４０の判定結果に基づいて、顔領域中心座標４２Ａ〜４２Ｄ各々と、４つの端末ＩＤ各々とを、対応付けることで、対応関係情報を生成する。端末判定部１１３は、生成した対応関係情報を、制御部３に出力する。その後、ステップＳ２６０に進む。
【００９０】
（ステップＳ２６０）第１の実施形態のステップＳ７０と同様に、端末判定部１１３は、処理を終了するかどうかを判定する。処理を終了する場合（ＹＥＳ）、処理を終了する。一方、処理を続ける場合（ＮＯ）、ステップＳ２１０に戻る。
【００９１】
制御部３の処理については、図８に示す第１の実施形態と同じ方法が、適用可能である。
【００９２】
本実施形態では、表示装置１０ａは、携帯端末の動き情報も検出するため、端末の動きに応じた映像の表示も可能である。例えば、制御部３は、携帯端末が回転した時、回転した端末の映像のみ、その表示を回転させるなどの演出を行っても良い。
【００９３】
更に、本実施形態及び後述の第３の実施形態では、表示装置１０ａ、１０ｂは、入力端末検出部２ａ、２ｂで、携帯端末２１の検出も行っている。そのため、顔領域４１に加え、携帯端末の特徴を、画面の構成や演出に用いることを行っても良い。具体例を、図１４を用いて説明する。
図１４は、本実施形態及び後述の第３の実施形態に係る分割画面表示の一例を説明する図である。
この図において、１３１Ａ〜１３１Ｄ各々は、携帯端末２１Ａ〜２１Ｄ各々の外観映像である。また、１３２Ａ〜１３２Ｄは、分割表示領域８１〜８４各々の枠である。この図のように、制御部３は、携帯端末の外観映像１３１Ａ〜１３１Ｄ各々を、端末からの映像データに基づく映像各々や、ユーザの顔領域４１Ａ〜４１Ｄ各々と、並べても良い。また、入力端末検出部２ａ、２ｂは、各携帯端末の色を検出し、この色情報を、分割表示領域８１〜８４の枠１３２Ａ〜１３２Ｄの描画に利用しても良い。
【００９４】
以上のように、インタフェース部１ａは、複数の携帯端末２１Ａ〜２１Ｄ各々から当該端末の動きを示す第２の動き情報を受信し、入力端末検出部２ａは、第２の動き情報とカメラ撮像部４の撮像データ８から検出した複数の携帯端末２１Ａ〜２１Ｄの動きを示す第１の動き情報とに基づいて、顔領域中心座標４２Ａ〜４２Ｄを検出する。
【００９５】
本実施形態において、入力端末検出部２ａは、携帯端末２１を撮像データ８から検出するという効果を発揮する。そのため、制御部３は、携帯端末の特徴を画面の構成や演出に用いることができる。ユーザは、分割表示領域８１〜８４に表示されている映像が、どの携帯端末からの映像データに基づく映像であるかを、より直観的に把握することが可能となる。また、本実施形態では、入力端末検出部２ａは、第１の実施形態における端末管理データ３５を、予め用意する必要がない。
【００９６】
（第３の実施形態）
本発明の第３の実施形態について、図１５〜１７を参照し、詳細に説明する。
【００９７】
図１５は、本発明の第３の実施形態に係る表示装置１０ｂの構成を示す概略ブロック図である。
表示装置１０ｂは、インタフェース部１ｂと、入力端末検出部２ｂと、制御部３と、映像表示部６とを、含んで構成される。インタフェース部１ｂは、複数の受信ポートを備える。入力端末検出部２ｂは、カメラ撮像部４と動作解析部１２１とを含んで構成される。なお、第１及び第２の実施形態と同じ機能の部分については、同じ符号を用いて説明を省略する。
【００９８】
他の実施形態と異なる点は、インタフェース部１ｂが携帯端末２１に動作制御コマンドを送信する点と、動作解析部１２１を備える点である。動作解析部１２１は、動作制御コマンドに応じた携帯端末２１の動作を検出し、端末の判定を行う。
【００９９】
本実施形態において、インタフェース部１ｂは、各携帯端末２１Ａ〜２１Ｄに対して、動作制御コマンドを、異なるタイミングで送信する。動作制御コマンドには、例えば、携帯端末に搭載されているモバイルライトを発光させるコマンドなどが利用できる。本実施形態では、一例として、インタフェース部１ｂが、モバイルライトを発光させる動作制御コマンドを、送信する状況で説明する。
【０１００】
動作制御コマンドを受信した携帯端末は、受信後直ちに、制御内容であるモバイルライト発光動作を行う。インタフェース部１ｂは、動作制御コマンドの送信タイミング情報と、端末ＩＤとを、対応付けて、入力端末検出部２ｂへと出力する。
【０１０１】
図１６は、本実施形態に係る入力端末検出部２ｂの構成を示す内部ブロック図である。
本実施形態において、入力端末検出部２ｂは、カメラ撮像部４と動作解析部１２１とを含んで構成される。
【０１０２】
動作解析部１２１は、顔検出部３３と、端末動作検出部１２２と、端末判定部１２３とを含んで構成される。第２の実施形態と同様に、端末動作検出部１２２は、カメラ撮像部４から入力された撮像データ８から、携帯端末２１を検出する。端末動作検出部１２２は、携帯端末２１Ａ〜２１Ｄの発光を検出し、そのタイミング情報を生成する（「第１のタイミング情報」とも称する）。なお、モバイルライトの発光判定は、フレーム間の輝度変化を比較検出することで可能である。端末動作検出部１２２は、第１のタイミング情報各々と、端末の検出に用いた顔領域中心座標４２Ａ〜４２Ｄ各々とを対応付ける。端末動作検出部１２２は、第１のタイミング情報及び顔領域中心座標並びにその対応関係を端末判定部１２３に出力する。
【０１０３】
端末判定部１２３は、第１のタイミング情報及び顔領域中心座標並びにその対応関係を、端末動作検出部１２２から取得する。他方、端末判定部１２３は、端末ＩＤ及び制御コマンドの送信タイミング情報（「第２のタイミング情報」とも称する）並びにその対応関係を、インタフェース部１ｂから取得する。端末判定部１２３は、第１及び第２のタイミング情報に基づいて、４つの端末ＩＤ各々と顔領域中心座標４２Ａ〜４２Ｄ各々とを対応付けることで、対応関係情報を生成する。端末判定部１２３は、生成した対応関係情報を制御部３に出力する。
【０１０４】
図１７は、本実施形態に係る動作解析部１２１（図１６）の処理内容の一例を示すフローチャートである。
（ステップＳ３１０）顔検出部３３は、カメラ撮像部４から入力された撮像データ８に対して、第１の実施形態で説明した顔検出処理を行う。顔検出部３３は、顔領域４１とその中心座標４２とを、検出する。その後、ステップＳ３２０に進む。
【０１０５】
（ステップＳ３２０）端末動作検出部１２２は、第２の実施形態における端末動き検出部１１２と同様の方法で、携帯端末２１Ａ〜２１Ｄを検出する。その後、ステップＳ３３０に進む。
【０１０６】
（ステップＳ３３０）端末動作検出部１２２は、ステップＳ３２０で検出した携帯端末２１Ａ〜２１Ｄの中で、モバイルライトを発光させた携帯端末と、当該端末の発光のタイミング情報（第１のタイミング情報）とを、検出する。端末動作検出部１２２は、携帯端末と顔領域との位置関係に基づいて、検出した第１のタイミング情報各々と顔領域中心座標４２Ａ〜４２Ｄ各々とを、対応付ける。端末動作検出部１２２は、第１のタイミング情報及び顔領域中心座標並びにその対応関係を、端末判定部１２３に出力する。その後、ステップＳ３４０に進む。
【０１０７】
（ステップＳ３４０）端末判定部１２３は、第１のタイミング情報及び顔領域中心座標並びにその対応関係を、端末動作検出部１２２から取得する。また、端末判定部１２３は、動作制御コマンドの送信タイミング情報（第２のタイミング情報）及び端末ＩＤ並びにその対応関係を、インタフェース部１から取得する。端末判定部１２３は、第１及び第２のタイミング情報とのマッチングを判定する。その後、ステップＳ３５０に進む。
【０１０８】
（ステップＳ３５０）端末判定部１２３は、ステップＳ３４０の判定結果に基づいて、顔領域中心座標４２Ａ〜４２Ｄ各々と４つの端末ＩＤ各々とを、対応付け、対応関係情報を生成する。端末判定部１２３は、生成した対応関係情報を、制御部３に出力する。その後、ステップＳ３６０に進む。
【０１０９】
（ステップＳ３６０）第１の実施形態のステップＳ７０と同様に、端末判定部１２３は、処理を終了するかどうかを判定する。処理を終了する場合（ＹＥＳ）、処理を終了する。一方、処理を続ける場合（ＮＯ）、ステップＳ３１０に戻る。
【０１１０】
制御部３の処理については、図８に示す第１の実施形態と同じ方法が、適用可能である。
【０１１１】
以上により、インタフェース部１ｂは、複数の携帯端末２１Ａ〜２１Ｄにモバイルライトを発光させる動作制御コマンドを送信し、入力端末検出部２ｂは、動作制御コマンド送信の第１のタイミング情報とカメラ撮像部４の撮像データ８から検出する複数の携帯端末２１Ａ〜２１Ｄ各々の動作制御に応答する第２のタイミング情報とから顔領域中心座標４２Ａ〜４２Ｄを検出する。
【０１１２】
本実施形態において、表示装置１０ｂは、それぞれの携帯端末からの映像をどの携帯端末の映像であるかをユーザに分り易く、並べて表示することが可能となる。更に、第１及び第２の実施形態と比較して、入力端末検出部２ｂは、モバイルライトの発光を検出するといった、より簡単な処理で、携帯端末の対応付けが可能となる。
【０１１３】
なお、上記各実施形態は、組み合わせて使用する事も可能である。例えば、第１の実施形態において、未登録の携帯端末が複数ある場合でも、第２および第３の実施形態における携帯端末のマッチング判定を組み合わせることにより、入力端末検出部は、端末管理データ３５への自動追加登録処理が可能となる。
【０１１４】
また、上記各実施形態において、位置関連情報は、顔の中心座標に限られず、ユーザの他の部位の座標であっても良い。また、位置関連情報は、絶対的な座標であっても良いし、ユーザ同士の相対的な座標であっても良い。また、位置関連情報は、例えば、撮像した画像の水平方向、つまり、表示面の水平方向における、ユーザの順序であっても良い。この場合、例えば、図２の場合、入力端末検出部は、ユーザ２２Ａ（携帯端末２１Ａ）に対し「１」番目、ユーザ２２Ｂ（携帯端末２１Ｂ）に対し「２」番目、ユーザ２２Ｃ（携帯端末２１Ｃ）に対し「３」番目、ユーザ２２Ｄ（携帯端末２１Ｄ）に対し「４」番目の位置関連情報を生成する。
【０１１５】
なお、上述した実施形態における表示装置の一部、例えば、インタフェース部、入力端末検出部、及び制御部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、表示装置に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１１６】
また、上述した実施形態における表示装置の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。表示装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０１１７】
以上、図面を参照してこの発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【０１１８】
１、１ａ、１ｂ・・・インタフェース部、２、２ａ、２ｂ・・・入力端末検出部、３・・・制御部、４・・・カメラ撮像部、５・・・映像解析部、６・・・映像表示部、７Ａ〜７Ｄ・・・映像データ、８・・・撮像データ、１０、１０ａ、１０ｂ・・・表示装置、２１Ａ〜２１Ｄ・・・携帯端末、２２Ａ〜２２Ｄ・・・ユーザ、３３・・・顔検出部、３４・・・端末判定部、３５・・・端末管理データ、４１Ａ〜４１Ｄ・・・顔領域、４２Ａ〜４２Ｄ・・・顔領域中心座標、７１・・・未登録端末から受信した映像データに基づく映像、７２・・・検出した顔の画像、７３・・・追加登録決定ボタン、８１〜８４・・・分割表示領域、１０１・・・領域管理部、１０２・・・映像処理部、１０３・・・画面生成部、１１１・・・動き解析部、１１２・・・端末動き検出部、１１３・・・端末判定部、１２１・・・動作解析部、１２２・・・端末動作検出部、１２３・・・端末判定部、１３１Ａ〜１３１Ｄ・・・携帯端末外観映像、１３２Ａ〜１３２Ｄ・・・分割表示領域の枠
【図１】
2015002485.tif 000003
【図２】
2015002485.tif 000004
【図３】
2015002485.tif 000005
【図４】
2015002485.tif 000006
【図５】
2015002485.tif 000007
【図６】
2015002485.tif 000008
【図７】
2015002485.tif 000009
【図８】
2015002485.tif 000010
【図９】
2015002485.tif 000011
【図１０】
2015002485.tif 000012
【図１１】
2015002485.tif 000013
【図１２】
2015002485.tif 000014
【図１３】
2015002485.tif 000015
【図１４】
2015002485.tif 000016
【図１５】
2015002485.tif 000017
【図１６】
2015002485.tif 000018
【図１７】
2015002485.tif 000019