(57)【要約】【課題】発話者の映像領域を切り出すシステムにおいても、会議の拠点の状態が把握できる情報処理装置、会議システム、情報処理方法およびプログラムを提供する。【解決手段】他の情報処理装置と映像および音を通信する情報処理装置であって、音源の音の入力を受け付ける入力部と、音源の映像を撮像する撮像部と、他の情報処理装置から映像および音を受信する受信部と、入力部により音が入力されている場合、撮像部により撮像された映像から、その音を発した音源を含む映像領域を切り出して第１映像とし、受信部により他の情報処理装置から音が受信されている場合、撮像部により撮像された映像から、少なくとも第１映像よりも広い範囲の映像領域を切り出して第２映像とする切出部と、第１映像および第２映像のうち少なくともいずれかを他の情報処理装置に送信する送信部と、を備える。【選択図】図４
2017092950.tif 000002
【特許請求の範囲】
【請求項１】
他の情報処理装置と映像および音を通信する情報処理装置であって、
音源の音の入力を受け付ける入力部と、
前記音源の映像を撮像する撮像部と、
前記他の情報処理装置から映像および音を受信する受信部と、
前記入力部により音が入力されている場合、前記撮像部により撮像された映像から、該音を発した音源を含む映像領域を切り出して第１映像とし、前記受信部により前記他の情報処理装置から音が受信されている場合、前記撮像部により撮像された映像から、少なくとも前記第１映像よりも広い範囲の映像領域を切り出して第２映像とする切出部と、
前記第１映像および前記第２映像のうち少なくともいずれかを前記他の情報処理装置に送信する送信部と、
を備えた情報処理装置。
【請求項２】
前記切出部によって切り出された前記第１映像および前記第２映像を、それぞれ前記他の情報処理装置におけるどの表示領域に表示させるかを指定する指定情報を生成する指定部を、さらに備え、
前記送信部は、前記第１映像および前記第２映像の少なくともいずれかを送信する場合に、前記指定情報も送信する請求項１に記載の情報処理装置。
【請求項３】
前記入力部から入力された音の方向を特定する第１特定部を、さらに備え、
前記切出部は、前記受信部により前記他の情報処理装置から音が受信されている場合、前記第１特定部により特定された、前記受信部により前記他の情報処理装置から音が受信される直前に前記入力部により入力されていた音の方向に対応する第１音源を含む映像領域を切り出し、
前記指定部は、前記切出部により切り出された前記第１音源を含む映像領域を、前記他の情報処理装置における前記第２映像が表示されている表示領域以外の表示領域に表示させることを指定する指定情報を生成し、
前記送信部は、前記第１音源を含む映像領域を、該指定情報と共に前記他の情報処理装置に送信する請求項２に記載の情報処理装置。
【請求項４】
前記撮像部により撮像された映像から音源を認識する認識部と、
前記撮像部により撮像された前記映像において、前記認識部により認識された音源が前記情報処理装置に対してどの方向に配置されているかを示す配置パターンを特定する第２特定部と、
前記切出部は、前記受信部により前記他の情報処理装置から音が受信されている場合、前記配置パターンで配置の方向が特定されるすべての音源を含む映像領域を前記映像から前記第２映像として切り出す請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
前記切出部は、前記入力部により音が入力されている場合、
前記第１特定部により特定された前記入力部に入力されている音の方向の音源を含む映像領域を前記映像から切り出し、
前記音源の前に音を発していた第２音源を含む映像領域を前記映像から切り出し、
前記指定部は、前記第２音源を含む映像領域の表示を継続させ、かつ、前記入力部に入力されている音の方向の音源を含む映像領域を表示させることを指定する指定情報を生成し、
前記送信部は、前記第２音源を含む映像領域、前記入力部に入力されている音の方向の音源を含む映像領域、および該指定情報を前記他の情報処理装置に送信する請求項３に記載の情報処理装置。
【請求項６】
前記認識部により認識された音源の数を求め、音源の数が１である場合、前記情報処理装置を第１動作モードに切り替え、音源の数が２である場合、前記情報処理装置を第２動作モードに切り替え、音源の数が３以上である場合、第３動作モードに切り替える切替部を、さらに備え、
前記第１動作モードでは、
前記切出部は、１の音源を含む映像領域を前記映像から切り出し、
前記送信部は、該映像領域を前記他の情報処理装置に送信し、
前記第２動作モードでは、
前記切出部は、２の音源をそれぞれ含む映像領域を前記映像から切り出し、
前記送信部は、前記切出部により切り出された前記２の音源をそれぞれ含む映像領域を前記他の情報処理装置に送信する請求項４に記載の情報処理装置。
【請求項７】
所定時間ごとに、
前記認識部は、前記撮像部により撮像された前記映像から音源を認識し、
前記切替部は、前記認識部により認識された音源の数を求め、音源の数に基づいて前記第１動作モード、前記第２動作モード、または前記第１動作モードおよび前記第２動作モード以外の動作モードに切り替える請求項６に記載の情報処理装置。
【請求項８】
前記受信部によって前記他の情報処理装置から前記第１映像または前記第２映像を受信した場合、該第１映像または該第２映像を表示部に表示させる表示制御部を、さらに備えた請求項１〜７のいずれか一項に記載の情報処理装置。
【請求項９】
請求項１〜８のいずれか一項に記載の情報処理装置と、
前記情報処理装置と、前記他の情報処理装置との間の通信制御を行うサーバ装置と、
を有する会議システム。
【請求項１０】
他の情報処理装置と映像および音を通信する情報処理装置での情報処理方法であって、
音源の音の入力を受け付ける入力ステップと、
前記音源の映像を撮像する撮像ステップと、
前記他の情報処理装置から映像および音を受信する受信ステップと、
音を入力している場合、撮像した映像から、該音を発した音源を含む映像領域を切り出して第１映像とし、前記他の情報処理装置から音を受信している場合、撮像した映像から、少なくとも前記第１映像よりも広い範囲の映像領域を切り出して第２映像とする切出ステップと、
前記第１映像および前記第２映像のうち少なくともいずれかを前記他の情報処理装置に送信する送信ステップと、
を有する情報処理方法。
【請求項１１】
他の情報処理装置と映像および音声を通信するコンピュータに、
前記他の情報処理装置から映像および音を受信する受信ステップと、
音源の音の入力を受け付ける入力部により音が入力されている場合、前記音源の映像を撮像する撮像部により撮像された映像から、該音を発した音源を含む映像領域を切り出して第１映像とし、前記他の情報処理装置から音を受信している場合、前記撮像部により撮像された映像から、少なくとも前記第１映像よりも広い範囲の映像領域を切り出して第２映像とする切出ステップと、
前記第１映像および前記第２映像のうち少なくともいずれかを前記他の情報処理装置に送信する送信ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、会議システム、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
遠隔地との間で、インターネット等の通信ネットワークを介して遠隔会議を行うビデオ会議システムが普及している。このビデオ会議システムにおいては、遠隔会議（ビデオ会議）を行う参加者等の当事者の一方がいる会議室において、ビデオ会議システムの端末装置を用いて会議室の参加者等の画像（映像）を撮像し、かつ、発話による音声を入力し、映像データおよび音声データを相手方の端末装置に送信する。そして、相手方の会議室のディスプレイに表示し、かつ、スピーカにより音声出力して、実際の会議に近い状態で遠隔地間の会議を実現している。
【０００３】
また、ビデオ会議システムでは、会議の参加者の音声を取得するためにマイクを使用し、映像を取得するためにカメラを使用している。ただし、カメラには画角があるため、カメラの画角外にいる参加者の映像は撮影することができない。この問題を解決するために、３６０度全方向を撮影することができるパノラマカメラを用いる方法が知られている。一方、マイクは、通常、無指向性のため、どの参加者から発話された音声なのか、すなわち、音声の方向を判別することができない。この問題を解決するため、マイクアレイを使用することにより、どの参加者から発話された音声なのか、すなわち、音声の方向を判別する方法が知られている。
【０００４】
このような、ビデオ会議システムとして、反射鏡を用いた全方位型カメラモジュールを用いて撮影した画像から、マイクアレイを使って音声の方向を特定した部分に対応する画像をデジタル的に切り出して表示する技術が開示されている（特許文献１）。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された技術では、自拠点の参加者が発話している場合に、相手拠点の表示装置で、自拠点の発話している参加者を切り替えて表示するものとしている。しかしながら、自拠点の参加者が話していない場合、相手拠点では、自拠点の参加者の状態をどのように表示させるのかについて規定されておらず、自拠点の全体的な状態が把握できないという問題点がある。
【０００６】
本発明は、上記に鑑みてなされたものであって、発話者の映像領域を切り出すシステムにおいても、会議の拠点の状態が把握できる情報処理装置、会議システム、情報処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、他の情報処理装置と映像および音を通信する情報処理装置であって、音源の音の入力を受け付ける入力部と、前記音源の映像を撮像する撮像部と、前記他の情報処理装置から映像および音を受信する受信部と、前記入力部により音が入力されている場合、前記撮像部により撮像された映像から、該音を発した音源を含む映像領域を切り出して第１映像とし、前記受信部により前記他の情報処理装置から音が受信されている場合、前記撮像部により撮像された映像から、少なくとも前記第１映像よりも広い範囲の映像領域を切り出して第２映像とする切出部と、前記第１映像および前記第２映像のうち少なくともいずれかを前記他の情報処理装置に送信する送信部と、を備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、発話者の映像領域を切り出すシステムにおいても、会議の拠点の状態が把握できる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る会議システムの全体構成の一例を示す図である。
【図２】図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図３】図３は、実施の形態に係る情報処理装置の複数のマイクの配置およびパノラマカメラの配置の一例を示す図である。
【図４】図４は、実施の形態に係る情報処理装置の機能ブロック構成の一例を示す図である。
【図５】図５は、会議に参加する参加者の配置例を示す図である。
【図６】図６は、実施の形態に係る情報処理装置のモード決定処理の流れの一例を示すフローチャートである。
【図７】図７は、各モードでの映像表示の概要を説明する図である。
【図８】図８は、実施の形態に係る情報処理装置の２画面切替モードにおける映像切り出し動作の流れの一例を示すフローチャートである。
【図９】図９は、実施の形態に係る情報処理装置の２画面切替モードにおける画面遷移の例を示す図である。
【図１０】図１０は、ビデオ会議の参加者の全体の映像を切り出す切出範囲の例を説明する図である。
【図１１】図１１は、３拠点以上の間でビデオ会議を行う場合の映像表示の例を示す図である。
【発明を実施するための形態】
【００１０】
以下に、図１〜１１を参照しながら、本発明に係る情報処理装置、会議システム、情報処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【００１１】
（会議システムの構成）
図１は、実施の形態に係る会議システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態に係る会議システム１の構成について説明する。
【００１２】
図１に示すように、本実施の形態に係る会議システム１は、２以上の情報処理装置（情報処理装置１０ａ、１０ｂ、・・・）と、会議サーバ２０と、を含む。情報処理装置１０ａ、１０ｂは、それぞれインターネット等のネットワーク２を介して、互いに通信可能であり、かつ、会議サーバ２０と通信可能となっている。なお、図１に示す２以上の情報処理装置（１０ａ、１０ｂ、・・・）について、任意の情報処理装置を示す場合、または総称する場合、単に「情報処理装置１０」と称するものとする。また、図１では、拠点Ａに情報処理装置１０ａが設置され、拠点Ｂに情報処理装置１０ｂが設置された例を示している。
【００１３】
情報処理装置１０は、他の情報処理装置との間で、会議サーバ２０の制御に基づいて、セッションを確立し、確立したセッションを介して、音声データおよび映像データを送受信する会議端末装置である。これにより、会議システム１において、複数の情報処理装置（１０ａ、１０ｂ、・・・）間のビデオ会議（以下、単に「会議」という場合がある）が実現される。
【００１４】
会議サーバ２０は、各情報処理装置１０が会議サーバ２０と接続しているか否かのモニタリング、会議開始時の各情報処理装置１０の呼び出し制御、および会議時の情報処理の制御を行うサーバ装置である。
【００１５】
（情報処理装置のハードウェア構成）
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図３は、実施の形態に係る情報処理装置の複数のマイクの配置およびパノラマカメラの配置の一例を示す図である。図２および３を参照しながら、本実施の形態に係る情報処理装置１０のハードウェア構成の詳細について説明する。
【００１６】
図２に示すように、本実施の形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３と、補助記憶装置２０４と、メディアドライブ２０５と、操作ボタン２０６と、電源スイッチ２０７と、ネットワークＩ／Ｆ２０８と、撮像素子Ｉ／Ｆ２０９と、パノラマカメラ２１０と、音声Ｉ／Ｆ２１１と、マイクアレイ２１２と、スピーカ２１３と、出力Ｉ／Ｆ２１４と、外部機器Ｉ／Ｆ２１６と、を備えている。
【００１７】
ＣＰＵ２０１は、情報処理装置１０全体の動作を制御する集積回路である。ＲＯＭ２０２は、情報処理装置１０用のファームウェア等のプログラムを記憶している不揮発性の記憶装置である。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される揮発性の記憶装置である。
【００１８】
補助記憶装置２０４は、情報処理装置１０の動作を実現する各種プログラム、ならびに映像データおよび音声データ等の各種データを記憶する不揮発性の記憶装置である。補助記憶装置２０４は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等である。
【００１９】
メディアドライブ２０５は、フラッシュメモリ等である記録メディア２０５ａに対するデータの読み出しおよび書き込みを制御する装置である。
【００２０】
操作ボタン２０６は、情報処理装置１０に対する設定操作等を行うためのボタンである。電源スイッチ２０７は、情報処理装置１０の電源のＯＮ／ＯＦＦを切り替えるスイッチである。
【００２１】
ネットワークＩ／Ｆ２０８は、ネットワーク２を利用してデータを通信するためのインターフェースである。ネットワークＩ／Ｆ２０８は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）等である。撮像素子Ｉ／Ｆ２０９は、ＣＰＵ２０１の制御に従って被写体を撮像して映像データを得るパノラマカメラ２１０との間で映像データを伝送するためのインターフェースである。
【００２２】
パノラマカメラ２１０は、レンズ、および光を電荷に変換して被写体の画像（映像）をデジタルデータ化する固体撮像素子を含む撮像装置である。パノラマカメラ２１０は、周囲３６０度の映像データを取得する。このように、３６０度の映像データを取得することにより、情報処理装置１０の周囲にいる会議に参加する参加者を全て撮像することが可能となる。パノラマカメラ２１０は、撮像素子Ｉ／Ｆ２０９に接続される。固体撮像素子としては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）またはＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等が用いられる。また、パノラマカメラ２１０は、例えば、図３に示すように、情報処理装置１０の上面の中央部等に設置される。
【００２３】
音声Ｉ／Ｆ２１１は、ＣＰＵ２０１の制御に従って、音声を入力するマイクアレイ２１２および音声を出力するスピーカ２１３との間で音声信号の入出力を処理するインターフェースである。マイクアレイ２１２は、会議に参加している参加者の音声を入力する集音装置である。マイクアレイ２１２は、複数のマイクを有し、ＣＰＵ２０１の制御に従って、例えば、会議の参加者が発話した音声の方向を判別することができる。スピーカ２１３は、ＣＰＵ２０１の制御に従って、音声を出力する装置である。マイクアレイ２１２およびスピーカ２１３は、それぞれ音声Ｉ／Ｆ２１１に接続される。また、マイクアレイ２１２は、例えば、図３に示すように、６つのマイク（２１２ａ〜２１２ｆ）を有する。マイク２１２ａ〜２１２ｆは、例えば、図３に示すように、情報処理装置１０の筐体の上面に分散して配置される。マイクアレイ２１２は、例えば、マイク２１２ａ〜２１２ｆそれぞれに音声が入力するタイミングのずれ等に基づいて、音声の方向を判別することができる。なお、マイクアレイ２１２は、図３に示すように６つのマイクで構成されることに限定されるものではなく、複数のマイクを有するものであればよい。また、マイクアレイ２１２の各マイクは、図３に示すように、情報処理装置１０の筐体に分散して配置されるものとしているが、これに限定されるものではなく、マイク２１２ａ〜２１２ｆを有するマイクアレイ２１２のユニットが、情報処理装置１０の筐体とは別体として構成されているものとしてもよい。
【００２４】
出力Ｉ／Ｆ２１４は、ＣＰＵ２０１の制御に従って、外付けの表示装置２１５に映像データを伝送するためのインターフェースである。外部機器接続Ｉ／Ｆ２１６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等によって、外付けカメラ、外付けマイクおよび外付けスピーカ等の外部機器がそれぞれ電気的に接続可能なインターフェースである。
【００２５】
表示装置２１５は、会議に参加している他拠点の参加者の映像を表示する表示装置である。表示装置２１５は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイ、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶ディスプレイ）、または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。表示装置２１５は、ケーブル２１４ａによって出力Ｉ／Ｆ２１４に接続される。ケーブル２１４ａは、アナログＲＧＢ（ＶＧＡ）信号用のケーブルであってもよく、コンポーネントビデオ用のケーブルであってもよく、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）またはＤＶＩ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｉｎｔｅｒａｃｔｉｖｅ）信号用のケーブルであってもよい。
【００２６】
上述のＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、メディアドライブ２０５、操作ボタン２０６、電源スイッチ２０７、ネットワークＩ／Ｆ２０８、撮像素子Ｉ／Ｆ２０９、音声Ｉ／Ｆ２１１、出力Ｉ／Ｆ２１４、および外部機器Ｉ／Ｆ２１６は、アドレスバスおよびデータバス等のバス２１７によって互いに通信可能に接続されている。
【００２７】
なお、情報処理装置１０のハードウェア構成は、図２に示す構成に限定されるものではない。例えば、メディアドライブ２０５は備えていなくてもよい。
【００２８】
（情報処理装置の機能ブロック構成）
図４は、実施の形態に係る情報処理装置の機能ブロック構成の一例を示す図である。図５は、会議に参加する参加者の配置例を示す図である。図４および５を参照しながら、本実施の形態に係る情報処理装置１０の機能ブロック構成の詳細について説明する。
【００２９】
図４に示すように、本実施の形態に係る情報処理装置１０は、認識部１０１と、配置特定部１０２（第２特定部）と、切出部１０３と、方向特定部１０４（第１特定部）と、管理部１０５（切替部）と、指定部１０６と、送信部１０７と、受信部１０８と、撮像制御部１０９と、表示制御部１１０と、音声出力制御部１１１と、入力部１１２と、記憶部１１３と、操作部１１４と、通信部１１５と、撮像部１１６と、表示部１１７と、音声出力部１１８と、を有する。
【００３０】
認識部１０１は、撮像部１１６により撮像された画像に含まれる１以上の参加者の顔の部分を顔画像として認識（以下、「顔認識」という場合がある）する機能部である。認識部１０１による参加者の顔認識は、公知の顔認識の画像解析方法を用いるものとすればよい。撮像部１１６により撮像された画像から認識部１０１により顔認識された回数をカウントすることによって、会議の参加者の人数を知ることが可能となる。認識部１０１は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３１】
なお、認識部１０１は参加者の顔の部分を顔画像として認識することによって参加者を認識するものとしたが、これに限定されるものではなく、人体検出による認識等のその他の認識方法によって参加者を認識するものとしてもよい。
【００３２】
配置特定部１０２は、撮像部１１６によって撮像された画像において、認識部１０１により顔認識された参加者の位置を特定し、会議に参加する参加者の会議室における参加者の配置パターンを特定する機能部である。例えば、図５（ａ）に示す会議室では、机４０の上に情報処理装置１０および表示装置２１５が載置され、机４０に載置された表示装置２１５の近傍（図５（ａ）の領域Ｐ７内）にホワイトボード５０が設置されているものとする。このような会議室の状態で、情報処理装置１０の撮像部１１６により３６０度全方向の画像（以下、「パノラマ画像」という場合がある）が撮像された場合、配置特定部１０２は、認識部１０１によって顔認識された参加者６０ａ〜６０ｅについて、参加者６０ａが領域Ｐ１に、参加者６０ｂが領域Ｐ２に、参加者６０ｃが領域Ｐ３に、参加者６０ｄが領域Ｐ５に、そして、参加者６０ｅが領域Ｐ６に位置することを示す配置パターンを特定する。また、図５（ｂ）では、撮像部１１６により撮像されたパノラマ画像において、配置特定部１０２は、認識部１０１によって顔認識された参加者６１ａ〜６１ｄについて、参加者６１ａが領域Ｐ２に、参加者６１ｂが領域Ｐ３に、参加者６１ｃが領域Ｐ４に、そして、参加者６１ｄが領域Ｐ５に位置することを示す配置パターンを特定する。すなわち、配置パターンを特定するということは、情報処理装置１０に対してどの方向に参加者が配置されているかを特定することになる。配置特定部１０２は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３３】
なお、撮像部１１６により撮像された画像を「パノラマ画像」という場合があるものとしたが、撮像部１１６により撮像する客体として映像を示す場合、「パノラマ映像」という場合があるものとする。ただし、映像は、画像を含む概念であるものとする。
【００３４】
切出部１０３は、パノラマ映像から、認識部１０１により顔認識された特定の参加者の映像領域、または、会議に参加している参加者全員を含む映像領域を切り出す機能部である。切出部１０３は、パノラマ映像から特定の参加者の映像領域を切り出す場合、例えば、後述するように、方向特定部１０４によって特定された参加者（音源）の音声の方向に対応する映像領域を切り出すものとすればよい。切出部１０３は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３５】
方向特定部１０４は、マイクアレイである入力部１１２により入力された音声の方向を特定する機能部である。具体的には、方向特定部１０４は、例えば、マイクアレイである入力部１１２を構成する複数のマイクに音声が入力するタイミングのずれ等に基づいて、音声の方向を特定する。方向特定部１０４は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３６】
管理部１０５は、情報処理装置１０の動作モードを管理する機能部である。具体的には、管理部１０５は、認識部１０１によりパノラマ画像から顔認識された回数をカウントすることによって、会議の参加者の人数を把握し、情報処理装置１０の動作モードを決定する。この情報処理装置１０の動作モードを決定する動作については、図６で後述する。管理部１０５は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３７】
指定部１０６は、切出部１０３により切り出された映像領域に対応する映像データを、他拠点の情報処理装置１０の表示部１１７のどの表示領域に表示させるかを指定する機能部である。具体的には、指定部１０６は、どの表示領域に表示させるかを指定する指定情報を生成する。指定部１０６は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３８】
送信部１０７は、切出部１０３により切り出された映像領域に対応する映像データ、および、入力部１１２により入力された音声データを、通信部１１５およびネットワーク２を介して、他拠点の情報処理装置１０に送信する機能部である。具体的には、送信部１０７は、例えば、映像データおよび音声データをエンコードして、他拠点の情報処理装置１０に送信する。ここで、エンコードの方法としては、公知の方法を用いればよい。例えば、Ｈ．２６４／ＡＶＣ、またはＨ．２６４／ＳＶＣ等の圧縮符号化技術を用いればよい。送信部１０７は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００３９】
受信部１０８は、ネットワーク２および通信部１１５を介して、他拠点の情報処理装置１０から受信した映像データおよび音声データを受信する機能部である。具体的には、受信部１０８は、例えば、受信した映像データおよび音声データをデコードし、デコードした映像データを表示制御部１１０に送り、デコードした音声データを音声出力制御部１１１に送る。ここで、デコードの方法としては、公知の方法を用いればよい。受信部１０８は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００４０】
撮像制御部１０９は、撮像部１１６の動作を制御する機能部である。具体的には、撮像制御部１０９は、例えば、撮像部１１６による撮像の開始および停止の動作等を制御し、撮像部１１６により撮像されたパノラマ映像を取得する。撮像制御部１０９は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００４１】
表示制御部１１０は、表示部１１７に各種画像を表示させる制御を行う機能部である。表示制御部１１０は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００４２】
音声出力制御部１１１は、音声出力部１１８に各種音声を出力させる制御を行う機能部である。音声出力制御部１１１は、例えば、図２に示すＣＰＵ２０１がプログラムを実行することによって実現される。
【００４３】
入力部１１２は、音声を入力する機能部である。入力部１１２は、例えば、図２に示すマイクアレイ２１２によって実現される。
【００４４】
記憶部１１３は、情報処理装置１０の動作を実現する各種プログラム、映像データ、音声データ、および配置特定部１０２によって特定された配置パターン等の情報を記憶する機能部である。記憶部１１３は、例えば、図２に示すＲＡＭ２０３および補助記憶装置２０４によって実現される。
【００４５】
操作部１１４は、情報処理装置１０の利用者（例えば、会議の参加者）の各種操作入力を受け付ける機能部である。操作部１１４は、例えば、図２に示す操作ボタン２０６および電源スイッチ２０７等によって実現される。なお、操作部１１４は、図２に示す操作ボタン２０６および電源スイッチ２０７に限定されるものではなく、マウス、キーボード、またはタッチパネル等によって実現されるものとしてもよい。
【００４６】
通信部１１５は、ネットワーク２を介して、他の情報処理装置１０、および会議サーバ２０とデータ通信をする機能部である。通信部１１５は、例えば、図２に示すネットワークＩ／Ｆ２０８によって実現される。
【００４７】
撮像部１１６は、３６０度全方向のパノラマ画像またはパノラマ映像を撮像する機能部である。撮像部１１６は、例えば、図２に示すパノラマカメラ２１０によって実現される。
【００４８】
表示部１１７は、表示制御部１１０の制御に従って、各種画像を表示する機能部である。表示部１１７は、例えば、図２に示す表示装置２１５によって実現される。
【００４９】
音声出力部１１８は、音声出力制御部１１１の制御に従って、各種音声を出力する機能部である。音声出力部１１８は、例えば、図２に示すスピーカ２１３によって実現される。
【００５０】
なお、図４に示す情報処理装置１０の認識部１０１、配置特定部１０２、切出部１０３、方向特定部１０４、管理部１０５、指定部１０６、送信部１０７、受信部１０８、撮像制御部１０９、表示制御部１１０、音声出力制御部１１１、入力部１１２、記憶部１１３、操作部１１４、通信部１１５、撮像部１１６、表示部１１７および音声出力部１１８は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図４に示す情報処理装置１０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図４に示す情報処理装置１０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。
【００５１】
また、情報処理装置１０の認識部１０１、配置特定部１０２、切出部１０３、方向特定部１０４、管理部１０５、指定部１０６、送信部１０７、受信部１０８、撮像制御部１０９、表示制御部１１０および音声出力制御部１１１の一部または全部は、ソフトウェアであるプログラムではなく、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェア回路によって実現されてもよい。
【００５２】
（モード決定処理）
図６は、実施の形態に係る情報処理装置のモード決定処理の流れの一例を示すフローチャートである。図７は、各モードでの映像表示の概要を説明する図である。図６および７を参照しながら、本実施の形態に係る情報処理装置１０のモード決定処理の流れについて説明する。なお、以下の説明では、自拠点の情報処理装置１０と、相手拠点の情報処理装置１０との２拠点間でのビデオ会議を想定して説明する。
【００５３】
＜ステップＳ１１＞
まず、会議に参加しようとする参加者は、情報処理装置１０の操作部１１４を操作して、情報処理装置１０の電源をＯＮ状態にし、撮像部１１６によって周囲の画像（パノラマ画像）を撮像するための操作入力を行う。撮像制御部１０９は、操作部１１４からパノラマ画像を撮像するための操作情報を受け取ると、撮像部１１６にパノラマ画像を撮像させる。そして、ステップＳ１２へ移行する。
【００５４】
＜ステップＳ１２＞
認識部１０１は、撮像部１１６により撮像された画像に含まれる１以上の参加者の顔の部分を顔画像として認識（顔認識）する。そして、ステップＳ１３へ移行する。
【００５５】
＜ステップＳ１３＞
配置特定部１０２は、撮像部１１６によって撮像されたパノラマ画像において、認識部１０１により顔認識された参加者の位置を特定し、会議に参加する参加者の会議室における参加者の配置パターンを特定する。配置特定部１０２は、特定した配置パターンの情報を、記憶部１１３に記憶させる。そして、ステップＳ１４へ移行する。
【００５６】
＜ステップＳ１４＞
管理部１０５は、認識部１０１によりパノラマ画像から顔認識された回数をカウントすることによって、会議の参加者の人数を把握する。会議の参加者の人数が１人である場合（ステップＳ１４：１人）、ステップＳ１５へ移行し、参加者の人数が２人である場合（ステップＳ１４：２人）、ステップＳ１６へ移行し、参加者の人数が３人以上である場合（ステップＳ１４：３人以上）、ステップＳ１７へ移行する。
【００５７】
＜ステップＳ１５＞
管理部１０５は、会議の参加者の人数が１人であると判定した場合、情報処理装置１０の動作モードを１画面固定モード（第１動作モード）に切り替える。そして、情報処理装置１０は、モード決定処理を終了する。
【００５８】
自拠点の情報処理装置１０は、１画面固定モードで動作する場合、自拠点での会議の参加者は１人なので、相手拠点の情報処理装置１０に対して、自拠点の１人の参加者の映像データおよび音声データを送信する。
【００５９】
具体的には、まず、自拠点の情報処理装置１０および相手拠点の情報処理装置１０は、互いに動作モードの情報を、ネットワーク２を介して交換する。ここでは、自拠点の情報処理装置１０は、１画面固定モードで動作することを示す情報を、ネットワーク２を介して相手拠点の情報処理装置１０に送信する。
【００６０】
自拠点の情報処理装置１０の切出部１０３は、撮像部１１６により撮像されたパノラマ映像から、認識部１０１により顔認識された１人の参加者の映像領域を切り出す。自拠点の情報処理装置１０の送信部１０７は、切出部１０３により切り出された映像領域の映像データ、および、入力部１１２により入力された音声データをエンコードして、通信部１１５およびネットワーク２を介して、相手拠点の情報処理装置１０に送信する。
【００６１】
そして、相手拠点の情報処理装置１０の受信部１０８は、ネットワーク２および通信部１１５を介して、自拠点の情報処理装置１０から映像データおよび音声データを受信すると、その映像データおよび音声データをデコードする。相手拠点の情報処理装置１０の受信部１０８は、デコードした映像データを表示制御部１１０に送り、デコードした音声データを音声出力制御部１１１に送る。相手拠点の情報処理装置１０は、自拠点の情報処理装置１０が１画面固定モードで動作していることを認識しているので、相手拠点の情報処理装置１０の表示制御部１１０は、図７（ａ）に示すように、表示部１１７（表示装置２１５）の表示画面２１５ａにおける表示領域３００（特定の表示領域）を図７（ｂ）および（ｃ）のように分割しない。そして、相手拠点の情報処理装置１０の表示制御部１１０は、受信した映像データ（自拠点の情報処理装置１０の切出部１０３により切り出された自拠点の１人の参加者（図７（ａ）の例では参加者Ｘ）を含む映像領域の映像データ）を、図７（ａ）に示すように、表示領域３００に表示させる。また、相手拠点の情報処理装置１０の音声出力制御部１１１は、受信した音声データを音声出力部１１８に音声として出力させる。
【００６２】
＜ステップＳ１６＞
管理部１０５は、会議の参加者の人数が２人であると判定した場合、情報処理装置１０の動作モードを２画面固定モード（第２動作モード）に切り替える。そして、情報処理装置１０は、モード決定処理を終了する。
【００６３】
具体的には、まず、自拠点の情報処理装置１０および相手拠点の情報処理装置１０は、互いに動作モードの情報を、ネットワーク２を介して交換する。ここでは、自拠点の情報処理装置１０は、２画面固定モードで動作することを示す情報を、ネットワーク２を介して相手拠点の情報処理装置１０に送信する。
【００６４】
自拠点の情報処理装置１０の切出部１０３は、撮像部１１６により撮像されたパノラマ映像から、認識部１０１により顔認識された２人の参加者それぞれの映像領域を切り出す。自拠点の情報処理装置１０の送信部１０７は、切出部１０３により切り出された映像領域の映像データ、および、入力部１１２により入力された音声データをエンコードして、通信部１１５およびネットワーク２を介して、相手拠点の情報処理装置１０に送信する。
【００６５】
そして、相手拠点の情報処理装置１０の受信部１０８は、ネットワーク２および通信部１１５を介して、自拠点の情報処理装置１０から映像データおよび音声データを受信すると、その映像データおよび音声データをデコードする。相手拠点の情報処理装置１０の受信部１０８は、デコードした映像データを表示制御部１１０に送り、デコードした音声データを音声出力制御部１１１に送る。相手拠点の情報処理装置１０は、自拠点の情報処理装置１０が２画面固定モードで動作していることを認識しているので、相手拠点の情報処理装置１０の表示制御部１１０は、図７（ｂ）に示すように、表示部１１７（表示装置２１５）の表示画面２１５ａにおける表示領域３００を２分割して、分割領域３００ａおよび分割領域３００ｂを生成する。そして、相手拠点の情報処理装置１０の表示制御部１１０は、受信した自拠点の２人の映像データ（自拠点の情報処理装置１０の切出部１０３により切り出された自拠点の２人の参加者（図７（ｂ）の例では参加者Ｘ、Ｙ）をそれぞれ含む映像領域の映像データ）を、図７（ｂ）に示すように、分割領域３００ａ、３００ｂにそれぞれ表示させる。また、相手拠点の情報処理装置１０の音声出力制御部１１１は、受信した音声データを音声出力部１１８に音声として出力させる。
【００６６】
＜ステップＳ１７＞
管理部１０５は、会議の参加者の人数が３人以上であると判定した場合、情報処理装置１０の動作モードを２画面切替モード（第３動作モード）に切り替える。そして、情報処理装置１０は、モード決定処理を終了する。
【００６７】
１画面固定モードおよび２画面固定モードと同様に、自拠点の情報処理装置１０および相手拠点の情報処理装置１０は、互いに動作モードの情報を、ネットワーク２を介して交換する。ここでは、自拠点の情報処理装置１０は、２画面切替モードで動作することを示す情報を、ネットワーク２を介して相手拠点の情報処理装置１０に送信する。２画面切替モードでの映像切り出し動作の詳細については、図８〜１０で後述する。なお、図７（ｃ）の例では、相手拠点の情報処理装置１０の表示部１１７（表示装置２１５）の表示画面２１５ａにおける表示領域３００が、分割領域３００ａ、３００ｂに２分割され、分割領域３００ａに参加者Ｘが表示され、分割領域３００ｂに自拠点の参加者全体（参加者Ｖ〜Ｚ）が表示されている状態を示している。
【００６８】
以上のステップＳ１１〜Ｓ１７の動作によって、情報処理装置１０によりモード決定処理が実行される。
【００６９】
なお、図６に示すモード決定処理は、会議中において、所定時間ごとに、または、所定の条件を充足した場合に再実行するものとしてもよい。所定の条件を充足した場合とは、例えば、撮像部１１６により撮像されているパノラマ映像において、認識部１０１が顔認識した参加者の位置が移動した場合、前回に認識部１０１により顔認識した利用者がいなくなった場合、または、前回に認識部１０１により顔認識した参加者以外の参加者が顔認識された場合等が挙げられる。
【００７０】
また、図６に示すモード決定処理においては、参加者の人数が２人以上である場合は、２画面固定モードまたは２画面切替モードに切り替え、相手拠点の情報処理装置１０の表示制御部１１０は、図７（ｂ）または図７（ｃ）に示すように、表示部１１７の表示画面２１５ａにおける表示領域３００を２分割して、分割領域３００ａおよび分割領域３００ｂを生成するものとしているが、これに限定されるものではない。すなわち、参加者の人数が２人以上である場合でも、表示領域３００を分割せずに１画面として処理するものとしてもよい。
【００７１】
（２画面切替モードでの映像切り出し動作）
図８は、実施の形態に係る情報処理装置の２画面切替モードにおける映像切り出し動作の流れの一例を示すフローチャートである。図９は、実施の形態に係る情報処理装置の２画面切替モードにおける画面遷移の例を示す図である。図１０は、ビデオ会議の参加者の全体の映像を切り出す切出範囲の例を説明する図である。図８〜１０を参照しながら、本実施の形態に係る情報処理装置１０の２画面切替モードでの映像切り出し動作の流れについて説明する。なお、以下の説明では、自拠点の情報処理装置１０と、相手拠点の情報処理装置１０との２拠点間でのビデオ会議を想定して説明する。
【００７２】
＜ステップＳ３１＞
上述のように、自拠点の情報処理装置１０および相手拠点の情報処理装置１０は、互いに動作モードの情報を、ネットワーク２を介して交換する。ここでは、自拠点の情報処理装置１０は、２画面切替モードで動作することを示す情報を、ネットワーク２を介して相手拠点の情報処理装置１０に送信する。相手拠点の情報処理装置１０は、自拠点の情報処理装置１０が２画面切替モードで動作していることを認識しているので、相手拠点の情報処理装置１０の表示制御部１１０は、図７（ｃ）に示すように、表示部１１７（表示装置２１５）の表示画面２１５ａにおける表示領域３００を２分割して、分割領域３００ａおよび分割領域３００ｂを生成する。そして、自拠点の情報処理装置１０の入力部１１２は、音声の入力の受け付けを開始する。そして、ステップＳ３２へ移行する。
【００７３】
＜ステップＳ３２＞
入力部１１２により音声が入力された場合（ステップＳ３２：Ｙｅｓ）、ステップＳ３３へ移行し、入力部１１２により音声が入力されない場合、すなわち、相手拠点の参加者が発話している場合（ステップＳ３２：Ｎｏ）、ステップＳ３８へ移行する。ここで、相手拠点が発話している場合とは、例えば、受信部１０８によって、相手拠点の情報処理装置１０から発話者の映像データおよび音声データが受信された場合である。
【００７４】
＜ステップＳ３３＞
自拠点の情報処理装置１０の方向特定部１０４は、３人以上の参加者のうちいずれかが発話することにより入力部１１２に入力された音声の方向を特定する。そして、ステップＳ３４へ移行する。
【００７５】
＜ステップＳ３４＞
自拠点の情報処理装置１０の切出部１０３は、配置特定部１０２により特定された配置パターンが示す参加者の方向のうち、方向特定部１０４により特定された音声の方向に最も近い方向の参加者を、発話している参加者（現在の発話者）と判断し、撮像部１１６により撮像されるパノラマ映像からその参加者を含む映像領域（第１映像）を切り出す。また、切出部１０３は、ステップＳ３３で発話している参加者の前に発話していた参加者（前回の発話者）（第２音源）を含む映像領域の切り出しを継続する。そして、ステップＳ３５へ移行する。なお、切出部１０３は、配置特定部１０２により特定された配置パターンが示す参加者の方向のうち、方向特定部１０４により特定された音声の方向に最も近い方向の参加者の映像領域を切り出すものとしているが、これに限定されるものではない。すなわち、切出部１０３は、配置パターンを使用せずに、方向特定部１０４により特定された音声の方向に対応する映像領域をパノラマ画像から直接切り出すものとしてもよい。
【００７６】
＜ステップＳ３５＞
自拠点の情報処理装置１０の送信部１０７は、切出部１０３により切り出された現在の発話者および前回の発話者それぞれの映像領域の映像データ、および、入力部１１２により入力された現在の発話者の音声データをエンコードして、通信部１１５およびネットワーク２を介して、相手拠点の情報処理装置１０に送信する。また、自拠点の情報処理装置１０の指定部１０６は、切出部１０３によって切り出された現在の発話者および前回の発話者それぞれの映像領域の映像データを、相手拠点の分割領域３００ａ、３００ｂのいずれに表示させるかを指定する指定情報を生成し、送信部１０７は、当該映像データと共に、この指定情報を相手拠点の情報処理装置１０に送信する。そして、ステップＳ３６へ移行する。
【００７７】
＜ステップＳ３６＞
相手拠点の情報処理装置１０の受信部１０８は、ネットワーク２および通信部１１５を介して、自拠点の情報処理装置１０から映像データおよび音声データを受信すると、その映像データおよび音声データをデコードする。相手拠点の情報処理装置１０の受信部１０８は、デコードした映像データを表示制御部１１０に送り、デコードした音声データを音声出力制御部１１１に送る。そして、ステップＳ３７へ移行する。
【００７８】
＜ステップＳ３７＞
相手拠点の情報処理装置１０の表示制御部１１０は、受信した前回の発話者の映像領域の映像データを、受信した指定情報の指定に従って、分割領域３００ａ、３００ｂのうち元々表示していた分割領域に継続して表示させる。また、表示制御部１１０は、受信した指定情報の指定に従って、もう一方の分割領域に、受信した現在の発話者の映像領域の映像データを切り替えて表示させる。また、相手拠点の情報処理装置１０の音声出力制御部１１１は、受信した音声データを音声出力部１１８に音声として出力させる。そして、ステップＳ４２へ移行する。
【００７９】
＜ステップＳ３８＞
自拠点の情報処理装置１０の切出部１０３は、撮像部１１６により撮像されるパノラマ映像から、配置特定部１０２により特定された配置パターンを用いて自拠点の参加者全体を含む映像領域（第２映像の一例）を切り出す。例えば、図１０（ａ）に示すように、情報処理装置１０が載置された机４０を囲んで、机４０の紙面視上側に２人の参加者が位置し、紙面視下側に１人の参加者が位置している場合を考える。この場合、切出部１０３は、３人の参加者全員を含む範囲であり、かつ、机４０の紙面視上側に位置している２人のうち左側の参加者、および紙面視下側に位置している参加者を端とする最小の範囲である切出範囲４００ａの映像領域を、パノラマ映像から切り出す。
【００８０】
また、図１０（ｂ）に示すように、情報処理装置１０が載置された机４０を囲んで、机４０の紙面視上側に２人の参加者が位置し、紙面視右側に１人の参加者が位置している場合を考える。この場合、切出部１０３は、３人の参加者全員を含む範囲であり、かつ、机４０の紙面視上側に位置している２人のうち左側の参加者、および紙面視右側に位置している参加者を端とする最小の範囲である切出範囲４００ｂの映像領域を、パノラマ映像から切り出す。
【００８１】
なお、切出部１０３は、パノラマ映像から、配置パターンを用いて自拠点の参加者全体を含む映像領域を切り出すものとしたが、これに限定されるものではない。例えば、切出部１０３は、配置パターンを用いずに、前に発話していた参加者のみを切り出した映像領域よりも広い範囲の映像領域を切り出すものとしてもよく、または、パノラマ映像全体を送信部１０７に送るものとしてもよい。ただし、切出部１０３は、配置パターンを用いた場合、自拠点の参加者の位置を把握できるので、参加者全体を含む映像領域を切り出すことができるという利点がある。
【００８２】
また、切出部１０３は、前に発話していた参加者（前回の発話者）（第１音源）を含む映像領域の切り出しを継続する。そして、ステップＳ３９へ移行する。
【００８３】
＜ステップＳ３９＞
自拠点の情報処理装置１０の送信部１０７は、切出部１０３により切り出された参加者全員および前回の発話者それぞれの映像領域の映像データをエンコードして、通信部１１５およびネットワーク２を介して、相手拠点の情報処理装置１０に送信する。また、自拠点の情報処理装置１０の指定部１０６は、切出部１０３によって切り出された参加者全員および前回の発話者それぞれの映像領域の映像データを、相手拠点の分割領域３００ａ、３００ｂのいずれに表示させるかを指定する指定情報を生成し、送信部１０７は、当該映像データと共に、この指定情報を相手拠点の情報処理装置１０に送信する。そして、ステップＳ４０へ移行する。
【００８４】
＜ステップＳ４０＞
相手拠点の情報処理装置１０の受信部１０８は、ネットワーク２および通信部１１５を介して、自拠点の情報処理装置１０から映像データを受信すると、その映像データをデコードする。相手拠点の情報処理装置１０の受信部１０８は、デコードした映像データを表示制御部１１０に送る。そして、ステップＳ４１へ移行する。
【００８５】
＜ステップＳ４１＞
相手拠点の情報処理装置１０の表示制御部１１０は、受信した前回の発話者の映像領域の映像データを、受信した指定情報の指定に従って、分割領域３００ａ、３００ｂのうち元々表示していた分割領域に継続して表示させる。また、表示制御部１１０は、受信した指定情報の指定に従って、もう一方の分割領域に、受信した参加者全体の映像領域の映像データを切り替えて表示させる。そして、ステップＳ４２へ移行する。
【００８６】
＜ステップＳ４２＞
自拠点の情報処理装置１０は、ビデオ会議が終了したか否かを判定する。例えば、情報処理装置１０は、利用者が操作部１１４から会議終了のための操作を行ったか否かを判定する。ビデオ会議が終了した場合（ステップＳ４２：Ｙｅｓ）、映像切り出し動作を終了し、ビデオ会議が終了していない場合（ステップＳ４２：Ｎｏ）、ステップＳ３２へ戻る。
【００８７】
以上のステップＳ３１〜Ｓ４２の動作によって、情報処理装置１０により２画面切替モードでの映像切り出し動作が実行される。
【００８８】
なお、上述の２画面切替モードでの動作においては、切出部１０３により切り出された映像領域の映像データを、相手拠点の表示部１１７のどの表示領域（例えば、分割領域３００ａ、３００ｂ）に表示させるかを指定するために、映像データの送信側である自拠点の情報処理装置１０の指定部１０６が指定情報を生成するものとしているが、これに限定されるものではない。例えば、映像データを受信した受信側である相手拠点の情報処理装置１０が、受信した映像データを、表示部１１７のどの表示領域に表示させるのかを決定するものとしてもよい。
【００８９】
次に、図９を参照しながら、２画面切替モードにおいて、相手拠点の表示部１１７（表示装置２１５）の表示領域３００（以下、図９の説明では単に「表示領域３００」という）における画面遷移の具体例を説明する。
【００９０】
図９の（１）は、表示領域３００の初期状態の表示例を示している。表示制御部１１０は、例えば、表示領域３００の分割領域３００ａに自拠点の任意の参加者の映像を表示させ、表示領域３００の分割領域３００ｂに自拠点の参加者全体の映像を表示させている。
【００９１】
図９の（２）は、（１）の状態から自拠点の参加者Ｘが発話した場合の表示領域３００の表示例を示している。表示制御部１１０は、分割領域３００ｂの自拠点の参加者全体の映像の表示はそのままとし、分割領域３００ａで自拠点で発話している参加者Ｘの映像（第１映像の一例）に切り替えて表示させる。
【００９２】
図９の（３）は、（２）の状態から自拠点の参加者Ｘとは異なる参加者Ｙが発話した場合の表示領域３００の表示例を示している。表示制御部１１０は、分割領域３００ａに前回の発話者である参加者Ｘの映像を継続して表示させ、分割領域３００ｂで自拠点で現在発話している参加者Ｙの映像（第１映像の一例）に切り替えて表示させる。
【００９３】
図９の（４）は、（３）の状態から自拠点の参加者Ｘが再び発話した場合の表示領域３００の表示例を示している。表示制御部１１０は、分割領域３００ｂに前回の発話者である参加者Ｙの映像を継続して表示させ、分割領域３００ａで自拠点で現在発話している参加者Ｘの映像（第１映像の一例）に切り替えて表示させる。ただし、図９の（３）では、分割領域３００ａに元々参加者Ｘの映像が表示されていたので、分割領域３００ａで表示される映像は実質的に変化がないことになる。
【００９４】
図９の（５）は、（３）の状態から自拠点の参加者Ｘ、Ｙとは異なる参加者Ｚが発話した場合の表示領域３００の表示例を示している。表示制御部１１０は、分割領域３００ｂに前回の発話者である参加者Ｙの映像を継続して表示させ、分割領域３００ａで自拠点で現在発話している参加者Ｚの映像（第１映像の一例）に切り替えて表示させる。
【００９５】
図９の（６）は、（３）の状態から相手拠点の参加者が発話したことによって自拠点の参加者が発話しなくなった場合等の表示領域３００の表示例を示している。表示制御部１１０は、分割領域３００ｂに前回の発話者である参加者Ｙの映像を継続して表示させ、分割領域３００ａで自拠点の参加者全体の映像（第２映像の一例）に切り替えて表示させる。
【００９６】
以上のように、他拠点の参加者が発話している場合に、自拠点の情報処理装置１０の切出部１０３は、パノラマ映像から、自拠点の参加者全体を含む映像領域を切り出し、かつ、前に発話していた参加者（前回の発話者）を含む映像領域の切り出しを継続し、相手拠点の２分割された表示装置２１５の表示領域３００にそれぞれ表示させるものとしている。これによって、相手拠点の参加者が発話している場合等に、相手拠点の参加者は、自拠点の全体の雰囲気を知ることができる。また、相手拠点の参加者が発話している場合等では、２分割された表示領域３００の一方の分割領域に自拠点の前回の発話者を表示させているので、相手拠点の発話者は、自拠点で最後に発話した参加者が自分の発話についてどのような表情で聞いているのかを読み取ることができる。
【００９７】
また、自拠点の情報処理装置１０の入力部１１２に音声が入力されている場合（自拠点の参加者が発話している場合）、相手拠点の２分割された表示装置２１５の表示領域３００に自拠点の現在の発話者および前回の発話者それぞれを表示させるものとしている。これによって、画面遷移の範囲を最小限に抑えることができる。また、相手拠点の参加者は、自拠点の発話者の分割領域の画像を注視しているため、自拠点の別の参加者が新たに発話しても、注視していない方の分割領域の画像が切り替わるので、画面遷移によって感じるストレスを軽減することができる。
【００９８】
また、自拠点の参加者が１人の場合は、相手拠点の表示装置２１５の表示領域３００は分割させずにその参加者を固定で表示させ、自拠点の参加者が２人の場合は、相手拠点の表示装置２１５の表示領域３００を２分割して、その２人の参加者をそれぞれ固定で表示させるものとしている。この場合、画面遷移は生じないので、画面遷移によるストレスを軽減することができる。
【００９９】
なお、撮像部１１６は、パノラマカメラ２１０によって実現されるものとし、パノラマ画像またはパノラマ映像を撮像するものとしたが、必ずしもこれに限定されるものではない。すなわち、撮像する範囲が３６０度全方向である必要がない等の場合、パノラマカメラを利用する必要はなく、例えば、必要な撮像範囲を網羅する画角を有する撮像装置（カメラ）であってもよい。この場合、撮像装置が撮像可能な画角の範囲で、映像の切り出しを行うものとすればよい。
【０１００】
また、自拠点の情報処理装置１０の入力部１１２に音声が入力されない場合（発話者がいない場合）、すなわち、相手拠点の参加者が発話している場合、自拠点の情報処理装置１０の切出部１０３は、パノラマ映像から、自拠点の参加者全体を含む映像領域を切り出すものとしたが、これに限定されるものではない。すなわち、相手拠点の参加者が発話している場合等に、相手拠点の参加者は、自拠点の雰囲気を知るということを満たす範囲で、自拠点の参加者全体ではなく、少なくとも１以上の参加者を含む映像領域を切り出すものとしてもよい。また、切出部１０３は、例えば、特定の参加者のみを切り出した映像領域よりも広い範囲の映像領域を切り出すものとしてもよく、または、パノラマ映像全体を送信部１０７に送るものとしてもよい。
【０１０１】
（変形例）
本変形例に係る会議システム１の動作について、上述の実施の形態に係る会議システム１の動作と相違する点を中心に説明する。上述の実施の形態では、２拠点間でのビデオ会議を想定した映像切り出し動作を説明したが、本変形例では３拠点以上の間でビデオ会議が行われる場合の動作について説明する。
【０１０２】
図１１は、３拠点以上の間でビデオ会議を行う場合の映像表示の例を示す図である。図１１を参照しながら、３拠点以上の間でビデオ会議を行う場合の映像切り出し動作について説明する。
【０１０３】
まず、各拠点の情報処理装置１０は、互いに動作モードの情報を、ネットワーク２を介して交換する。これによって、各拠点の情報処理装置１０は、互いの動作モードを認識できると共に、参加する拠点数も認識できる。図１１に示す例では、４つの拠点間でビデオ会議が行われている場合の自拠点（拠点Ａ）の表示画面２１５ａの表示状態を示している。４つの拠点間でビデオ会議を行う場合、自拠点の表示画面２１５ａは、図１１に示すように、他拠点である拠点Ｂ〜Ｄそれぞれに対応する表示領域を表示させる。図１１に示すように、表示画面２１５ａに表示させる表示領域として、拠点Ｂに対応するものを表示領域３０１（特定の表示領域）、拠点Ｃに対応するものを表示領域３０２（特定の表示領域）、そして、拠点Ｄに対応するものを表示領域３０３（特定の表示領域）としている。
【０１０４】
図１１の例では、自拠点（拠点Ａ）の情報処理装置１０が、拠点Ｂの情報処理装置１０から２画面固定モードで動作することを示す情報を受信し、拠点Ｃの情報処理装置１０から２画面切替モードで動作することを示す情報を受信し、拠点Ｄの情報処理装置１０から２画面切替モードで動作することを示す情報を受信したものとする。そして、自拠点の情報処理装置１０の表示制御部１１０は、表示部１１７（表示装置２１５）の表示画面２１５ａにおいて、表示領域３０１を２分割して分割領域３０１ａ、３０１ｂを生成し、表示領域３０２を２分割して分割領域３０２ａ、３０２ｂを生成し、表示領域３０３を２分割して分割領域３０３ａ、３０３ｂを生成する。３拠点以上の間でビデオ会議が行われる場合でも、各２拠点間における映像切り出し動作は、上述の図８〜１０で説明した動作と同様である。
【０１０５】
図１１の例では、自拠点（拠点Ａ）の参加者が発話している場合の状態を示している。すなわち、拠点Ｂの情報処理装置１０は、２画面固定モードで動作しているので、拠点Ｂの参加者は２人であり、分割領域３０１ａ、３０１ｂには、２人の参加者の映像をそれぞれ固定で表示させている。また、拠点Ｃの情報処理装置１０は、２画面切替モードで動作しているので、拠点Ｃの参加者は３人以上であり、分割領域３０２ａには拠点Ｃの前回の発話者の映像を表示させ、分割領域３０２ｂには拠点Ｃの参加者全体の映像を表示させている。そして、拠点Ｄの情報処理装置１０は、２画面切替モードで動作しているので、拠点Ｄの参加者は３人以上であり、分割領域３０３ａには拠点Ｄの参加者全体の映像を表示させ、表示領域３０３ｂには拠点Ｄの前回の発話者の映像を表示させている。
【０１０６】
以上のように、３拠点以上の間でビデオ会議が行われる場合、各２拠点間における映像切り出し動作は、上述の図８〜１０で説明した動作を適用して実現させることができる。これによって、各拠点との間で上述の実施の形態と同様の効果を得ることができる。
【０１０７】
なお、上述の実施の形態および変形例において、情報処理装置１０の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態および変形例に係る情報処理装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅｃｏｒｄａｂｌｅ）、またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶して提供するように構成してもよい。また、上述の実施の形態および変形例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態および変形例の情報処理装置１０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態および変形例の情報処理装置１０で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２０１が上述の記憶装置（例えば、ＲＯＭ２０２および補助記憶装置２０４等）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（例えば、ＲＡＭ２０３）上にロードされて生成されるようになっている。
【符号の説明】
【０１０８】
１  会議システム
２  ネットワーク
１０、１０ａ、１０ｂ  情報処理装置
２０  会議サーバ
４０  机
５０  ホワイトボード
６０ａ〜６０ｅ  参加者
６１ａ〜６１ｄ  参加者
１０１  認識部
１０２  配置特定部
１０３  切出部
１０４  方向特定部
１０５  管理部
１０６  指定部
１０７  送信部
１０８  受信部
１０９  撮像制御部
１１０  表示制御部
１１１  音声出力制御部
１１２  入力部
１１３  記憶部
１１４  操作部
１１５  通信部
１１６  撮像部
１１７  表示部
１１８  音声出力部
２０１  ＣＰＵ
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  補助記憶装置
２０５  メディアドライブ
２０５ａ  記録メディア
２０６  操作ボタン
２０７  電源スイッチ
２０８  ネットワークＩ／Ｆ
２０９  撮像素子Ｉ／Ｆ
２１０  パノラマカメラ
２１１  音声Ｉ／Ｆ
２１２  マイクアレイ
２１２ａ〜２１２ｆ  マイク
２１３  スピーカ
２１４  出力Ｉ／Ｆ
２１４ａ  ケーブル
２１５  表示装置
２１５ａ  表示画面
２１６  外部機器Ｉ／Ｆ
２１７  バス
３００〜３０３  表示領域
３００ａ、３００ｂ  分割領域
３０１ａ、３０１ｂ  分割領域
３０２ａ、３０２ｂ  分割領域
３０３ａ、３０３ｂ  分割領域
４００ａ、４００ｂ  切出範囲
Ｐ１〜Ｐ７  領域
【先行技術文献】
【特許文献】
【０１０９】
【特許文献１】特開２０１０−０８１６４４号公報
【図１】
2017092950.tif 000003
【図２】
2017092950.tif 000004
【図３】
2017092950.tif 000005
【図４】
2017092950.tif 000006
【図５】
2017092950.tif 000007
【図６】
2017092950.tif 000008
【図７】
2017092950.tif 000009
【図８】
2017092950.tif 000010
【図９】
2017092950.tif 000011
【図１０】
2017092950.tif 000012
【図１１】
2017092950.tif 000013