(57)【要約】【課題】ビデオ会議システムの相手側が実際に視聴している出力状況を確認できるようにする。【解決手段】ネットワーク接続されるビデオ会議装置の出力状況を近隣の周辺装置に観測させる出力状況指示手段と、ビデオ会議相手側から受取った相手側での出力状況をユーザに提示する出力状況判断手段とを設け、妥当な音声レベルおよび映像レベルに調整して自局から送信した映像や音声が、接続相手側でどのように出力されるのか、客観的に確認できるようにする。【選択図】図１
2014155048.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク接続されるビデオ会議装置であって、
前記ビデオ会議装置の出力状況を近隣の周辺装置に観測させる出力状況指示手段と、
ビデオ会議相手側から受取った相手側での出力状況をユーザに提示する出力状況判断手段と、
を備えることを特徴とするビデオ会議装置。
【請求項２】
前記出力状況判断手段は、相手側のビデオ会議映像に重畳して相手側での出力状況を表示する出力状況表示手段を備えることを特徴とする請求項１に記載のビデオ会議装置。
【請求項３】
近傍にある複数の周辺装置の中から観測に適した周辺装置を選択する観測装置選択手段を備えることを特徴とする請求項１または２に記載のビデオ会議装置。
【請求項４】
出力状況確認用の特定の音声パターンや映像パターンをビデオ会議相手に送付する出力状況確認用のパターンを生成する生成手段を備えることを特徴とする請求項１〜３の何れか１項に記載のビデオ会議装置。
【請求項５】
ビデオ会議装置と連携する周辺装置であって、
ビデオ会議装置から会議相手の情報とともに出力状況の取得と送付の指示を受取る状況送付指示受取手段と、
前記ビデオ会議装置の出力状況データを採取する出力状況採取手段と、
前記ビデオ会議装置から指示された会議相手に出力状況を送付する出力状況送付手段と、
を備えることを特徴とする周辺装置。
【請求項６】
前記周辺装置は、ビデオ会議装置周辺にネットワーク接続されたＰＣ装置であって、
ＰＣ装置に内蔵されている出力状況採取手段を用いて音声出力状況を取得することを特徴とする請求項５に記載の周辺装置。
【請求項７】
前記周辺装置は、ネットワークカメラ装置であって、
撮像部から入力した映像やマイク入力した音声を映像コーデックや音声コーデックで変換してネットワーク送信するカメラ映像送信手段と、
会議相手の映像出力状況と音声出力状況の一方あるいは双方を採取する手段とを有することを特徴とする請求項５に記載の周辺装置。
【請求項８】
前記状況送付指示受取手段は、
前記ビデオ会議装置の出力レベル制御情報あるいはソース音声信号、ソース映像信号を受取ることを特徴とする請求項５に記載の周辺装置。
【請求項９】
前記出力状況採取手段は、音声出力レベルや映像出力レベルをスカラー数値化することを特徴とする請求項５に記載の周辺装置。
【請求項１０】
前記出力状況送付手段は、出力状況をライブでそのまま会議相手に送付することを特徴とする請求項５に記載の周辺装置。
【請求項１１】
前記出力状況送付手段は、出力状況を一定時間保存して、一定時間ごとに会議相手に送付することを特徴とする請求項５に記載の周辺装置。
【請求項１２】
請求項１〜４の何れか１項に記載のビデオ会議装置と、請求項５〜１１の何れか１項に記載の周辺装置とを有することを特徴とするビデオ会議システム。
【請求項１３】
ネットワーク接続されるビデオ会議装置の制御方法であって、
前記ビデオ会議装置の出力状況を近隣の周辺装置に観測させる出力状況指示工程と、
ビデオ会議相手側から受取った相手側での出力状況をユーザに提示する出力状況判断工程と、
を備えることを特徴とするビデオ会議装置の制御方法。
【請求項１４】
ビデオ会議装置と連携する周辺装置の制御方法であって、
ビデオ会議装置から会議相手の情報とともに出力状況の取得と送付の指示を受取る状況送付指示受取工程と、
前記ビデオ会議装置の出力状況データを採取する出力状況採取工程と、
前記ビデオ会議装置から指示された会議相手に出力状況を送付する出力状況送付工程と、
を備えることを特徴とする周辺装置の制御方法。
【請求項１５】
ネットワーク接続されるビデオ会議装置の制御方法をコンピュータに実行させるプログラムであって、
前記ビデオ会議装置の出力状況を近隣の周辺装置に観測させる出力状況指示工程と、
ビデオ会議相手側から受取った相手側での出力状況をユーザに提示する出力状況判断工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
ビデオ会議装置と連携する周辺装置の制御方法をコンピュータに実行させるプログラムであって、
ビデオ会議装置から会議相手の情報とともに出力状況の取得と送付の指示を受取る状況送付指示受取工程と、
前記ビデオ会議装置の出力状況データを採取する出力状況採取工程と、
前記ビデオ会議装置から指示された会議相手に出力状況を送付する出力状況送付工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１７】
請求項１５または１６に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ会議装置及びビデオ会議システムに関し、特に、ビデオ会議システムにおいて、カメラ映像やマイク音声を双方向に送受信するために用いて好適な技術に関する。
【背景技術】
【０００２】
本発明に関係する既存の技術は、以下の通りである。
［音声出力自動調整］
特許文献１、特許文献２、特許文献３では、ビデオ会議装置において、音声出力自動調整方法が説明されている。例えば、特許文献３では、ビデオ会議の相手音声(受信音声)のスピーカ出力レベルがばらつかないようにするため、通信相手ごとに、複数回サンプリングした音声レベルを平均化して、出力レベルが標準値になるように増幅率を自動調整している。
【０００３】
特許文献４では、多地点ビデオ会議で音声がミキシングされる状況において、各参加者の音声入力状況を（参加者画像の下に）インジケータ表示することで、発言者を容易に特定できるようにしている。従来は、(１)（接続前に）自局で生成したキャリブレーション信号を再生して(ループバック)、音声出力レベルを合わせていた。また、（２）映像出力状況についても、接続前に自局映像を表示している（が表示レベル合わせには使われていない）。
【０００４】
[ネットワークカメラ技術]
カメラ撮像部とネットワーク部とを備え、通信相手に撮影映像を配信し、また、通信相手からカメラ制御を受付けるネットワークカメラ技術(特許文献５)が利用されている。例えば、キヤノン社のVB-C５０iである。
【０００５】
[人物映像検出技術]
映像中の人物領域を検出する技術がある。例えば、非特許文献１である。また、検出された人物映像の顔部分の特徴量を抽出して、事前に用意した個人ごとの顔特徴量データベースと照合することによる顔(個体)認識技術も使われている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０７-１３１７７４号公報
【特許文献２】特開平０５-０３７６５３号公報
【特許文献３】特開平０７-０３８８６４号公報
【特許文献４】特開２０００−８３２２９号公報
【特許文献５】特開平１０−１６４４２０号公報
【非特許文献】
【０００７】
【非特許文献１】「マルチモーダル音声認識のための顔検出」村井和昌、中村哲著；(情報処理学会 音声言語情報処理研究会 Vol.2002， No.10、 ｐｐ…39−44；2002年2月1日)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ビデオ会議システムでは、自局内のキャリブレーションによって妥当な音声レベルおよび映像レベルに調整したとしても、自局から送信した映像や音声が、接続相手側でどのように出力されるのか分からない、という問題があった。
【０００９】
特に、ポータブルなビデオ会議装置が持ち運びされて一般会議室や小ブースに設置される状況では、音声入出力デバイスの調整値や位置が設置状況に応じて変動するので、上記の問題が一層顕著となる。
本発明は前述の問題点に鑑み、ビデオ会議システムの相手側が実際に視聴している出力状況を確認できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明のビデオ会議装置は、ネットワーク接続されるビデオ会議装置であって、前記ビデオ会議装置の出力状況を近隣の周辺装置に観測させる出力状況指示手段と、ビデオ会議相手側から受取った相手側での出力状況をユーザに提示する出力状況判断手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、第３者視点で客観的な音声と映像の出力状況を確認できるので、ビデオ会議のコミュニケーション品質を高めることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明を用いた典型的な利用形態を示した図である。
【図２】第１のビデオ会議装置のハードウェア構成の一例を示したブロック図である。
【図３】プロジェクタ装置を動作させるハードウェア構成の一例を示したブロック図である。
【図４】ノートＰＣ装置のハードウェア構成の一例を示したブロック図である。
【図５】ネットワークカメラ装置のハードウェア構成の一例を示したブロック図である。
【図６】プログラム構成を模式化した図である。
【図７】プロジェクタ装置の映像表示部の動作を示したフローチャートである。
【図８】ノートＰＣ装置の状況送付指示受取部の動作を示したフローチャートである。
【図９】ノートＰＣ装置の出力状況採取部の動作を示したフローチャートである。
【図１０】ノートＰＣ装置の出力状況送付部の動作を示したフローチャートである。
【図１１】ビデオ会議装置の会議管理部の動作を示したフローチャートである。
【図１２】ビデオ会議装置の映像送信部の動作を示したフローチャートである。
【図１３】ビデオ会議装置の映像受信部の動作を示したフローチャートである。
【図１４】ビデオ会議装置の出力状況指示部の動作を示したフローチャートである。
【図１５】ビデオ会議装置の出力状況判断部の動作を示したフローチャートである。
【図１６】ネットワークカメラ装置のカメラ映像送信部の動作を示したフローチャートである。
【図１７】ビデオ会議装置の出力状況判断部の表示例を説明する図である。
【図１８】第２の実施形態における利用形態を示した図である。
【図１９】第２の実施形態におけるプログラム構成を模式化した図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を、図面を参照して説明する。
[第１の実施形態]
第１の実施形態では、ネットワークを介して近隣の音声取得装置と連携するビデオ会議装置において、音声取得装置が採取したビデオ会議装置の出力を、ビデオ会議の接続相手に送信する例について説明する。
特に、この中で、ビデオ会議の参加者が会議室に持ち込んだノートＰＣ装置が音声取得装置として振舞う点、に特徴がある。すなわち、ビデオ会議装置の音声取得機能に加えて、第２の音声取得機能を提供する。
【００１４】
図１は、本発明を用いた実施形態の典型的な利用形態を示した図である。
図１において、１００は本実施形態のビデオ会議システムの一例を説明するブロック図である。１０１は本実施形態のビデオ会議システム１００を構成する第１のビデオ会議装置、１１１はプロジェクタ装置、１２１はネットワークカメラ装置、１３１は第１のビデオ会議装置１０１と連携して音声取得を行うノートＰＣ装置である。
【００１５】
２０１はビデオ会議相手となる第２のビデオ会議装置、２１１は第２のビデオ会議装置のプロジェクタ装置、２２１は第２のビデオ会議装置のネットワークカメラ装置。２３１は第２のビデオ会議装置２０１と連携して音声取得を行うノートＰＣ装置、１０５は第１のネットワークであり、各装置を接続するネットワークである。
【００１６】
拠点Ａに配置されたプロジェクタ装置１１１と第１のビデオ会議装置１０１とネットワークカメラ装置１２１とは、WLAN(Wireless LAN；IEEE802.11シリーズなど)で無線接続されており、それぞれに対応付け(ペアリング)される。
拠点Ｂに配置されたプロジェクタ装置２１１と第２のビデオ会議装置２０１とネットワークカメラ装置２２１の接続も同様である。
【００１７】
この構成で、それぞれのビデオ会議装置が、各プロジェクタ装置やネットワークカメラ装置を検出して、適切なカメラ映像をビデオ会議映像として選択した上で、ビデオ会議相手に配信すること。ならびに、ビデオ会議相手から受信した映像データを適切なプロジェクタに割当てて再生表示することで、双方向に映像データを送受信するビデオ会議映像が可能となる。
【００１８】
図１の第１のネットワーク１０５は、企業あるいは組織内で運用されるイントラネットである場合もあり、広く世界をつないでいるインターネットである場合もある。また、第１のネットワーク１０５は、家庭内の機器を接続するホームネットワークである場合もあり、屋外の機器を接続するネットワークである場合もある。また、第１のネットワーク１０５は、IEEE802.11シリーズやBluetooth（登録商標）などのワイヤレス接続である場合もあり、電力線に重畳されたネットワーク(Power Line Communications)やIEEE802.3(Ethernet（登録商標）)などの有線接続である場合もある。
【００１９】
また、プロジェクタ装置とビデオ会議装置との接続は、WLANに限定されない。プロジェクタ装置とビデオ会議装置との通信が可能であれば、W-HDMI(Wireless High-Definition Multimedia Interface)やW-ＵＳＢ(Wireless Universal Serial Bus)やIEEE１３９４やＵＳＢなどによるデバイス接続ネットワークも利用できる。
【００２０】
図２は、第１のビデオ会議装置１０１のハードウェア構成の一例を示したブロック図であり、一般のコンピュータを用いて構成することが可能である。より詳細には、プログラムによる各種の処理を実行するＣＰＵ１０１１、プログラムや処理データを格納するメモリ１０１２、ビデオ会議装置を相互接続するための第１のネットワークI/F１０１３、プロジェクタ装置やネットワークカメラ装置と接続するための第２のネットワークI/F１０１４を有する。
【００２１】
また、処理結果や映像データを表示パネル１０１９に再生表示する表示コントローラ１０１５、ユーザからの入力を受け取る周辺コントローラ１０１６、メモリを補助し映像データや各種情報を保存するための記憶装置１０１７を有する。ならびに、マイク/スピーカと接続して音声データの受渡しや外部装置制御を行うＵＳＢコントローラ１０１８、を有する。また、表示パネル１０１９は、相手側での出力状況を表示する出力状況表示を行うためにも用いられる。
【００２２】
なお、メモリや記憶装置は、高速なＲＡＭの他に、ＨＤＤ装置やフラッシュメモリなど不揮発性メモリを備えてもよいし、取り外し可能な記憶装置を備えてもよい。
第１および第２のネットワークI/Fは、無線インターフェース(WLAN；IEEE802.11)ばかりではなく、有線インターフェース(LAN；IEEE802.3)を備えてもよい。また、有線と無線の双方のネットワークインターフェースを備えてもよい。第１および第２のネットワークI/Fが同一のネットワークI/Fであってもよい。
【００２３】
周辺コントローラ１０１６に制御される周辺デバイスは、キーボードやマウスおよびリモコン(リモートコントローラ)２１を図示しているが、LEDコントローラあるいは外部センサー入出力コントローラであってもよい。逆に、キーボードやマウスが存在しない構成も考えられる。ＵＳＢコントローラ１０１８に音声入出力のマイク/スピーカ２２が接続される構成を図示しているが、音声データの受渡しに、音声専用の入出力コントローラを備える場合もある。逆に、映像入力のカメラがＵＳＢコントローラ１０１８に接続される構成もありうる。
【００２４】
表示コントローラ１０１５は、専用の表示パネルへの再生表示ばかりではなく、外部表示装置(テレビ装置やプロジェクタ装置)への接続インターフェースを備える場合もある。また、プロジェクタ装置が主たる表示装置として用いられる場合には、表示コントローラ１０１５自体を搭載しない構成も考えられる。
第２のビデオ会議装置２０１のハードウェア構成も同様であるので、詳細な説明を省略する。
【００２５】
図３は、プロジェクタ装置１１１を動作させるハードウェア構成の一例を示したブロック図である。
プログラムによる各種の処理を実行するＣＰＵ１１１１、プログラムや処理データを格納するメモリ１１１２、ネットワークと接続するためのネットワークI/F１１１３を有する。また、マイク/スピーカ３１と接続して音声データの受渡しや外部装置制御を行うＵＳＢコントローラ１１１４を有する。また、メモリを補助し映像データや各種情報を保存するための記憶装置１１１５、レンズやレンズ駆動系や表示パネルや照明系などから構成される投影部１１１６、レンズやレンズ駆動系や光学センサーなどから構成される撮像部１１１７を有する。
【００２６】
なお、メモリや記憶装置は、高速なＲＡＭの他に、ＨＤＤ装置やフラッシュメモリなど不揮発性メモリを備えてもよいし、取り外し可能な記憶装置を備えてもよい。
ネットワークI/F１１１３は、無線インターフェース(WLAN；IEEE802.11)ばかりではなく、有線インターフェース(LAN；IEEE802.3)を備えてもよい。また、有線と無線の双方のネットワークインターフェースを備えてもよい。投影部１１１６と撮像部１１１７のレンズとレンズ駆動系は、共用されていても独立していてもよい。
プロジェクタ装置２１１のハードウェア構成も同様であるので、詳細な説明を省略する。
【００２７】
図４は、ノートＰＣ装置１３１を動作させるハードウェア構成の一例を示したブロック図であり、一般のコンピュータを用いて構成することが可能である。より詳細には、プログラムによる各種の処理を実行するＣＰＵ１３１１、プログラムや処理データを格納するメモリ１３１２、ネットワークと接続するためのネットワークI/１F３１３、処理結果や映像データを表示パネルに再生表示する表示コントローラ１３１４。ユーザからの入力を受け取る周辺コントローラ１３１５、メモリを補助し映像データや各種情報を保存するための記憶装置１３１６、マイク/スピーカ４２と接続して音声データの受渡しや外部装置制御を行うＵＳＢコントローラ１３１７を有する。
【００２８】
なお、メモリや記憶装置は、高速なＲＡＭの他に、ＨＤＤ装置やフラッシュメモリなど不揮発性メモリを備えてもよいし、取り外し可能な記憶装置を備えてもよい。
ネットワークI/F１３１３は、無線インターフェース(WLAN；IEEE802.11)ばかりではなく、有線インターフェース(LAN；IEEE802.3)を備えてもよい。周辺コントローラ１３１５に制御される周辺デバイスは、キーボード、マウス４１を図示しているが、タッチパッドが含まれていてもよい。逆に、キーボードやマウスが存在しない構成も考えられる。ＵＳＢコントローラ１３１７に音声入出力のマイク/スピーカ４２が接続される構成を図示しているが、音声データの受渡しに、音声専用の入出力コントローラを備える場合もある。表示コントローラ１３１４は、専用の表示パネルへの再生表示ばかりではなく、外部表示装置(テレビ装置やプロジェクタ装置)への接続インターフェースを備える場合もある。
ノートＰＣ装置２３１のハードウェア構成も同様であるので、詳細な説明を省略する。
【００２９】
図５は、ネットワークカメラ装置１２１を動作させるハードウェア構成の一例を示したブロック図である。プログラムによる各種の処理を実行するＣＰＵ１２１１、プログラムや処理データを格納するメモリ１２１２、ネットワークと接続するためのネットワークI/F１２１３を有する。また、マイク/スピーカ５１と接続して音声データの受渡しや外部装置制御を行うＵＳＢコントローラ１２１４、メモリを補助し映像データや各種情報を保存するための記憶装置１２１５、レンズやレンズ駆動系や光学センサーなどから構成される撮像部１２１６を有する。
【００３０】
なお、メモリや記憶装置は、高速なＲＡＭの他に、ＨＤＤ装置やフラッシュメモリなど不揮発性メモリを備えてもよいし、取り外し可能な記憶装置を備えてもよい。
ネットワークI/F１２１３は、無線インターフェース(WLAN；IEEE802.11)ばかりではなく、有線インターフェース(LAN；IEEE802.3)を備えてもよい。また、有線と無線の双方のネットワークインターフェースを備えてもよい。
ネットワークカメラ装置２２１のハードウェア構成も同様であるので、詳細な説明を省略する。
【００３１】
図６は、プログラム構成を模式化した図である。
第１のビデオ会議装置１０１には、会議管理部６１１と、映像送信部６１２と、映像受信部６１３と、出力状況指示部６１４と、出力状況判断部６１５とを含む。
会議管理部６１１は、ビデオ会議の接続先指定やビデオ会議に必要な情報を接続先と受渡しする。映像送信部６１２は、マイク音声やネットワークカメラ映像をビデオ会議相手に送信する。映像受信部６１３は、ビデオ会議相手から配信された映像や音声を受信して必要に応じて適切なプロジェクタ装置に供給する。出力状況指示部６１４は、音声の出力状況を会議相手に送付するように指示する。出力状況判断部６１５は、会議相手側からの出力状況を受取り利用者に適切に提示する。
第２のビデオ会議装置２０１のプログラム構成も同様であるので、詳細な説明を省略する。
【００３２】
プロジェクタ装置１１１は、ネットワーク経由で受信した映像や音声を再生表示する映像受信表示部６２１を有する。プロジェクタ装置２１１のプログラム構成も同様である。
ネットワークカメラ装置１２１は、撮像部から入力した映像やマイク入力した音声を映像コーデックや音声コーデックで変換(エンコード)してネットワーク送信するカメラ映像送信部６３１を有する。
ネットワークカメラ装置２２１のプログラム構成も同様であるので、詳細な説明を省略する。
【００３３】
ノートＰＣ装置１３１は、ビデオ会議相手に音声出力状況を送付する指示を受ける状況送付指示受取部６４１、ビデオ会議装置の音声出力を採取する出力状況採取部６４２、採取した音声出力状況をビデオ会議相手に送付する出力状況送付部６４３を有する。
【００３４】
図６に示した各装置のプログラムは、それぞれの装置のメモリや記憶装置に保管され、それぞれの装置のＣＰＵによって実行される。そして、必要に応じて、ネットワークI/FやＵＳＢインターフェース、あるいは、各種コントローラを制御することで機能する。また、これらのプログラムは、ネットワークインターフェースを経由した通信コマンド、周辺コントローラを経由したマウス/キーボード/リモコンの操作、あるいは、マイク入力を経由した音声コマンド、装置内のＣＰＵに内蔵されたタイマーによって、ユーザ操作や自動操作を検出して動作する。
【００３５】
この構成によって、ネットワークを介して近隣の音声取得装置と連携するビデオ会議装置において、音声取得装置が採取したビデオ会議装置の出力を、ビデオ会議の接続相手に送信することが可能となる。特に、ビデオ会議の参加者が会議室に持ち込んだノートＰＣ装置が音声取得装置として振舞うことが可能となる。
【００３６】
以下、各プログラムの動作を図面を用いて説明する。なお、各ビデオ会議装置、各プロジェクタ装置、各ノートＰＣ装置、および各ネットワークカメラ装置のプログラム構成は、同様であるので、プログラムの動作を重複説明しない。
【００３７】
以下のプログラム動作説明において、各プログラムの起動時に読み込まれる設定情報は、それぞれの装置の起動時に、不揮発性の記憶装置やネットワークから読み込まれ、それぞれの装置のメモリや記憶装置に保管されている。それらの設定値は、工場出荷時の規定値、あるいは、別ツールなどを用いて設定されたユーザ指定値となる。
【００３８】
図７は、プロジェクタ装置１１１の映像受信表示部６２１の動作を示したフローチャートである。
映像受信表示部６２１は、ネットワーク経由で受信した映像や音声を再生表示する。映像受信表示部６２１は、まず、起動時にＳ７０１で、設定を読み込む。
【００３９】
Ｓ７０２で、映像ソースからの接続リクエストを待受ける。映像ソースとは、ネットワークカメラ装置やビデオ会議装置など映像を送信する装置である。必要に応じて、複数の映像ソースからの接続を受付けることもある。
【００４０】
Ｓ７０３で、受け取った映像ソースからの接続リクエストを解析して、接続リクエストに従った映像受信、再生表示を準備する。このステップには、映像受信ポートの作成やデコーダやレンダラの初期化が含まれる。接続リクエストの内容に応じて、複数の映像受信ポートの作成やデコーダやレンダラを用意する。
【００４１】
Ｓ７０４で、映像ソースからの接続リクエストにレスポンスする。同時に、レスポンスの内容は、状態通知部に共有される。
Ｓ７０５で、映像受信ポートに到着する映像データを待つ（７０５ａ）。一定期間、映像データの到着がない場合(タイムアウト)、あるいは、終了を示す映像データを受け取った場合(ストリームエンド)には、Ｓ７０８に進む。
【００４２】
Ｓ７０６で、映像受信ポートから取得した映像データを解析して、適切なデコーダやレンダラにディスパッチし、映像や音声を再生表示する。個々の映像や音声のデコーダ処理やレンダラ処理は、公知の技術である。
Ｓ７０７で、Ｓ７０５に戻り、前述した動作を繰り返す。
Ｓ７０８で、使用した映像受信ポートやデコーダやレンダラなどのリソースを開放して、Ｓ７０２に戻り前述した動作を繰り返す。
【００４３】
この時、接続リクエストには、映像ソースの識別情報や送信能力や映像データに関する情報が含まれる。
具体的には、映像ソースとなるネットワークカメラやビデオ会議装置の接続情報(IPアドレスおよびポート番号)、送信しようとする通信プロトコル、送信しようとする映像コーデック、投影映像の表示位置やサイズや重なり順序、タイムスタンプ情報、から構成される。
【００４４】
この時、レスポンス内容には、映像受信ポート番号や受信能力やデコード能力に関する能力記述が含まれる。具体的には、プロジェクタ装置の接続情報(IPアドレスおよびポート番号)、受信可能通信プロトコル、利用可能な映像や音声のパラメータ（解像度、コーデック、品質、ビットレート、サンプリングレート/フレームレート）のリスト、タイムスタンプ情報、タイムアウト時間、から構成される。
【００４５】
図８は、ノートＰＣ装置１３１の状況送付指示受取部６４１の動作を示したフローチャートである。
状況送付指示受取部６４１は、ビデオ会議相手に音声出力状況を送付する指示を受け付ける。状況送付指示受取部６４１は、まず、起動時にＳ８０１で、設定を読み込む。
【００４６】
Ｓ８０２で、状況送付指示を受取るための通信ポートを準備する。本実施形態では、この状況送付指示受取部６４１が、UPnPサービスとして動作し、UPnPのサービス発見手順(SSDP : Simple Service Discovery Protocol)によって接続情報が近隣のネットワーク機器に通知される。
【００４７】
Ｓ８０３で、状況送付指示を受け付ける。本実施形態の状況送付指示は、近隣の第１のビデオ会議装置１０１から発行される。状況送付指示には、送付先となる第１のビデオ会議装置１０１が接続するビデオ会議相手の送付先情報、音声出力の音声採取パラメータ、ならびに、送付回数と送付頻度、が含まれる。さらに、送付先情報は、送付先のネットワーク識別情報やポート情報を含み、必要な場合には経路情報を含む。
【００４８】
音声採取パラメータは、サンプリング周波数(例えば、４８KHz)、サンプルデータサイズ(例えば、１６ビット/サンプル)、チャネル数(例えば、ステレオ２チャンネル)、採取継続単位時間(例えば、５００ミリ秒間)が含まれる。さらに、コーデック指定(例えば、ITU-T G.７１１.1 Wideband embedded extension)、を含む。送付回数と送付頻度は、例えば、１０秒間毎に３００回である。送付回数と送付頻度の指定は、継続的に音声採取し、相手ビデオ会議装置に継続的に送付する指定も含まれる。
【００４９】
Ｓ８０４で、出力状況採取部６４２に音声採取パラメータ、および、送付回数と送付頻度を渡す。出力状況採取部６４２が動作していない場合には、必要に応じて、出力状況採取部を起動する。
【００５０】
Ｓ８０５で、出力状況送付部６４３に送付先情報、および、送付回数と送付頻度を渡す。出力状況送付部６４３が動作していない場合には、必要に応じて、出力状況送付部を起動する。
Ｓ８０６で、Ｓ８０３に戻り、次の状況送付指示を待つ。
【００５１】
図９は、ノートＰＣ装置１３１の出力状況採取部６４２の動作を示したフローチャートである。
出力状況採取部６４２は、ビデオ会議装置の音声出力を採取する。出力状況採取部６４２は、まず、起動時にＳ９０１で、設定を読み込む。
【００５２】
Ｓ９０２で、状況送付指示受取部６４１から音声採取パラメータ、および、送付回数と送付頻度を受取る。この段階で、送付回数と送付頻度からトータル採取時間を算出する。また、累積採取時間をゼロクリアする。
【００５３】
Ｓ９０３で、音声採取パラメータに従って、ノートＰＣ装置１３１の音声入力デバイス（マイクデバイス）を設定する。
Ｓ９０４で、音声採取パラメータの採取継続単位時間に合わせて、音声入力デバイスから音声データを取得し、指定コーデックでエンコードして、採取継続単位時間など属性情報とともに出力状況データとして、出力状況送付部６４３に渡す。
【００５４】
Ｓ９０５で、累積採取時間に採取継続単位時間を加算し、その結果をトータル採取時間と比較する（Ｓ９０５ａ）。トータル採取時間に満たない場合には、Ｓ９０４に戻り、次の音声データを取得する。トータル採取時間を超える場合には、Ｓ９０２に戻り、次の音声採取パラメータを待つ。
【００５５】
図１０は、ノートＰＣ装置１３１の出力状況送付部６４３の動作を示したフローチャートである。
出力状況送付部６４３は、採取した音声出力状況をビデオ会議相手に送付する。出力状況送付部６４３は、まず、起動時にＳ１００１で、設定を読み込む。
【００５６】
Ｓ１００２で、状況送付指示受取部６４１から送付先情報、および、送付回数と送付頻度を受取る。この段階で、送付回数と送付頻度からトータル送付時間を算出する。さらに、送付頻度から送付単位時間を算出する。例えば、１０秒間毎の送付頻度が指定されていれば、送付単位時間が１０秒となる。例えば、１秒間に２回の送付頻度が指定されていれば、送付単位時間が５００ミリ秒となる。また、累積採取時間と累積送付回数をゼロクリアする。出力状況データバッファをクリアする。なお、送付先情報には、複数の送付先(ビデオ会議装置)が指定されている場合がある。
【００５７】
Ｓ１００３で、出力状況採取部６４２が前述したＳ９０４で生成した出力状況データを受取り、出力状況送付部６４３の出力状況データバッファに追加する。そして、出力状況データの属性情報に含まれる採取継続単位時間を累積採取時間に加算し、その結果を送付単位時間と比較する（Ｓ１００３ａ）。送付単位時間に満たない場合には、Ｓ１００３にて待機し、次の出力状況データを出力状況採取部から受取る。送付単位時間を超える場合には、Ｓ１００４に進む。
【００５８】
Ｓ１００４で、送付先情報に従って、出力状況データバッファの内容を送付先に送付する。複数の送付先が指定されている場合には、それぞれに順次送付する。そして、すべての送付先に出力状況データバッファの内容を送付した後に、出力状況データバッファをクリアする。
【００５９】
Ｓ１００５で、累積送付時間に送付単位時間を加算し、その結果をトータル送付時間と比較する（Ｓ１００５ａ）。トータル送付時間に満たない場合には、Ｓ１００３に戻り、次の出力状況データを出力状況採取部６４２から受取る。トータル送付時間を超える場合には、Ｓ１００２に戻り、次の送付先情報を待つ。
【００６０】
図１１は、第１のビデオ会議装置１０１の会議管理部６１１の動作を示したフローチャートである。
会議管理部６１１は、ビデオ会議の接続先指定やビデオ会議に必要な情報を接続先と受渡しする。会議管理部６１１は、ビデオ会議装置の電源投入時に最初に起動され、直接的あるいは間接的に他のプログラムを起動して処理を行う。会議管理部６１１は、まず、起動時にＳ１１０１で、設定を読み込む。
【００６１】
Ｓ１１０２で、『出力状況判断部６１５』、を起動する。
Ｓ１１０３で、第１のビデオ会議装置１０１の音声コマンドまたはリモコン操作などのユーザ入力、または、別のビデオ会議装置からの会議要求、を待つ。
Ｓ１１０４で、ユーザ入力だった場合には、ユーザ入力を解析して、操作内容および操作パラメータを抽出する。
【００６２】
Ｓ１１０５で、出力状況指示操作であった場合には、出力状況指示部によって近隣のノートＰＣ装置に出力状況指示リクエストを送信する。本実施形態では、事前にペアリングされたノートＰＣ装置に対して、ビデオ会議相手への出力状況送付を指示する。事前にペアリングされたノートＰＣ装置がない場合には、この時点で、UPnPのサービス発見手順(SSDP : Simple Service Discovery Protocol)によって近傍にある複数の周辺装置（ネットワーク機器）を検出する。そして、検出されたネットワーク機器の中から、観測に適した周辺装置を選択する観測装置選択処理が行われ、送信先のノートＰＣ装置が選択される。
【００６３】
Ｓ１１０６で、操作内容がビデオ会議開始操作であった場合には、操作パラメータ（ビデオ会議相手の接続情報やセキュリティ情報を含む）に従って、『映像送信部６１２』『映像受信部６１３』に対して、それぞれのインスタンスを生成して映像音声送受信パイプラインを形成し、ビデオ会議を開始する。その上で、ビデオ会議装置内に保持するビデオ会議情報を更新する。
【００６４】
Ｓ１１０７で、操作内容がビデオ会議終了操作であった場合には、『映像送信部６１２』『映像受信部６１３』に対して、操作パラメータに従って、それぞれのインスタンスを停止して映像音声送受信パイプラインを停止し開放する。その上で、第１のビデオ会議装置１０１内に保持するビデオ会議情報を更新する。
【００６５】
Ｓ１１０８で、それ以外の場合には、第１のビデオ会議装置１０１の表示パネル１０１９に操作ミスを表示する。
Ｓ１１０９で、別のビデオ会議装置からの会議要求だった場合には、会議要求を解析して、要求内容および要求パラメータを抽出する。
【００６６】
Ｓ１１１０で、要求内容がビデオ会議開始要求であった場合には、要求パラメータ（ビデオ会議相手が送受信を希望している映像音声情報リストを含む）に従って、『映像送信部６１２』『映像受信部６１３』に対して、それぞれのインスタンスを生成して映像音声送受信パイプラインを形成し、ビデオ会議を開始する。その上で、ビデオ会議装置内に保持するビデオ会議情報を更新する。
【００６７】
Ｓ１１１１で、要求内容がビデオ会議終了要求であった場合には、『映像送信部』『映像受信部』に対して、要求パラメータに従って、それぞれのインスタンスを停止して映像音声送受信パイプラインを停止し開放する。その上で、ビデオ会議装置内に保持するビデオ会議情報を更新する。
Ｓ１１１２で、Ｓ１１０３に戻り前述した動作を繰り返す。
【００６８】
図１２は、第１のビデオ会議装置１０１の映像送信部６１２の動作を示したフローチャートである。
映像送信部６１２は、ネットワークカメラの映像やマイク音声をビデオ会議相手に送信する。映像送信部６１２は、まず、起動時にＳ１２０１で、設定を読み込む。
Ｓ１２０２で、映像送信パイプライン生成指示を受取り、映像送信ソース情報および映像送信ターゲット情報を取得する。
【００６９】
映像送信ソース情報には、映像ソースとなるネットワークカメラの接続情報、通信プロトコル、取得する映像パラメータ（解像度、コーデック、フレームレート）が含まれる。また、映像送信ソース情報には、音声ソースとなるマイクの識別番号や音声パラメータ(コーデック、サンプリングレート、ビットレート)が含まれる。
【００７０】
映像送信ターゲット情報には、送信先となるプロジェクタ装置やビデオ会議装置の接続情報(本実施形態では、第２のビデオ会議装置２０１のIPアドレスとポート番号、通信プロトコル)が含まれる。映像送信パイプライン生成指示には、映像送信指示と音声送信指示の一方あるいは双方が含まれる。
【００７１】
Ｓ１２０３ａで、映像送信ソースにネットワークカメラを含むか否かを判断する。含む場合には、指示されたネットワークカメラに接続し、ネットワークカメラのカメラ映像送信部からの映像データ受取りを準備する（Ｓ１２０３）。
Ｓ１２０４ａで、映像送信ソースにマイクを含むか否かを判断する。含む場合には、指示されたマイクからの音声取得およびエンコードを準備する（Ｓ１２０４）。
Ｓ１２０５で、ネットワークカメラあるいはマイクから取得した映像データおよび音声データを、必要に応じて、指示されたコーデック、指示されたビットレートにエンコードする。映像送信パイプライン生成指示の内容によっては、エンコードしない。
【００７２】
Ｓ１２０６で、映像データおよび音声データを、指示された送信先に送信する。
Ｓ１２０７で、Ｓ１２０５に戻り前述した動作を繰り返す。
【００７３】
図１３は、第１のビデオ会議装置１０１の映像受信部６１３の動作を示したフローチャートである。
映像受信部６１３は、ビデオ会議相手から配信された映像や音声を受信して必要に応じて適切なプロジェクタ装置に供給する。映像受信部６１３は、まず、起動時にＳ１３０１で、設定を読み込む。
【００７４】
Ｓ１３０２で、映像受信パイプライン生成指示を受取り、映像受信ソース情報および映像受信ターゲット情報を取得する。映像受信ソース情報には、映像データや音声データの送信元となっているビデオ会議装置やネットワークカメラの接続情報(IPアドレスとポート番号、通信プロトコル)が含まれる。
【００７５】
映像受信ターゲット情報には、送信先となるプロジェクタ装置の接続情報(本実施形態では、プロジェクタ装置１１１や２１１のIPアドレスとポート番号、通信プロトコル)が含まれる。映像受信パイプライン生成指示には、映像受信指示と音声受信指示の一方あるいは双方が含まれる。
【００７６】
Ｓ１３０３ａで、映像受信ソースにネットワークカメラを含むか否かを判断する。含む場合には、指示されたネットワークカメラに接続し、ネットワークカメラのカメラ映像送信部からの映像データ受取りを準備する（Ｓ１３０３）。
Ｓ１３０４ａで、映像受信ソースにビデオ会議装置を含むか否かを判断する。含む場合には、指示されたビデオ会議装置からの映像データや音声データの受信を準備する（Ｓ１３０４）。
【００７７】
Ｓ１３０５で、ネットワークカメラあるいはビデオ会議装置から映像データおよび音声データを取得する。
Ｓ１３０６で、映像データおよび音声データを、指示された送信先のプロジェクタ装置に送信する。
Ｓ１３０７で、Ｓ１３０５に戻り前述した動作を繰り返す。
【００７８】
図１４は、第１のビデオ会議装置１０１の出力状況指示部６１４の動作を示したフローチャートである。
出力状況指示部６１４は、音声の出力状況を会議相手に送付するように指示する。出力状況指示部６１４は、まず、起動時にＳ１４０１で設定を読み込む。
【００７９】
Ｓ１４０２で、第１のビデオ会議装置１０１の接続相手(ビデオ会議相手)の接続情報を取得する。複数の相手とビデオ会議している場合(多地点ビデオ会議)には、複数の接続情報が取得される。ここで得られた接続情報を、出力状況の結果送付先(送付先情報)とする。
【００８０】
Ｓ１４０３で、ペアリングされているノートＰＣ装置１３１の状況送付指示受取部６４１の接続情報を取得する。本実施形態では、ノートＰＣ装置１３１の状況送付指示受取部６４１が、UPnPサービスとして動作しているので、UPnPのサービス発見手順(SSDP : Simple Service Discovery Protocol)によって得られる。
【００８１】
Ｓ１４０４で、ノートＰＣ装置に対して、状況送付指示を指示する。状況送付指示には、ビデオ会議相手の送付先情報、音声出力の音声採取パラメータ、ならびに、送付回数と送付頻度、が含まれる。音声採取パラメータについては、ビデオ会議相手の能力を判断して決定してもよい。
【００８２】
図１５は、第１のビデオ会議装置１０１の出力状況判断部６１５の動作を示したフローチャートである。
出力状況判断部６１５は、会議相手側からの出力状況を受取り利用者に適切に提示する。出力状況判断部６１５は、まず、起動時にＳ１５０１で、設定を読み込む。
【００８３】
Ｓ１５０２で、出力状況を受取るための通信ポートを準備する。本実施形態では、この出力状況判断部６１５が、ビデオ会議装置の管理部によって起動され、その際に、通信ポート情報が会議管理部６１１に保管される。会議管理部６１１は、ユーザ入力によるビデオ会議開始処理(発呼)あるいはビデオ会議相手からのリクエストによるビデオ会議開始要求処理(着呼)において、保管している出力状況判断部６１５の通信ポート情報を、ビデオ会議相手に通知する。
【００８４】
Ｓ１５０３で、出力状況データを受取る。本実施形態では、出力状況データは、ビデオ会議相手側のノートＰＣ装置によって送信される。
Ｓ１５０４で、受取った出力状況データをビデオ会議の利用者に提示する。本実施形態では、受取った出力状況データに含まれる音声出力情報を、レベルメータ形式で、ビデオ会議装置のビデオ会議画面に表示する(図１７（Ａ）)。
【００８５】
第１のビデオ会議装置１０１が、複数地点の相手ビデオ会議装置と接続している場合(多地点接続)には、各ビデオ会議相手の映像表示に、レベルメータ表示を重畳表示してもよい(図１７（Ｂ）)。さらに、出力状況データから相手ビデオ会議装置から音声出力レベルが極端に小さい、あるいは、音声出力されていないと判断される場合には、レベルメータ表示に加えて、その旨をアイコン表示してもよい(図１７（Ｃ）)。
Ｓ１５０５で、次の出力状況を受取るため、Ｓ１５０３に戻る。
【００８６】
図１６は、ネットワークカメラ装置１２１のカメラ映像送信部６３１の動作を示したフローチャートである。
カメラ映像送信部６３１は、撮像部から入力した映像やマイクから入力した音声を映像コーデックや音声コーデックで変換(エンコード)してネットワーク送信する。
カメラ映像送信部６３１は、まず、起動時にＳ１６０１で、設定を読み込む。設定には、利用可能な映像や音声のパラメータ（解像度、コーデック、品質、ビットレート）のリスト、や通信プロトコル、が含まれる。
【００８７】
Ｓ１６０２で、第１のビデオ会議装置１０１からの映像送信要求を待つ。
Ｓ１６０３で、映像送信要求を受取ると、映像送信要求を解析して、ビデオ会議装置から要求された映像や音声のパラメータを抽出する。
Ｓ１６０４で、映像送信要求で要求された映像や音声が送信可能かどうか判定する。例えば、既に配信中の映像や音声と排他的なパラメータが要求された場合には、送信不可能と判断する。
【００８８】
Ｓ１６０５で、送信不可能と判断した場合には、映像送信要求元のビデオ会議装置に送信要求失敗をレスポンスする。
Ｓ１６０６で、送信可能と判断した場合には、送信要求成功をレスポンスする。そして、カメラ映像やマイク音声を取得して、指定されたパラメータでエンコードした上で、通信プロトコルに従って、指定された送信先に送信する。これをカメラ映像送信パイプラインと呼ぶ。カメラ映像送信パイプラインは、カメラ映像送信パイプライン停止要求や、受信先の受信停止要求によって終了する。
Ｓ１６０７で、Ｓ１６０２に戻り前述した動作を繰り返す。
【００８９】
以上の構成で、ネットワークを介して近隣の音声取得装置と連携するビデオ会議装置において、音声取得装置が採取したビデオ会議装置の出力を、ビデオ会議の接続相手に送信することが可能となる。特に、この中で、ビデオ会議の参加者が会議室に持ち込んだノートＰＣ装置が音声取得装置として振舞う点に特徴がある。
【００９０】
本実施形態では、プロジェクタ装置、ネットワークカメラ装置、ビデオ会議装置が、それぞれにネットワーク接続されて連携する例について説明しているが、これらの装置のいずれかの組合せが一体になった装置も容易に想像できる。例えば、ビデオ会議機能を有するプロジェクタ装置、あるいは、ビデオ会議機能を有するネットワークカメラ装置が、本実施形態で説明した出力状況指示機能および出力状況判断機能を備えてもよい。
【００９１】
本実施形態では、２拠点間のビデオ会議を用いて本発明を説明したが、３拠点またはそれ以上のビデオ会議であっても同様に説明できる。
その場合の画面表示例は、図１７（Ｂ）の通りである。
【００９２】
また、本実施形態では、ネットワークカメラ装置やプロジェクタ装置がビデオ会議装置に接続される利用形態について説明しているが、第１のネットワーク１０５やインターネットに直接接続される利用形態であっても同様に説明できる。
例えば、図１９の利用形態である。また、図示しないが、ビデオ会議装置に直結されないネットワークカメラ装置やプロジェクタ装置のみから構成されていてもよい。
【００９３】
本実施形態では、ビデオ会議装置がプロジェクタ装置(およびネットワークカメラ)接続用とビデオ会議装置の相互接続用との二つのネットワークI/Fを備える例について説明しているが、これらは、１つのネットワークI/Fを共用してもよい。また、有線ネットワークでも、無線ネットワークでも、同様に説明できる。
【００９４】
本実施形態では、会議管理部６１１がビデオ会議相手から会議開始要求と会議終了要求とを受付け処理する例を説明しているが、ビデオ会議相手から受付ける要求は、これに限定しない。例えば、ショートメッセージの交換要求、第３のビデオ会議装置の招待要求、などを受付け処理する例も容易に想像できる。
【００９５】
本実施形態では、ネットワークカメラの映像や音声をビデオ会議装置が中継配信する例について説明しているが、映像や音声の配信ルートは、これに限定されない。例えば、ビデオ会議用の映像や音声を、直接ビデオ会議相手のビデオ会議装置や指定プロジェクタ装置に配信することも容易に想像できる。
【００９６】
本実施形態では、ノートＰＣ装置１３１の出力状況採取部６４２が、音声データをITU-T G.711.1のような音声コーデックでエンコードして送付しているが、エンコード方法は、音声コーデックに限定されない。音声出力情報が伝達できればよいので、音声出力の１０段階評価、ないし、音声出力の有無のみ(２段階評価)のようにスカラー数値化された音声出力状況を送付してもよい。また、取得された音声データレベルが極端に小さい、あるいは、ゼロである場合には、別途その旨を音声出力情報に加えてもよい。
【００９７】
前述した実施形態では、ノートＰＣ装置１３１の出力状況採取部６４２が、音声情報の出力状況を採取してビデオ会議相手に送付する例について説明しているが、出力状況は、音声情報に限定されない。例えば、ビデオ会議の映像情報も出力状況として採取することが考えられる。この場合、映像出力状況のサンプリング方法やコーデック指定が取得パラメータに追加される。
【００９８】
前述した実施形態では、第１のビデオ会議装置１０１の出力状況判断部６１５が、出力状況を受取るための専用通信ポートを準備しているが、ビデオ会議の映像や音声などメディアデータ受信用の通信ポートを共有することも容易に想像できる。この場合には、映像や音声などメディアデータと出力状況とを区別するための識別方法を事前に、ビデオ会議相手と調整することで実現できる。
【００９９】
例えば、メディアデータが RTP (Real-time Transport Protocol)によって送受信される場合、出力状況用のRTPペイロード番号(RTP ヘッダに含まれる)を割当てる。そして、ビデオ会議相手と調整の上、相手側ノートＰＣ装置の出力状況送付部が、当該RTPペイロード番号を用いて、出力状況データを、受信側ビデオ会議装置に送付すればよい。受信側ビデオ会議装置の映像受信部では、当該RTPペイロード番号を用いて、映像や音声から、出力状況データを抽出することが可能となる。
【０１００】
また、第１のビデオ会議装置１０１の出力状況判断部６１５が、音声出力状況をレベルメータ表示する例について説明しているが、音声出力状況の提示方法は、これに限定されない。例えば、音声データを時間軸方向に波形表示することも容易に想像できる。また、周波数スペクトル表示することも同様である。
【０１０１】
また、相手ビデオ会議装置が送付したビデオ会議音声データを音声出力状況として採取する例について説明しているが、音声出力状況として採取する音声データは、これに限定されない。例えば、ビデオ会議相手が音声出力状況を把握しやすい特定の音声パターンを送付することも容易に想像できる。
【０１０２】
例えば、キャリブレーション用に周波数やレベルを固定した音声パターンを相手ビデオ会議装置に送信させて、その音声出力状況を採取することも容易に想像できる。
また、出力状況確認用の特定の音声パターンや映像パターンを生成し、生成した出力状況確認用のパターンをビデオ会議の相手に送付することも容易に想像できる。
【０１０３】
また、状況送付指示受取部６４１は、ビデオ会議装置の出力レベル制御情報あるいはソース音声信号を受取り出力状況採取部６４２に出力する。出力状況採取部６４２は、音声出力レベルをスカラー数値化することも容易に想像できる。
【０１０４】
また、本実施形態では、出力状況送付部は、出力状況をライブでそのまま会議相手に送付することも容易に想像できる。さらに、出力状況送付部が、出力状況を一定時間保存して、一定時間ごとに会議相手に送付することも容易に想像できる。
【０１０５】
[第２の実施形態]
第２の実施形態では、第１の実施形態同様、ネットワークを介して近隣の音声取得装置と連携するビデオ会議装置において、音声取得装置が採取したビデオ会議装置の出力を、ビデオ会議の接続相手に送信する例について説明する。特に、この中で、会議室に設置されたネットワークカメラ装置が音声取得装置として振舞う点、に特徴がある。すなわち、ビデオ会議装置の音声取得機能に加えて、第２の音声取得機能を提供する。
【０１０６】
本実施形態では、利用形態、ハードウェア構成、および、各ソフトウェアの動作の多くは、第１の実施形態で説明した通りである。ただし、利用形態に、追加のネットワークカメラ装置１２２、１２３、２２２、２２３が追加される点。および、第１の実施形態では、ノートＰＣ装置１３１に内蔵されていた状況送付指示受取部と、出力状況採取部と、出力状況送付部を実現するプログラムをネットワークカメラ装置が備える点が第１の実施形態とは異なる。
【０１０７】
図１８は、第２の実施形態における典型的な利用形態である。本実施形態の利用形態は、第１の実施形態の利用形態と同様であるが、ビデオ会議装置周辺の複数のネットワークカメラを利用する。１２１、１２２、１２３、２２１、２２２、２２３は、本実施形態のネットワークカメラ装置である。
【０１０８】
図１９は、第２の実施形態におけるプログラム構成を模式化した図である。本実施形態のプログラム構成は、第１の実施形態のプログラム構成と同様であるが、ノートＰＣ装置に含まれていた状況送付指示受取部１９０１と、出力状況採取部１９０２と、出力状況送付部１９０３を実現するプログラムが、ネットワークカメラ装置１２１に含まれる。
【０１０９】
図１９の説明の通り、本実施形態では、状況送付指示受取部１９０１がネットワークカメラ装置１２１上でUPnPサービスとして動作する。したがって、第１のビデオ会議装置１０１は、Ｓ１１０５(図１１)の出力状況指示処理において、これらのネットワークカメラ装置をUPnPのサービス発見手順(SSDP : Simple Service Discovery Protocol)によって発見する。そして、サービス発見されたネットワークカメラ装置の中から、適切なネットワークカメラ装置を選択する。そして、出力状況指示部によって、選択されたネットワークカメラ装置に出力状況指示リクエストを送信する。
【０１１０】
以上の構成で、第１の実施形態と同様に、ネットワークを介して近隣の音声取得装置と連携するビデオ会議装置において、音声取得装置が採取したビデオ会議装置の出力を、ビデオ会議の接続相手に送信することが可能となる。特に、本実施形態では、会議室に設置されたネットワークカメラ装置１２１が音声取得装置として振舞う点、に特徴がある。
【０１１１】
本実施形態では、ネットワークカメラ装置が、第１の実施形態のノートPCと同様に、ビデオ会議装置の音声出力状況を採取する例について説明しているが、ネットワークカメラ装置を用いることで、映像出力状況を採取することも容易に想像できる。この場合、ビデオ会議装置の出力状況指示部は、音声採取パラメータに加えて、映像取得パラメータをネットワークカメラ装置に指示する。
【０１１２】
また、状況送付指示受取部１９０１は、ビデオ会議装置の出力レベル制御情報あるいはソース音声信号、ソース映像信号を受取り出力状況採取部１９０２に出力する。出力状況採取部１９０２は、音声出力レベルや映像出力レベルをスカラー数値化することも容易に想像できる。
【０１１３】
また、本実施形態では、出力状況送付部ネットワークカメラ装置が有するので、出力状況をライブでそのまま会議相手に送付することも容易に想像できる。さらに、出力状況送付部が、出力状況を一定時間保存して、一定時間ごとに会議相手に送付することも容易に想像できる。
【０１１４】
映像取得パラメータは、サンプル解像度(例えば、４０００x２０００ pixels)、サンプリング周波数(例えば、１０ frames per second)、データサイズ(例えば、５０ Mbps)、採取継続単位時間(例えば、５００ミリ秒間)、コーデック指定(例えば、ITU-T H.264 I-frame only)、ならびに、撮影画角（Pan、Tilt、Zoomからなる画角指定。時間経過に合わせて画角変化する自動スキャン指定の場合もある）を含む。
【０１１５】
また、ビデオ会議装置の出力状況判断部も、単純にビデオ会議相手側の映像出力状況をプロジェクタに提示することに限定されない。例えば、ビデオ会議装置自身が送信した映像(自局映像)と相手側で採取された出力状況の映像とを比較しやすいように並べて表示することも容易に想像できる。
【０１１６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１１７】
１００  ビデオ会議システム
１０１  第１のビデオ会議装置
１０５  第１のネットワーク
１１１  プロジェクタ装置
１２１  ネットワークカメラ装置
１３１  ノートＰＣ装置
２０１  第２のビデオ会議装置
２１１  プロジェクタ装置
２２１  ネットワークカメラ装置
２３１  ノートＰＣ装置
【図１】
2014155048.tif 000003
【図２】
2014155048.tif 000004
【図３】
2014155048.tif 000005
【図４】
2014155048.tif 000006
【図５】
2014155048.tif 000007
【図６】
2014155048.tif 000008
【図７】
2014155048.tif 000009
【図８】
2014155048.tif 000010
【図９】
2014155048.tif 000011
【図１０】
2014155048.tif 000012
【図１１】
2014155048.tif 000013
【図１２】
2014155048.tif 000014
【図１３】
2014155048.tif 000015
【図１４】
2014155048.tif 000016
【図１５】
2014155048.tif 000017
【図１６】
2014155048.tif 000018
【図１７】
2014155048.tif 000019
【図１８】
2014155048.tif 000020
【図１９】
2014155048.tif 000021