(57)【要約】【課題】  高精細カメラや高品質のマイクを使用し、利用者は映像・音声会議に必要な機能を操作するだけで、カメラとマイクの各々製造メーカが提供する固有の命令などを扱うことなく、映像・音声会議を可能にする。【解決手段】  撮像手段と撮像された映像データをネットワークを経由して相手に配信するネットワークカメラと、話者の音声を集音し、集音した音声データをネットワークを経由して相手に配信すると共に、前記ネットワークを経由して配信された音声データを出力するマイクと、ネットワークカメラやマイクを管理すると共にネットワークを経由して配信された映像符号化データを受信し、表示する管理装置とを備える。【選択図】  図１
2008311798.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを経由して、映像・音声会議を行う映像・音声会議システムであって、
撮像手段と撮像された映像データを符号化し、符号化された映像データを前記ネットワークを経由して相手に配信する映像送信手段と、
前記ネットワークを経由して配信された映像符号化データを受信し、受信した映像符号化データを復号化すると共に当該復号化した映像データを表示する映像出力手段と、
話者の音声を集音し、集音した音声信号を符号化して、当該符号化された音声データをネットワークを経由して相手に配信すると共に、前記ネットワークを経由して配信された音声符号化データを受信し、受信した音声符号化データを複合化して、当該復号化した音声データを出力する音声通話手段と、
上記映像送信手段の状態を管理すると共に、上記音声通話手段の状態を管理する管理手段と、
を備えたことを特徴とする映像・音声会議システム。
【請求項２】
更に、上記管理手段が複数存在する場合に、全ての状態を管理する統合管理手段を備えたことを特徴とする請求項１に記載の映像・音声会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークカメラ及びマイク装置とパーソナルコンピュータ等のコンピュータ装置を使用し、例えば地理的な離れた場所間で会議を行うための映像・音声会議システムに関する。
【背景技術】
【０００２】
近年のネットワーク環境の発展に伴い、映像・音声会議システムの利用が急速に伸びている。特に、電気通信事業会社が提供する安価なＶＰＮサービスが提供され、低価格で常時接続が可能であることから、企業内で、映像・音声会議システムの導入が検討され始めてきた。
【０００３】
しかしながら、高精細で高品質な映像・音声会議システムは高価であり、映像・音声会議システムの導入時の課題となっていた。
【０００４】
また、パーソナルコンピュータ装置（以下、「ＰＣ」という。）を使用し、安価なカメラと安価なマイクとスピーカを使用した映像・音声会議システムの場合は、映像の解像度の低さや、ダブルトーク（二人同時に話す方式）ができないなど、参加人数が少ない会議には使用できるが、複数の人が一つの会議室で参加するような中規模以上の会議には不向きであった。
【０００５】
一方、近年、高精細で高品質な映像・音声会議システムと比べても遜色のないネットワークインタフェースを持つ高精細（高解像度）カメラ（ネットワークカメラ）や、ダブルトークが可能なマイク装置が市場に出始めている。
【特許文献１】特開２００４−１２０４６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、これらの高精細カメラや高品質マイクを使用した映像・音声通信システムは、カメラとマイクの製造元が異なる場合がほとんどであり、利用者はカメラとマイクの各々の操作を行う必要があり、利用者にとって必ずしも利用しやすいシステムではないという課題があった。
【０００７】
本発明の目的は、このような課題に鑑みてなされたものであり、高精細カメラや高品質のマイクを使用し、利用者は映像・音声会議に必要な機能を操作するだけで、カメラとマイクの各々製造メーカが提供する固有の命令などを扱うことなく、映像・音声会議を行うことを安価、容易に実現できる映像・音声会議システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するために、ネットワークを経由して、映像・音声会議を行う映像・音声会議システムであって、撮像手段と撮像された映像データを符号化し、符号化された映像データを前記ネットワークを経由して相手に配信する映像送信手段と、前記ネットワークを経由して配信された映像符号化データを受信し、受信した映像符号化データを復号化すると共に当該復号化した映像データを表示する映像出力手段と、話者の音声を集音し、集音した音声信号を符号化して、当該符号化された音声データをネットワークを経由して相手に配信すると共に、前記ネットワークを経由して配信された音声符号化データを受信し、受信した音声符号化データを複合化して、当該復号化した音声データを出力する音声通話手段と、上記映像送信手段の状態を管理すると共に、上記音声通話手段の状態を管理する管理手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高精細カメラや高品質のマイクを使用し、カメラとマイクの各々製造メーカが提供する操作画面を扱うことなく、映像・音声会議を行うことを安価、容易に実現できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１１】
図１は、映像・音声会議システムの全体構成を示すシステム構成図である。図１において、Ａ拠点１は、映像・音声会議を利用する利用者施設であり、Ａ拠点１に汎用のＰＣ等で構成される制御装置２、ネットワークに接続可能なマイク３、及び、ネットワークに接続可能なネットワークカメラ４が設置される。またＢ拠点６は、Ａ拠点１とネットワーク５を介して接続されており、Ａ拠点１と同様に制御装置７、マイク８、及び、ネットワークカメラ９が設置されており、Ｃ拠点１０は、Ａ拠点１とネットワーク５を介して接続されており、Ａ拠点１と同様に制御装置１１、マイク１２、及び、ネットワークカメラ１３が設置される。
【００１２】
なお、制御装置２、７、１１は、ネットワークインタフェースを持ち、マイク３、８、１２及びネットワークカメラ４、９、１３の状態を管理する機能と、利用者からの操作に従ってマイク３、８、１２及びネットワークカメラ４、９、１３への動作指示を行う機能と、ネットワーク５に接続されたカメラの映像を任意に表示する機能とを有する。また、ネットワーク５は、インターネットプロトコル（ＩＰ）を用いたインターネット網であり、各拠点は機密性を高めるためにバーチャル・プライベート・ネットワーク（ＶＰＮ）で構成することは望ましい。
【００１３】
また、各拠点にある制御装置のうち１台は、システム全体の状態を管理する機能を持っていてもよい。また、システム全体の状態を管理する機能は、制御装置２、７、１１以外で、例えば、D拠点１５の専用装置（例えばサーバーで構成する）１４のような構成でもよい。
【００１４】
図２は、本発明の実施の形態のマイク３、８、１２を示している。図２において、マイク３、８、１２は、音を拾うマイクロホン３０１と音を出力するスピーカ３０２を備えている。
【００１５】
制御部３０４はＷｅｂサーバ部３０６（Ｗｅｂサーバ）に接続されている。Ｗｅｂサーバ部３０６は、ネットワーク処理部３０７を介してネットワーク５経由で制御装置２、７、１１のＷｅｂブラウザで指定される制御コマンドを受け取り、制御部３０４へ各種設定内容を通知する。そして、制御部３０４は設定内容を記憶部３０５に格納する。
【００１６】
また、音声処理部３０３は、マイクロホン３０１により得られる音声を符号化した音声情報として、ネットワーク処理部３０７を介してネットワーク５経由で通信相手のマイク３、８、１２に送り、また、通信相手のマイク３、８、１２からの符号化された音声情報をネットワーク処理部３０７を介して受け取り、これを復号化してスピーカ３０２から出力させるための処理を行う。
【００１７】
すなわち、制御部３０４は、ネットワーク処理部３０７を介して制御装置２、７、１１から音声出力の要求を受けると、マイクロホン３０１により得られる音声を符号化し、ネットワーク処理部３０７を介して要求に従った所定のマイク３、８、１２に対して送出し、また、通信相手のマイク３、８、１２が送出した音声情報を復号化し、スピーカ３０２から出力するように音声処理部３０３やネットワーク処理部３０７を制御する機能を備えている。
【００１８】
図３は、本発明の実施の形態のネットワークカメラ４、９、１３を示している。図３において、ネットワークカメラ４、９、１３は、回転等の動作が可能なカメラ部４０１を備えており、カメラ部４０１の動作は制御部４０３により制御される。
【００１９】
制御部４０３はＷｅｂサーバ部４０５（Ｗｅｂサーバ）に接続されている。Ｗｅｂサーバ部４０５は、ネットワーク処理部４０６を介してネットワーク５経由で制御装置２、７、１１のＷｅｂブラウザで指定される制御コマンドを受け取り、制御部４０３へ各種設定内容を通知する。そして、制御部４０３は設定内容を記憶部４０４に格納する。
【００２０】
また、Ｗｅｂサーバ部４０５が制御装置２、７、１１のＷｅｂブラウザからの制御コマンド（動作制御コマンド）を受け取り、これを制御部４０３に通知された場合、制御部４０３はカメラ部４０１を動作させる。
【００２１】
また、映像処理部４０２は、カメラ部４０１により得られる画像を符号化／復号化処理及び色合いや精細度などの映像補正処理を行う機能を有しており、カメラ部４０１により得られる画像を、ネットワーク処理部４０６を介してネットワーク５経由で制御装置２、７、１１に送るための処理を行う。
【００２２】
すなわち、制御部４０３は、ネットワーク処理部４０６を介して制御装置２、７、１１から映像出力の要求を受けると、カメラ部４０１により得られる画像を、ネットワーク処理部４０６を介して映像出力を要求した制御装置２、７、１１に対して送出するように映像処理部４０２やネットワーク処理部４０６を制御する機能を備えている。
【００２３】
ネットワークカメラ４、９、１３の構成において、カメラ部４０１は、例えば、カメラとパンチルト機構を有する。そして、制御部４０３により、パン方向の回転動作とチルト方向の回転動作が制御される。さらに、カメラ部４０１の動作としては、例えばズーム動作でも良い。
【００２４】
図４は、各拠点内の初期動作を示したシーケンス図である。
【００２５】
利用者は、拠点内のカメラの電源ＯＮ（Ｓ２１）及びマイクの電源ＯＮ（Ｓ２２）を行い、次に制御装置の起動（Ｓ２３）を行う。制御装置２、７、１１の起動（Ｓ２３）は、電源ＯＮの動作であっても、利用者が任意の操作、例えばアイコンを選択して、ダブルクリックするような操作であっても良い。
【００２６】
制御装置２、７、１１は、予め制御装置２、７、１１内に設定されている自らが管理するネットワークカメラ４、９、１３のＩＰアドレスに対して状態取得メッセージを送信する（Ｓ２４）。ネットワークカメラ４、９、１３は状態取得メッセージ（Ｓ２４）を受信後、自装置の状態、例えば、正常動作可能及び異常状態であることを、状態通知メッセージ（Ｓ２５）で状態取得メッセージを送信した制御装置２、７、１１に対して送信する。
【００２７】
制御装置２、７、１１は、予め制御装置内に設定されている自らが管理するマイク３、８、１２のＩＰアドレスへ状態取得メッセージを送信する（Ｓ２６）。マイク３、８、１２は状態取得メッセージ（Ｓ２６）を受信後、自装置の状態、例えば、正常動作可能及び異常状態であることを、状態通知メッセージ（Ｓ２７）で状態取得メッセージを送信した制御装置２、７、１１に対して送信する。
【００２８】
なお、制御装置２、７、１１がネットワークカメラ４、９、１３へ送信する状態取得メッセージ（Ｓ２４）と、マイク３、８、１２へ送信する状態取得メッセージ（Ｓ２６）の準備は逆であっても良い。また、制御装置２、７、１１は、マイク３、８、１２へ送信する状態取得メッセージ（Ｓ２６）は、ネットワークカメラ４、９、１３からの状態通知メッセージ（Ｓ２５）を受信する前に送信しても良い。
【００２９】
制御装置２、７、１１は、起動中の間に任意の時間間隔でネットワークカメラ４、９、１３への状態取得メッセージ（Ｓ２４）を送信し、状態通知メッセージ（Ｓ２５）を取得する動作を行う。また、マイク３、８、１２に対しても同様に任意の時間間隔で状態取得メッセージ（Ｓ２６）を送信し、状態通知メッセージ（Ｓ２７）を取得する動作を行う。
【００３０】
図５は、各拠点間でのログイン動作を示したシーケンス図である。
【００３１】
Ａ拠点の制御装置２はシステム全体管理機能を持ち、利用者により起動（Ｓ３１）される。起動方法は、電源ＯＮの動作であっても、利用者が任意の操作、例えばアイコンを選択して、ダブルクリックするような操作であっても良い。
【００３２】
Ｂ拠点の制御装置７も同様に起動（Ｓ３２）される。Ｂ拠点の制御装置７は、予めＩＰアドレスを設定してあるシステム管理機能を持つ制御装置２へ情報登録メッセージ（Ｓ３３）を送信する。システム管理機能と持つＡ拠点の制御装置２は、情報登録が可能であれば、ＯＫメッセージ（Ｓ３４）をＢ拠点の制御装置７へ送信する。
【００３３】
また、システム状態管理機能を持つＡ拠点の制御装置２は、システムの状態データを含んだ状態変更要求メッセージ（Ｓ３５）をＢ拠点の制御装置７へ送信する。このシステムの状態データとは、既に情報登録されている拠点内のネットワークカメラ４、９、１３に設定してあるＩＰアドレス及び画像送信に必要となるユーザ情報及びパスワード情報、また、マイク３、８、１２のＩＰアドレスを含んだ情報を示している。
【００３４】
Ｂ拠点の制御装置７は、状態変更要求メッセージ（Ｓ３５）を受けて、Ｂ拠点内のネットワークカメラ９に設定してあるＩＰアドレス及び画像送信に必要となるユーザ情報及びパスワード情報、また、マイク８のＩＰアドレスを含んだ情報を状態変更応答メッセージ（Ｓ３６）に含めて送信する。
【００３５】
次に、Ｃ拠点の制御装置１１が利用者により起動（Ｓ３７）されると、Ｃ拠点の制御装置１１も同様に、予めＩＰアドレスを設定してあるシステム管理機能を持つ制御装置２へ情報登録メッセージ（Ｓ３８）を送信する。システム管理機能と持つＡ拠点の制御装置２は、情報登録が可能であれば、ＯＫメッセージ（Ｓ３９）をＣ拠点の制御装置１１へ送信する。
【００３６】
システム状態管理機能を持つＡ拠点の制御装置２は、システムの状態データを含んだ状態変更要求メッセージ（Ｓ４０）をＢ拠点の制御装置７へ送信する。この状態データは、既に情報のやり取りを行ったＢ拠点内のネットワークカメラ９に設定してあるＩＰアドレス及び画像送信に必要となるユーザ情報及びパスワード情報、また、マイク８のＩＰアドレスも含んだ情報である。
【００３７】
また、Ｃ拠点の制御装置１１は、状態変更要求メッセージ（Ｓ４０）を受けて、Ｃ拠点内のネットワークカメラ１３に設定してあるＩＰアドレス及び画像送信に必要となるユーザ情報及びパスワード情報、また、マイク１２のＩＰアドレスを含んだ情報を状態変更応答メッセージ（Ｓ４１）に含めて送信する。
【００３８】
すると、システム状態管理機能を持つＡ拠点の制御装置２は、Ｃ拠点の制御装置１１からの状態変更応答メッセージ（Ｓ４１）に含まれるデータを、今度はＢ拠点の制御装置７に状態変更要求メッセージ（Ｓ４２）を送信する。
【００３９】
そして、Ｂ拠点の制御装置７は、状態変更要求メッセージ（Ｓ４２）を受けて、Ｂ拠点内のネットワークカメラ８に設定してあるＩＰアドレス及び画像送信に必要となるユーザ情報及びパスワード情報、また、マイク９のＩＰアドレスを含んだ情報を状態変更応答メッセージ（Ｓ４３）に含めて送信する。
【００４０】
なお、Ｂ拠点の制御装置７は、状態変更応答メッセージ（Ｓ４３）が過去に送信した状態変更応答メッセージ（Ｓ３６）とネットワークカメラ９に設定してあるＩＰアドレス及び画像送信に必要となるユーザ情報及びパスワード情報や、マイク８のＩＰアドレスを含んだ情報が変更となっていない場合は、差分がないことを示す簡易的なメッセージを送信してもよい。
【００４１】
図６は、会議を始める際のシーケンス図である。
【００４２】
例えば、Ｃ拠点の利用者がＣ拠点の制御装置１１を操作して、会議スタート（Ｓ５０）を実行する。Ｃ拠点の制御装置１１は、システム管理機能を持つＡ拠点制御装置２に、呼接続要求メッセージ（Ｓ５１）を送信する。呼接続要求メッセージには、Ｃ拠点の利用者が接続したい拠点の情報が含まれる。本実施の形態ではＢ拠点を示す。
【００４３】
システム管理機能を持つＡ拠点の制御装置２は、Ｂ拠点が既に会議中であるか等のＢ拠点の状態を確認し、会議への参加が可能であるかを呼接続応答メッセージ（Ｓ５２）に含めて、Ｃ拠点の制御装置１１へ送信する。
【００４４】
Ｃ拠点の制御装置１１は、呼接続応答メッセージ（Ｓ５２）の中のＢ拠点の状態に関するする情報を確認し、Ｂ拠点の制御装置７へ会議要求メッセージ（Ｓ５３）を送信する。一方、Ｂ拠点の制御装置７は、受信した会議メッセージ（Ｓ５３）を受けて、会議要求応答メッセージ（Ｓ５４）を送信する。会議要求応答メッセージ（Ｓ５４）は、送信する制御装置の状態により、複数のパターンを持っていても良い。
【００４５】
会議要求応答メッセージ（Ｓ５４）を受信したＣ拠点の制御装置１１は、自拠点内のマイク１２へ通信起動メッセージ（Ｓ５５）を送信する。この通信起動メッセージ（Ｓ５５）には、接続する相手のＩＰアドレス及び音声符号化に関する情報が含まれる。Ｃ拠点のマイク１２は、通信起動メッセージ（Ｓ５５）を受けて、ネットワーク処置部２０７で音声データをＲＴＰパケット化し、これを音声情報としてＢ拠点のマイク８へ送信する。
【００４６】
一方、会議要求応答メッセージ（Ｓ５４）を送信したＢ拠点の制御装置７は、自拠点内のマイク８へ通信起動メッセージ（Ｓ５６）を送信する。この通信起動メッセージ（Ｓ５６）には、接続する相手のＩＰアドレス及び音声符号化に関する情報が含まれる。Ｂ拠点のマイク８は、通信起動メッセージ（Ｓ５６）を受けて、ネットワーク処置部２０７で音声データをＲＴＰパケット化し、これを音声情報としてＣ拠点のマイク８へ送信する。
【００４７】
以上で、音声通信（Ｓ５７）が確立される。
【００４８】
次に、会議要求応答メッセージ（Ｓ５４）を受信したＣ拠点の制御装置１１は、通信相手となるＢ拠点内のカメラ９へ映像要求メッセージ（Ｓ５８）を送信する。そして、Ｂ拠点内のカメラ９は、Ｃ拠点内の制御装置１１へ映像データを配信する。以上により、映像通信（Ｓ５９）が確立される。
【００４９】
一方、会議要求応答メッセージ（Ｓ５４）を送信したＢ拠点の制御装置７は、通信相手となるＣ拠点内のカメラ１３へ映像要求メッセージ（Ｓ６１）を送信する。Ｃ拠点内のカメラ１３は、Ｂ拠点内の制御装置７へ映像データを配信する。以上により、映像通信（Ｓ６１）が確立される。
【００５０】
以上で、双方向の映像通信が確立され、映像・音声会議状態が形成される。
【図面の簡単な説明】
【００５１】
【図１】本発明のシステム構成を示すシステム図である。
【図２】本発明の各拠点内のマイクを示したブロック図である。
【図３】本発明の各拠点内のネットワークカメラを示したブロック図である。
【図４】本発明の各拠点内の初期動作を示したシーケンス図である。
【図５】本発明の各拠点間でのログイン動作を示したシーケンス図である。
【図６】本発明の会議会議を始める際のシーケンス図である。
【符号の説明】
【００５２】
１    A拠点
２    制御装置
３    マイク
４    カメラ
５    ネットワーク
６    Ｂ拠点
７    制御装置
８    マイク
９    カメラ
１０  Ｃ拠点
１１  制御装置
１２  マイク
１３  カメラ
１４  専用装置
１５  Ｄ拠点
【図１】
2008311798.tif 000003
【図２】
2008311798.tif 000004
【図３】
2008311798.tif 000005
【図４】
2008311798.tif 000006
【図５】
2008311798.tif 000007
【図６】
2008311798.tif 000008