(57)【要約】【課題】音声の途切れや画像の乱れが発生せずに遠隔会議を行うことができるネットワークボックスを提供する。【解決手段】各ネットワークボックス３に、マイクスピーカユニット１０、ビデオカメラ１５、及びモニタ１７等の音声や画像の入出力機器と、トラフィックが保証された帯域保証型回線５と、トラフィックが保証されていない帯域非保証型回線７と、を接続する。遠隔会議システム１では、ネットワークボックス３Ａ・３Ｂが、音声データ及び画像データから基本データ（遠隔会議に支障の出ない最低限のデータ）と補間データ（基本データの品質を向上させるデータ）を作成して、帯域保証型回線５を介して基本データを送受信し、帯域非保証型回線７を介して補間データを送受信するので、帯域非保証型回線７の通信状態にかかわらず音声の途切れや画像の乱れが発生することなく遠隔会議を行うことができる。【選択図】図１
2008148255.tif 000002
【特許請求の範囲】
【請求項１】
音声入力機器が出力した音声信号及び撮像機器が出力した動画信号の入力を受け付ける信号入力手段と、
前記音声信号及び動画信号を符号化して、遠隔会議の実施に最低限必要な音声データ及び動画像データを含む基本データと、前記基本データの質を向上させる音声データ及び動画像データを含む補間データと、を生成するエンコード手段と、
トラフィックに対して帯域が保証された帯域保証型回線、及びトラフィックに対して帯域が保証されていない帯域非保証型回線に接続され、前記帯域保証型回線を介して前記基本データを通信相手に送信し、前記帯域非保証型回線を介して前記補間データを通信相手に送信する送信手段と、
前記帯域保証型回線及び前記帯域非保証型回線に接続され、通信相手が前記帯域保証型回線を介して送信した前記基本データと、前記帯域非保証型回線を介して送信した前記補間データと、を受信する受信手段と、
前記受信手段が基本データ及び補間データを受信した場合には、両データまたは補間データを用いて音声信号及び動画信号を生成し、前記受信手段が基本データのみを受信した場合には、基本データのみを用いて音声信号及び動画信号を生成するデコード手段と、
前記デコード手段が生成した音声信号を音声出力機器へ出力し、動画信号を画像表示機器に出力するデータ出力手段と、
を備えたネットワークボックス。
【請求項２】
前記エンコード手段は、
前記音声信号から一部の周波数帯域を抽出して符号化した基本音声データと、前記音声信号から前記基本音声データよりも広い周波数帯域、または前記基本音声データと異なる周波数帯域を抽出して符号化した補間音声データと、を生成する音声エンコード手段と、
前記動画信号から、静止画を符号化した基本画像データと、前記静止画との差分情報を符号化した補間画像データと、を生成する動画エンコード手段と、
を備えた請求項１に記載のネットワークボックス。
【請求項３】
前記エンコード手段は、前記基本データと前記補間データを生成する際に、各基本データ及び各補間データに対して生成時間情報を付与し、
前記受信手段は、前記生成時間情報に基づいて出力タイミングを調整して音声データ及び動画データをデコード手段に出力する請求項１または２に記載のネットワークボックス。
【請求項４】
前記受信手段が前記基本データを受信する毎に一定時間を計時する計時手段を備え、
前記受信手段は、前記基本データを受信してから一定時間内に、前記基本データと同様の生成時間に生成された補間データを受信できない場合には、その基本データのみを用いて音声信号または動画信号を生成する請求項１乃至３のいずれかに記載のネットワークボックス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔会議の映像データ及び音声データを送受信するネットワークボックスに関する。
【背景技術】
【０００２】
従来、インターネットのようなネットワークを介して通信するビデオ会議装置があった（例えば、特許文献１参照。）。このビデオ会議装置は、送信回路で送信したビデオデータのＴＣＰパケット数と、レシーバで受信したビデオデータのＴＣＰパケット数と、の差異に基づいて、既に送信したがまだレシーバで受信していないビデオデータのＴＣＰパケット数の推定値を生成し、その推定値にしたがってビデオビットレートを制御する。
【特許文献１】特開２００６−２１７５８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来のビデオ会議装置が通信に用いるインターネットのようなネットワークは、トラフィックが保証されていない帯域非保証型の通信回線であり、ネットワークの状況によって、パケットロスや遅延が大きくなった場合には、音声の途切れやＭＰＥＧ等の圧縮映像に乱れが発生するため、ビデオ会議（遠隔会議）に支障が生じるという問題があった。
【０００４】
そこで、本発明は、音声の途切れや画像の乱れが発生せずに遠隔会議を行うことができるネットワークボックスを提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明は、上記の課題を解決するための手段として、以下の構成を備えている。
【０００６】
（１）音声入力機器が出力した音声信号及び撮像機器が出力した動画信号の入力を受け付ける信号入力手段と、
前記音声信号及び動画信号を符号化して、遠隔会議の実施に最低限必要な音声データ及び動画像データを含む基本データと、前記基本データの質を向上させる音声データ及び動画像データを含む補間データと、を生成するエンコード手段と、
トラフィックに対して帯域が保証された帯域保証型回線、及びトラフィックに対して帯域が保証されていない帯域非保証型回線に接続され、前記帯域保証型回線を介して前記基本データを通信相手に送信し、前記帯域非保証型回線を介して前記補間データを通信相手に送信する送信手段と、
前記帯域保証型回線及び前記帯域非保証型回線に接続され、通信相手が前記帯域保証型回線を介して送信した前記基本データと、前記帯域非保証型回線を介して送信した前記補間データと、を受信する受信手段と、
前記受信手段が基本データ及び補間データを受信した場合には、両データまたは補間データを用いて音声信号及び動画信号を生成し、前記受信手段が基本データのみを受信した場合には、基本データのみを用いて音声信号及び動画信号を生成するデコード手段と、
前記デコード手段が生成した音声信号を音声出力機器へ出力し、動画信号を画像表示機器に出力するデータ出力手段と、
を備えたことを特徴とする。
【０００７】
この構成においては、ネットワークボックスは、通信相手と、帯域保証型回線を介して基本データを送受信し、帯域非保証型回線を介して補間データを送信し、受信手段が基本データ及び補間データを受信した場合には、両データまたは補間データを用いて音声信号及び動画信号を生成し、受信手段が基本データのみを受信した場合には、基本データのみを用いて音声信号及び動画信号を生成する。したがって、帯域非保証型回線の通信状態にかかわらず、帯域保証回線により遠隔会議を行うのに最低限必要な基本データが送受信されるので、音声の途切れや画像の乱れが発生することなく遠隔会議を行うことができる。また、帯域非保証型回線の通信状態が良い場合には、滑らかな動きの動画像を見ながら、また音質の良い音声により会話しながら遠隔会議を進めることができる。
【０００８】
（２）前記エンコード手段は、
前記音声信号から一部の周波数帯域を抽出して符号化した基本音声データと、前記音声信号から前記基本音声データよりも広い周波数帯域、または前記基本音声データと異なる周波数帯域を抽出して符号化した補間音声データと、を生成する音声エンコード手段と、
前記動画信号から、静止画を符号化した基本画像データと、前記静止画との差分情報を符号化した補間画像データと、を生成する動画エンコード手段と、
を備えたことを特徴とする。
【０００９】
この構成においては、音声エンコード手段は、音声信号から一部の周波数帯域を抽出して符号化した基本音声データと、前記音声信号から前記基本音声データよりも広い周波数帯域、または前記基本音声データと異なる周波数帯域を抽出して符号化した補間音声データと、を生成し、動画エンコード手段は、静止画を符号化した基本画像データと、前記静止画との差分情報を符号化した補間画像データと、を生成する。したがって、基本データとして、例えば３００Ｈｚ〜３．４ｋＨｚの周波数帯域の音声信号を抽出して符号化した基本音声データと、ＭＰＥＧ方式で動画信号を符号化したＩフレームを基本画像データとし、補間データとして、例えば３００Ｈｚ〜１８ｋＨｚの周波数帯域の音声信号や、３．４ｋＨｚ〜１８ｋＨｚの音声信号を抽出して符号化した補間音声データと、ＭＰＥＧ方式で動画信号を符号化したＰ，Ｂフレームを補間画像データとすることで、帯域非保証型回線の通信状態が悪い場合でも、帯域保証回線を介して基本データにより遠隔会議を問題なく行うことができる。また、帯域非保証型回線の通信状態が良い場合には、基本データと補間データ、または補間データにより高品質な音声や動画像により遠隔会議を行うことができる。
【００１０】
（３）前記エンコード手段は、前記基本データと前記補間データを生成する際に、各基本データ及び各補間データに対して生成時間情報を付与し、
前記受信手段は、前記生成時間情報に基づいて出力タイミングを調整して音声データ及び動画データをデコード手段に出力することを特徴とする。
【００１１】
この構成においては、各基本データ及び各補間データには、エンコード時に生成時間情報が付与され、各基本データ及び各補間データを受信すると、この生成時間情報に基づいて出力タイミングの調整がなされて音声データ及び動画データが出力される。したがって、音声出力機器から放音される音声と画像表示機器に表示される動画とがずれることなく生成時間が一致した状態になるので、会議参加者は違和感なく遠隔会議を進めることができる。また、音声信号及び動画信号が基本データと補間データから生成される場合には、生成時間情報に基づいて基本データと補間データの出力タイミングが調整されるので、音声信号自体や動画信号自体にも問題が発生することがない。
【００１２】
（４）前記受信手段が前記基本データを受信する毎に一定時間を計時する計時手段を備え、
前記受信手段は、前記基本データを受信してから一定時間内に、前記基本データと同様の生成時間に生成された補間データを受信できない場合には、その基本データのみを用いて音声信号または動画信号を生成することを特徴とする。
【００１３】
遠隔会議では、リアルタイム性が重要であり、音声信号や動画信号の出力が遅くなると、スムーズに会議を進めることができない。この構成においては、基本データを受信してから一定時間内に、基本データと同様の生成時間に生成された補間データを受信できない場合には、その基本データのみを用いて音声信号または動画信号を生成する。したがって、一定時間を数十ｍ秒〜数百ｍ秒に設定しておくことで、帯域非保証型回線の通信状態が急に悪化した場合等に、音声や動画の質を低下させることになるが、リアルタイム性を失うことなくスムーズに会議を進めることができる。
【発明の効果】
【００１４】
本発明のネットワークボックスは、音声データ及び映像データを基本データと補間データに分割して、基本データを帯域保証型回線を用いて送受信し、補間データを帯域非保証型回線を用いて送受信するので、遠隔会議を行うのに必要最低限のデータは確実に送受信されるので、遠隔会議を滞りなく行うことができ、さらに、帯域非保証型の回線状態が良い場合には補間データにより、高品質な音声と映像により遠隔会議を進めることができる。
【発明を実施するための最良の形態】
【００１５】
図１は、遠隔会議システムの構成を示す概観図である。遠隔会議システム１は、２地点間で遠隔会議を行うためのシステムであり、２台のネットワークボックス３（３Ａ・３Ｂ）に音声や動画像の入出力機器を接続して構成される。ネットワークボックス３は、遠隔会議（音声会議や遠隔会議）を行う際に、音声データや画像（映像）データを中継する装置である。
【００１６】
各ネットワークボックス３（３Ａ・３Ｂ）には、マイクスピーカユニット１０（１０Ａ・１０Ｂ）［または、マイクロフォン１１（１１Ａ・１１Ｂ）とスピーカユニット１３（１３Ａ・１３Ｂ）］、ビデオカメラ１５（１５Ａ・１５Ｂ）、及びモニタ１７（１７Ａ・１７Ｂ）等の音声や画像の入出力機器を接続する。また、ネットワークボックス３には、通信回線として、ＩＳＤＮ回線やＰＳＴＮ回線や専用線等のトラフィックが保証された帯域保証型回線５と、ＩＰ回線のようにインターネット９を利用した広帯域ではあるがトラフィックが保証されていない帯域非保証型回線７と、を接続する。
【００１７】
遠隔会議システム１では、ネットワークボックス３Ａ・３Ｂが、音声データ及び画像データから基本データ（遠隔会議の実施に最低限必要なデータ）と補間データ（基本データの質を向上させるデータ）を作成して、帯域保証型回線５を介して基本データを送受信し、帯域非保証型回線７を介して補間データを送受信する。
【００１８】
次に、ネットワークボックス３の具体的な構成について説明する。図２は、ネットワークボックスの概略構成を示すブロック図である。ここで、ネットワークボックス３Ａとネットワークボックス３Ｂは同じ構成であるため、図２には、ネットワークボックス３Ａのみ詳細な構成を示すとともに、ネットワークボックス３Ａを主体に説明する。また、ネットワークボックス３Ａとネットワークボックス３Ｂの間は、帯域保証型回線５であるＩＳＤＮ回線５Ａと、帯域非保証型回線７であるＡＤＳＬ回線７Ａ・７Ｂにより接続されているものとする。また、ＡＤＳＬ回線７ＡとＡＤＳＬ回線７Ｂは、インターネット９を介して接続されている。
【００１９】
ネットワークボックス３Ａは、音声信号及び動画像信号の入出力インタフェースである信号入出力部２１、音声信号・画像信号のエンコードや音声データ・画像データのデコードを行うコーデック２３、パケットの組み立てや分解を行うパケット処理部２５、別のネットワークボックス３Ｂと通信する通信部２７、記憶部３１、制御部３３、及び操作部３５を備えている。また、信号入出力部２１は、Ａ／Ｄコンバータ２１１、Ｄ／Ａコンバータ２１３、アンプ２１４、Ａ／Ｄコンバータ２１５、Ｄ／Ａコンバータ２１７、及びアンプ２１８を備えている。コーデック２３は、音声エンコーダ２３１、音声デコーダ２３３、画像エンコーダ２３５、及び画像デコーダ２３７を備えている。パケット処理部２５は、音声パケット組立部２５１、音声パケット分解部２５３、画像パケット組立部２５６、画像パケット分解部２５７、及び計時部２６０を備えている。通信部２７は、帯域保証回線通信部２７１及び帯域非保証回線通信部２７３を備えている。
【００２０】
以下、信号またはデータが運ばれる経路に沿って、各部を説明する。
【００２１】
信号入出力部２１は、音声信号及び画像信号を入力したり出力したりするためのインタフェースである。信号入出力部２１には、マイクスピーカユニット１０Ａのマイクロフォン１１Ａ及びスピーカユニット１３Ａ、ビデオカメラ１５Ａ、並びにモニタ１７Ａ等の音声入出力機器や画像入出力機器が接続されている。なお、信号入出力部２１には、単体のマイクロフォン１１Ａと、単体のスピーカユニット１３Ａも、当然接続可能である。
【００２２】
マイクロフォン１１Ａは、会議参加者が発した音声を収音して、この音声に応じたアナログ音声信号を信号入出力部２１のＡ／Ｄコンバータ２１１へ出力する。
【００２３】
Ａ／Ｄコンバータ２１１は、マイクロフォン１１Ａが出力したアナログ音声信号をデジタル音声（ＰＣＭ音声）信号に変換して、コーデック２３の音声エンコーダ２３１へ出力する。
【００２４】
音声エンコーダ２３１は、Ｇ．７１１エンコーダとＡＡＣエンコーダの機能を有している。すなわち、音声エンコーダ２３１は、Ａ／Ｄコンバータ２１１が出力したデジタル音声信号を、Ｇ．７１１と呼ばれるＰＣＭ符号化方式により、６４ｋビット／秒のデジタル音声データ（以下、Ｇ．７１１音声データと称する。）にエンコードして、パケット処理部２５の音声パケット組立部２５１へ出力する。なお、Ｇ．７１１の音声帯域は３．４ｋＨｚ（３００〜３．４ｋＨｚ）で、固定電話と同程度の音質であり、狭帯域の音声と言える。また、音声エンコーダ２３１は、Ａ／Ｄコンバータ２１１が出力したデジタル音声信号を、ＡＡＣ−ＬＤ(Low Delay Advanced Audio Coding）と呼ばれる音声圧縮符号化方式により、例えば１６ｋビット／秒のデジタル音声データ（以下、ＡＡＣ音声データと称する。）にエンコードして、音声パケット組立部２５１へ出力する。なお、ＡＡＣ音声データのサンプリング周波数は３２ｋＨｚで、音声帯域は２０Ｈｚ〜２０ｋＨｚでＣＤと同程度の音質であり、広帯域の音声と言える。
【００２５】
音声パケット組立部２５１は、音声エンコーダ２３１が出力したＧ．７１１音声データを分解して、Ｇ．７１１音声データの音声パケットを組み立てる（生成する）とともに、計時部２６０が計時する現在時刻のタイムスタンプを付加して、通信部２７の帯域保証回線通信部２７１へこれらの音声パケットを出力する。また、音声パケット組立部２５１は、音声エンコーダ２３１が出力したＡＡＣ音声データを分解して、ＡＡＣ音声データの音声パケットを組み立てる（生成する）とともに、計時部２６０が計時する現在時刻のタイムスタンプを付加して、通信部２７の帯域非保証回線通信部２７３へこれらの音声パケットを出力する。
【００２６】
ビデオカメラ１５Ａは、動画像を撮影して、この動画像に応じたアナログ動画像信号を信号入出力部２１のＡ／Ｄコンバータ２１５へ出力する。
【００２７】
Ａ／Ｄコンバータ２１５は、ビデオカメラ１５Ａが出力したアナログ動画像信号をデジタル動画像信号に変換して、コーデック２３の画像エンコーダ２３５へ出力する。
【００２８】
画像エンコーダ２３５は、動画データの圧縮符号化方式としてＭＰＥＧ−４  ＡＶＣを採用したＭＰＥＧエンコーダであり、信号入出力部２１が出力したデジタル動画像信号を符号化して、Ｉフレーム（Ｉピクチャ）、Ｐフレーム（Ｐピクチャ）、及びＢフレーム（Ｂピクチャ）、すなわちデジタル画像データ（ＭＰＥＧ画像データ）を生成し、各フレームをパケット処理部２５の画像パケット組立部２５６へ出力する。
【００２９】
ここで、動画像信号から生成したＩフレームは、静止画を符号化した基本画像データであり、動画像信号から生成したＰフレーム及びＢフレームは、前後フレームとの差分情報を符号化した補間画像データである。
【００３０】
画像パケット組立部２５６は、画像エンコーダ２３５が出力したＭＰＥＧ画像データのＩフレームを分解して、Ｉフレームの画像パケットを組み立てる（生成する）とともに、計時部２６０が計時する現在時刻のタイムスタンプを付加して、通信部２７の帯域保証回線通信部２７１へこれらの画像パケットを出力する。また、画像パケット組立部２５６は、画像エンコーダ２３５が出力したＰフレーム及びＢフレームをそれぞれ分解して、Ｐフレームの画像パケット及びＢフレームの画像パケットを組み立てる（生成する）とともに、計時部２６０が計時する現在時刻のタイムスタンプを付加して、通信部２７の帯域非保証回線通信部２７３へこれらの画像パケットを出力する。
【００３１】
帯域保証回線通信部２７１は、音声パケット組立部２５１が出力したＧ．７１１音声データの音声パケットや、画像パケット組立部２５６が出力したＩフレームの画像パケットを、ＩＳＤＮ回線５Ａを介してネットワークボックス３Ｂに送信する。また、帯域保証回線通信部２７１は、ネットワークボックス３Ｂから送られてきたＧ．７１１音声データの音声パケットをパケット処理部２５の音声パケット分解部２５３へ出力し、Ｉフレームの画像パケットをパケット処理部２５の画像パケット分解部２５７へ出力する。
【００３２】
帯域非保証回線通信部２７３は、音声パケット組立部２５１が出力したＡＡＣ音声データの音声パケットや、画像パケット組立部２５６が出力したＰフレームの画像パケット及びＢフレームの画像パケットを、ＡＤＳＬ回線７Ａに送出し、インターネット９及びＡＤＳＬ回線７Ｂを介してネットワークボックス３Ｂに送信する。また、帯域非保証回線通信部２７３は、ネットワークボックス３Ｂから送られてきたＡＡＣ音声データの音声パケットをパケット処理部２５の音声パケット分解部２５３へ出力し、Ｐフレームの画像パケット及びＢフレームの画像パケットをパケット処理部２５の画像パケット分解部２５７へ出力する。
【００３３】
なお、帯域保証回線通信部２７１及び帯域非保証回線通信部２７３は、音声パケット及び画像パケットをストリーミングデータとして送信する。
【００３４】
音声パケット分解部２５３は、バッファメモリ２５４及びタイマ２５５を備えている。音声パケット分解部２５３は、帯域保証回線通信部２７１が出力したＧ．７１１音声データの音声パケットや、帯域非保証回線通信部２７３が出力したＡＡＣ音声信号の音声パケットをバッファメモリ２５４で一時的に記憶する。そして、音声パケット分解部２５３は、各音声パケットの種類及びタイムスタンプを確認しながら、Ｇ．７１１音声データとＡＡＣ音声データの生成時間が一致した状態で出力できるように出力タイミングを調整しながら、各パケットを分解してＧ．７１１音声データ及びＡＡＣ音声データを再組み立てする。また、音声パケット分解部２５３は、Ｇ．７１１音声データ及びＡＡＣ音声データをコーデック２３の音声デコーダ２３３へ出力する。また、さらに、音声パケット分解部２５３は、Ｇ．７１１音声データの音声パケットを受信する毎に一定時間を計時している。音声パケット分解部２５３は、ＡＤＳＬ回線７Ａの通信状態が悪くなったりパケットロスが発生したりした等の理由により、ある時間（例えば時刻１）に生成されたＧ．７１１音声データの音声パケットを受信してから一定時間が経過しても、その時刻１に生成されたＡＡＣ音声データの音声パケットの一部または全部を受信できないことがある。この場合には、音声パケット分解部２５３は、バッファメモリ２５４が記憶するＡＡＣ音声データの音声パケットを破棄し、Ｇ．７１１音声データのみ再組み立てして音声デコーダ２３３へ出力する。
【００３５】
音声デコーダ２３３は、Ｇ．７１１デコーダとＡＡＣデコーダの機能を有している。音声デコーダ２３３は、音声パケット分解部２５３から出力された音声データがＧ．７１１音声データ及びＡＡＣ音声データが出力された場合には、Ｇ．７１１音声データを破棄するとともにＡＡＣ音声データをデコードして、広帯域のデジタル音声信号を信号入出力部２１のＤ／Ａコンバータ２１３へ出力する。また、音声デコーダ２３３は、音声パケット分解部２５３からＧ．７１１音声データのみが出力された場合には、Ｇ．７１１音声データをデコードして、狭帯域のデジタル音声信号をＤ／Ａコンバータ２１３へ出力する。
【００３６】
Ｄ／Ａコンバータ２１３は、音声デコーダ２３３から出力されたデジタル音声信号をアナログ音声信号に変換してアンプ２１４へ出力する。アンプ２１４は、このアナログ音声信号を増幅してスピーカユニット１３Ａへ出力する。
【００３７】
スピーカユニット１３Ａは、アンプ２１４が出力したアナログ音声信号に応じた音声を放音する。
【００３８】
画像パケット分解部２５７は、バッファメモリ２５８及びタイマ２５９を備えている。画像パケット分解部２５７は、帯域保証回線通信部２７１が出力したＩフレームの画像パケットや、帯域非保証回線通信部２７３が出力したＰフレームの画像パケット及びＢフレームの画像パケットをバッファメモリ２５８で一時的に記憶する。そして、画像パケット分解部２５７は、各画像パケットの種類及びタイムスタンプを確認しながら、Ｉフレーム、Ｐフレーム及びＢフレームを生成時間順に出力するように出力タイミングを調整しながら、各パケットを分解してコーデック２３の画像デコーダ２３７へ出力する。さらに、画像パケット分解部２５７は、Ｉフレームの画像パケットを受信する毎にタイマ２５９で一定時間を計時している。画像パケット分解部２５７は、ＡＤＳＬ回線７Ａの通信状態が悪くなったりパケットロスが発生したりした等の理由により、ある時間（例えば時刻１）に生成されたＩフレームの画像パケットを受信してから一定時間が経過しても、その時刻１に生成されたＩフレームの画像パケットと同じＧＯＰ（Group of Picture）のＰフレームの画像パケットやＢフレームの画像パケットを受信できないことがある。この場合には、画像パケット分解部２５７は、バッファメモリ２５８が記憶するＰフレームの画像パケットやＢフレームの画像パケットを破棄し、Ｉフレームのみを再組み立てして画像デコーダ２３７へ出力する。
【００３９】
また、画像パケット分解部２５７と音声パケット分解部２５３は、画像パケットの生成時間と音声パケットの生成時間が一致するように、出力タイミングを調整している。これにより、音声と動画がずれることなく放音・表示できる。
【００４０】
画像デコーダ２３７は、動画データの圧縮符号化方式としてＭＰＥＧ−４  ＡＶＣを採用したＭＰＥＧデコーダの機能を有している。画像デコーダ２３７は、画像パケット分解部２５７が出力したＩフレーム、Ｐフレーム、及びＢフレームをデコードして、高フレームレートのデジタル動画像信号を信号入出力部２１のＤ／Ａコンバータ２１７へ出力する。また、画像デコーダ２３７は、画像パケット分解部２５７から受け取ったフレームがＩフレームのみの場合には、Ｉフレームをデコードして低フレームレートのデジタル動画像信号をＤ／Ａコンバータ２１７へ出力する。
【００４１】
Ｄ／Ａコンバータ２１７は、画像デコーダ２３７が出力したデジタル動画像信号をアナログ動画像信号に変換して、アンプ２１８へ出力する。アンプ２１８は、このアナログ動画像信号を増幅してモニタ１７Ａへ出力する。
【００４２】
モニタ１７Ａは、アンプ２１８が出力したアナログ動画像信号に応じた動画像を表示する。
【００４３】
記憶部３１は、制御部３３が実行する処理用のプログラムを記憶する。
【００４４】
制御部３３は、ネットワークボックス３の各部を制御する。
【００４５】
操作部３５は、ネットワークボックス３Ａの設定等を変更するためのものである。
【００４６】
遠隔会議システム１では、ネットワークボックス３Ａ・３Ｂが、マイクロフォン１１で収音した音声及びビデオカメラ１５で撮影した動画像から、遠隔会議を行うのに最低限必要な基本データと、この基本データの品質を向上させるデータまたはこのデータと置き換え可能な高品位のデータである補間データと、を生成する。そして、ネットワークボックス３Ａ・３Ｂは、トラフィックが保証された帯域保証型の回線を用いて基本データを送受信し、トラフィックが保証されていないが広帯域である帯域非保証型の回線を用いて補間データを送受信する。これにより、帯域非保証型回線７の通信状態にかかわらず、帯域保証回線により遠隔会議を行うのに最低限必要な基本データが送受信されるので、音声の途切れや画像の乱れが発生することなく遠隔会議を行うことができる。また、帯域非保証型回線７の通信状態が良い場合には、品質の良い音声や動画像を用いて遠隔会議を行うことができる。
【００４７】
次に、ネットワークボックス３Ａの動作について、フローチャートに基づいて説明する。図３は、ネットワークボックスの動作を説明するためのフローチャートである。図３に示すように、ネットワークボックス３は、遠隔会議の際には、音声送信処理、音声受信処理、画像送信処理、及び画像受信処理の４つの処理を並行して行う。なお、ネットワークボックス３Ｂは、ネットワークボックス３Ａと同様の動作を行うため、その動作についての説明を省略する。
【００４８】
ネットワークボックス３Ａは、マイクロフォン１１Ａから音声信号が入力されるのを待ち受けており（ｓ１：Ｎ）、マイクロフォン１１Ａが会議参加者の発言等の音声を収音して、信号入出力部２１に音声信号の入力があると（ｓ１：Ｙ）、Ａ／Ｄコンバータ２１１でアナログ音声信号をデジタル音声信号に変換し、コーデック２３の音声エンコーダ２３１で音声信号のエンコードを行って、Ｇ．７１１音声データとＡＡＣ音声データを生成する（ｓ２）。そして、パケット処理部２５の音声パケット組立部２５１でこれらの音声データを分解して音声パケットを生成して、通信部２７の帯域保証回線通信部２７１で、Ｇ．７１１音声データの音声パケットを、ＩＳＤＮ回線５Ａを介してネットワークボックス３Ｂへ送信する。また、通信部２７の帯域非保証回線通信部２７３で、ＡＡＣ音声データの音声パケットをＡＤＳＬ回線７Ａ、インターネット９、及びＡＤＳＬ回線７Ｂを介してネットワークボックス３Ｂに送信する（ｓ３）。そして、ステップｓ１の処理を再度行う。
【００４９】
また、ネットワークボックス３Ａは、通信部２７でネットワークボックス３Ｂから音声パケットが送られてくるのを待ち受けており（ｓ１１：Ｎ）、ネットワークボックス３Ｂから送られてきたＧ．７１１音声データの音声パケットを帯域保証回線通信部２７１で受信したり、ＡＡＣ音声データの音声パケットを帯域非保証回線通信部２７３で受信したりすると（ｓ１１：Ｙ）、音声パケット分解部２５３のバッファメモリ２５４で、これらの音声パケットを一時的に記憶する（ｓ１２）。そして、音声パケット分解部２５３は、各音声パケットの種類及びタイムスタンプを確認して、Ｇ．７１１音声データとＡＡＣ音声データの生成時間が一致した状態で出力できるように調整しながら、各音声パケットを分解してＧ．７１１音声データ及びＡＡＣ音声データを再組み立てする。
【００５０】
音声パケット分解部２５３は、Ｇ．７１１音声データの音声パケットを受信する毎に一定時間を計時しており、ＡＤＳＬ回線７Ａ、インターネット９、またはＡＤＳＬ回線７Ｂのいずれかの通信状態が悪くなったりパケットロスが発生したりした等の理由により、ある時間（時刻１）に生成されたＧ．７１１音声データの音声パケットを受信してから一定時間が経過しても（ｓ１３：Ｙ）、その時刻１に生成されたＡＡＣ音声データの音声パケットを受信できない場合には（ｓ１４：Ｙ）、バッファメモリ２５４が記憶するＡＡＣ音声データの音声パケットを破棄し、Ｇ．７１１音声データの音声パケットから再組み立てしたＧ．７１１音声データを音声デコーダ２３３へ出力して、音声デコーダ２３３でＧ．７１１音声データを狭帯域のデジタル音声信号にデコードする（ｓ１５）。続いて、Ｄ／Ａコンバータ２１３で、デジタル音声データをアナログ音声信号に変換して、アンプ２１４で増幅して、スピーカユニット１３Ａから狭帯域の音声を放音する（ｓ１６）。そして、ステップｓ１１の処理を再度行う。
【００５１】
一方、ステップｓ１４において、ＡＤＳＬ回線７Ａ、インターネット９、及びＡＤＳＬ回線７Ｂのいずれの通信状態も良好で、パケットロスが全く発生していない場合には（ｓ１４：Ｎ）、音声パケット分解部２５３は、Ｇ．７１１音声データの音声パケットから再組み立てしたＧ．７１１音声データと、ＡＡＣ音声データの音声パケットから再組み立てしたＡＡＣ音声データと、生成時間を一致させて音声デコーダ２３３へ出力し、音声デコーダ２３３でＡＡＣ音声データを広帯域のデジタル音声信号にデコードする（ｓ１７）。続いて、Ｄ／Ａコンバータ２１３で、デジタル音声信号をアナログ音声信号に変換して、アンプ２１４で増幅して、スピーカユニット１３Ａから広帯域の音声を放音する（ｓ１８）。そして、ステップｓ１１の処理を再度行う。
【００５２】
さらに、ネットワークボックス３Ａは、ビデオカメラ１５Ａから動画像信号が入力されるのを待ち受けており（ｓ２１：Ｎ）、ビデオカメラ１５Ａが会議参加者の動画像を撮影し、信号入出力部２１に動画像信号の入力があると（ｓ２１：Ｙ）、Ａ／Ｄコンバータ２１５でアナログ動画像信号をデジタル動画像信号に変換し、コーデック２３の画像エンコーダ２３５で動画像信号のエンコードを行って、Ｉフレーム、Ｐフレーム、及びＢフレームからなるＭＰＥＧ画像データを生成する（ｓ２２）。そして、パケット処理部２５の画像パケット組立部２５６でこれらの画像データを分解して画像パケットを生成して、通信部２７の帯域保証回線通信部２７１で、Ｉフレームの画像パケットを、ＩＳＤＮ回線５Ａを介してネットワークボックス３Ｂへ送信する。また、通信部２７の帯域非保証回線通信部２７３で、Ｐフレーム及びＢフレームの画像パケットをＡＤＳＬ回線７Ａ、インターネット９、及びＡＤＳＬ回線７Ｂを介してネットワークボックス３Ｂに送信する（ｓ２３）。そして、ステップｓ２１の処理を再度行う。
【００５３】
加えて、ネットワークボックス３Ａは、通信部２７でネットワークボックス３Ｂから画像パケットが送られてくるのを待ち受けており（ｓ３１：Ｎ）、ネットワークボックス３Ｂから送られてきたＩフレームの画像パケットを帯域保証回線通信部２７１で受信したり、ＰフレームまたはＢフレームの画像パケットを帯域非保証回線通信部２７３で受信したりすると（ｓ３１：Ｙ）、画像パケット分解部２５７のバッファメモリ２５８で、これらの画像パケットを一時的に記憶する（ｓ３２）。そして、画像パケット分解部２５７は、各画像パケットの種類及びタイムスタンプを確認して、Ｉフレーム、Ｐフレーム及びＢフレームを生成時間順に出力するように調整しながら、各画像パケットを分解してＩフレーム、Ｐフレーム及びＢフレームを再組み立てする。
【００５４】
画像パケット分解部２５７は、Ｉフレームの画像パケットを受信する毎に一定時間を計時しており、ＡＤＳＬ回線７Ａ、インターネット９、またはＡＤＳＬ回線７Ｂのいずれかの通信状態が悪くなったりパケットロスが発生したりした等の理由により、ある時間（時刻１）に生成されたＩフレーム画像データの画像パケットを受信してから一定時間が経過しても（ｓ３３：Ｙ）、その時刻１に生成されたＰフレーム及びＢフレームの画像パケットを受信できない場合には（ｓ３４：Ｙ）、バッファメモリ２５８が記憶するＰフレーム及びＢフレームの画像パケットを破棄し、Ｉフレームの画像パケットから再組み立てしたＩフレームを画像デコーダ２３７へ出力して、画像デコーダ２３７でＩフレームを低フレームレートのデジタル動画像信号にデコードする（ｓ３５）。続いて、Ｄ／Ａコンバータ２１７で、デジタル画像データをアナログ画像信号に変換して、アンプ２１８で増幅して、モニタ１７Ａに動画像を表示させる（ｓ３６）。そして、ステップｓ３１の処理を再度行う。
【００５５】
一方、ステップｓ３４において、ＡＤＳＬ回線７Ａ、インターネット９、及びＡＤＳＬ回線７Ｂのいずれの通信状態も良好で、パケットロスが全く発生していない場合には（ｓ３４：Ｎ）、画像パケット分解部２５７は、Ｉフレームの画像パケットから再組み立てしたＩフレームと、Ｐフレーム及びＢフレームの画像パケットから再組み立てしたＰフレーム及びＢフレームと、を生成時間順に画像デコーダ２３７へ出力し、画像デコーダ２３７でＩフレーム、Ｐフレーム及びＢフレームを高フレームレートのデジタル動画像信号にデコードする（ｓ３７）。続いて、Ｄ／Ａコンバータ２１７で、デジタル動画像信号をアナログ画像信号に変換して、アンプ２１８で増幅して、モニタ１７Ａに動画像を表示する（ｓ３８）。そして、ステップｓ３１の処理を再度行う。
【００５６】
ここで、ネットワークボックス３では、コーデック２３の音声エンコーダ２３１は、Ｇ．７１１エンコーダとＡＡＣエンコーダの機能を有し、音声デコーダ２３３は、Ｇ．７１１デコーダとＡＡＣデコーダの機能を有しているものとしたが、これに限らず、他のエンコーダやデコーダ機能を有していても良い。例えば、Ｇ．７２８、Ｇ．７２２、Ｇ．７２２．１等の音声符号化方式を用いて基本音声データのエンコードやデコードを行い、ＭＰ３、ＴｗｉｎＶＱ、ＷＭＡ等の音声圧縮符号化方式を用いて補間データのエンコードやデコードを行うようにしても良い。
【００５７】
また、コーデック２３の音声エンコーダ２３１は、Ａ／Ｄコンバータ２１１が出力した音声データから、話の内容を理解できる帯域の基本音声データと、音質を向上させる帯域の補間音声データと、を生成するようにしても良い。例えば、音声エンコーダ２３１が、３００〜４ｋＨｚの音声帯域のデジタル音声データ（基本音声データ）と、４ｋＨｚ〜１８ｋＨｚの音声帯域のデジタル音声データ（補間音声データ）と、を生成するように構成すると良い。また、音声デコーダ２３３は、生成時間がシンクロした基本データと補間データを受信した場合には、音声帯域が３００〜１８ｋＨｚの音声データを復元し、基本データのみを受信した場合には、音声帯域が３００〜４ｋＨｚの音声データを復元するように構成すると良い。このような方式によっても、帯域非保証型回線の通信状態にかかわらず、音声の途切れが発生することなく遠隔会議を行うことができる。また、帯域非保証型回線の通信状態が良い場合には、高品質な音声を用いて遠隔会議を行うことができる。
【００５８】
また、ネットワークボックス３Ａでは、音声エンコーダ２３１で、デジタル音声データをエンコードする際に、音声を適正なレベルで放音させたり、音声をより良い音で放音させたりするための周波数帯域毎の音量レベル情報や全体の音量レベル等の調整情報を含むＥＱパラメータを作成して、帯域非保証回線通信部２７３を介して、ネットワークボックス３Ｂに送信するようにすると良い。また、ネットワークボックス３Ｂでは、ＥＱパラメータを受信すると、このＥＱパラメータに含まれる情報に基づいて、周波数帯域毎の音量レベルや全体の音量レベル等の調整を行うようにすると良い。これにより、帯域非保証回線通信部２７３の通信状態が良い場合には、広帯域の音声を放音できるだけでなく、音量を細かく調整してさらに良い音を放音することができる。
【００５９】
また、以上の説明では、音声データと動画像データを別々にエンコード・デコードする場合について説明したが、これに限るものではなく、音声データと動画像データを一緒にエンコード・デコードするように構成することも当然可能である。
【図面の簡単な説明】
【００６０】
【図１】遠隔会議システムの構成を示す概観図である。
【図２】ネットワークボックスの概略構成を示すブロック図である。
【図３】ネットワークボックスの動作を説明するためのフローチャートである。
【符号の説明】
【００６１】
１…遠隔会議システム    ３，３Ａ，３Ｂ…ネットワークボックス    ５…帯域保証型回線    ５Ａ…ＩＳＤＮ回線    ７…帯域非保証型回線    ７Ａ，７Ｂ…ＡＤＳＬ回線    ９…インターネット    １０…マイクスピーカユニット    １１，１１Ａ…マイクロフォン    １３，１３Ａ…スピーカユニット    １５，１５Ａ，１５Ｂ…ビデオカメラ    １７，１７Ａ，１７Ｂ…モニタ    ２１…信号入出力部    ２３…コーデック    ２５…パケット処理部    ２７…通信部    ３１…記憶部    ３３…制御部    ２１１，２１５…Ａ／Ｄコンバータ    ２１３，２１７…Ｄ／Ａコンバータ    ２１４，２１８…アンプ    ２３１…音声エンコーダ    ２３３…音声デコーダ    ２３５…画像エンコーダ    ２３７…画像デコーダ    ２５１…音声パケット組立部    ２５３…音声パケット分解部    ２５４，２５８…バッファメモリ    ２５５，２５９…タイマ    ２５６…画像パケット組立部    ２５７…画像パケット分解部    ２６０…計時部    ２７１…帯域保証回線通信部    ２７３…帯域非保証回線通信部
【図１】
2008148255.tif 000003
【図２】
2008148255.tif 000004
【図３】
2008148255.tif 000005