(57)【要約】  会議端末装置（２００）であって、音声信号の入力を受け付ける入力部（２０１）と、音声信号の所定の区間ごとの目標サイズを算出する解析部（２０２）と、所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように音声信号を符号化することでデータストリームを生成する符号化部（２０３）と、生成されたデータストリームをネットワークに送信するストリーム送信部（２０４）と、他の端末装置から送信されたデータストリームを受信する受信部（２０５）と、受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、データストリームに含まれる区間データを復号するか否かを判断するフィルタ部（２０６）と、復号すると判断された区間データを復号することで音声信号を生成する復号部（２０７）と、復号部（２０７）により生成された音声信号を出力する出力部（２０９）とを備える。
2009054141.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置であって、
音声信号の入力を受け付ける入力部と、
前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記符号化部により生成されたデータストリームを前記ネットワークに送信するストリーム送信部と、
前記他の端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、
前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と、
前記復号部により生成された音声信号を出力する出力部と
を備える会議端末装置。
【請求項２】
前記解析部は、前記解析により、前記入力部に入力された音声信号の前記所定の区間ごとの音声パワーを取得し、前記所定の区間ごとの音声パワーと、前記所定の区間ごとの目標サイズとが正の相関関係になるように、前記所定の区間ごとの目標サイズを算出する
請求項１記載の会議端末装置。
【請求項３】
前記受信部は、他の端末装置を含む複数の他の端末装置それぞれから送信されたデータストリームを受信し、
前記フィルタ部は、前記受信部により受信された複数のデータストリームに含まれる、並行して出力されるべき複数の音声信号に対応する複数の区間データの中から、データサイズの大きい順に所定の数だけ選択し、選択した区間データを復号すると判断する
請求項１記載の会議端末装置。
【請求項４】
さらに、複数の音声信号をミキシングすることでミキシング信号を生成するミキシング部を備え、
前記復号部は、前記フィルタ部に復号すると判断された複数の区間データを復号することで複数の音声信号を生成し、
前記ミキシング部は、前記復号部により生成された複数の音声信号をミキシングすることでミキシング信号を生成し、
前記出力部は、前記ミキシング部により生成されたミキシング信号を出力する
請求項３記載の会議端末装置。
【請求項５】
さらに、前記符号化部により生成されたデータストリームの、前記複数の他の端末装置それぞれから送信されるデータストリームに対する優先度を示す優先度情報を、前記符号化部により生成されたデータストリームに付加する優先度設定部を備える
請求項３記載の会議端末装置。
【請求項６】
さらに、前記受信部により受信されたデータストリームの優先度を示す優先度情報を取得する優先度取得部を備え、
前記フィルタ部は、前記優先度取得部により取得された優先度情報が、前記データストリームが最優先であることを示す場合、前記データストリームに含まれる区間データのデータサイズに関わらず、前記区間データを復号すると判断する
請求項３記載の会議端末装置。
【請求項７】
さらに、前記フィルタ部に復号すると判断されなかった区間データを蓄積する蓄積部を備え、
前記復号部はさらに、前記フィルタ部に復号すると判断された区間データの復号を行っていない間に、前記蓄積部に蓄積された区間データを復号することで音声信号を生成し、
前記出力部はさらに、前記フィルタ部に復号すると判断されなかった区間データが前記復号部により復号されることにより生成された音声信号を出力する
請求項１記載の会議端末装置。
【請求項８】
複数の端末装置と接続され、前記複数の端末装置の間のデータストリームの送受信を中継する中継装置であって、
前記複数の端末装置のうちのいずれかの端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するか否かを判断するフィルタ部と、
前記フィルタ部に送信すると判断された区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するデータ送信部と
を備える中継装置。
【請求項９】
ネットワークを介して接続された複数の会議端末装置を備え、前記複数の会議端末装置の相互間で音声通信を行う会議システムであって、
前記複数の会議端末装置のそれぞれは、
音声信号の入力を受け付ける入力部と、
前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記符号化部により生成されたデータストリームを前記ネットワークに送信するストリーム送信部と、
前記他の端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、
前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と、
前記復号部により生成された音声信号を出力する出力部と
を備える会議システム。
【請求項１０】
ネットワークを介して接続された複数の会議端末装置と中継装置とを備え、前記複数の会議端末装置の相互間で前記中継装置を介した音声通信を行う会議システムであって、
前記複数の会議端末装置のそれぞれは、
音声信号の入力を受け付ける入力部と、
前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記符号化部により生成されたデータストリームを前記中継装置に送信するストリーム送信部と、
他の会議端末装置から送信されたデータストリームに含まれる前記所定の区間ごとのデータである区間データを前記中継装置から受信する受信部と、
前記受信部により受信された区間データを復号することで音声信号を生成する復号部と、
前記復号部により生成された音声信号を出力する出力部とを備え、
前記中継装置は、
前記複数の会議端末装置のうちのいずれかの会議端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号すべきか否かを判断するフィルタ部と、
前記フィルタ部に復号すべきと判断された区間データを、前記データストリームの送信元の会議端末装置以外の会議端末装置に送信するデータ送信部と
を備える会議システム。
【請求項１１】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置により行なわれる通信方法であって、
前記会議端末装置に入力される音声信号を取得し、
取得された音声信号の解析を行い、
前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出し、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成し、
前記符号化部により生成されたデータストリームを前記ネットワークに送信し、
前記他の端末装置から送信されたデータストリームを受信し、
受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断し、
復号すると判断された区間データを復号することで音声信号を生成し、
生成された音声信号を出力する
通信方法。
【請求項１２】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置の動作を制御するプログラムであって、
前記会議端末装置に入力される音声信号を取得し、
取得された音声信号の解析を行い、
前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出し、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成し、
前記符号化部により生成されたデータストリームを前記ネットワークに送信し、
前記他の端末装置から送信されたデータストリームを受信し、
受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断し、
復号すると判断された区間データを復号することで音声信号を生成し、
生成された音声信号を出力する
ことをコンピュータに実行させるためのプログラム。
【請求項１３】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置が備える集積回路であって、
前記会議端末装置に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記他の端末装置から送信され、前記会議端末装置により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、
前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰネットワークを介して複数の端末間で音声通信を行うための、会議端末装置、中継装置、および、会議システムに関する。
【背景技術】
【０００２】
近年、ＩＰネットワークの普及に伴い、ＩＰネットワークを利用した映像および音声の通信が可能となっている。これにより、多地点間で映像や音声の通信を実現する多地点会議システムが実用化されている。【０００３】
多地点会議システムの各端末間の接続方式は、一般にメッシュ型とスター型とに分類される。これら接続方式を図１に示す。【０００４】
なお、図１のメッシュ型の接続方式を示す図では、簡略化のため、拠点Ａを中心とした接続関係のみを示し、他の端末を中心とした接続関係は省略されている。【０００５】
メッシュ型では、端末数がＮの場合に各端末は中継地点を経由せずに他のＮ−１端末と直接接続される。この場合、ネットワークを流れるストリームが余分な中継地点を経由しない。そのため、端末数が増えてもストリームの遅延は変わらない。【０００６】
しかし、各端末がＮ−１のストリームを復号する必要があるため、端末の性能に依存して接続拠点数を制限しなければならない。また、ネットワークのトラフィックが増加することで、パケットの遅延が発生するなどの欠点がある。【０００７】
スター型では、各端末から送信されたストリームが一度ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）に集約される。さらにＭＣＵでそれらストリームの復号とミキシングがなされ、ミキシングされた音声信号が符号化され各端末に送信される。【０００８】
この場合、各端末はミキシングされた音声信号のストリームを復号すればよいため、端末数が増えても各端末に負荷はかからない。しかし、ＭＣＵを経由することでストリームの遅延が発生する。また、ＭＣＵに大きな負荷がかかるなどの欠点がある。【０００９】
このように、接続方式がメッシュ型であっても、スター型であっても、多地点会議システムでは、各端末またはＭＣＵに大きな処理の負荷がかかる傾向にある。そこで、音声パワーの情報に基づいて音声データの削除を行うことでネットワーク負荷や復号の処理量を軽減する手法が提案されている（例えば特許文献１参照）。
【特許文献１】特開２０００−２５２９８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
多地点会議システムが実用化されるにつれて、ユーザは、より多くの端末でより多くの人が会議に参加できることを求め、かつ、従来は実現し得なかった高音質を求める段階になってきている。【００１１】
特に、高音質の会議システムを実現するには帯域の狭い音声コーデックではなく、楽曲に用いられているＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）  Ａｕｄｉｏを採用する必要がある。【００１２】
しかしながら、前記従来技術の特許文献１のように不要なストリームを削除するには、音声パワーの情報が含まれているＧ．７２９などの音声コーデックを用いなければならない。【００１３】
なお、ＭＰＥＧ  Ａｕｄｉｏにおいてもストリームに音声パワーの情報の一種であるゲイン情報は含まれている。しかし、ストリームを一度復号しなければ正確な音声パワーを取得することができない。【００１４】
つまり、ＭＰＥＧ  Ａｕｄｉｏ規格に準じたストリームから正確な音声パワーを取得するには、そのための復号というさらなる処理負荷が発生することになる。【００１５】
また、仮に、各端末から送信されるストリームのデータ量が削減された場合においても、それぞれの端末は、他の端末の数だけのストリームに対する復号処理を並行して行う必要がある。そのため、端末数の増加は、そのまま各端末の処理負荷の増加を招くことになる。【００１６】
本発明は、上記従来の課題を考慮し、高音質を実現し、かつ、同時参加者数が増加することによる処理負荷の増加を抑制できる会議端末装置、中継装置、および会議システムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の会議端末装置は、ネットワークを介して他の端末装置と音声通信を行う会議端末装置であって、音声信号の入力を受け付ける入力部と、前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する符号化部と、前記符号化部により生成されたデータストリームを前記ネットワークに送信するストリーム送信部と、前記他の端末装置から送信されたデータストリームを受信する受信部と、前記受信部により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と、前記復号部により生成された音声信号を出力する出力部とを備える。【００１８】
本発明の会議端末装置は、上記構成により、データストリームに音声パワーを示す情報を付加すること、または、データストリームとは別に音声パワーを示す情報を送受信することなどの処理を行うことなく、データストリームの区分ごとのデータサイズにより、他の端末にそれら区分ごとの音声パワーの大きさを知らせることができる。【００１９】
また、本発明の会議端末装置は、上記構成により、他の端末から受信するデータストリームの区分ごとの音声パワーの大きさを、当該データストリームを復号することなく、それら区分ごとのデータ量により知ることができる。さらに、実質的には音声会議に不要と考えられる音声パワーの比較的小さな区間データを復号することなく、音声パワーの比較的大きな区間のみを復号することができる。【００２０】
また、本発明の中継装置は、複数の端末装置と接続され、前記複数の端末装置の間のデータストリームの送受信を中継する中継装置であって、前記複数の端末装置のうちのいずれかの端末装置から送信されたデータストリームを受信する受信部と、前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するか否かを判断するフィルタ部と、前記フィルタ部に送信すると判断された区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するデータ送信部とを備える。【００２１】
本発明の中継装置は、上記構成により、端末装置からデータストリームを受信した場合、当該データストリームを復号することなく、区分ごとのデータサイズを参照することで、当該データストリームの全部または一部を他の端末装置へ送信するか否かを判断することができる。【００２２】
また、本発明の第一の会議システムは、本発明の会議端末装置を複数備えることで実現される。【００２３】
また、本発明の第二の会議システムは、ネットワークを介して接続された複数の会議端末装置と中継装置とを備え、前記複数の会議端末装置の相互間で前記中継装置を介した音声通信を行う会議システムであって、前記複数の会議端末装置のそれぞれは、音声信号の入力を受け付ける入力部と、前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成する符号化部と、前記符号化部により生成されたデータストリームを前記中継装置に送信するストリーム送信部と、他の会議端末装置から送信されたデータストリームに含まれる前記所定の区間ごとのデータである区間データを前記中継装置から受信する受信部と、前記受信部により受信された区間データを復号することで音声信号を生成する復号部と、前記復号部により生成された音声信号を出力する出力部とを備え、前記中継装置は、前記複数の会議端末装置のうちのいずれかの会議端末装置から送信されたデータストリームを受信する受信部と、前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号すべきか否かを判断するフィルタ部と、前記フィルタ部に復号すべきと判断された区間データを、前記データストリームの送信元の会議端末装置以外の会議端末装置に送信するデータ送信部とを備える。
【発明の効果】
【００２４】
本発明の会議端末装置によれば、音声パワーを示す情報をデータストリームに付加することなどの処理を行うことなく、他の端末にそれら区分ごとの音声パワーの大きさを知らせることができる。【００２５】
また、本発明の会議端末装置によれば、他の端末から受信したデータストリームについて、音声パワーが比較的小さな区間データは復号しないなどの判断が可能である。つまり、復号処理に掛かる負荷を従来よりも軽減することができる。【００２６】
そのため、本発明の会議端末装置は、ＭＰＥＧ２  ＡＡＣなどの既存のコーデックを符号化方式として採用でき、かつ、当該会議端末装置および通信相手の端末における復号処理の負荷を軽減することが可能となる。【００２７】
また、本発明の中継装置によれば、複数の端末間でやり取りされるデータストリームに対し、実質的には音声会議に不要と考えられる音声パワーの比較的小さな区間データをフィルタリングすることができる。【００２８】
このように、本発明は、高音質を実現し、かつ、同時参加者数が増加することによる処理負荷の増加を抑制できる会議端末装置、中継装置、および会議システムを提供することができる。【００２９】
つまり、本発明により、従来の同時参加端末数を大幅に上回る端末を備える多地点会議システムを構築することが可能となる。
【図面の簡単な説明】
【００３０】
【図１】図１は、従来の多地点会議システムにおける端末の接続方式の例を示す図である。
【図２】図２は、本発明の実施の形態１における多地点会議システムの構成を示す図である。
【図３】図３は、実施の形態１の会議端末装置におけるデータストリームの送信に係る処理の流れを示すフロー図である。
【図４】図４は、実施の形態１の会議端末装置に入力された音声信号の一例を示す図である。
【図５】図５は、従来のオーディオストリームのデータサイズの一例を示す図である。
【図６】図６は、実施の形態１におけるデータストリームのデータサイズの一例を示す図である。
【図７】図７は、複数の端末のそれぞれから送信されるデータストリームのフレームごとのデータサイズの例を示す図である。
【図８】図８は、実施の形態１の会議端末装置におけるデータストリームの受信に係る処理の流れを示すフロー図である。
【図９】図９は、実施の形態１の会議端末装置における復号可否の判断処理の一例を示す図である。
【図１０】図１０は、本発明の実施の形態２における多地点会議システムの構成を示す図である。
【図１１】図１１は、実施の形態２の会議端末装置におけるデータストリームの受信に係る処理の流れを示すフロー図である。
【図１２】図１２は、実施の形態２の会議端末装置における、優先度情報が考慮された復号可否の判断処理の一例を示す図である。
【図１３】図１３は、本発明の実施の形態３における多地点会議システムの構成を示す図である。
【図１４】図１４は、本発明の実施の形態４における多地点会議システムの構成を示す図である。
【図１５】図１５は、本発明の実施の形態４の会議端末装置が行うフレームの蓄積および復号を説明するための図である。
【符号の説明】
【００３１】
２００、７００、１０００  会議端末装置
２０１、７０１、１００１    入力部
２０２、７０２、１００２    解析部
２０３、７０３、１００３    符号化部
２０４、７０４、９０３、１００４    送信部
２０５、７０５、９０１、１００５    受信部
２０６、７０６、９０２、１００６    フィルタ部
２０７、７０７、１００７    復号部
２０８、７０８、１００８    ミキシング部
２０９、７０９、１００９    出力部
２５０、７５０、９５０、１０５０    多地点会議システム
７１０    優先度設定部
７１１    優先度取得部
１０１０    蓄積部
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態について、図面を参照しながら説明する。【００３３】
（実施の形態１）
図２は、本発明の実施の形態１における多地点会議システム２５０の構成を示す図である。【００３４】
実施の形態１における多地点会議システム２５０は、ＩＰネットワークにより相互に接続する複数の端末から構成される。【００３５】
図２に示すように、例えば、多地点会議システム２５０は端末Ａ〜端末Ｈのいずれかの名称が付された８つの端末がＩＰネットワークを介して相互に接続する構成からなる。また、図２では、会議端末装置２００に端末Ａという名称が付されているが、端末Ｂ〜端末Ｈのいずれの端末も会議端末装置２００または、会議端末装置２００と同等の機能を有する端末装置である。【００３６】
また、本実施の形態では、多地点会議システム２５０は、ＭＣＵを省略するために、各端末はＩＰネットワークを介してメッシュ型で接続されているものと仮定する。しかし、多地点会議システム２５０の接続方式としてスター型を採用してもよい。【００３７】
会議端末装置２００は、入力部２０１、解析部２０２、符号化部２０３、送信部２０４、受信部２０５、フィルタ部２０６、復号部２０７、ミキシング部２０８、および出力部２０９を備える。【００３８】
入力部２０１は、例えばマイクロフォンを介して音声信号の入力を受け付ける処理部である。【００３９】
解析部２０２は、入力された音声信号を解析し、解析結果に応じて、音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する処理部である。【００４０】
符号化部２０３は、所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように音声信号を符号化することでデータストリームを生成する処理部である。【００４１】
送信部２０４は、符号化部２０３により生成されたデータストリームをパケット化しＩＰネットワークに送信する処理部である。【００４２】
受信部２０５は、他の端末から送信されたデータストリームを受信する処理部である。【００４３】
フィルタ部２０６は、受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、当該データストリームに含まれる所定の区間ごとのデータである区間データを復号するか否かを判断する処理部である。また、フィルタ部２０６は、復号しないと判断した区間データの削除を行ってもよい。【００４４】
復号部２０７は、フィルタ部２０６に復号すると判断された区間データを復号することで音声信号を生成する処理部である。【００４５】
ミキシング部２０８は、復号部２０７で生成された音声信号が複数ある場合、会議端末装置２００の再生環境に応じて、ミキシングを行う処理部である。【００４６】
なお、ここで会議端末装置２００の再生環境とは、例えば、会議端末装置２００に接続されたスピーカ等の音声出力機器の種類、性能、または数を示すが、会議端末装置２００が置かれた場所の音響状態等に応じて、ミキシング処理をするものでもよい。【００４７】
出力部２０９は、ミキシング部２０８で音声信号がミキシングされた場合はミキシングされた音声信号を、ミキシングされなかった場合は、復号部２０７で生成された、ミキシングされていない音声信号を出力する処理部である。【００４８】
なお、実施の形態１、および後述する実施の形態２〜４においては、上記の区間データとして、データストリームを構成する単位であるフレームが採用されているが、１秒ごとなど所定の期間であってもよい。また、データストリームを生成する符号化方式としては、例えば、ＭＰＥＧ２  ＡＡＣが採用される。【００４９】
ＭＰＥＧ２  ＡＡＣの場合、サンプリング周波数が４８ｋＨｚであれば、フレーム長は約２１．３ｍｓ（ミリ秒）である。【００５０】
このように構成された会議端末装置２００において、音声信号が入力されてから符号化を経てストリームが送信されるまでの処理を、図３〜図９を参照しながら説明する。【００５１】
まず、会議端末装置２００の送信処理の流れを図３を参照しながら説明する。【００５２】
図３は、実施の形態１の会議端末装置２００におけるデータストリームの送信に係る処理の流れを示すフロー図である。【００５３】
まず、入力部２０１は、音声信号の入力を受け付けることで、当該音声信号を取得する（Ｓ１００）。【００５４】
次に、解析部２０２は音声信号を解析した結果に基づき、フレームごとの目標サイズを算出する（Ｓ１０１）。具体的には、解析部２０２は音声信号を解析することにより、フレームごとの音声パワーを取得する。さらに、取得したそれぞれの音声パワーに基づいてフレームごとの目標サイズを算出する。【００５５】
この算出処理の内容を図４〜図６を用いて説明する。【００５６】
図４は、会議端末装置２００に入力された音声信号の一例を示す図である。【００５７】
図５は、従来のオーディオストリームのデータサイズの一例を示す図である。【００５８】
図６は、実施の形態１におけるデータストリームのデータサイズの一例を示す図である。【００５９】
会議端末装置２００に入力される音声信号は、会議端末装置２００を使用する参加者の発話により生成される信号である。そのため、図４に示すように、音声信号には、一般的に、振幅がゼロまたは非常に小さい区間である無音区間が複数存在することになる。【００６０】
この音声信号をＭＰＥＧ２  ＡＡＣなどのオーディオコーデックで従来通り符号化すると、図５に示すように各フレームのサイズが一定のレートを保とうとする。【００６１】
これは従来のＭＰＥＧ２  ＡＡＣなどのオーディオコーデックが放送途用として設計されているためである。【００６２】
従って、従来では、音声信号に無音区間が含まれている場合であっても、データストリームは一定のビットレートで送り出されることになる。これにより、実際には無音区間に対応するデータサイズが０に近くなることはない。【００６３】
一方、本実施の形態の会議端末装置２００は、フレームごとの目標サイズを算出する解析部２０２を備える。これにより、データストリームのフレームごとのデータサイズを音声パワーに応じて変化させることができる。【００６４】
解析部２０２は、本実施の形態においては、フレームごとの音声パワーと、フレームごとの目標サイズとが正の相関関係になるように、フレームごとの目標サイズを算出する。【００６５】
具体的には、解析部２０２は、図６に示すように、無音区間などの音声パワーが小さい部分のデータサイズが、音声パワーに比例させて小さくなるように目標サイズを算出する。【００６６】
なお、フレームごとの音声パワーと、フレームごとの目標サイズとは線形に比例してもよく、非線形に比例してもよい。例えば、解析部２０２は、フレームの音声パワーが所定の範囲内であれば、予め設定された値をそのフレームの目標サイズとして算出してもよい。【００６７】
算出されたそれぞれの目標サイズは、符号化部２０３に出力され、符号化部２０３では、それら目標サイズが反映されたデータストリームが生成される。【００６８】
これにより、会議端末装置２００から送信されたデータストリームを受信した他の端末は、そのデータストリームが、ＭＰＥＧ２  ＡＡＣなどの可変長フレームのコーデックにより生成されたものであっても、そのデータストリームを復号することなく、フレームごとのデータサイズからフレームごとの音声パワーを容易に推定することが可能である。【００６９】
このように、解析部２０２は、解析の結果に応じて、音声信号のフレームごとの目標とする符号化後のデータサイズである目標サイズを算出する。【００７０】
次に、符号化部２０３は、フレームごとの符号化後のデータサイズが、それぞれのフレームに対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する（Ｓ１０２）。【００７１】
生成されたデータストリームは送信部２０４によりパケット化され、ＩＰネットワークを経由して他の端末へ送信される（Ｓ１０３）。【００７２】
次に、会議端末装置２００が、ＩＰネットワークから受信したストリームを復号して音声を出力するまでの処理について説明する。【００７３】
なお、上述のように、端末Ｂ〜端末Ｈのそれぞれは、会議端末装置２００、または会議端末装置２００と同等の機能を備える端末である。【００７４】
従って、端末Ｂ〜端末Ｈのそれぞれから送信されるデータストリームのフレームごとのデータサイズは、それぞれのソースである音声信号の音声パワーが反映されている。【００７５】
図７は、端末Ｂ〜端末Ｈのそれぞれから送信されるデータストリームのフレームごとのデータサイズの例を示す図である。【００７６】
図７において、ドットが付された矩形の左右方向の長さは、フレームごとのデータサイズを表している。【００７７】
このようなフレームごとにデータサイズが異なるデータストリームは、ＩＰネットワークを介して端末Ａである会議端末装置２００に到達する。【００７８】
このような前提において会議端末装置２００が行うデータ受信に係る処理を図８および図９を用いて説明する。【００７９】
図８は、実施の形態１の会議端末装置２００におけるデータストリームの受信に係る処理の流れを示すフロー図である。【００８０】
図８に示すように、各端末からＩＰネットワークを介して送られてくるデータストリームは、受信部２０５により受信される（Ｓ２００）。【００８１】
フィルタ部２０６は、受信した各データストリームのフレームごとのデータサイズを参照し、各データストリームのフレームごとのデータ、つまり、各データストリームに含まれる区間データのそれぞれを復号するか否かを判断する。【００８２】
具体的には、フィルタ部２０６はまず、受信部２０５が受信した各端末のデータストリームのそれぞれから特定の時刻におけるフレームのデータサイズを算出する（Ｓ２０１）。このときのデータサイズは、端末のＩＤをキー、データサイズを値とする連想配列でフィルタ部２０６が有する所定の記録媒体に保持する。【００８３】
次に、フィルタ部２０６は、複数のフレームについてデータサイズによる並べ替えを行う（Ｓ２０２）。これは、この連想配列を値で降順に並び替えることで実現する。なお、端末とデータサイズとを対応付けてフレームを並べ替えることができればよいので、この方法に限られない。【００８４】
また、「フレームを並べ替える」とは、実際にフレームそのものを例えば記録媒体内で並べ替えることを意味するのではなく、復号するフレームの選択のための順位付けを行うことを意味する。【００８５】
フィルタ部２０６は、最後に、復号する区間データを判断する（Ｓ２０３）。この判断は、例えば、データサイズが所定の閾値よりも小さいフレームを、復号の対象から外す、または削除するものとして選択することで実現する。【００８６】
なお、複数のフレームの中から復号するフレームを判断する手法は、他にも存在する。【００８７】
例えば、この判断は、複数のフレームの中から、データサイズが小さい順に所定の数だけ復号の対象から外す、または削除するものとして選択することでも実現する。【００８８】
また、例えば、この判断は、データサイズが所定の閾値よりも大きなフレームを復号の対象として選択することでも実現する。【００８９】
また、例えば、この判断は、複数のフレームの中から、データサイズが大きい順に所定の数だけ復号の対象として選択することでも実現する。【００９０】
なお、フィルタ部２０６は、単純にフレームのデータサイズのみにより復号化対象を判断するのではなく、あまりに短い瞬間にパワーが大きくなった場合には、物音の可能性が高いと判断し、復号化の対象から外す等の判断を行ってもよい。【００９１】
なお、会議端末装置２００が並行して復号するフレームの数、つまり、上記の各種の判断において復号の対象とするフレームの数は、例えば会議端末装置２００の処理能力に応じて決定される。【００９２】
図９は、実施の形態１の会議端末装置２００における復号可否の判断処理の一例を示す図である。【００９３】
なお、図９は、フィルタ部２０６が、複数のフレームの中から、データサイズの大きい順に２つだけ選択する場合を例示している。【００９４】
図９に示すように、並行して出力されるべき複数の音声信号に対応する複数のフレームのうち、ある区間については、端末Ｅのフレームのデータサイズが最も大きく、次に端末Ｆのフレームのデータサイズが大きい場合を想定する。【００９５】
この場合、フィルタ部２０６は、端末Ｅのフレームと端末Ｆのフレームとを復号するデータとして選択し、選択したフレームを復号すると判断する。また、復号すると判断されなかったフレームは削除してもよい。【００９６】
このような判断は、例えば、フレーム長ごとだけでなく、１秒ごとなど、所定の期間ごとに行ってもよい。【００９７】
なお、ストリームに含まれるフレームのデータサイズはあらかじめ当該フレームに対応する音声パワーから決定されている。そのため、削除されたまたは復号の対象から外されたフレームは音声パワーが比較的小さなものである。【００９８】
従って、当該フレームが復号され音出力されたとしても音声パワーの大きな他の音声にマスキングされる可能性が高い。【００９９】
そのため、マスキングされる可能性が高いフレームを削除しても、聞き手には実質的に問題はない。【０１００】
会議端末装置２００は、このような処理を行うことにより、同時参加端末数が増えた場合にもマスキングされる可能性の高いフレームは削除される。そのため、会議端末装置２００における復号時の処理負荷を抑えることができる。結果として、会議端末装置２００を参加者が使用する端末として採用した場合、従来以上の同時参加者数の音声会議が可能となる。【０１０１】
次に、復号部２０７は、フィルタ部２０６を通過したストリームの復号を行う。つまり、フィルタ部２０６により復号すると判断されたフレームの復号を行う（Ｓ２０４）。【０１０２】
ミキシング部２０８は復号部２０７から得られる多地点の音声信号（図９の場合は２つの音声信号）を会議端末装置２００の再生環境にあわせてミキシングを行う。【０１０３】
会議端末装置２００の再生環境とは、例えば、会議端末装置２００に接続されたスピーカーの数または種類などである。【０１０４】
最後に、出力部２０９は、ミキシング部２０８から得られるミキシング信号を出力する（Ｓ２０５）。【０１０５】
以上のように、本実施の形態１の会議端末装置２００によれば、入力された音声信号に対し、実際の音声パワーに基づいた所定の区間ごとのデータサイズを目標に符号化を行う。【０１０６】
これにより、会議端末装置２００からストリームを受信した他の端末は、当該ストリームを復号することなく所定の区間ごとの音声パワーを推定できる。つまり、当該ストリームを所定の区間ごとに復号するか否かを判断することができる。【０１０７】
会議端末装置２００はさらに、受信したストリームの所定の区間ごとのデータサイズから、復号して出力すべき区間データを決定する。【０１０８】
つまり、会議端末装置２００は、受信したストリームを復号することなく、所定の区間ごとのデータサイズを参照することで、当該ストリームの所定の区間ごとの音声パワーを推定できる。【０１０９】
これにより、会議端末装置２００は、例えば、出力したとしても他の音声にマスキングされ、聞き取られる可能性の低い、音声パワーの比較的小さな音声の元データである区間データを復号しないことができる。【０１１０】
会議端末装置２００は、このような処理を行う構成であることにより、ＭＰＥＧ２  ＡＡＣなどの高音質を実現可能なコーデックを採用した場合であっても、各端末でストリームの復号の可否の判断が容易に可能である。そのため、会議端末装置２００を参加者が使用する端末として採用することにより、多数の端末でユーザが参加する高音質会議システムを実現することが可能である。【０１１１】
（実施の形態２）
図１０は、本発明の実施の形態２における多地点会議システム７５０の構成を示す図である。【０１１２】
実施の形態２の会議端末装置７００は、入力部７０１、解析部７０２、符号化部７０３、送信部７０４、受信部７０５、フィルタ部７０６、復号部７０７、ミキシング部７０８、出力部７０９、優先度設定部７１０および、優先度取得部７１１を備える。【０１１３】
このように、実施の形態２の会議端末装置７００は、実施の形態１の会議端末装置２００が備える処理部に加え、データストリームの優先度を示す優先度情報を当該データストリームに付加する優先度設定部７１０と、受信されたデータストリームから優先度情報を取得するための優先度取得部７１１とを備える。【０１１４】
なお、優先度情報は、データストリームとは別に送受信しても良い。【０１１５】
また、実施の形態２におけるフィルタ部７０６は、フレームの復号可否の判断において、そのフレームに対応付けられた優先度を考慮する点で実施の形態１におけるフィルタ部２０６とは異なる。【０１１６】
以下、新たに付加された構成要件について重点的に説明し、その他の構成要件については実施の形態１と同様であるのでその説明を省略する。【０１１７】
優先度情報は整数やアルファベットで表される情報であり、例えば“０”を最優先とする整数で表される。【０１１８】
なお、優先度情報は、比較により区間データの並べ替えが可能な情報であればどのようなものでもよい。【０１１９】
優先度設定部７１０は、符号化部７０３から得られるデータストリームに、当該端末（図１０では端末Ａ）を使用する参加者の優先度を示す優先度情報を付加する。【０１２０】
なお、参加者の優先度により、選択された一つ以上の端末のみが、優先度情報を送信することとし、その他の端末は送信しない構成としてもよい。【０１２１】
一方、優先度取得部７１１は、受信部７０５が受信したデータストリームから優先度情報を取得する。【０１２２】
フィルタ部７０６は、優先度取得部７１１から取得された優先度情報を参照し、優先順位の高いデータストリームに含まれるフレームを優先的に復号部７０７に出力する。【０１２３】
図１１は、実施の形態２の会議端末装置７００におけるデータストリームの受信に係る処理の流れを示すフロー図である。【０１２４】
図１１に示すように、各端末からＩＰネットワークを介して送られてくるデータストリームは、受信部７０５により受信される（Ｓ３００）。【０１２５】
フィルタ部７０６は、受信した各データストリームの優先度情報およびフレームごとのデータサイズを参照し、各データストリームに含まれる区間データ、つまり、各データストリームに含まれるフレームのそれぞれを復号するか否かを判断する。【０１２６】
具体的には、フィルタ部７０６は、実施の形態１のフィルタ部２０６と同じく、受信部７０５が受信した各端末のデータストリームのそれぞれから特定の時刻におけるフレームのデータサイズを算出する（Ｓ３０１）。【０１２７】
また、優先度取得部７１１は、受信部７０５が受信した各端末のデータストリームのそれぞれから、優先度情報を読み出す。読み出された優先度情報は、フィルタ部７０６に出力される（Ｓ３０２）。【０１２８】
フィルタ部７０６は、始めに優先度が高い順にフレームを並び替え、次に同じ優先度のフレームが複数ある場合、これらをデータサイズが降順になるように並び替える（Ｓ３０３）。また、対応する優先度情報がないフレームは、最も優先度が低いと判断し、並び替える。【０１２９】
フィルタ部７０６は、この並び替えの結果に基づき、例えば上位から２番目までのフレームを選択し、選択した２つのフレームを復号すると判断する。【０１３０】
図１２は、実施の形態２の会議端末装置７００における、優先度情報が考慮された復号可否の判断処理の一例を示す概要図である。【０１３１】
図１２に示すように、端末Ｂのフレームはデータサイズが最も大きなものではない。しかし、端末Ｂから受信したデータストリームには優先度情報として“０”が付加されているため、フィルタ部７０６は、復号するフレームとして最も高い優先順位を端末Ｂのフレームに与える。【０１３２】
フィルタ部７０６はさらに、優先度情報“１”と対応付けられた他の複数のフレームをデータサイズにより降順に並べ替える。【０１３３】
この並べ替えの結果、図１２に示すように、フィルタ部７０６は、復号する区間データとしての優先順位が２位までのフレームを復号すると判断する。【０１３４】
つまり、優先度が最も高い端末Ｂのフレームと、残りの端末Ｃ〜端末Ｈのフレームの中でデータサイズの最も大きな端末Ｄのフレームとが、復号の対象として選択される。【０１３５】
上記判断処理の後、実施の形態１と同様に復号処理等が行われる。具体的には、復号部７０７は、フィルタ部７０６により復号すると判断されたフレームの復号を行い（Ｓ３０５）、ミキシング部７０８は復号部７０７から得られる２つの音声信号を会議端末装置７００の再生環境にあわせてミキシングを行う。【０１３６】
最後に、出力部７０９は、ミキシング部７０８から得られるミキシング信号を出力する（Ｓ３０６）。【０１３７】
なお、各端末がデータストリームに付加する優先度情報は、それら端末を使用する参加者の人数や、属性等によって設定される。各端末に対応する優先度情報は、全ての端末間で共有したり、ある１つの端末が各端末に対応する優先度情報を設定し、その他の各端末に送信したりすることで、矛盾や混乱が生じないように設定される。【０１３８】
例えば、端末Ａから端末Ｂに優先度情報“０”を送信する。また、端末Ａから、端末Ｃ〜端末Ｈのそれぞれに優先度情報“１”を送信する。【０１３９】
端末Ｂは優先度情報“０”を受信し、自身が出力するデータストリームに優先度情報“０”を付加する。端末Ｃ〜端末Ｈのそれぞれでは、データストリームに優先度情報“１”が付加される。【０１４０】
これにより、端末Ｂから送信されるデータストリームは他の端末において優先的に復号される。つまり、端末Ｂを使用する参加者の発言を、他の端末を使用する参加者に優先的に聞かせることができる。このように、各端末がランダムに自己に対応する優先度情報を設定しない構成とすることで、矛盾や混乱は生じない。【０１４１】
実施の形態２の会議端末装置７００は、このようにデータストリームに付加された優先度情報を考慮した上で選択的に区間データを復号する。【０１４２】
つまり、少なくとも優先度が最も高い区間データは、音声パワーの大小に関わらず必ず復号されることになる。これにより、音声会議における進行役などの特殊な端末の音声を優先的に復号することが可能となる。【０１４３】
（実施の形態３）
図１３は、本発明の実施の形態３における多地点会議システム９５０の構成を示す図である。【０１４４】
実施の形態３における多地点会議システム９５０は、フィルタ部９０２を有するＭＣＵ９００を備える。【０１４５】
ＭＣＵ９００は、受信部９０１、送信部９０３、およびフィルタ部９０２を有する。【０１４６】
フィルタ部９０２は、受信部９０１により受信されたデータストリームに含まれるフレームを、データサイズに基づいて、当該データストリームの送信元の端末装置以外の端末装置に送信するか否かを判断する。【０１４７】
送信部９０３は、フィルタ部９０２に選択されたフレームを当該データストリームの送信元の端末装置以外の端末装置に送信する。【０１４８】
なお、ＭＣＵ９００は、本発明の中継装置の一例であり、ＩＰネットワークを介して端末Ａ等の複数の端末と接続されている。【０１４９】
また、実施の形態３における送信部９０３および受信部９０１は、実施の形態１における送信部２０４および受信部２０５と同じ機能を有する。【０１５０】
従来、メッシュ型の多地点会議システムでは、同時参加端末数が増加するに従い、ネットワークのトラフィックが増加する。【０１５１】
そこで、実施の形態３における多地点会議システム９５０は、このトラフィックを軽減するために、複数のＭＣＵ９００を備えたスター型のネットワークを構成し、ＭＣＵ９００内部において実施の形態１と同様にストリームのフィルタ処理を行う。【０１５２】
なお、端末Ａ〜端末Ｈのそれぞれは、例えば実施の形態１における解析部２０２と符号化部２０３とを備えている。つまり、端末Ａ〜端末Ｈのそれぞれから出力されるデータストリームのフレームごとのデータサイズは、実施の形態１と同じく音声パワーが反映されている。【０１５３】
実施の形態３において、ＭＣＵ９００は、近隣の端末とは直接接続する。つまり、ＭＣＵ９００は、近隣の端末とは他のＭＣＵ９００を介することなく接続する。また、当該ＭＣＵ９００は、遠方の端末とは他のＭＣＵ９００を介して接続する。【０１５４】
このような構成において、各ＭＣＵ９００は、端末Ａ〜端末Ｈから送信されるデータストリームを受信する。【０１５５】
例えば、端末Ａ〜端末Ｂと直接接続されたＭＣＵ９００の受信部９０１は、端末Ａ〜端末Ｈから送信されるデータストリームを受信する。【０１５６】
フィルタ部９０２は、受信部９０１により受信されたデータストリームのフレームごとのデータサイズに基づいて、当該データストリームに含まれるフレームを復号すべきか否かを判断する。【０１５７】
具体的には、フィルタ部９０２は、並行して出力されるべき複数の音声信号に対応する複数のフレームの中からデータサイズの大きい順に所定の数だけ選択する。【０１５８】
例えば、フィルタ部９０２は、端末Ａ〜端末Ｈのフレームの中からデータサイズの大きい順に２つを選択し、送信部９０３に出力する。【０１５９】
送信部９０３は、フィルタ部９０２から受け取ったフレームを、当該ＭＣＵ９００に直接接続された端末Ａ〜端末Ｃのうち、受け取ったフレームの送信元ではない端末に、データストリームとして送信する。【０１６０】
例えば、ある時点の端末Ａ〜端末Ｈのフレームのうち、端末Ａと端末Ｆのフレームがフィルタ部９０２により選択された場合、端末Ａのフレームは、端末Ｂおよび端末Ｃに送信される。また、端末Ｆのフレームは、端末Ａ、端末Ｂ、および端末Ｃに送信される。【０１６１】
なお、複数のＭＣＵ９００それぞれのフィルタ部９０２には、同じだけの数の区間データを選択するように設定されている。つまり、本例においては、図１３に示す３つのＭＣＵ９００それぞれのフィルタ部９０２には、データサイズの大きい順に２つのフレームを選択するように設定されている。【０１６２】
また、フィルタ部９０２は、このような基準以外の基準で、区間データの選択を行ってもよい。例えば、先に述べたように、閾値とデータサイズとを比較することにより、フレームの取捨選択を行ってもよい。また、例えば、複数のフレームの中からデータサイズの小さい順に所定の数だけ除いたフレームを、送信部９０３に送信させるものとして選択してもよい。【０１６３】
実施の形態３のＭＣＵ９００は、このように、各端末から受信した複数のデータストリームを、所定の区間ごとのデータサイズに基づいて選択的に各端末に送信する。【０１６４】
つまり、ＭＣＵ９００は、これらデータストリームの復号を行うことなく、音声会議に必要と考えられる音声パワーの大きな区間データを選択し、各端末に送信することができる。【０１６５】
これにより、同時参加端末数が増加した場合であっても、多地点会議システム９５０内でのトラフィックの増加を抑制することができる。また、ＭＣＵ９００はデータストリームの復号を行う必要がないため、復号を行う場合よりも、多くの同時参加端末数に対応可能である。【０１６６】
また、多地点会議システム９５０は、複数のＭＣＵ９００を備えることにより、同時参加端末数が増加した場合であっても、データストリームのフィルタ処理の負荷は分散され、良好な音声会議を行うことができる。【０１６７】
（実施の形態４）
図１４は、本発明の実施の形態４における多地点会議システム１０５０の構成を示す図である。【０１６８】
実施の形態４の会議端末装置１０００は、入力部１００１、解析部１００２、符号化部１００３、送信部１００４、受信部１００５、フィルタ部１００６、復号部１００７、ミキシング部１００８、出力部１００９、および蓄積部１０１０を備える。【０１６９】
このように、実施の形態４の会議端末装置１０００は、実施の形態１の会議端末装置２００が備える処理部に加え、蓄積部１０１０を備えている。【０１７０】
蓄積部１０１０は、フィルタ部１００６に復号すると判断されなかった区間データを蓄積する。蓄積部１０１０は、例えば半導体メモリ等の記憶装置により実現される。【０１７１】
以下、新たに付加された構成要件について重点的に説明し、その他の構成要件については実施の形態１と同様であるのでその説明を省略する。【０１７２】
会議端末装置１０００が行う特徴的な処理について図１５を用いて説明する。【０１７３】
図１５は、本発明の実施の形態４の会議端末装置１０００が行うフレームの蓄積および復号を説明するための図である。【０１７４】
図１５に示すように、端末Ｂのフレームと端末Ｃのフレームとが、データサイズが他のフレームよりも大きいために復号され、端末Ｄのフレームが復号されなかった場合を想定する。【０１７５】
この場合、端末Ｄのフレームのようにフィルタ部１００６に復号すると判断されなかったフレーム、つまり、フィルタ部１００６によりフィルタリングされたフレームは一時的に蓄積部１０１０に蓄積される。【０１７６】
その後、同時発声話者数が減少し、復号部１００７による復号処理が可能になると、蓄積部１０１０は、蓄積した端末Ｄのフレームをフィルタ部１００６に出力する。【０１７７】
フィルタ部１００６は、蓄積部１０１０から取得したフレームを復号部１００７に出力し、当該フレームは復号部１００７により復号される。この復号により得られる音声信号は出力部１００９によって出力される。【０１７８】
なお、一定時間蓄積したフレームを再生することが出来ない場合は、蓄積したフレームは削除される。【０１７９】
これにより、例えば会議端末装置１０００の性能によって本来は同時に復号できない音声も時間をずらすことで復号することが可能となる。なお、蓄積部１０１０に蓄えられるフレームの数は２以上でもよい。【０１８０】
例えば、蓄積部１０１０に４つのフレームが蓄積されている場合を想定する。この場合、同時発声話者数が減少し、復号部１００７による復号処理が可能になると、フィルタ部１００６は、４つのフレームを蓄積部１０１０から取得する。【０１８１】
さらに、フィルタ部１００６は、これら４つのフレームをデータサイズの降順に並べ替え、上位２つのフレームを選択し復号部１００７に出力する。つまり、フィルタ部１００６は、蓄積部１０１０に蓄積されていた複数のフレームについても復号可否の判断を行う。【０１８２】
これにより、多くのフレームが蓄積部１０１０に蓄積された場合であっても、復号部１００７に不要な負荷をかけることがない。また、復号されなかった複数のフレームの中でも、音声会議にとって必要性がより高いと考えられるフレームが復号されることになる。【０１８３】
（実施の形態１〜４についての補足事項）
以上説明した実施の形態１〜４において、複数のフレームの中から復号するフレームとして選択される数は、例えば２つであるとした。【０１８４】
しかしながら、並列して復号するフレームとして選択される数は固定でなくてもよく、一連の音声会議の中で変化させてもよい。【０１８５】
例えば、並行して出力されるべき複数の音声信号に対応する複数のフレームのデータサイズを合計する。さらに、合計されたデータサイズが所定の閾値よりも大きな場合、復号するフレームとして選択される数を２から３に増加させる。【０１８６】
これにより、例えば、通常時は複数のフレームの中から復号するフレームとして選択される数を２とすることで、端末の処理負荷を抑えつつ、発話する参加者が増えた場合、複数のフレームの中から復号するフレームとして選択される数を３に増加させることで、各参加者は、より多くの参加者の発言を聞くことができる。【０１８７】
また、各区間データのデータサイズは、音声パワー以外の情報に依存して変化させてもよい。例えば、解析部２０２（７０２、１００２）が、当該端末を使用する参加者からの指示を取得する。解析部２０２（７０２、１００２）は、その指示に従い、ある一定の期間だけフレームのデータサイズを大きくする。【０１８８】
これにより、当該参加者は、例えば他の参加者にどうしても聞いて欲しい発言を行う場合に、音声パワーの大小に関係なく他の参加者に聞かせることが可能となる。【０１８９】
また、実施の形態１〜４において、データストリームのデータサイズをフレームごとに変化させているが、他の単位ごとに変化させてもよい。【０１９０】
例えば、解析部２０２（７０２、１００２）が、複数のフレームごとの目標サイズを算出し、符号化部２０３（７０３、１００３）は、当該複数のフレームごとのデータサイズの合計が、算出された目標サイズとなるように、各フレームを符号化してもよい。【０１９１】
また、多地点会議システム２５０、７５０、９５０、および１０５０のそれぞれにおいて、各端末を接続するネットワークは、ＩＰネットワーク以外のネットワークでもよい。例えば、ＩＥＥＥ１３９４のネットワークであってもよい。【０１９２】
また、各実施の形態で示した構成要素を任意に組み合わせてもよい。例えば、実施の形態２における、優先度設定部７１０および優先度取得部７１１を備える会議端末装置７００が、実施の形態４における蓄積部１０１０を備えてもよい。【０１９３】
これにより、会議端末装置７００は、優先度を考慮したデータストリームの処理を行うとともに、復号されなかったフレームを、復号処理の負荷が低い期間に復号し出力することができる。【０１９４】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。【０１９５】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。【０１９６】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。【０１９７】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。【０１９８】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。【０１９９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。【０２００】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。【０２０１】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。【０２０２】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。【０２０３】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２０４】
本発明の会議システムは、ＭＰＥＧ２  ＡＡＣなどの可変長のフレームサイズのストリームを生成するコーデックを用いた多地点会議システム等として有用である。また、本発明の会議端末装置および中継装置は、このような多地点会議システムにおける会議端末装置および中継装置等として有用である。
【図１】
2009054141.tif 000003
【図２】
2009054141.tif 000004
【図３】
2009054141.tif 000005
【図４】
2009054141.tif 000006
【図５】
2009054141.tif 000007
【図６】
2009054141.tif 000008
【図７】
2009054141.tif 000009
【図８】
2009054141.tif 000010
【図９】
2009054141.tif 000011
【図１０】
2009054141.tif 000012
【図１１】
2009054141.tif 000013
【図１２】
2009054141.tif 000014
【図１３】
2009054141.tif 000015
【図１４】
2009054141.tif 000016
【図１５】
2009054141.tif 000017
【手続補正書】
【提出日】平成21年5月29日(2009.5.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰネットワークを介して複数の端末間で音声通信を行うための、会議端末装置、中継装置、および、会議システムに関する。
【背景技術】
【０００２】
近年、ＩＰネットワークの普及に伴い、ＩＰネットワークを利用した映像および音声の通信が可能となっている。これにより、多地点間で映像や音声の通信を実現する多地点会議システムが実用化されている。
【０００３】
多地点会議システムの各端末間の接続方式は、一般にメッシュ型とスター型とに分類される。これら接続方式を図１に示す。
【０００４】
なお、図１のメッシュ型の接続方式を示す図では、簡略化のため、拠点Ａを中心とした接続関係のみを示し、他の端末を中心とした接続関係は省略されている。
【０００５】
メッシュ型では、端末数がＮの場合に各端末は中継地点を経由せずに他のＮ−１端末と直接接続される。この場合、ネットワークを流れるストリームが余分な中継地点を経由しない。そのため、端末数が増えてもストリームの遅延は変わらない。
【０００６】
しかし、各端末がＮ−１のストリームを復号する必要があるため、端末の性能に依存して接続拠点数を制限しなければならない。また、ネットワークのトラフィックが増加することで、パケットの遅延が発生するなどの欠点がある。
【０００７】
スター型では、各端末から送信されたストリームが一度ＭＣＵ（Ｍｕｌｔｉｐｏｉｎｔ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）に集約される。さらにＭＣＵでそれらストリームの復号とミキシングがなされ、ミキシングされた音声信号が符号化され各端末に送信される。
【０００８】
この場合、各端末はミキシングされた音声信号のストリームを復号すればよいため、端末数が増えても各端末に負荷はかからない。しかし、ＭＣＵを経由することでストリームの遅延が発生する。また、ＭＣＵに大きな負荷がかかるなどの欠点がある。
【０００９】
このように、接続方式がメッシュ型であっても、スター型であっても、多地点会議システムでは、各端末またはＭＣＵに大きな処理の負荷がかかる傾向にある。そこで、音声パワーの情報に基づいて音声データの削除を行うことでネットワーク負荷や復号の処理量を軽減する手法が提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０００−２５２９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
多地点会議システムが実用化されるにつれて、ユーザは、より多くの端末でより多くの人が会議に参加できることを求め、かつ、従来は実現し得なかった高音質を求める段階になってきている。
【００１２】
特に、高音質の会議システムを実現するには帯域の狭い音声コーデックではなく、楽曲に用いられているＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）  Ａｕｄｉｏを採用する必要がある。
【００１３】
しかしながら、前記従来技術の特許文献１のように不要なストリームを削除するには、音声パワーの情報が含まれているＧ．７２９などの音声コーデックを用いなければならない。
【００１４】
なお、ＭＰＥＧ  Ａｕｄｉｏにおいてもストリームに音声パワーの情報の一種であるゲイン情報は含まれている。しかし、ストリームを一度復号しなければ正確な音声パワーを取得することができない。
【００１５】
つまり、ＭＰＥＧ  Ａｕｄｉｏ規格に準じたストリームから正確な音声パワーを取得するには、そのための復号というさらなる処理負荷が発生することになる。
【００１６】
また、仮に、各端末から送信されるストリームのデータ量が削減された場合においても、それぞれの端末は、他の端末の数だけのストリームに対する復号処理を並行して行う必要がある。そのため、端末数の増加は、そのまま各端末の処理負荷の増加を招くことになる。
【００１７】
本発明は、上記従来の課題を考慮し、高音質を実現し、かつ、同時参加者数が増加することによる処理負荷の増加を抑制できる会議端末装置、中継装置、および会議システムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明の会議端末装置は、ネットワークを介して他の端末装置と音声通信を行う会議端末装置であって、音声信号の入力を受け付ける入力部と、前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する符号化部と、前記符号化部により生成されたデータストリームを前記ネットワークに送信するストリーム送信部と、前記他の端末装置から送信されたデータストリームを受信する受信部と、前記受信部により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と、前記復号部により生成された音声信号を出力する出力部とを備える。
【００１９】
本発明の会議端末装置は、上記構成により、データストリームに音声パワーを示す情報を付加すること、または、データストリームとは別に音声パワーを示す情報を送受信することなどの処理を行うことなく、データストリームの区分ごとのデータサイズにより、他の端末にそれら区分ごとの音声パワーの大きさを知らせることができる。
【００２０】
また、本発明の会議端末装置は、上記構成により、他の端末から受信するデータストリームの区分ごとの音声パワーの大きさを、当該データストリームを復号することなく、それら区分ごとのデータ量により知ることができる。さらに、実質的には音声会議に不要と考えられる音声パワーの比較的小さな区間データを復号することなく、音声パワーの比較的大きな区間のみを復号することができる。
【００２１】
また、本発明の中継装置は、複数の端末装置と接続され、前記複数の端末装置の間のデータストリームの送受信を中継する中継装置であって、前記複数の端末装置のうちのいずれかの端末装置から送信されたデータストリームを受信する受信部と、前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するか否かを判断するフィルタ部と、前記フィルタ部に送信すると判断された区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するデータ送信部とを備える。
【００２２】
本発明の中継装置は、上記構成により、端末装置からデータストリームを受信した場合、当該データストリームを復号することなく、区分ごとのデータサイズを参照することで、当該データストリームの全部または一部を他の端末装置へ送信するか否かを判断することができる。
【００２３】
また、本発明の第一の会議システムは、本発明の会議端末装置を複数備えることで実現される。
【００２４】
また、本発明の第二の会議システムは、ネットワークを介して接続された複数の会議端末装置と中継装置とを備え、前記複数の会議端末装置の相互間で前記中継装置を介した音声通信を行う会議システムであって、前記複数の会議端末装置のそれぞれは、音声信号の入力を受け付ける入力部と、前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成する符号化部と、前記符号化部により生成されたデータストリームを前記中継装置に送信するストリーム送信部と、他の会議端末装置から送信されたデータストリームに含まれる前記所定の区間ごとのデータである区間データを前記中継装置から受信する受信部と、前記受信部により受信された区間データを復号することで音声信号を生成する復号部と、前記復号部により生成された音声信号を出力する出力部とを備え、前記中継装置は、前記複数の会議端末装置のうちのいずれかの会議端末装置から送信されたデータストリームを受信する受信部と、前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号すべきか否かを判断するフィルタ部と、前記フィルタ部に復号すべきと判断された区間データを、前記データストリームの送信元の会議端末装置以外の会議端末装置に送信するデータ送信部とを備える。
【発明の効果】
【００２５】
本発明の会議端末装置によれば、音声パワーを示す情報をデータストリームに付加することなどの処理を行うことなく、他の端末にそれら区分ごとの音声パワーの大きさを知らせることができる。
【００２６】
また、本発明の会議端末装置によれば、他の端末から受信したデータストリームについて、音声パワーが比較的小さな区間データは復号しないなどの判断が可能である。つまり、復号処理に掛かる負荷を従来よりも軽減することができる。
【００２７】
そのため、本発明の会議端末装置は、ＭＰＥＧ２  ＡＡＣなどの既存のコーデックを符号化方式として採用でき、かつ、当該会議端末装置および通信相手の端末における復号処理の負荷を軽減することが可能となる。
【００２８】
また、本発明の中継装置によれば、複数の端末間でやり取りされるデータストリームに対し、実質的には音声会議に不要と考えられる音声パワーの比較的小さな区間データをフィルタリングすることができる。
【００２９】
このように、本発明は、高音質を実現し、かつ、同時参加者数が増加することによる処理負荷の増加を抑制できる会議端末装置、中継装置、および会議システムを提供することができる。
【００３０】
つまり、本発明により、従来の同時参加端末数を大幅に上回る端末を備える多地点会議システムを構築することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】図１は、従来の多地点会議システムにおける端末の接続方式の例を示す図である。
【図２】図２は、本発明の実施の形態１における多地点会議システムの構成を示す図である。
【図３】図３は、実施の形態１の会議端末装置におけるデータストリームの送信に係る処理の流れを示すフロー図である。
【図４】図４は、実施の形態１の会議端末装置に入力された音声信号の一例を示す図である。
【図５】図５は、従来のオーディオストリームのデータサイズの一例を示す図である。
【図６】図６は、実施の形態１におけるデータストリームのデータサイズの一例を示す図である。
【図７】図７は、複数の端末のそれぞれから送信されるデータストリームのフレームごとのデータサイズの例を示す図である。
【図８】図８は、実施の形態１の会議端末装置におけるデータストリームの受信に係る処理の流れを示すフロー図である。
【図９】図９は、実施の形態１の会議端末装置における復号可否の判断処理の一例を示す図である。
【図１０】図１０は、本発明の実施の形態２における多地点会議システムの構成を示す図である。
【図１１】図１１は、実施の形態２の会議端末装置におけるデータストリームの受信に係る処理の流れを示すフロー図である。
【図１２】図１２は、実施の形態２の会議端末装置における、優先度情報が考慮された復号可否の判断処理の一例を示す図である。
【図１３】図１３は、本発明の実施の形態３における多地点会議システムの構成を示す図である。
【図１４】図１４は、本発明の実施の形態４における多地点会議システムの構成を示す図である。
【図１５】図１５は、本発明の実施の形態４の会議端末装置が行うフレームの蓄積および復号を説明するための図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３３】
（実施の形態１）
図２は、本発明の実施の形態１における多地点会議システム２５０の構成を示す図である。
【００３４】
実施の形態１における多地点会議システム２５０は、ＩＰネットワークにより相互に接続する複数の端末から構成される。
【００３５】
図２に示すように、例えば、多地点会議システム２５０は端末Ａ〜端末Ｈのいずれかの名称が付された８つの端末がＩＰネットワークを介して相互に接続する構成からなる。また、図２では、会議端末装置２００に端末Ａという名称が付されているが、端末Ｂ〜端末Ｈのいずれの端末も会議端末装置２００または、会議端末装置２００と同等の機能を有する端末装置である。
【００３６】
また、本実施の形態では、多地点会議システム２５０は、ＭＣＵを省略するために、各端末はＩＰネットワークを介してメッシュ型で接続されているものと仮定する。しかし、多地点会議システム２５０の接続方式としてスター型を採用してもよい。
【００３７】
会議端末装置２００は、入力部２０１、解析部２０２、符号化部２０３、送信部２０４、受信部２０５、フィルタ部２０６、復号部２０７、ミキシング部２０８、および出力部２０９を備える。
【００３８】
入力部２０１は、例えばマイクロフォンを介して音声信号の入力を受け付ける処理部である。
【００３９】
解析部２０２は、入力された音声信号を解析し、解析結果に応じて、音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する処理部である。
【００４０】
符号化部２０３は、所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように音声信号を符号化することでデータストリームを生成する処理部である。
【００４１】
送信部２０４は、符号化部２０３により生成されたデータストリームをパケット化しＩＰネットワークに送信する処理部である。
【００４２】
受信部２０５は、他の端末から送信されたデータストリームを受信する処理部である。
【００４３】
フィルタ部２０６は、受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、当該データストリームに含まれる所定の区間ごとのデータである区間データを復号するか否かを判断する処理部である。また、フィルタ部２０６は、復号しないと判断した区間データの削除を行ってもよい。
【００４４】
復号部２０７は、フィルタ部２０６に復号すると判断された区間データを復号することで音声信号を生成する処理部である。
【００４５】
ミキシング部２０８は、復号部２０７で生成された音声信号が複数ある場合、会議端末装置２００の再生環境に応じて、ミキシングを行う処理部である。
【００４６】
なお、ここで会議端末装置２００の再生環境とは、例えば、会議端末装置２００に接続されたスピーカ等の音声出力機器の種類、性能、または数を示すが、会議端末装置２００が置かれた場所の音響状態等に応じて、ミキシング処理をするものでもよい。
【００４７】
出力部２０９は、ミキシング部２０８で音声信号がミキシングされた場合はミキシングされた音声信号を、ミキシングされなかった場合は、復号部２０７で生成された、ミキシングされていない音声信号を出力する処理部である。
【００４８】
なお、実施の形態１、および後述する実施の形態２〜４においては、上記の区間データとして、データストリームを構成する単位であるフレームが採用されているが、１秒ごとなど所定の期間であってもよい。また、データストリームを生成する符号化方式としては、例えば、ＭＰＥＧ２  ＡＡＣが採用される。
【００４９】
ＭＰＥＧ２  ＡＡＣの場合、サンプリング周波数が４８ｋＨｚであれば、フレーム長は約２１．３ｍｓ（ミリ秒）である。
【００５０】
このように構成された会議端末装置２００において、音声信号が入力されてから符号化を経てストリームが送信されるまでの処理を、図３〜図９を参照しながら説明する。
【００５１】
まず、会議端末装置２００の送信処理の流れを図３を参照しながら説明する。
【００５２】
図３は、実施の形態１の会議端末装置２００におけるデータストリームの送信に係る処理の流れを示すフロー図である。
【００５３】
まず、入力部２０１は、音声信号の入力を受け付けることで、当該音声信号を取得する（Ｓ１００）。
【００５４】
次に、解析部２０２は音声信号を解析した結果に基づき、フレームごとの目標サイズを算出する（Ｓ１０１）。具体的には、解析部２０２は音声信号を解析することにより、フレームごとの音声パワーを取得する。さらに、取得したそれぞれの音声パワーに基づいてフレームごとの目標サイズを算出する。
【００５５】
この算出処理の内容を図４〜図６を用いて説明する。
【００５６】
図４は、会議端末装置２００に入力された音声信号の一例を示す図である。
【００５７】
図５は、従来のオーディオストリームのデータサイズの一例を示す図である。
【００５８】
図６は、実施の形態１におけるデータストリームのデータサイズの一例を示す図である。
【００５９】
会議端末装置２００に入力される音声信号は、会議端末装置２００を使用する参加者の発話により生成される信号である。そのため、図４に示すように、音声信号には、一般的に、振幅がゼロまたは非常に小さい区間である無音区間が複数存在することになる。
【００６０】
この音声信号をＭＰＥＧ２  ＡＡＣなどのオーディオコーデックで従来通り符号化すると、図５に示すように各フレームのサイズが一定のレートを保とうとする。
【００６１】
これは従来のＭＰＥＧ２  ＡＡＣなどのオーディオコーデックが放送途用として設計されているためである。
【００６２】
従って、従来では、音声信号に無音区間が含まれている場合であっても、データストリームは一定のビットレートで送り出されることになる。これにより、実際には無音区間に対応するデータサイズが０に近くなることはない。
【００６３】
一方、本実施の形態の会議端末装置２００は、フレームごとの目標サイズを算出する解析部２０２を備える。これにより、データストリームのフレームごとのデータサイズを音声パワーに応じて変化させることができる。
【００６４】
解析部２０２は、本実施の形態においては、フレームごとの音声パワーと、フレームごとの目標サイズとが正の相関関係になるように、フレームごとの目標サイズを算出する。
【００６５】
具体的には、解析部２０２は、図６に示すように、無音区間などの音声パワーが小さい部分のデータサイズが、音声パワーに比例させて小さくなるように目標サイズを算出する。
【００６６】
なお、フレームごとの音声パワーと、フレームごとの目標サイズとは線形に比例してもよく、非線形に比例してもよい。例えば、解析部２０２は、フレームの音声パワーが所定の範囲内であれば、予め設定された値をそのフレームの目標サイズとして算出してもよい。
【００６７】
算出されたそれぞれの目標サイズは、符号化部２０３に出力され、符号化部２０３では、それら目標サイズが反映されたデータストリームが生成される。
【００６８】
これにより、会議端末装置２００から送信されたデータストリームを受信した他の端末は、そのデータストリームが、ＭＰＥＧ２  ＡＡＣなどの可変長フレームのコーデックにより生成されたものであっても、そのデータストリームを復号することなく、フレームごとのデータサイズからフレームごとの音声パワーを容易に推定することが可能である。
【００６９】
このように、解析部２０２は、解析の結果に応じて、音声信号のフレームごとの目標とする符号化後のデータサイズである目標サイズを算出する。
【００７０】
次に、符号化部２０３は、フレームごとの符号化後のデータサイズが、それぞれのフレームに対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する（Ｓ１０２）。
【００７１】
生成されたデータストリームは送信部２０４によりパケット化され、ＩＰネットワークを経由して他の端末へ送信される（Ｓ１０３）。
【００７２】
次に、会議端末装置２００が、ＩＰネットワークから受信したストリームを復号して音声を出力するまでの処理について説明する。
【００７３】
なお、上述のように、端末Ｂ〜端末Ｈのそれぞれは、会議端末装置２００、または会議端末装置２００と同等の機能を備える端末である。
【００７４】
従って、端末Ｂ〜端末Ｈのそれぞれから送信されるデータストリームのフレームごとのデータサイズは、それぞれのソースである音声信号の音声パワーが反映されている。
【００７５】
図７は、端末Ｂ〜端末Ｈのそれぞれから送信されるデータストリームのフレームごとのデータサイズの例を示す図である。
【００７６】
図７において、ドットが付された矩形の左右方向の長さは、フレームごとのデータサイズを表している。
【００７７】
このようなフレームごとにデータサイズが異なるデータストリームは、ＩＰネットワークを介して端末Ａである会議端末装置２００に到達する。
【００７８】
このような前提において会議端末装置２００が行うデータ受信に係る処理を図８および図９を用いて説明する。
【００７９】
図８は、実施の形態１の会議端末装置２００におけるデータストリームの受信に係る処理の流れを示すフロー図である。
【００８０】
図８に示すように、各端末からＩＰネットワークを介して送られてくるデータストリームは、受信部２０５により受信される（Ｓ２００）。
【００８１】
フィルタ部２０６は、受信した各データストリームのフレームごとのデータサイズを参照し、各データストリームのフレームごとのデータ、つまり、各データストリームに含まれる区間データのそれぞれを復号するか否かを判断する。
【００８２】
具体的には、フィルタ部２０６はまず、受信部２０５が受信した各端末のデータストリームのそれぞれから特定の時刻におけるフレームのデータサイズを算出する（Ｓ２０１）。このときのデータサイズは、端末のＩＤをキー、データサイズを値とする連想配列でフィルタ部２０６が有する所定の記録媒体に保持する。
【００８３】
次に、フィルタ部２０６は、複数のフレームについてデータサイズによる並べ替えを行う（Ｓ２０２）。これは、この連想配列を値で降順に並び替えることで実現する。なお、端末とデータサイズとを対応付けてフレームを並べ替えることができればよいので、この方法に限られない。
【００８４】
また、「フレームを並べ替える」とは、実際にフレームそのものを例えば記録媒体内で並べ替えることを意味するのではなく、復号するフレームの選択のための順位付けを行うことを意味する。
【００８５】
フィルタ部２０６は、最後に、復号する区間データを判断する（Ｓ２０３）。この判断は、例えば、データサイズが所定の閾値よりも小さいフレームを、復号の対象から外す、または削除するものとして選択することで実現する。
【００８６】
なお、複数のフレームの中から復号するフレームを判断する手法は、他にも存在する。
【００８７】
例えば、この判断は、複数のフレームの中から、データサイズが小さい順に所定の数だけ復号の対象から外す、または削除するものとして選択することでも実現する。
【００８８】
また、例えば、この判断は、データサイズが所定の閾値よりも大きなフレームを復号の対象として選択することでも実現する。
【００８９】
また、例えば、この判断は、複数のフレームの中から、データサイズが大きい順に所定の数だけ復号の対象として選択することでも実現する。
【００９０】
なお、フィルタ部２０６は、単純にフレームのデータサイズのみにより復号化対象を判断するのではなく、あまりに短い瞬間にパワーが大きくなった場合には、物音の可能性が高いと判断し、復号化の対象から外す等の判断を行ってもよい。
【００９１】
なお、会議端末装置２００が並行して復号するフレームの数、つまり、上記の各種の判断において復号の対象とするフレームの数は、例えば会議端末装置２００の処理能力に応じて決定される。
【００９２】
図９は、実施の形態１の会議端末装置２００における復号可否の判断処理の一例を示す図である。
【００９３】
なお、図９は、フィルタ部２０６が、複数のフレームの中から、データサイズの大きい順に２つだけ選択する場合を例示している。
【００９４】
図９に示すように、並行して出力されるべき複数の音声信号に対応する複数のフレームのうち、ある区間については、端末Ｅのフレームのデータサイズが最も大きく、次に端末Ｆのフレームのデータサイズが大きい場合を想定する。
【００９５】
この場合、フィルタ部２０６は、端末Ｅのフレームと端末Ｆのフレームとを復号するデータとして選択し、選択したフレームを復号すると判断する。また、復号すると判断されなかったフレームは削除してもよい。
【００９６】
このような判断は、例えば、フレーム長ごとだけでなく、１秒ごとなど、所定の期間ごとに行ってもよい。
【００９７】
なお、ストリームに含まれるフレームのデータサイズはあらかじめ当該フレームに対応する音声パワーから決定されている。そのため、削除されたまたは復号の対象から外されたフレームは音声パワーが比較的小さなものである。
【００９８】
従って、当該フレームが復号され音出力されたとしても音声パワーの大きな他の音声にマスキングされる可能性が高い。
【００９９】
そのため、マスキングされる可能性が高いフレームを削除しても、聞き手には実質的に問題はない。
【０１００】
会議端末装置２００は、このような処理を行うことにより、同時参加端末数が増えた場合にもマスキングされる可能性の高いフレームは削除される。そのため、会議端末装置２００における復号時の処理負荷を抑えることができる。結果として、会議端末装置２００を参加者が使用する端末として採用した場合、従来以上の同時参加者数の音声会議が可能となる。
【０１０１】
次に、復号部２０７は、フィルタ部２０６を通過したストリームの復号を行う。つまり、フィルタ部２０６により復号すると判断されたフレームの復号を行う（Ｓ２０４）。
【０１０２】
ミキシング部２０８は復号部２０７から得られる多地点の音声信号（図９の場合は２つの音声信号）を会議端末装置２００の再生環境にあわせてミキシングを行う。
【０１０３】
会議端末装置２００の再生環境とは、例えば、会議端末装置２００に接続されたスピーカーの数または種類などである。
【０１０４】
最後に、出力部２０９は、ミキシング部２０８から得られるミキシング信号を出力する（Ｓ２０５）。
【０１０５】
以上のように、本実施の形態１の会議端末装置２００によれば、入力された音声信号に対し、実際の音声パワーに基づいた所定の区間ごとのデータサイズを目標に符号化を行う。
【０１０６】
これにより、会議端末装置２００からストリームを受信した他の端末は、当該ストリームを復号することなく所定の区間ごとの音声パワーを推定できる。つまり、当該ストリームを所定の区間ごとに復号するか否かを判断することができる。
【０１０７】
会議端末装置２００はさらに、受信したストリームの所定の区間ごとのデータサイズから、復号して出力すべき区間データを決定する。
【０１０８】
つまり、会議端末装置２００は、受信したストリームを復号することなく、所定の区間ごとのデータサイズを参照することで、当該ストリームの所定の区間ごとの音声パワーを推定できる。
【０１０９】
これにより、会議端末装置２００は、例えば、出力したとしても他の音声にマスキングされ、聞き取られる可能性の低い、音声パワーの比較的小さな音声の元データである区間データを復号しないことができる。
【０１１０】
会議端末装置２００は、このような処理を行う構成であることにより、ＭＰＥＧ２  ＡＡＣなどの高音質を実現可能なコーデックを採用した場合であっても、各端末でストリームの復号の可否の判断が容易に可能である。そのため、会議端末装置２００を参加者が使用する端末として採用することにより、多数の端末でユーザが参加する高音質会議システムを実現することが可能である。
【０１１１】
（実施の形態２）
図１０は、本発明の実施の形態２における多地点会議システム７５０の構成を示す図である。
【０１１２】
実施の形態２の会議端末装置７００は、入力部７０１、解析部７０２、符号化部７０３、送信部７０４、受信部７０５、フィルタ部７０６、復号部７０７、ミキシング部７０８、出力部７０９、優先度設定部７１０および、優先度取得部７１１を備える。
【０１１３】
このように、実施の形態２の会議端末装置７００は、実施の形態１の会議端末装置２００が備える処理部に加え、データストリームの優先度を示す優先度情報を当該データストリームに付加する優先度設定部７１０と、受信されたデータストリームから優先度情報を取得するための優先度取得部７１１とを備える。
【０１１４】
なお、優先度情報は、データストリームとは別に送受信しても良い。
【０１１５】
また、実施の形態２におけるフィルタ部７０６は、フレームの復号可否の判断において、そのフレームに対応付けられた優先度を考慮する点で実施の形態１におけるフィルタ部２０６とは異なる。
【０１１６】
以下、新たに付加された構成要件について重点的に説明し、その他の構成要件については実施の形態１と同様であるのでその説明を省略する。
【０１１７】
優先度情報は整数やアルファベットで表される情報であり、例えば“０”を最優先とする整数で表される。
【０１１８】
なお、優先度情報は、比較により区間データの並べ替えが可能な情報であればどのようなものでもよい。
【０１１９】
優先度設定部７１０は、符号化部７０３から得られるデータストリームに、当該端末（図１０では端末Ａ）を使用する参加者の優先度を示す優先度情報を付加する。
【０１２０】
なお、参加者の優先度により、選択された一つ以上の端末のみが、優先度情報を送信することとし、その他の端末は送信しない構成としてもよい。
【０１２１】
一方、優先度取得部７１１は、受信部７０５が受信したデータストリームから優先度情報を取得する。
【０１２２】
フィルタ部７０６は、優先度取得部７１１から取得された優先度情報を参照し、優先順位の高いデータストリームに含まれるフレームを優先的に復号部７０７に出力する。
【０１２３】
図１１は、実施の形態２の会議端末装置７００におけるデータストリームの受信に係る処理の流れを示すフロー図である。
【０１２４】
図１１に示すように、各端末からＩＰネットワークを介して送られてくるデータストリームは、受信部７０５により受信される（Ｓ３００）。
【０１２５】
フィルタ部７０６は、受信した各データストリームの優先度情報およびフレームごとのデータサイズを参照し、各データストリームに含まれる区間データ、つまり、各データストリームに含まれるフレームのそれぞれを復号するか否かを判断する。
【０１２６】
具体的には、フィルタ部７０６は、実施の形態１のフィルタ部２０６と同じく、受信部７０５が受信した各端末のデータストリームのそれぞれから特定の時刻におけるフレームのデータサイズを算出する（Ｓ３０１）。
【０１２７】
また、優先度取得部７１１は、受信部７０５が受信した各端末のデータストリームのそれぞれから、優先度情報を読み出す。読み出された優先度情報は、フィルタ部７０６に出力される（Ｓ３０２）。
【０１２８】
フィルタ部７０６は、始めに優先度が高い順にフレームを並び替え、次に同じ優先度のフレームが複数ある場合、これらをデータサイズが降順になるように並び替える（Ｓ３０３）。また、対応する優先度情報がないフレームは、最も優先度が低いと判断し、並び替える。
【０１２９】
フィルタ部７０６は、この並び替えの結果に基づき、例えば上位から２番目までのフレームを選択し、選択した２つのフレームを復号すると判断する。
【０１３０】
図１２は、実施の形態２の会議端末装置７００における、優先度情報が考慮された復号可否の判断処理の一例を示す概要図である。
【０１３１】
図１２に示すように、端末Ｂのフレームはデータサイズが最も大きなものではない。しかし、端末Ｂから受信したデータストリームには優先度情報として“０”が付加されているため、フィルタ部７０６は、復号するフレームとして最も高い優先順位を端末Ｂのフレームに与える。
【０１３２】
フィルタ部７０６はさらに、優先度情報“１”と対応付けられた他の複数のフレームをデータサイズにより降順に並べ替える。
【０１３３】
この並べ替えの結果、図１２に示すように、フィルタ部７０６は、復号する区間データとしての優先順位が２位までのフレームを復号すると判断する。
【０１３４】
つまり、優先度が最も高い端末Ｂのフレームと、残りの端末Ｃ〜端末Ｈのフレームの中でデータサイズの最も大きな端末Ｄのフレームとが、復号の対象として選択される。
【０１３５】
上記判断処理の後、実施の形態１と同様に復号処理等が行われる。具体的には、復号部７０７は、フィルタ部７０６により復号すると判断されたフレームの復号を行い（Ｓ３０５）、ミキシング部７０８は復号部７０７から得られる２つの音声信号を会議端末装置７００の再生環境にあわせてミキシングを行う。
【０１３６】
最後に、出力部７０９は、ミキシング部７０８から得られるミキシング信号を出力する（Ｓ３０６）。
【０１３７】
なお、各端末がデータストリームに付加する優先度情報は、それら端末を使用する参加者の人数や、属性等によって設定される。各端末に対応する優先度情報は、全ての端末間で共有したり、ある１つの端末が各端末に対応する優先度情報を設定し、その他の各端末に送信したりすることで、矛盾や混乱が生じないように設定される。
【０１３８】
例えば、端末Ａから端末Ｂに優先度情報“０”を送信する。また、端末Ａから、端末Ｃ〜端末Ｈのそれぞれに優先度情報“１”を送信する。
【０１３９】
端末Ｂは優先度情報“０”を受信し、自身が出力するデータストリームに優先度情報“０”を付加する。端末Ｃ〜端末Ｈのそれぞれでは、データストリームに優先度情報“１”が付加される。
【０１４０】
これにより、端末Ｂから送信されるデータストリームは他の端末において優先的に復号される。つまり、端末Ｂを使用する参加者の発言を、他の端末を使用する参加者に優先的に聞かせることができる。このように、各端末がランダムに自己に対応する優先度情報を設定しない構成とすることで、矛盾や混乱は生じない。
【０１４１】
実施の形態２の会議端末装置７００は、このようにデータストリームに付加された優先度情報を考慮した上で選択的に区間データを復号する。
【０１４２】
つまり、少なくとも優先度が最も高い区間データは、音声パワーの大小に関わらず必ず復号されることになる。これにより、音声会議における進行役などの特殊な端末の音声を優先的に復号することが可能となる。
【０１４３】
（実施の形態３）
図１３は、本発明の実施の形態３における多地点会議システム９５０の構成を示す図である。
【０１４４】
実施の形態３における多地点会議システム９５０は、フィルタ部９０２を有するＭＣＵ９００を備える。
【０１４５】
ＭＣＵ９００は、受信部９０１、送信部９０３、およびフィルタ部９０２を有する。
【０１４６】
フィルタ部９０２は、受信部９０１により受信されたデータストリームに含まれるフレームを、データサイズに基づいて、当該データストリームの送信元の端末装置以外の端末装置に送信するか否かを判断する。
【０１４７】
送信部９０３は、フィルタ部９０２に選択されたフレームを当該データストリームの送信元の端末装置以外の端末装置に送信する。
【０１４８】
なお、ＭＣＵ９００は、本発明の中継装置の一例であり、ＩＰネットワークを介して端末Ａ等の複数の端末と接続されている。
【０１４９】
また、実施の形態３における送信部９０３および受信部９０１は、実施の形態１における送信部２０４および受信部２０５と同じ機能を有する。
【０１５０】
従来、メッシュ型の多地点会議システムでは、同時参加端末数が増加するに従い、ネットワークのトラフィックが増加する。
【０１５１】
そこで、実施の形態３における多地点会議システム９５０は、このトラフィックを軽減するために、複数のＭＣＵ９００を備えたスター型のネットワークを構成し、ＭＣＵ９００内部において実施の形態１と同様にストリームのフィルタ処理を行う。
【０１５２】
なお、端末Ａ〜端末Ｈのそれぞれは、例えば実施の形態１における解析部２０２と符号化部２０３とを備えている。つまり、端末Ａ〜端末Ｈのそれぞれから出力されるデータストリームのフレームごとのデータサイズは、実施の形態１と同じく音声パワーが反映されている。
【０１５３】
実施の形態３において、ＭＣＵ９００は、近隣の端末とは直接接続する。つまり、ＭＣＵ９００は、近隣の端末とは他のＭＣＵ９００を介することなく接続する。また、当該ＭＣＵ９００は、遠方の端末とは他のＭＣＵ９００を介して接続する。
【０１５４】
このような構成において、各ＭＣＵ９００は、端末Ａ〜端末Ｈから送信されるデータストリームを受信する。
【０１５５】
例えば、端末Ａ〜端末Ｂと直接接続されたＭＣＵ９００の受信部９０１は、端末Ａ〜端末Ｈから送信されるデータストリームを受信する。
【０１５６】
フィルタ部９０２は、受信部９０１により受信されたデータストリームのフレームごとのデータサイズに基づいて、当該データストリームに含まれるフレームを復号すべきか否かを判断する。
【０１５７】
具体的には、フィルタ部９０２は、並行して出力されるべき複数の音声信号に対応する複数のフレームの中からデータサイズの大きい順に所定の数だけ選択する。
【０１５８】
例えば、フィルタ部９０２は、端末Ａ〜端末Ｈのフレームの中からデータサイズの大きい順に２つを選択し、送信部９０３に出力する。
【０１５９】
送信部９０３は、フィルタ部９０２から受け取ったフレームを、当該ＭＣＵ９００に直接接続された端末Ａ〜端末Ｃのうち、受け取ったフレームの送信元ではない端末に、データストリームとして送信する。
【０１６０】
例えば、ある時点の端末Ａ〜端末Ｈのフレームのうち、端末Ａと端末Ｆのフレームがフィルタ部９０２により選択された場合、端末Ａのフレームは、端末Ｂおよび端末Ｃに送信される。また、端末Ｆのフレームは、端末Ａ、端末Ｂ、および端末Ｃに送信される。
【０１６１】
なお、複数のＭＣＵ９００それぞれのフィルタ部９０２には、同じだけの数の区間データを選択するように設定されている。つまり、本例においては、図１３に示す３つのＭＣＵ９００それぞれのフィルタ部９０２には、データサイズの大きい順に２つのフレームを選択するように設定されている。
【０１６２】
また、フィルタ部９０２は、このような基準以外の基準で、区間データの選択を行ってもよい。例えば、先に述べたように、閾値とデータサイズとを比較することにより、フレームの取捨選択を行ってもよい。また、例えば、複数のフレームの中からデータサイズの小さい順に所定の数だけ除いたフレームを、送信部９０３に送信させるものとして選択してもよい。
【０１６３】
実施の形態３のＭＣＵ９００は、このように、各端末から受信した複数のデータストリームを、所定の区間ごとのデータサイズに基づいて選択的に各端末に送信する。
【０１６４】
つまり、ＭＣＵ９００は、これらデータストリームの復号を行うことなく、音声会議に必要と考えられる音声パワーの大きな区間データを選択し、各端末に送信することができる。
【０１６５】
これにより、同時参加端末数が増加した場合であっても、多地点会議システム９５０内でのトラフィックの増加を抑制することができる。また、ＭＣＵ９００はデータストリームの復号を行う必要がないため、復号を行う場合よりも、多くの同時参加端末数に対応可能である。
【０１６６】
また、多地点会議システム９５０は、複数のＭＣＵ９００を備えることにより、同時参加端末数が増加した場合であっても、データストリームのフィルタ処理の負荷は分散され、良好な音声会議を行うことができる。
【０１６７】
（実施の形態４）
図１４は、本発明の実施の形態４における多地点会議システム１０５０の構成を示す図である。
【０１６８】
実施の形態４の会議端末装置１０００は、入力部１００１、解析部１００２、符号化部１００３、送信部１００４、受信部１００５、フィルタ部１００６、復号部１００７、ミキシング部１００８、出力部１００９、および蓄積部１０１０を備える。
【０１６９】
このように、実施の形態４の会議端末装置１０００は、実施の形態１の会議端末装置２００が備える処理部に加え、蓄積部１０１０を備えている。
【０１７０】
蓄積部１０１０は、フィルタ部１００６に復号すると判断されなかった区間データを蓄積する。蓄積部１０１０は、例えば半導体メモリ等の記憶装置により実現される。
【０１７１】
以下、新たに付加された構成要件について重点的に説明し、その他の構成要件については実施の形態１と同様であるのでその説明を省略する。
【０１７２】
会議端末装置１０００が行う特徴的な処理について図１５を用いて説明する。
【０１７３】
図１５は、本発明の実施の形態４の会議端末装置１０００が行うフレームの蓄積および復号を説明するための図である。
【０１７４】
図１５に示すように、端末Ｂのフレームと端末Ｃのフレームとが、データサイズが他のフレームよりも大きいために復号され、端末Ｄのフレームが復号されなかった場合を想定する。
【０１７５】
この場合、端末Ｄのフレームのようにフィルタ部１００６に復号すると判断されなかったフレーム、つまり、フィルタ部１００６によりフィルタリングされたフレームは一時的に蓄積部１０１０に蓄積される。
【０１７６】
その後、同時発声話者数が減少し、復号部１００７による復号処理が可能になると、蓄積部１０１０は、蓄積した端末Ｄのフレームをフィルタ部１００６に出力する。
【０１７７】
フィルタ部１００６は、蓄積部１０１０から取得したフレームを復号部１００７に出力し、当該フレームは復号部１００７により復号される。この復号により得られる音声信号は出力部１００９によって出力される。
【０１７８】
なお、一定時間蓄積したフレームを再生することが出来ない場合は、蓄積したフレームは削除される。
【０１７９】
これにより、例えば会議端末装置１０００の性能によって本来は同時に復号できない音声も時間をずらすことで復号することが可能となる。なお、蓄積部１０１０に蓄えられるフレームの数は２以上でもよい。
【０１８０】
例えば、蓄積部１０１０に４つのフレームが蓄積されている場合を想定する。この場合、同時発声話者数が減少し、復号部１００７による復号処理が可能になると、フィルタ部１００６は、４つのフレームを蓄積部１０１０から取得する。
【０１８１】
さらに、フィルタ部１００６は、これら４つのフレームをデータサイズの降順に並べ替え、上位２つのフレームを選択し復号部１００７に出力する。つまり、フィルタ部１００６は、蓄積部１０１０に蓄積されていた複数のフレームについても復号可否の判断を行う。
【０１８２】
これにより、多くのフレームが蓄積部１０１０に蓄積された場合であっても、復号部１００７に不要な負荷をかけることがない。また、復号されなかった複数のフレームの中でも、音声会議にとって必要性がより高いと考えられるフレームが復号されることになる。
【０１８３】
（実施の形態１〜４についての補足事項）
以上説明した実施の形態１〜４において、複数のフレームの中から復号するフレームとして選択される数は、例えば２つであるとした。
【０１８４】
しかしながら、並列して復号するフレームとして選択される数は固定でなくてもよく、一連の音声会議の中で変化させてもよい。
【０１８５】
例えば、並行して出力されるべき複数の音声信号に対応する複数のフレームのデータサイズを合計する。さらに、合計されたデータサイズが所定の閾値よりも大きな場合、復号するフレームとして選択される数を２から３に増加させる。
【０１８６】
これにより、例えば、通常時は複数のフレームの中から復号するフレームとして選択される数を２とすることで、端末の処理負荷を抑えつつ、発話する参加者が増えた場合、複数のフレームの中から復号するフレームとして選択される数を３に増加させることで、各参加者は、より多くの参加者の発言を聞くことができる。
【０１８７】
また、各区間データのデータサイズは、音声パワー以外の情報に依存して変化させてもよい。例えば、解析部２０２（７０２、１００２）が、当該端末を使用する参加者からの指示を取得する。解析部２０２（７０２、１００２）は、その指示に従い、ある一定の期間だけフレームのデータサイズを大きくする。
【０１８８】
これにより、当該参加者は、例えば他の参加者にどうしても聞いて欲しい発言を行う場合に、音声パワーの大小に関係なく他の参加者に聞かせることが可能となる。
【０１８９】
また、実施の形態１〜４において、データストリームのデータサイズをフレームごとに変化させているが、他の単位ごとに変化させてもよい。
【０１９０】
例えば、解析部２０２（７０２、１００２）が、複数のフレームごとの目標サイズを算出し、符号化部２０３（７０３、１００３）は、当該複数のフレームごとのデータサイズの合計が、算出された目標サイズとなるように、各フレームを符号化してもよい。
【０１９１】
また、多地点会議システム２５０、７５０、９５０、および１０５０のそれぞれにおいて、各端末を接続するネットワークは、ＩＰネットワーク以外のネットワークでもよい。例えば、ＩＥＥＥ１３９４のネットワークであってもよい。
【０１９２】
また、各実施の形態で示した構成要素を任意に組み合わせてもよい。例えば、実施の形態２における、優先度設定部７１０および優先度取得部７１１を備える会議端末装置７００が、実施の形態４における蓄積部１０１０を備えてもよい。
【０１９３】
これにより、会議端末装置７００は、優先度を考慮したデータストリームの処理を行うとともに、復号されなかったフレームを、復号処理の負荷が低い期間に復号し出力することができる。
【０１９４】
（その他変形例）
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１９５】
（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１９６】
（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１９７】
（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１９８】
（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１９９】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０２００】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２０１】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０２０２】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０２０３】
（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【産業上の利用可能性】
【０２０４】
本発明の会議システムは、ＭＰＥＧ２  ＡＡＣなどの可変長のフレームサイズのストリームを生成するコーデックを用いた多地点会議システム等として有用である。また、本発明の会議端末装置および中継装置は、このような多地点会議システムにおける会議端末装置および中継装置等として有用である。
【符号の説明】
【０２０５】
２００、７００、１０００  会議端末装置
２０１、７０１、１００１    入力部
２０２、７０２、１００２    解析部
２０３、７０３、１００３    符号化部
２０４、７０４、９０３、１００４    送信部
２０５、７０５、９０１、１００５    受信部
２０６、７０６、９０２、１００６    フィルタ部
２０７、７０７、１００７    復号部
２０８、７０８、１００８    ミキシング部
２０９、７０９、１００９    出力部
２５０、７５０、９５０、１０５０    多地点会議システム
７１０    優先度設定部
７１１    優先度取得部
１０１０    蓄積部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置であって、
音声信号の入力を受け付ける入力部と、
前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記符号化部により生成されたデータストリームを前記ネットワークに送信するストリーム送信部と、
前記他の端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、
前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と、
前記復号部により生成された音声信号を出力する出力部と
を備える会議端末装置。
【請求項２】
前記解析部は、前記解析により、前記入力部に入力された音声信号の前記所定の区間ごとの音声パワーを取得し、前記所定の区間ごとの音声パワーと、前記所定の区間ごとの目標サイズとが正の相関関係になるように、前記所定の区間ごとの目標サイズを算出する
請求項１記載の会議端末装置。
【請求項３】
前記受信部は、他の端末装置を含む複数の他の端末装置それぞれから送信されたデータストリームを受信し、
前記フィルタ部は、前記受信部により受信された複数のデータストリームに含まれる、並行して出力されるべき複数の音声信号に対応する複数の区間データの中から、データサイズの大きい順に所定の数だけ選択し、選択した区間データを復号すると判断する
請求項１記載の会議端末装置。
【請求項４】
さらに、複数の音声信号をミキシングすることでミキシング信号を生成するミキシング部を備え、
前記復号部は、前記フィルタ部に復号すると判断された複数の区間データを復号することで複数の音声信号を生成し、
前記ミキシング部は、前記復号部により生成された複数の音声信号をミキシングすることでミキシング信号を生成し、
前記出力部は、前記ミキシング部により生成されたミキシング信号を出力する
請求項３記載の会議端末装置。
【請求項５】
さらに、前記符号化部により生成されたデータストリームの、前記複数の他の端末装置それぞれから送信されるデータストリームに対する優先度を示す優先度情報を、前記符号化部により生成されたデータストリームに付加する優先度設定部を備える
請求項３記載の会議端末装置。
【請求項６】
さらに、前記受信部により受信されたデータストリームの優先度を示す優先度情報を取得する優先度取得部を備え、
前記フィルタ部は、前記優先度取得部により取得された優先度情報が、前記データストリームが最優先であることを示す場合、前記データストリームに含まれる区間データのデータサイズに関わらず、前記区間データを復号すると判断する
請求項３記載の会議端末装置。
【請求項７】
さらに、前記フィルタ部に復号すると判断されなかった区間データを蓄積する蓄積部を備え、
前記復号部はさらに、前記フィルタ部に復号すると判断された区間データの復号を行っていない間に、前記蓄積部に蓄積された区間データを復号することで音声信号を生成し、
前記出力部はさらに、前記フィルタ部に復号すると判断されなかった区間データが前記復号部により復号されることにより生成された音声信号を出力する
請求項１記載の会議端末装置。
【請求項８】
複数の端末装置と接続され、前記複数の端末装置の間のデータストリームの送受信を中継する中継装置であって、
前記複数の端末装置のうちのいずれかの端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するか否かを判断するフィルタ部と、
前記フィルタ部に送信すると判断された区間データを、前記データストリームの送信元の端末装置以外の端末装置に送信するデータ送信部と
を備える中継装置。
【請求項９】
ネットワークを介して接続された複数の会議端末装置を備え、前記複数の会議端末装置の相互間で音声通信を行う会議システムであって、
前記複数の会議端末装置のそれぞれは、
音声信号の入力を受け付ける入力部と、
前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記符号化部により生成されたデータストリームを前記ネットワークに送信するストリーム送信部と、
前記他の端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、
前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と、
前記復号部により生成された音声信号を出力する出力部と
を備える会議システム。
【請求項１０】
ネットワークを介して接続された複数の会議端末装置と中継装置とを備え、前記複数の会議端末装置の相互間で前記中継装置を介した音声通信を行う会議システムであって、
前記複数の会議端末装置のそれぞれは、
音声信号の入力を受け付ける入力部と、
前記入力部に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記符号化部により生成されたデータストリームを前記中継装置に送信するストリーム送信部と、
他の会議端末装置から送信されたデータストリームに含まれる前記所定の区間ごとのデータである区間データを前記中継装置から受信する受信部と、
前記受信部により受信された区間データを復号することで音声信号を生成する復号部と、
前記復号部により生成された音声信号を出力する出力部とを備え、
前記中継装置は、
前記複数の会議端末装置のうちのいずれかの会議端末装置から送信されたデータストリームを受信する受信部と、
前記受信部により受信されたデータストリームの所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号すべきか否かを判断するフィルタ部と、
前記フィルタ部に復号すべきと判断された区間データを、前記データストリームの送信元の会議端末装置以外の会議端末装置に送信するデータ送信部と
を備える会議システム。
【請求項１１】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置により行なわれる通信方法であって、
前記会議端末装置に入力される音声信号を取得し、
取得された音声信号の解析を行い、
前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出し、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成し、
前記符号化部により生成されたデータストリームを前記ネットワークに送信し、
前記他の端末装置から送信されたデータストリームを受信し、
受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断し、
復号すると判断された区間データを復号することで音声信号を生成し、
生成された音声信号を出力する
通信方法。
【請求項１２】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置の動作を制御するプログラムであって、
前記会議端末装置に入力される音声信号を取得し、
取得された音声信号の解析を行い、
前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出し、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成し、
前記符号化部により生成されたデータストリームを前記ネットワークに送信し、
前記他の端末装置から送信されたデータストリームを受信し、
受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断し、
復号すると判断された区間データを復号することで音声信号を生成し、
生成された音声信号を出力する
ことをコンピュータに実行させるためのプログラム。
【請求項１３】
ネットワークを介して他の端末装置と音声通信を行う会議端末装置が備える集積回路であって、
前記会議端末装置に入力された音声信号の解析を行い、前記解析の結果に応じて、前記音声信号の所定の区間ごとの目標とする符号化後のデータサイズである目標サイズを算出する解析部と、
前記所定の区間ごとの符号化後のデータサイズが、それぞれの区間に対応する目標サイズとなるように、前記音声信号を符号化することでデータストリームを生成する符号化部と、
前記他の端末装置から送信され、前記会議端末装置により受信されたデータストリームの前記所定の区間ごとのデータサイズに基づいて、前記データストリームに含まれる前記所定の区間ごとのデータである区間データを復号するか否かを判断するフィルタ部と、
前記フィルタ部に復号すると判断された区間データを復号することで音声信号を生成する復号部と
を備える集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009054141.tif 000018
【図２】
2009054141.tif 000019
【図３】
2009054141.tif 000020
【図４】
2009054141.tif 000021
【図５】
2009054141.tif 000022
【図６】
2009054141.tif 000023
【図７】
2009054141.tif 000024
【図８】
2009054141.tif 000025
【図９】
2009054141.tif 000026
【図１０】
2009054141.tif 000027
【図１１】
2009054141.tif 000028
【図１２】
2009054141.tif 000029
【図１３】
2009054141.tif 000030
【図１４】
2009054141.tif 000031
【図１５】
2009054141.tif 000032
【国際調査報告】
2009054141.tif 000033
2009054141.tif 000034
2009054141.tif 000035