(57)【要約】【課題】会話にとって重要な部分のデータを選択的に高品質化することを可能とした通信処理装置および方法を提供する。【解決手段】送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行し、重点処理データに対してより多くのリソースを適用したデータ処理を行う。本構成によれば、主会話者側の音声および映像データを高品質データとして送受信して通信者であるユーザに提示することが可能となる。すなわち、会話にとって重要な部分のデータを選択的に高品質化することが可能となり、体感上の会話のクォリティを高くしたデータ通信、コミュニュケーションが実現される。【選択図】  図４
2004304410.tif 000002
【特許請求の範囲】
【請求項１】
符号化データの送受信処理を実行する通信処理装置であり、
送信データの符号化処理を実行する送信データ処理部と、
受信データの復号化処理を実行する受信データ処理部と、
送信データおよび受信データの比較に基づいて、送信データおよび受信データのいずれかを重点処理データとして識別する主従判断部と、
前記主従判断部の識別情報に基づいて、重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する制御部とを有し、
前記送信データ処理部および受信データ処理部は、前記制御部からの制御信号に基づいて送信データの符号化態様、受信データの復号化態様を変更する処理を実行する構成であることを特徴とする通信処理装置。
【請求項２】
前記主従判断は、送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行する構成であることを特徴とする請求項１に記載の通信処理装置。
【請求項３】
前記送信データ処理部および受信データ処理部は、音声データの符号化部または復号化部を有し、前記制御部からの処理高品質化命令に基づいて、符号化帯域または復号化帯域の拡大処理を実行し、前記制御部からの処理簡易化命令に基づいて、符号化帯域または復号化帯域の削減処理を実行する構成であることを特徴とする請求項１に記載の通信処理装置。
【請求項４】
前記送信データ処理部および受信データ処理部は、映像データの符号化部または復号化部を有し、前記制御部からの処理高品質化命令に基づいて、符号化フレームレートまたは復号化フレームレートの増加処理を実行し、前記制御部からの処理簡易化命令に基づいて、符号化フレームレートまたは復号化フレームレートの削減処理を実行する構成であることを特徴とする請求項１に記載の通信処理装置。
【請求項５】
前記送信データ処理部および受信データ処理部は、前記制御部からの処理高品質化命令に基づいて、通信処理装置内のリソース適用率を増加させた処理を実行し、前記制御部からの処理簡易化命令に基づいて、通信処理装置内のリソース適用率を減少させた処理を実行する構成であることを特徴とする請求項１に記載の通信処理装置。
【請求項６】
前記リソース適用率は、ＣＰＵの処理時間およびメモリの使用率を含むものであることを特徴とする請求項５に記載の通信処理装置。
【請求項７】
前記通信処理装置は、
前記主従判断部の識別情報を通信先端末に対して送信し、識別情報の通知処理を実行する構成であることを特徴とする請求項１に記載の通信処理装置。
【請求項８】
前記制御部は、
通信先端末から受信する主従判断識別情報に基づいて、前記送信データ処理部および受信データ処理部いずれか一方の重点処理データ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する構成であることを特徴とする請求項１に記載の通信処理装置。
【請求項９】
前記通信処理装置は、さらに、
送信データおよび受信データのいずれかを重点処理データとして任意に設定可能なスイッチ手段を有し、
前記制御部は、前記スイッチ手段の設定情報に基づいて、前記重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力することを特徴とする請求項１に記載の通信処理装置。
【請求項１０】
符号化データの送受信を実行する通信処理方法であり、
送信データおよび受信データの比較に基づいて、送信データおよび受信データのいずれかを重点処理データとして識別する主従判断ステップと、
前記主従判断ステップにおける識別情報に基づいて、重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する制御ステップと、
前記送信データ処理部および受信データ処理部において、前記処理高品質化命令または処理簡易化命令に基づいて送信データの符号化態様、受信データの復号化態様を変更する処理を実行する処理変更ステップと、
を有することを特徴とする通信処理方法。
【請求項１１】
前記主従判断ステップは、送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行することを特徴とする請求項１０に記載の通信処理方法。
【請求項１２】
前記送信データ処理部および受信データ処理部は、音声データの符号化部または復号化部を有し、前記処理高品質化命令に基づいて、符号化帯域または復号化帯域の拡大処理を実行し、前記処理簡易化命令に基づいて、符号化帯域または復号化帯域の削減処理を実行することを特徴とする請求項１０に記載の通信処理方法。
【請求項１３】
前記送信データ処理部および受信データ処理部は、映像データの符号化部または復号化部を有し、前記処理高品質化命令に基づいて、符号化フレームレートまたは復号化フレームレートの増加処理を実行し、前記処理簡易化命令に基づいて、符号化フレームレートまたは復号化フレームレートの削減処理を実行することを特徴とする請求項１０に記載の通信処理方法。
【請求項１４】
前記送信データ処理部および受信データ処理部は、前記処理高品質化命令に基づいて、通信処理装置内のリソース適用率を増加させた処理を実行し、前記処理簡易化命令に基づいて、通信処理装置内のリソース適用率を減少させた処理を実行することを特徴とする請求項１０に記載の通信処理方法。
【請求項１５】
前記リソース適用率は、ＣＰＵの処理時間およびメモリの使用率を含むものであることを特徴とする請求項１４に記載の通信処理方法。
【請求項１６】
前記通信処理方法は、さらに、
前記主従判断ステップにおける識別情報を通信先端末に対して送信し、識別情報の通知処理を実行するステップを有することを特徴とする請求項１０に記載の通信処理方法。
【請求項１７】
前記通信処理方法は、さらに、
通信先端末から受信する主従判断識別情報に基づいて、前記送信データ処理部および受信データ処理部いずれか一方の重点処理データ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力するステップを有することを特徴とする請求項１０に記載の通信処理方法。
【請求項１８】
前記通信処理方法は、さらに、
送信データおよび受信データのいずれかを重点処理データとして任意に設定可能なスイッチ手段による重点処理データ設定ステップを有し、
前記制御ステップは、前記スイッチ手段の設定情報に基づいて、前記重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力することを特徴とする請求項１０に記載の通信処理方法。
【請求項１９】
符号化データの通信処理を実行するコンピュータ・プログラムであり、
送信データおよび受信データの比較に基づいて、送信データおよび受信データのいずれかを重点処理データとして識別する主従判断ステップと、
前記主従判断ステップにおける識別情報に基づいて、重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する制御ステップと、
前記送信データ処理部および受信データ処理部において、前記処理高品質化命令または処理簡易化命令に基づいて送信データの符号化態様、受信データの復号化態様を変更する処理を実行する処理変更ステップと、
を有することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通信処理装置、および通信処理方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、ＴＶ電話アプリケーションに代表されるような、音声と映像を同時に用いた個人間の双方向リアルタイムコミュニケーション（「双方向ビジュアルコミュニケーション」と称する）について、その高品質化を実現することを可能とした通信処理装置、および通信処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
最近、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）電話やインスタントメッセンジャー等、文字、音声、映像等を用いて、個人間で手軽にコミュニケーションをとる手法が確立されつつあり、その一部はＴＶ電話アプリケーションとしてすでにビジネスとしても展開されている。今後、ネットワークの広帯域化、低価格化にともなって、これら個人間でのコミュニケーション手段も一段と整備され、広範囲に使用されるようになることが予想される。
【０００３】
音声と映像を同時に用いた双方向ビジュアルコミュニケーションの実現方法のひとつとして、ＡＶストリーミングを使った、ＴＶ電話のようなアプリケーションがある。すなわち、パーソナルコンピュータ、あるいは携帯情報端末や携帯電話等の通信処理装置によって構成されるコミュニケーション用端末（以下、コミュニケーション端末と称する）に、マイクとカメラ、スピーカと映像ディスプレイを装備し、コミュニケーション参加者の音声／映像をリアルタイムで相互に送受信することにより、相手の音声／映像を視聴しながらコミュニケーションをとるという形態である。
【０００４】
図１を参照して、従来の通信方法による双方向ビジュアルコミュニケーションの構成例について説明する。
【０００５】
端末Ａ１１０のユーザ（ユーザＡ）と端末Ｂ１２０のユーザ（ユーザＢ）は、ネットワーク１３０を介して接続しており、ビジュアルコミュニケーションをしている状態にある。ここでは、それぞれの端末がネットワークを介して接続状態になるまでの手順は、発明の本質とは離れるので、説明は省略する。
【０００６】
端末Ａ１１０において、ユーザＡの音声および映像は、カメラＡ１１２、マイクＡ１１１からなる映像および音声取得部から端末Ａ１１０に取り込まれる。これらの音声／映像データは、送信部Ａ１１５において符号化、パケット化等、所定の処理をした後、端末Ａ１１０からネットワーク１３０に送信される。端末Ｂ１２０は、ネットワーク１３０を介して端末Ａ１１０からの音声／映像データを受信する。
【０００７】
端末Ｂ１２０は、データ受信後、受信部Ｂ１２６においてユーザＡの音声／映像データを格納したパケットからのデータ取得および復号等、所定の処理を実行した後、ディスプレイＢ１２４、スピーカＢ１２３を介して画像および音声データを出力してユーザＢに提示する。なお、各端末の送信部、受信部における具体的処理については後述する。
【０００８】
双方向データ通信においては、端末Ａ１１０から端末Ｂ１２０に対するデータ送信に並行して、端末Ｂ１２０から端末Ａ１１０に対するデータ送信も行われる。端末Ｂ１２０では、ユーザＢの音声／映像を、カメラＢ１２２、マイクＢ１２１を用いて取得し、取得データは、端末Ａ１１０の場合と同様、送信部Ｂ１２５において所定の処理をした後、ネットワーク１３０に送信される。端末Ａ１１０は、上述したようにユーザＡの音声／映像データをネットワーク１３０に送信すると同時に、端末Ｂ１２０からネットワーク１３０に送信されたユーザＢの音声／映像データを受信し、受信部Ａ１１６において所定の処理をした後、端末Ａ１１０上のディスプレイＡ１１４、スピーカＡ１１３を介して画像および音声データを出力してユーザＡに提示する。
【０００９】
通常、双方向ビジュアルコミュニケーションでは、ネットワークの帯域を効率よく使用するために、音声／映像のデータは、それぞれの端末に設けられたコーデックを用いて数分の一から数十分の一にデータ圧縮（符号化）された後、ネットワークに送信される。例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、ＡＴＲＡＣ（Ａｄａｐｔｉｖｅ  Ｔｒａｎｓｆｏｒｍ  Ａｃｏｕｓｔｉｃ  Ｃｏｄｉｎｇ）等の符号化処理がなされる。
【００１０】
また、ネットワークにデータを出力する際には、符号化されたデータをそのまま流すのではなく、ネットワーク送受信に適したプロトコルでパケット化したものを使用する。たとえばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）や、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）に従ったパケットを生成して生成パケットをネットワークに出力する。各端末の送信部、受信部は、これらの処理を行っている。
【００１１】
送信部および受信部の構成例を図２、図３に示す。図２に示すように、送信データ処理部２１０は、マイク２０１から取得した音声データをオーディオ符号化器２１１に入力し、ＡＴＲＡＣ等の所定フォーマットに従ったデータ符号化処理を行って、オーディオパケット生成部２１２において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送出部２１５を介してネットワーク２２０に送出する。
【００１２】
映像データはカメラ２０２によって取得され、ビデオ符号化器２１３に入力し、ＭＰＥＧ等の所定フォーマットに従ったデータ符号化処理を行って、ビデオパケット生成部２１４において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送出部２１５を介してネットワーク２２０に送出する。
【００１３】
これらのパケットを受信する端末における処理について図３を参照して説明する。ネットワーク３０１を介して受信データ処理部３１０のネットワーク受信部３１１が受信したパケットは、オーディオパケット解析部３１２およびビデオパケット解析部３１４に入力されて、各パケットからの符号化データの取り出し、各パケットから取得した符号化データの再配列等の処理を実行した後、それぞれオーディオ復号化器３１３、ビデオ復号化器３１５に入力され、それぞれＡＴＲＡＣ、ＭＰＥＧ等の復号シーケンスに従った復号処理が実行される。復号データはそれぞれスピーカ３２１、ディスプレイ３２２を介して出力される。
【００１４】
このように、双方向ビジュアルコミュニケーションの参加者が使用するコミュニケーション端末では、そのツールを使用する者の音声／映像を符号化しネットワークに送信する送信部の処理と、コミュニケーションに参加している他者からネットワークを通じて送られてくる音声／映像データの復号化を行う受信部の処理、さらに復号化されたそれら音声／映像データをスピーカ、ディスプレイを用いて出力する処理を、リアルタイムで同時に行う必要がある。
【００１５】
なお、画像、音声等の複数のメディアデータを通信するデータ通信装置を開示した従来技術としては、例えば特許文献１がある。特許文献１には、複数のメディアデータを圧縮して送信する場合に符号化手段を選択して切り替えることで効率的なデータ通信を行う構成が示されている。また、画像データの通信において、特定の領域画像のみを抽出して送受信する処理方式について特許文献２に開示されている。
【００１６】
【特許文献１】
特開平１１−１７７４３６
【特許文献２】
特開２００２−５１３１５
【００１７】
【発明が解決しようとする課題】
コミュニケーション端末として用いられる通信処理装置としては、例えばパーソナルコンピュータ、携帯情報端末、携帯電話などがあるが、これらのうち、携帯情報端末や携帯電話では、その筐体サイズ、消費電力、搭載プロセッサ、端末価格等、様々な要因により、パーソナルコンピュータと比べて、一般には、処理能力の低いシステムであることが多い。すなわち、端末のＣＰＵパワーや使用可能なメモリ量がＰＣ等に比較して劣る場合が多い。
【００１８】
上述したように、双方向ビジュアルコミュニケーションを行うためには、リアルタイム性を維持するための高速処理能力が必要とされる。その結果、携帯情報端末や携帯電話等の、処理能力の低いシステムを使用した端末上では、リアルタイム性を維持するためデータ品質を犠牲にすることが行われる。すなわち、通信データを低いフレームレートによる映像データ、狭帯域の音声データとするなど、データ品質を犠牲にしてリアルタイム性を維持することが行われる。従って、リアルタイム性と高品質を維持したコミュニケーションは難しいという問題があった。
【００１９】
本発明は、このような状況に鑑みてなされたものであり、処理能力の低いコミュニケーション端末でも、通信データ品質を落とすことなく、双方向ビジュアルコミュニケーションを実現可能とした通信処理装置、および通信処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明の第１の側面は、
符号化データの送受信処理を実行する通信処理装置であり、
送信データの符号化処理を実行する送信データ処理部と、
受信データの復号化処理を実行する受信データ処理部と、
送信データおよび受信データの比較に基づいて、送信データおよび受信データのいずれかを重点処理データとして識別する主従判断部と、
前記主従判断部の識別情報に基づいて、重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する制御部とを有し、
前記送信データ処理部および受信データ処理部は、前記制御部からの制御信号に基づいて送信データの符号化態様、受信データの復号化態様を変更する処理を実行する構成であることを特徴とする通信処理装置にある。
【００２１】
さらに、本発明の通信処理装置の一実施態様において、前記主従判断は、送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の通信処理装置の一実施態様において、前記送信データ処理部および受信データ処理部は、音声データの符号化部または復号化部を有し、前記制御部からの処理高品質化命令に基づいて、符号化帯域または復号化帯域の拡大処理を実行し、前記制御部からの処理簡易化命令に基づいて、符号化帯域または復号化帯域の削減処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の通信処理装置の一実施態様において、前記送信データ処理部および受信データ処理部は、映像データの符号化部または復号化部を有し、前記制御部からの処理高品質化命令に基づいて、符号化フレームレートまたは復号化フレームレートの増加処理を実行し、前記制御部からの処理簡易化命令に基づいて、符号化フレームレートまたは復号化フレームレートの削減処理を実行する構成であることを特徴とする。
【００２４】
さらに、本発明の通信処理装置の一実施態様において、前記送信データ処理部および受信データ処理部は、前記制御部からの処理高品質化命令に基づいて、通信処理装置内のリソース適用率を増加させた処理を実行し、前記制御部からの処理簡易化命令に基づいて、通信処理装置内のリソース適用率を減少させた処理を実行する構成であることを特徴とする。
【００２５】
さらに、本発明の通信処理装置の一実施態様において、前記リソース適用率は、ＣＰＵの処理時間およびメモリの使用率を含むものであることを特徴とする。
【００２６】
さらに、本発明の通信処理装置の一実施態様において、前記通信処理装置は、前記主従判断部の識別情報を通信先端末に対して送信し、識別情報の通知処理を実行する構成であることを特徴とする。
【００２７】
さらに、本発明の通信処理装置の一実施態様において、前記制御部は、通信先端末から受信する主従判断識別情報に基づいて、前記送信データ処理部および受信データ処理部いずれか一方の重点処理データ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する構成であることを特徴とする。
【００２８】
さらに、本発明の通信処理装置の一実施態様において、前記通信処理装置は、さらに、送信データおよび受信データのいずれかを重点処理データとして任意に設定可能なスイッチ手段を有し、前記制御部は、前記スイッチ手段の設定情報に基づいて、前記重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力することを特徴とする。
【００２９】
さらに、本発明の第２の側面は、
送信データおよび受信データの比較に基づいて、送信データおよび受信データのいずれかを重点処理データとして識別する主従判断ステップと、
前記主従判断ステップにおける識別情報に基づいて、重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する制御ステップと、
前記送信データ処理部および受信データ処理部において、前記処理高品質化命令または処理簡易化命令に基づいて送信データの符号化態様、受信データの復号化態様を変更する処理を実行する処理変更ステップと、
を有することを特徴とする通信処理方法にある。
【００３０】
さらに、本発明の通信処理方法の一実施態様において、前記主従判断ステップは、送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行することを特徴とする。
【００３１】
さらに、本発明の通信処理方法の一実施態様において、前記送信データ処理部および受信データ処理部は、音声データの符号化部または復号化部を有し、前記処理高品質化命令に基づいて、符号化帯域または復号化帯域の拡大処理を実行し、前記処理簡易化命令に基づいて、符号化帯域または復号化帯域の削減処理を実行することを特徴とする。
【００３２】
さらに、本発明の通信処理方法の一実施態様において、前記送信データ処理部および受信データ処理部は、映像データの符号化部または復号化部を有し、前記処理高品質化命令に基づいて、符号化フレームレートまたは復号化フレームレートの増加処理を実行し、前記処理簡易化命令に基づいて、符号化フレームレートまたは復号化フレームレートの削減処理を実行することを特徴とする。
【００３３】
さらに、本発明の通信処理方法の一実施態様において、前記送信データ処理部および受信データ処理部は、前記処理高品質化命令に基づいて、通信処理装置内のリソース適用率を増加させた処理を実行し、前記処理簡易化命令に基づいて、通信処理装置内のリソース適用率を減少させた処理を実行することを特徴とする。
【００３４】
さらに、本発明の通信処理方法の一実施態様において、前記リソース適用率は、ＣＰＵの処理時間およびメモリの使用率を含むものであることを特徴とする。
【００３５】
さらに、本発明の通信処理方法の一実施態様において、前記通信処理方法は、さらに、前記主従判断ステップにおける識別情報を通信先端末に対して送信し、識別情報の通知処理を実行するステップを有することを特徴とする。
【００３６】
さらに、本発明の通信処理方法の一実施態様において、前記通信処理方法は、さらに、通信先端末から受信する主従判断識別情報に基づいて、前記送信データ処理部および受信データ処理部いずれか一方の重点処理データ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力するステップを有することを特徴とする。
【００３７】
さらに、本発明の通信処理方法の一実施態様において、前記通信処理方法は、さらに、送信データおよび受信データのいずれかを重点処理データとして任意に設定可能なスイッチ手段による重点処理データ設定ステップを有し、前記制御ステップは、前記スイッチ手段の設定情報に基づいて、前記重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力することを特徴とする。
【００３８】
さらに、本発明の第３の側面は、
符号化データの通信処理を実行するコンピュータ・プログラムであり、
送信データおよび受信データの比較に基づいて、送信データおよび受信データのいずれかを重点処理データとして識別する主従判断ステップと、
前記主従判断ステップにおける識別情報に基づいて、重点処理データを処理する前記送信データ処理部または受信データ処理部いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する制御ステップと、
前記送信データ処理部および受信データ処理部において、前記処理高品質化命令または処理簡易化命令に基づいて送信データの符号化態様、受信データの復号化態様を変更する処理を実行する処理変更ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００３９】
【作用】
本発明の構成によれば、会話の主従判定による処理の重み付けに基づいて通信処理装置のリソース配分を変更して送信データあるいは受信データの処理を行う構成としたので、主会話者側の音声および映像データを高品質データとして送受信して通信者であるユーザに提示することが可能となる。すなわち、会話にとって重要な部分のデータを選択的に高品質化することが可能となり、体感上の会話のクォリティを高くしたデータ通信、コミュニュケーションが実現される。
【００４０】
さらに、本発明の構成によれば、送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行する構成としたので、実際に話を行っているユーザを主会話者として判断し、実際に話を行っているユーザの音声データおよび映像データを選択的に高品質化することが可能となる。
【００４１】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４３】
【発明の実施の形態】
以下、図面を参照しながら、本発明の通信処理装置、および通信処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００４４】
本発明の通信処理装置は、音声および画像を伴う双方向ビジュアルコミュニケーションを実行し、データ通信の実行中に会話の主従関係を判断する。その上で、会話の主となる側に優先的に通信処理装置の有する情報処理のリソースを配分することにより、処理能力の低い端末でも円滑な双方向ビジュアルコミュニケーションを実現する。
【００４５】
なお、「情報処理のリソース」とは、双方向ビジュアルコミュニケーションの処理を行うのに必要となる通信処理装置の制御部（例えばＣＰＵ）や使用可能なメモリ量などである。具体的には、例えば双方向ビジュアルコミュニケーションを実行する場合に必要となる送信データの符号化、受信データの復号処理等に必要となるＣＰＵを含むデータ処理手段およびメモリ等であり、本発明の通信処理装置では、会話の主となる側に優先的にこれらの情報処理のリソースを配分して処理を実行する。
【００４６】
すなわち、通信処理装置において会話の主となる側が自装置側のユーザであるか、通信先の通信処理装置側のユーザであるかを判定し、その判定に基づいて、ＣＰＵを含むデータ処理手段の適用率、および使用するメモリ量を変更して、会話の主となる側のデータ処理により多くのリソースを配分して処理を実行する。
【００４７】
以下、図を参照して本発明の通信処理装置の構成および通信処理の手順についての詳細を説明する。
【００４８】
複数の通信処理装置間において、線または無線のネットワークを介した通信を実行する環境において、例えば通信処理装置間においてユーザが会話をする場合、話をする側とそれを聞く側が存在し、通常は、その立場が順次入れ替わることで双方向のコミュニケーションが成立する。
【００４９】
本発明では、複数の通信処理装置を用いてネットワークを介したデータ通信を実行している複数ユーザ中、主に話をしているユーザ側、すなわち多くの音声データを送信している側のユーザを主会話者、主会話者の話を聞いている側、すなわち音声データを受信し再生している側のユーザを従会話者と称する。双方向通信を行う場合、通常は主会話者と従会話者は固定されるものではなく適宜入れ替わることで会話が成立する。従って会話の参加者は、会話の内容に応じて、主会話者にも従会話者にもなりえる。
【００５０】
本発明の通信処理装置では、通信データとなるユーザの音声データの入出力状況を監視し、監視情報に基づいて随時、主従関係を判定し、判定結果に基づいてリソース配分を随時更新変更し、最適なリソースの配分による通信データの高品質化を実現させるものである。
【００５１】
通信処理装置を用いて、双方向ビジュアルコミュニケーションを実行する場合、主会話者と従会話者それぞれが使用している例えば携帯電話等の通信処理装置は、ユーザの音声および映像データをマイクおよびカメラにより取得して符号化処理の後、ネットワークを通じて相手方へと送信する。
【００５２】
従来の通信処理装置（端末）では、その端末を使用する人間が主会話者であるか、従会話者であるかを区別することなく、音声および映像データの符号化処理、符号化データ送信処理、および符号化データ受信処理、受信データ復号化処理等、通信データの送受信および再生に必要な各種の処理を、単純な処理プロセスの時分割処理等に基づいて実行している。すなわち、各通信端末のプロセッサ（ＣＰＵ等）が、蓄積された処理対象データに応じて順次処理を行うのが一般的なデータ処理構成となっている。
【００５３】
ところが、実際の双方向ビジュアルコミュニケーションで交わされるデータの内容を考えると、主会話者からのデータは会話の内容そのものなので、主会話者の音声および映像は、ともに通信処理装置を介して実行中の会話にとって重要なデータである場合が多い。一方、従会話者、すなわち主会話者の話を聞いている側からの音声データおよび映像データは、主会話者の話す内容に対する相槌や返事などを示すのみ、あるいは、なんら言葉を発していない場合などが多く、従会話者の音声および映像データは、ともに通信処理装置を介して実行中の会話にとって重要性が高いものでない場合が多い。
【００５４】
従って、従会話者の音声および映像データに対するデータ処理に、主会話者の音声および映像データに対する処理と同程度のシステムリソースを配分することは、データの重要性を鑑みた場合、最適な処理とは言えない。主会話者、従会話者に対応するデータ処理を均等に実行しても問題がないレベルの処理能力の高いプロセッサや充分なメモリ容量を持つ機器とすることはコスト高、および機器の大型化を招くこととなる。
【００５５】
そこで本発明の通信処理装置では、通信を実行している複数ユーザの音声データの入出力状況を監視し、監視情報に基づいて随時、主従関係を判定し、判定結果に基づいてリソース配分を随時更新して変更し、主会話者からのデータ処理により多くのリソースを適用することで主会話者のデータ処理を優先的に実行し、より重要度の高いデータ、すなわち主会話者の音声データおよび画像データをより高品質なデータとして送受信しユーザに提供することを可能とするものである。
【００５６】
図４を参照して、本発明の通信処理装置の構成および処理について説明する。本発明の通信処理装置４００は、ネットワーク４０１を介して受信したデータを処理する受信データ処理部４１０、受信データ処理部の処理後のデータを出力するディスプレイ４１４、スピーカ４１７、ネットワークに出力するユーザの音声および映像データを取得するマイク４３１、カメラ４３４、取得したデータに基づく送信データを生成する送信データ処理部４３０を有する。
【００５７】
受信データ処理部４１０では、ネットワーク４０１を介してネットワーク受信部４１１が受信したパケットを、ビデオパケット解析部４１２およびオーディオパケット解析部４１５に入力し、各パケットからの符号化データの取り出し、各パケットから取得した符号化データの再配列等の処理を実行した後、それぞれビデオ復号化器４１３、オーディオ復号化器４１６に入力し、それぞれＡＴＲＡＣ、ＭＰＥＧ等の復号シーケンスに従った復号処理が実行し、復号データをそれぞれディスプレイ４１４、スピーカ４１７を介して出力する。
【００５８】
送信データ処理部４３０では、マイク４３１から取得した音声データをオーディオ符号化器４３２に入力し、ＡＴＲＡＣ等の所定フォーマットに従ったデータ符号化処理を行って、オーディオパケット生成部４３３において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送信部４３７を介してネットワーク４０１に送出する。
【００５９】
映像データはカメラ４３４によって取得し、ビデオ符号化器４３５に入力し、ＭＰＥＧ等の所定フォーマットに従ったデータ符号化処理を行って、ビデオパケット生成部４３６において、符号化データをペイロードとして格納し、送信元、送信先アドレス等の所定のヘッダ情報を設定したパケットを生成してネットワーク送信部４３７を介してネットワーク４０１に送出する。
【００６０】
本発明の通信処理装置は、上述した受信データ処理部４１０、送信データ処理部４３０の他に、会話主従判断部４２０、符号化器／復号化器制御部４２１、符号化プリプロセス部４２３、および復号化プリプロセス部４２２を備える。
【００６１】
会話主従判断部４２０は、送信データおよび受信データのいずれかを重点処理データとするかを識別する処理を実行する。会話主従判断部４２０は、マイク４３１の取得する音声データである送信音声データと、ネットワーク４０１を介して受信した、コミュニケーション相手の音声データである受信音声データを入力する。ここで、送信音声データは、この通信処理装置４００を使用しているユーザが発し、マイク４３１によって取得された音声データである。一方、受信音声データは、通信相手ユーザの音声データであり、ネットワーク４０１を介してネットワーク受信部４１１が受信し、オーディオパケット解析部４１５においてパケットから取得した符号化データをオーディオ復号化器４１６において復号した通信相手ユーザの音声データである。
【００６２】
会話主従判断部４２０は、受信データ処理部４１０のオーディオ復号化器４１６の出力する通信相手ユーザの音声データである受信音声データと、マイク４３１の取得する音声データである送信音声データとを入力し、これら２つの音声データのパワーレベルを比較する。
【００６３】
音声が全く入力されない場合は、パワーレベルは０であるが、音声が入力されると会話主従判断部４２０において入力音声データに基づいてパワーレベルが計測される。主に話をしているのがこの通信処理装置４００側のユーザである場合は、マイク４３１の取得する音声データである送信音声データのパワーレベルが、通信相手ユーザの音声データである受信音声データのパワーレベルより大となる。すなわち、２つの入力音声データのパワーレベルは、
送信音声データ＞受信音声データ
となる。
【００６４】
一方、主に話をしているのが通信相手ユーザであれば、通信相手ユーザの音声データである受信音声データのパワーレベルが、マイク４３１の取得する音声データである送信音声データのパワーレベルより大となる。すなわち、２つの入力音声データのパワーレベルは、
送信音声データ＜受信音声データ
となる。
【００６５】
会話主従判断部４２０は、
送信音声データ＞受信音声データ
であれば、この通信処理装置４００側のユーザを主会話者とし、通信処理装置４００と通信を実行している通信相手ユーザを従会話者と判定する。
送信音声データ＜受信音声データ
であれば、この通信処理装置４００側のユーザを従会話者とし、通信処理装置４００と通信を実行している通信相手ユーザを主会話者と判定する。
【００６６】
会話主従判断部４２０は、送信音声データおよび受信音声データを継続的、あるいは所定のサンプリングタイミング毎に入力し入力データに基づいて、両データのパワーレベルを比較し、比較結果に基づいて、主会話者および従会話者がいずれのユーザであるかを判断する。
【００６７】
会話主従判断部４２０において実行する会話の主従判断処理シーケンスを説明するフローチャートを図５に示す。
【００６８】
ステップＳ１０１において、会話主従判断部４２０は、マイク４３１の取得した送信音声データの入力の有無を判定する。これは、会話主従判断部４２０が送信音声データの入力レベルに基づいて判定する。
【００６９】
送信音声データの入力があると判定すると、ステップＳ１０２に進み、受信データ処理部４１０のオーディオ復号化器４１６の出力する通信相手ユーザの音声データの入力の有無を判定する。これは、会話主従判断部４２０が受信音声データの入力レベルに基づいて判定する。
【００７０】
送信音声データの入力があり、かつ受信音声データの入力がある場合は、ステップＳ１０３において、送信音声データパワーレベルと、受信音声データパワーレベルの比較判定処理を実行する。
【００７１】
送信音声データパワー＞受信音声データパワー
である場合は、ステップＳ１０４に進み、ローカル端末が主会話者であることを示す識別信号を符号化器／復号化器制御部４２１に出力する。なお、図５において、「ローカル端末」とは、このフローチャートによる会話の主従判断処理を行っている会話主従判断部を備えた通信処理端末であり、「リモート端末」とは、「ローカル端末」とネットワークを介して接続し通信を実行している通信処理端末である。
【００７２】
送信音声データパワー＞受信音声データパワー
でない場合は、ステップＳ１１２に進み、リモート端末側ユーザが主会話者であることを示す識別信号を符号化器／復号化器制御部４２１に出力する。
【００７３】
ステップＳ１０２の判定がＮｏ、すなわち、送信音声データの入力があるが受信音声データの入力がない場合は、ステップＳ１０３における入力音声パワーレベルの比較処理を実行することなく、ステップＳ１０４に進み、ローカル端末側ユーザが主会話者であることを示す識別信号を符号化器／復号化器制御部４２１に出力する。
【００７４】
また、ステップＳ１０１において、送信音声データの入力がないと判定すると、ステップＳ１１１に進み、受信データ処理部４１０のオーディオ復号化器４１６の出力する通信相手ユーザの音声データの入力の有無を判定する。これは、会話主従判断部４２０が受信音声データの入力レベルに基づいて判定する。
【００７５】
ステップＳ１１１の判定がＹｅｓ、すなわち、送信音声データの入力がなく、受信音声データの入力のみがある場合は、ステップＳ１１２に進み、リモート端末側ユーザが主会話者であることを示す識別信号を符号化器／復号化器制御部４２１に出力する。
【００７６】
ステップＳ１１１の判定がＮｏ、すなわち、送信および受信音声データの双方の入力がない場合は、リソース制御を実行する必要がなく、符号化器／復号化器制御部４２１に対する識別信号の出力を実行することなくことなく処理を終了する。
【００７７】
なお、図５に示す処理は、会話主従判断部４２０において、継続的にあるいは予め定められたサンプリングタイミング毎に繰り返し実行される処理である。
【００７８】
上述したように、会話主従判断部４２０において２つの入力音声パワーレベルに基づいて会話の主従が判定されると、会話主従判断部４２０は、符号化器／復号化器制御部４２１に対していずれの端末側が主であるかを示す識別信号を出力する。
【００７９】
符号化器／復号化器制御部４２１は、会話主従判断部４２０から入力する識別信号に従って、復号化プリプロセス部４２２および符号化プリプロセス部４２３に対して識別信号に応じた制御命令を出力する。符号化器／復号化器制御部４２１は、会話主従判断部４２０から入力する識別情報に基づいて、重点処理データを処理する送信データ処理部４３０または受信データ処理部４１０いずれか一方のデータ処理部に対して処理高品質化命令を出力し、他方のデータ処理部に対して処理簡易化命令を出力する。
【００８０】
図４に示す通信処理装置（ローカル端末）が主会話者側の端末であるとした場合、ネットワークを経由して送られてくるリモート端末の従会話者側の音声および画像は、コミュニケーション上、重要ではないデータであり、従会話者の音声および映像データに関する処理を軽減、すなわち、従会話者の音声および映像データに関する処理に適用するリソースを減少させるように、符号化器／復号化器制御部４２１は、復号化プリプロセス部４２２に制御命令を出力する。
【００８１】
復号化プリプロセス部４２２は、符号化器／復号化器制御部４２１からの制御命令としてリソース減少命令を入力すると、ビデオ復号化器４１３に対して復号処理における復号映像データのフレームレートを低下させる処理変更命令を出力し、ビデオ復号化器４１３は処理変更命令に応じて復号フレームレートを低下させる。この結果、処理負荷が減少され、通信処理装置のリソース（ＣＰＵ、メモリ等）を他の処理に優先的に適用することが可能となる。
【００８２】
復号化プリプロセス部４２２は、符号化器／復号化器制御部４２１からの制御命令としてリソース減少命令を入力すると、ビデオ復号化器４１３に対して処理変更命令を出力し、ビデオ復号化器４１３は、リソース適用率を減少させた処理、すなわち、ＣＰＵの処理時間およびメモリの使用率を減少させて復号フレームレートを低下させた処理を行う。
【００８３】
さらに、復号化プリプロセス部４２２は、符号化器／復号化器制御部４２１からの制御命令としてリソース減少命令を入力すると、オーディオ復号化器４１６に対して、音声データの復号帯域を削減し狭帯域化するなどの処理変更命令を出力し、オーディオ復号化器４１６は、処理変更命令に従って復号処理態様の変更、すなわち音声データの復号帯域を削減し狭帯域化するなどの処理を実行し、音声データ復号処理の負荷を低下させる。この結果、処理負荷が減少され、通信処理装置のリソース（ＣＰＵ、メモリ等）を他の処理に優先的に適用することが可能となる。
【００８４】
復号化プリプロセス部４２２は、符号化器／復号化器制御部４２１からの制御命令としてリソース減少命令を入力すると、オーディオ復号化器４１６に対して処理変更命令を出力し、オーディオ復号化器４１６は、リソース適用率を減少させた処理、すなわち、ＣＰＵの処理時間およびメモリの使用率を減少させて復号帯域を削減した処理を行う。
【００８５】
また、図４に示す通信処理装置（ローカル端末）が主会話者側の端末であるとした場合、通信処理装置（ローカル端末）側の音声および画像は、コミュニケーション上、重要なデータであり、主会話者の音声および映像データに関する処理を重点的に実行、すなわち、主会話者の音声および映像データに関する処理に適用するリソースを増大させるように、符号化器／復号化器制御部４２１は、符号化プリプロセス部４２３に制御命令を出力する。
【００８６】
符号化プリプロセス部４２３は、符号化器／復号化器制御部４２１からの制御命令としてリソース増大命令を入力すると、ビデオ符号化器４３５に対して符号化処理における符号化映像データのフレームレートを可能な範囲で増加させる処理変更命令を出力し、ビデオ符号化器４３５は処理変更命令に応じて符号化フレームレートを可能な範囲で増加させる。この場合の処理負荷は増大するが、先に説明したように、受信データ処理部４１０での処理負荷軽減が実行されており、通信処理装置のリソース（ＣＰＵ、メモリ等）を、送信データ処理部４３０において優先的に適用することが可能であり、符号化フレームレートの増加に対応することが可能となる。この結果、符号化データのデータ品質が向上し、通信先のリモート端末では、より高品質な主会話者の映像データを再生出力することが可能となる。
【００８７】
符号化プリプロセス部４２３は、符号化器／復号化器制御部４２１からの制御命令としてリソース増大命令を入力すると、ビデオ符号化器４３５に対して処理変更命令を出力し、ビデオ符号化器４３５は、リソース適用率を増大させた処理、すなわち、ＣＰＵの処理時間およびメモリの使用率を増加させて符号化フレームレートを可能な範囲で増加させた処理を行う。
【００８８】
さらに、符号化プリプロセス部４２３は、符号化器／復号化器制御部４２１からの制御命令としてリソース増大命令を入力すると、オーディオ符号化器４３２に対して、音声データの符号化帯域を可能な範囲で広帯域化するなどの処理変更命令を出力し、オーディオ符号化器４３２は、処理変更命令に従って復号処理態様の変更を実行し、音声データの符号化データの品質を向上させる処理、すなわち音声データの符号化帯域を拡大し広帯域化するなどの処理を実行する。
【００８９】
符号化プリプロセス部４２３は、符号化器／復号化器制御部４２１からの制御命令としてリソース増大命令を入力すると、オーディオ符号化器４３２に対して処理変更命令を出力し、オーディオ符号化器４３２は、リソース適用率を増加させた処理、すなわち、ＣＰＵの処理時間およびメモリの使用率を増加させて符号化帯域を拡大した処理を行う。
【００９０】
この場合の処理負荷は増大するが、先に説明したように、受信データ処理部４１０での処理負荷軽減が実行されており、通信処理装置のリソース（ＣＰＵ、メモリ等）を、送信データ処理部４３０において優先的に適用することが可能であり、符号化帯域を可能な範囲で広帯域化するなどの処理が可能となる。この結果、符号化データのデータ品質が向上し、通信先のリモート端末では、より高品質な主会話者の音声データを再生出力することが可能となる。
【００９１】
一方、図４に示す通信処理装置（ローカル端末）が従会話者側の端末で、リモート端末が主会話者側であるとした場合、ネットワークを経由して送られてくるリモート端末の主会話者側の音声および画像は、コミュニケーション上、重要なデータであり、リモート端末から受信する音声および映像データに関する処理を重点的に処理、すなわち、リモート端末の主会話者側の音声および画像データに関する処理に適用するリソースを増大させるように、符号化器／復号化器制御部４２１は、復号化プリプロセス部４２２に制御命令を出力する。
【００９２】
復号化プリプロセス部４２２は、符号化器／復号化器制御部４２１からの制御命令としてリソース増大命令を入力すると、ビデオ復号化器４１３に対して復号処理における復号映像データのフレームレートを可能な範囲で増加させる処理変更命令を出力し、ビデオ復号化器４１３は処理変更命令に応じて復号フレームレートを可能な範囲で増加させる。この結果、処理負荷が増加するが、後述するように、送信データ処理部４３０では処理負荷軽減が実行され、通信処理装置のリソース（ＣＰＵ、メモリ等）を、受信データ処理部４１０において優先的に適用することが可能となり、復号フレームレートの増加に対応することが可能となる。この結果、復号データのデータ品質が向上し、ローカル端末では、通信先のリモート端末から受信する映像データを高品質な映像データとしてディスプレイ４１４において出力することが可能となる。
【００９３】
さらに、復号化プリプロセス部４２２は、符号化器／復号化器制御部４２１からの制御命令としてリソース増大命令を入力すると、オーディオ復号化器４１６に対して、音声データの復号帯域を可能な範囲で広帯域化するなどの処理変更命令を出力し、オーディオ復号化器４１６は、処理変更命令に従って復号処理態様の変更を実行し、復号音声データの高品質化を図る。この結果、処理負荷が増加するが、後述するように、送信データ処理部４３０では処理負荷軽減が実行され、通信処理装置のリソース（ＣＰＵ、メモリ等）を、受信データ処理部４１０において優先的に適用することが可能となり、音声データの復号帯域を可能な範囲で広帯域化するなどの処理が可能となる。この結果、復号データのデータ品質が向上し、ローカル端末では、通信先のリモート端末から受信する音声データを高品質な音声データとしてスピーカ４１７において出力することが可能となる。
【００９４】
また、図４に示す通信処理装置（ローカル端末）が従会話者側の端末であるとした場合、通信処理装置（ローカル端末）側の音声および画像は、コミュニケーション上、重要でないデータであり、従会話者の音声および映像データに関する処理を軽減させて実行、すなわち、ローカル端末である通信処理装置４００から送信する従会話者の音声および映像データに関する処理に適用するリソースを減少させるように、符号化器／復号化器制御部４２１は、符号化プリプロセス部４２３に制御命令を出力する。
【００９５】
符号化プリプロセス部４２３は、符号化器／復号化器制御部４２１からの制御命令としてリソース減少命令を入力すると、ビデオ符号化器４３５に対して符号化処理における符号化映像データのフレームレートを減少させる処理変更命令を出力し、ビデオ符号化器４３５は処理変更命令に応じて符号化フレームレートを減少させる。この結果、処理負荷が減少し、先に説明した受信データ処理部４１０での処理負荷増大に対応可能となる。
【００９６】
さらに、符号化プリプロセス部４２３は、符号化器／復号化器制御部４２１からの制御命令としてリソース減少命令を入力すると、オーディオ符号化器４３２に対して、音声データの符号化帯域を狭帯域化するなどの処理変更命令を出力し、オーディオ符号化器４３２は、処理変更命令に従って符号化処理態様の変更を実行し、音声データの符号化データの品質を低下させる処理を実行する。この結果、処理負荷が減少し、先に説明した受信データ処理部４１０での処理負荷増大に対応可能となる。
【００９７】
なお、オーディオ、ビデオの符号化器および復号化器において負荷を変動させるための処理態様の変更としては、例えば上記したように、オーディオの場合は処理帯域の変更、ビデオデータの場合はフレームレートの変更がある。具体的には、オーディオデータの処理負荷を軽減したい場合は、高音域をカットして低域だけの符号化あるいは復号化を実行することにより、高音域の処理に必要だったリソースの軽減が可能となる。またビデオデータの符号化または復号化において処理負荷を軽減したい場合は、フレームレートを落とすことにより、１秒あたりに必要なビデオデータの符号化および復号化処理のリソースを軽減することが可能である。
【００９８】
上述した符号化器／復号化器制御部４２１の処理手順について、図６を参照して説明する。ステップＳ２０１において、符号化器／復号化器制御部４２１は、会話主従判断部４２０が音声パワーレベルに基づいて判断したローカル端末、リモード端末いずれの端末側のユーザが主会話者であるかを示す識別信号を入力する。
【００９９】
ステップＳ２０２において、入力識別信号に基づいてローカル端末側が主会話者、すなわち、この処理フローを実行している端末を利用しているユーザ側が主会話者であることを示す識別信号であると判定された場合は、ステップＳ２０３において、受信データ処理部４１０内の復号化部、すなわち、ビデオ復号化器４１３およびオーディオ復号化器４１６に対して処理簡易化命令、すなわち制御命令としてのリソース減少命令を出力する。さらに、ステップＳ２０４において、送信データ処理部４３０内の符号化部、すなわち、オーディオ符号化器４３２およびビデオ符号化器４３５に対して処理高品質化命令、すなわち制御命令としてのリソース増大命令を出力する。
【０１００】
この処理により、この処理フローを実行している端末を利用しているユーザ側、すなわち主会話者の音声および映像の処理により多くのリソースが適用され、高品質なデータがネットワークを介して出力され、リモート端末において、高品質データの再生が実行される。なお、リモート端末も、図４に示すと同様の会話主従判断部による主会話者の判断を行い、リソース配分を行う機器であれば、この場合、リモート端末側では、主会話者側のローカル端末から受信する音声パワーを大と判定し、ローカル端末から受信する音声、映像の処理にリソースをより多く適用することになる。従って、ローカル端末から送信される高品質データを損なうことなく復号、再生することが可能となり、主会話者の音声および映像の高品質データ再生が実行される。
【０１０１】
すなわち、ネットワークを介した通信を実行する通信処理装置の双方が図４に示す会話主従判断部を有し、主従判断に基づくリソース配分を実行すれば、主会話者側のデータの優先的な処理が、双方の機器において実行され、高品質符号化データの生成、送信、受信、高品質符号化データの復号および再生がすべて実行されることになる。なお、一方のみが、図４に示す会話主従判断部を有し、主従判断に基づくリソース配分を実行する機器である場合においても、その機器においては主会話者側のデータ処理の優先実行が可能であり、自機器における処理の効率化および主会話者側のデータ高品質化が実現されることになる。
【０１０２】
一方、ステップＳ２０２において、入力識別信号に基づいてローカル端末側が主会話者でない、すなわち、この処理フローを実行している端末と通信を実行しているリモート端末を利用しているユーザ側が主会話者であることを示す識別信号であると判定された場合は、ステップＳ２１１に進み、受信データ処理部４１０内の復号化部、すなわち、ビデオ復号化器４１３およびオーディオ復号化器４１６に対して処理高品質化命令、すなわち制御命令としてのリソース増大命令を出力する。さらに、ステップＳ２１２において、送信データ処理部４３０内の符号化部、すなわち、オーディオ符号化器４３２およびビデオ符号化器４３５に対して処理簡易化命令、すなわち制御命令としてのリソース減少命令を出力する。
【０１０３】
この処理により、この処理フローを実行している端末を利用しているユーザ側、すなわち従会話者の音声および映像の処理リソースが減少され、リモート端末からの受信データに対する処理に多くのリソースが提供され、リモート端末から受信する音声および映像の高品質データがディスプレイ４１４、スピーカ４１７を介して出力されることになる。
【０１０４】
なお、リモート端末も、図４に示すと同様の会話主従判断部による主会話者の判断を行い、リソース配分を行う機器であれば、この場合、リモート端末側では、自装置すなわちリモート端末側が主会話者であると判定し、自装置から送信する音声、映像の処理にリソースをより多く適用することになる。従って、送信するデータを高品質データとする処理を行うことになり、２つの通信処理装置において、高品質データの生成、送信、受信、高品質符号化データの復号および再生がすべて実行されることになる。
【０１０５】
すなわち、ネットワークを介した通信を実行する通信処理装置の双方が図４に示す会話主従判断部を有し、主従判断に基づくリソース配分を実行すれば、主会話者側のデータの優先的な処理が、双方の機器において実行され、高品質符号化データの生成、送信、受信、高品質符号化データの復号および再生がすべて実行されることになる。なお、一方のみが、図４に示す会話主従判断部を有し、主従判断に基づくリソース配分を実行する機器である場合においても、その機器においては主会話者側のデータ処理の優先実行が可能であり、自機器における処理の効率化および主会話者側のデータ高品質化は実現される。
【０１０６】
図７および図８に本発明の通信処理装置に構成されるオーディオ符号化器、復号化器と、ビデオ符号化器とビデオ復号化器の詳細構成を示す。
【０１０７】
図７は、（ａ）オーディオ符号化器と、（ｂ）オーディオ復号化器の構成を示している。（ａ）に示すオーディオ符号化器４３２は、ＡＴＲＡＣ等のオーディオデータの符号化処理を実行するオーディオ符号化部コア５１１と、オーディオ符号化部コア５１１に対して符号化処理態様、具体的には例えば符号化帯域の設定処理を行うオーディオ符号化帯域制御部５１２とを有する。
【０１０８】
オーディオ符号化帯域制御部５１２は、符号化プリプロセス部４２３から、音声データの符号化帯域を可能な範囲で広帯域化あるいは狭帯域化等を指示する処理変更命令を入力する。オーディオ符号化帯域制御部５１２は、入力命令に基づいて符号化帯域の設定情報をオーディオ符号化部コア５１１に出力し、オーディオ符号化部コア５１１では設定された帯域に従った符号化処理を実行する。
【０１０９】
（ｂ）に示すオーディオ復号化器４１６は、ＡＴＲＡＣ等のオーディオデータの復号処理を実行するオーディオ復号化部コア５４１と、オーディオ復号化部コア５４１に対して復号化処理態様、具体的には例えば復号帯域の設定処理を行うオーディオ復号化帯域制御部５４２とを有する。
【０１１０】
オーディオ復号化帯域制御部５４２は、復号化プリプロセス部４２２から、音声データの復号帯域を可能な範囲で広帯域化あるいは狭帯域化等を指示する処理変更命令を入力する。オーディオ復号化帯域制御部５４２は、入力命令に基づいて復号帯域の設定情報をオーディオ復号化部コア５４１に出力し、オーディオ復号化部コア５４１では設定された帯域に従った復号化処理を実行する。
【０１１１】
このように、オーディオ符号化器４３２、およびオーディオ復号化器４１６では、符号化あるいは復号化帯域の設定を変更して処理負荷を適宜変更し、使用するリソースの変更を行う。
【０１１２】
図８は、（ａ）ビデオ符号化器と、（ｂ）ビデオ復号化器の構成を示している。（ａ）に示すビデオ符号化器４３５は、ＭＰＥＧ等のビデオデータの符号化処理を実行するビデオ符号化部コア６１１と、ビデオ符号化部コア６１１に対して符号化処理態様、具体的には例えば符号化フレームレートの設定処理を行うビデオ符号化フレームレート制御部６１２とを有する。
【０１１３】
ビデオ符号化フレームレート制御部６１２は、符号化プリプロセス部４２３から、ビデオデータの符号化フレームレートを高く、あるいは低くする等の処理変更命令を入力する。ビデオ符号化フレームレート制御部６１２は、入力命令に基づいて符号化フレームレートの設定情報をビデオ符号化部コア６１１に出力し、ビデオ符号化部コア６１１では設定されたフレームレートに従った符号化処理を実行する。
【０１１４】
（ｂ）に示すビデオ復号化器４１３は、ＭＰＥＧ等のビデオデータの復号処理を実行するビデオ復号化部コア６４１と、ビデオ復号化部コア６４１に対して復号化処理態様、具体的には例えば復号フレームレートの設定処理を行うビデオ復号化フレームレート制御部６４２とを有する。
【０１１５】
ビデオ復号化フレームレート制御部６４２は、復号化プリプロセス部４２２から、ビデオデータの復号フレームレートの高低を指示した処理変更命令を入力する。ビデオ復号化フレームレート制御部６４２は、入力命令に基づいて復号フレームレートの設定情報をビデオ復号化部コア６４１に出力し、ビデオ復号化部コア６４１では設定されたフレームレートに従った復号化処理を実行する。
【０１１６】
このように、ビデオ符号化器４３５、およびビデオ復号化器４１３では、符号化あるいは復号化フレームレートの設定を変更して処理負荷を適宜変更し、使用するリソースの変更を行う。
【０１１７】
上述したように、本発明の構成においては、会話の主従判定による処理の重み付けに基づいてリソースの配分を変更して各処理を行う構成としたので、主会話者側の端末では、主会話者の音声および映像データが優先的に処理され高品質なデータとして出力されることになる。また、従会話者から送られてくる音声および映像データは、フレームレートを落とされたり、帯域を狭められたりして、主会話者側の端末のディスプレイおよびスピーカを介して出力される。主会話者は、発言することに労力の多くを費やすため、従会話者からの音声および映像データのクォリティが下がっていたとしても、体感上問題となることはないと考えられる。
【０１１８】
一方、主会話者の音声および映像データは、従会話者に対応するデータ処理を簡略化することで余ったリソースを使うことが可能となり、フレームレートの向上、広帯域化などにより高品質化され、従会話者に送られる。従会話者側の端末は、主会話者の音声および映像データを、可能な限りのクォリティで復号化し、従会話者に提示する。従会話者は、会話上重要な主会話者の音声および映像データを高品質なデータとして視聴できるため、主会話者の細かい表情の変化や小さな声なども、問題なく認識することができる。従会話者の音声および映像データは、クォリティを落として符号化され、主会話者に送信される。
【０１１９】
ここで、クォリティを落として符号化された従会話者側データを受け取った主会話者側端末が、さらにクォリティを落として処理したとしても、問題はないが、実使用上は、クォリティの最低ラインをあらかじめ設定しておくことが好ましい。例えばビデオデータの処理における最低フレームレート、オーディオデータの処理における最低処理帯域を設定し、リソース減少時においても、これらの最低ラインを下回ることのない処理実行する。
【０１２０】
なお、符号化、復号化、ともに端末独自でクォリティを落とす処理を行うことができるので、必ずしも端末間で会話の主従をお互いに認識する必要はないが、例えばリアルタイム・トランスポート制御プロトコルＲＴＣＰ（Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）に規定されている“Ａｐｐｌｉｃａｔｉｏｎ−ｄｅｆｉｎｅｄ  ＲＴＣＰ  ｐａｃｋｅｔ（ＲＦＣ１８８９）”などを用いてお互いの通信処理装置の状態情報をリアルタイムで交換することにより、それぞれの通信処理装置で判定された主従関係情報を随時交換し、双方で統一された主従関係に基づく処理を行うようにしてもよい。
【０１２１】
また、２端末間の双方向ビジュアルコミュニケーションの場合では、どちらか片方の端末でのみ会話の主従を判断し、上記したようなネットワークプロトコルを用いて、主従判断端末から、非判断端末に対して判断情報を通知して、主従判断情報を２端末間で共有して統一された主従関係に基づく処理を行うようにしてもよい。
【０１２２】
この場合、図４の構成において、符号化器／復号化器制御部４２１は、通信先からの主従判断情報を入力して、入力した主従判断情報に基づいて、処理高品質化命令または処理簡易化命令を符号化処理部または復号化処理部に出力する。
【０１２３】
なお、上述の実施例においては、端末が自動で会話の主従を決定する場合を説明したが、本発明はこれにとどまらず、例えば、会話の主従をスイッチにより切り替えるモードを備えてもよい。ユーザが会話をしている中で、相手の音声／映像を、より高いクォリティで視聴したい場合に、自分を従会話者と設定するスイッチを設けることで、これが可能となる。
【０１２４】
また、上述の実施例においては、２つの端末間における通信例を示したが、３以上の端末間の通信を実行する場合でも、上述した実施例と同様、１つの通信端末において、送信するデータと、受信するデータ間で、パワーレベルを判定して、いずれかを主会話者として特定することが可能であり、本発明の構成は、２端末間での処理に限らず、３以上の多端末間における双方向ビジュアルコミュニケーションにも応用することができる。
【０１２５】
上述の実施例で述べた一連の処理は、ハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたデータ処理装置内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、例えば汎用のコンピュータやマイクロコンピュータ等にインストールされる。
【０１２６】
図９に、上述の実施例で述べた一連の処理を実行する通信処理装置のハードウェア構成例を示す。上述したように送受信データは、符号化データであり、データ送信の場合にはエンコード（符号化）処理が実行され、受信データについてはデコード（復号）処理が実行される。符号化されたデータはパケットとしてネットワークを介して送受信する。そのため、データ送信側では、パケット生成（パケタイズ処理）を実行し、データ受信側ではパケット展開および解析（デパケタイズ処理）を実行する。
【０１２７】
図９に示す例えばＰＣ等の通信処理装置８５０において、エンコード（符号化）処理、デコード（復号）処理は、ＣＰＵ８５６、またはコーデック８５１において実行される。なお、これらのリソースの配分処理、主会話者判断処理は、ＣＰＵ８５６が、メモリ８５７に格納されたプログラムに基づいて実行する。メモリ８５７は、上述した処理を実行するプログラムを格納する領域および処理において発生する中間データ等を格納するメモリ領域を有し、符号化、復号化に適用するメモリ領域についても、前述のリソースの配分処理に基づいて適宜変更設定される。
【０１２８】
通信処理装置８５０は、さらに、通信ネットワークとのインタフェースとして機能するネットワークインタフェース８５２、マウス８３７、キーボード８３６等の入力機器、これら入力機器に対する入力インタフェース８５３、ビデオカメラ８３３、マイク８３４、スピーカ８３５等のＡＶデータ入出力機器、これらＡＶデータ入出力機器からのデータ入出力を行なうＡＶインタフェース８５４、ディスプレイ８３２に対するデータ出力インタフェースとしてのディスプレイインタフェース８５５を有する。
【０１２９】
ＣＰＵ８５６は、各データ入出力インタフェース、コーデック８５１、ネットワークインタフェース８５２間のデータ転送制御、その他各種プログラム制御を実行する。メモリ８５７は、ＣＰＵ８５６により実行される各種プログラム、各種処理データ、ＣＰＵ８５６のワークエリアとして機能するＲＡＭ、ＲＯＭからなる。ＨＤＤ８５８は、データ格納、プログラム格納用の記憶媒体として機能する。これら各構成要素は、ＰＣＩバス８５９に接続され、相互のデータ送受信が可能な構成を持つ。
【０１３０】
送信データとしての符号化データは、ＣＰＵ８５６の制御の下にパケット生成処理（パケタイズ）を実行し、最終的に符号化データをペイロードとしたパケットをＰＣＩバス８５９上に出力し、ネットワークインタフェース８５２を介してネットワークに出力して、パケットのヘッダに設定された宛先アドレスに配信される。
【０１３１】
一方、ネットワークを介して入力するパケット化されたデータは、ネットワークインタフェース８５２を介して、ＣＰＵ８５６の制御の下、パケット展開処理（デパケタイズ）を実行し、さらにコーデック８５１あるいはＣＰＵ８５６の実行するデコードプログラムに従って復号処理を実行して、ディスプレイ８３２、スピーカ８３５において再生、出力する。
【０１３２】
なお、上述の実施例においては、通信を行うユーザの映像データの処理を中心として説明したが、本発明の構成において処理対象となる画像データは、カメラ以外の入力機器、例えばスキャナ等のデータ入力装置、あるいはフロッピーディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ  ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体から入力したデータを符号化して送信する場合にも適用可能である。
【０１３３】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１３４】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１３５】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ  ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１３６】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１３８】
【発明の効果】
以上、説明したように、本発明の構成によれば、会話の主従判定による処理の重み付けに基づいて通信処理装置のリソース配分を変更して送信データあるいは受信データの処理を行う構成としたので、主会話者側の音声および映像データを高品質データとして送受信して通信者であるユーザに提示することが可能となる。すなわち、会話にとって重要な部分のデータを選択的に高品質化することが可能となり、体感上の会話のクォリティを高くしたデータ通信、コミュニュケーションが実現される。
【０１３９】
さらに、本発明の構成によれば、送信データおよび受信データに含まれる音声データのパワーレベル比較を実行し、パワーレベルが大きい音声データを含む送信データまたは受信データのいずれかを選択して重点処理データとして識別する処理を実行する構成としたので、実際に話を行っているユーザを主会話者として判断し、実際に話を行っているユーザの音声データおよび映像データを選択的に高品質化することが可能となる。
【図面の簡単な説明】
【図１】符号化データの通信処理構成を説明する図である。
【図２】符号化データの通信処理を実行する通信処理装置における送信データ処理部の構成を示す図である。
【図３】符号化データの通信処理を実行する通信処理装置における受信データ処理部の構成を示す図である。
【図４】本発明の通信処理装置の構成を示す図である。
【図５】本発明の通信処理装置の会話主従判断部の処理シーケンスを説明するフローチャートである。
【図６】本発明の通信処理装置の符号化器．復号化器制御部の処理シーケンスを説明するフローチャートである。
【図７】本発明の通信処理装置のオーディオ符号化器および復号化器の構成を示す図である。
【図８】本発明の通信処理装置のビデオ符号化器および復号化器の構成を示す図である。
【図９】本発明の通信処理装置のハードウェア構成例を示す図である。
【符号の説明】
１１０  端末Ａ
１１１  マイクＡ
１１２  カメラＡ
１１３  スピーカＡ
１１４  ディスプレイＡ
１１５  送信部Ａ
１１６  受信部Ａ
１２０  端末Ｂ
１２１  マイクＢ
１２２  カメラＢ
１２３  スピーカＢ
１２４  ディスプレイＢ
１２５  送信部Ｂ
１２６  受信部Ｂ
１３０  ネットワーク
２０１  マイク
２０２  カメラ
２１０  送信データ処理部
２１１  オーディオ符号化器
２１２  オーディオパケット生成部
２１３  ビデオ符号化器
２１４  ビデオパケット生成部
２１５  ネットワーク送出部
２２０  ネットワーク
３０１  ネットワーク
３１０  受信データ処理部
３１１  ネットワーク受信部
３１２  オーディオパケット解析部
３１３  オーディオ復号化器
３１４  ビデオパケット解析部
３１５  ビデオ復号化器
３２１  スピーカ
３２２  ディスプレイ
４００  通信処理装置
４０１  ネットワーク
４１０  受信データ処理部
４１１  ネットワーク受信部
４１２  ビデオパケット解析部
４１３  ビデオ復号化器
４１４  ディスプレイ
４１５  オーディオパケット解析部
４１６  オーディオ復号化器
４１７  スピーカ
４２０  会話主従判断部
４２１  符号化器／復号化器制御部
４２２  復号化プリプロセス部
４２３  符号化プリプロセス部
４３０  送信データ処理部
４３１  マイク
４３２  オーディオ符号化器
４３３  オーディオパケット生成部
４３４  カメラ
４３５  ビデオ符号化器
４３６  ビデオパケット生成部
４３７  ネットワーク送出部
５１１  オーディオ符号化部コア
５１２  オーディオ符号化帯域制御部
５４１  オーディオ復号化部コア
５４２  オーディオ復号化帯域制御部
６１１  ビデオ符号化部コア
６１２  ビデオ符号化フレームレート制御部
６４１  ビデオ復号化部コア
６４２  ビデオ復号化フレームレート制御部
８０９  ＰＣＩバス
８３２  ディスプレイ
８３３  ビデオカメラ
８３４  マイク
８３５  スピーカ
８３７  マウス
８３８  キーボード
８５０  データ送受信装置
８５１  コーデック
８５２  ネットワークインタフェース
８５３  入力インタフェース
８５４  ＡＶインタフェース
８５５  ディスプレイインタフェース
８５６  ＣＰＵ
８５７  メモリ
８５８  ＨＤＤ
【図１】
2004304410.tif 000003
【図２】
2004304410.tif 000004
【図３】
2004304410.tif 000005
【図４】
2004304410.tif 000006
【図５】
2004304410.tif 000007
【図６】
2004304410.tif 000008
【図７】
2004304410.tif 000009
【図８】
2004304410.tif 000010
【図９】
2004304410.tif 000011