(57)【要約】【課題】送信側のユーザが、受信側での映像および／または音声の受信状況を認識することができ、かつその認識に応じて映像および／または音声の符号化の方式を変更することができる通信装置を提供する。【解決手段】送信制御部２１は、エンコーダ１９で符号化された映像データおよび音声データの送信を制御する。受信推定部２２は、送信した映像データおよび音声データに対する応答を受信し、応答に基づいて、受信側の通信装置で受信された、符号化された映像データおよび音声データを推定する。デコーダ２０は、推定された映像データおよび音声データを復号する。提示部８は、復号された映像データおよび音声データを提示する。ユーザ入力部１８は、ユーザの指示を受付ける。エンコーダ１９は、ユーザの指示に基づいて、映像データおよび音声データの符号化の方式を切替える。【選択図】図２
2011120168.tif 000002
【特許請求の範囲】
【請求項１】
映像データおよび／または音声データを符号化する符号化部と、
前記符号化された映像データおよび／または音声データの送信を制御する送信制御部と、
前記送信した映像データおよび／または音声データに対する応答を受信側の通信装置または前記受信側の通信装置までの経路上に位置する装置から受信し、前記応答に基づいて、前記受信側の通信装置で受信された、符号化された映像データおよび／または音声データを推定する受信推定部と、
前記推定された映像データおよび／または音声データを復号する復号部と、
前記復号された映像データおよび／または音声データを提示する提示部と、
ユーザの指示を受付けるユーザ入力部とを備え、
前記符号化部は、ユーザの指示に基づいて、前記映像データおよび／または音声データの符号化の方式を切替える、通信装置。
【請求項２】
前記符号化部は、ユーザの指示に基づいて、前記映像データの送信ビットレートを切替える、請求項１記載の通信装置。
【請求項３】
前記符号化部は、ユーザの指示に基づいて、フレームレートを変化させることによって、画像サイズを変化させることによって、または画像サイズとフレームレートとをいずれも変化させることによって、前記映像データの送信ビットレートを切替える、請求項２記載の通信装置。
【請求項４】
前記符号化部は、ユーザの指示に基づいて、前記映像データをインタレース化した上で符号化するか否かを切替える、請求項１記載の通信装置。
【請求項５】
前記符号化部は、ユーザの指示に基づいて、前記映像データを２パスエンコードするか否かを切替える、請求項１記載の通信装置。
【請求項６】
前記符号化部は、ユーザの指示に基づいて、前記音声データの送信ビットレートを切替える、請求項１記載の通信装置。
【請求項７】
前記送信制御部は、階層的に構成される複数のレイヤ処理部を有し、
前記受信推定部は、前記送信制御部の複数のレイヤ処理部に対応する階層的に構成される複数のレイヤ処理部を有し、
前記送信制御部のＭＡＣ層に対応するレイヤ処理部は、送信したＭＡＣ層のフレームのデータをメモリに記憶し、
前記受信推定部のＭＡＣ層に対応するレイヤ処理部は、前記送信制御部が送信したＭＡＣ層のフレームに対するＡＣＫを前記受信側の通信装置または前記受信側の通信装置までの経路上に位置する装置から受信した場合に、前記ＡＣＫに対応するＭＡＣ層のフレームのデータを前記メモリから読み出して、前記ＭＡＣ層のフレームのデータからＩＰパケットを作成し、ＩＰパケット内の受信側のアドレスと送信側のアドレスとを入替えて上位のレイヤ処理部へ出力する、請求項１〜６のいずれか１項に記載の通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信装置に関し、特に、映像および／または音声を符号化して送信する通信装置に関する。
【背景技術】
【０００２】
映像や音声を送信する場合、通信路の状況によって、パケットの遅延または欠落が生じることがある。特に、無線通信においては、電波状態の影響などによって、このような事態が発生しやすい。このように通信路においてパケットの遅延や欠落が生じた場合には、受信側で再生される映像や音声の品質が劣化する。
【０００３】
これに対して、通信路で、パケットの遅延または欠落が生じないようにする対策を講じる技術が提案されている。
【０００４】
たとえば、特許文献１には、受信側が、通信路の帯域幅が変化すると送信ビットレートの変更要求を送信側に送信し、送信側が、この変更要求に応じて送信ビットレートを変更するようなシステムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００６−５００８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載のシステムでは、送信側のユーザの意図に関係なく、システムが勝手に通信路の帯域幅に応じて送信ビットレートを変更する。
【０００７】
しかしながら、送信側のユーザが、常に、通信路の帯域幅に応じて送信ビットレートを変更することを望むとは限らない。すなわち、送信側のユーザは、シーンに応じて、送信ビットを変更することを希望する場合と、そうでない場合とがある。たとえば、受信側のユーザは、重要でないシーンでは、通常、送信する映像や音声の品質が劣化しても気にならない。
【０００８】
それゆえに、本発明の目的は、送信側のユーザが、受信側での映像および／または音声の受信状況を認識することができ、かつその認識に応じて映像および／または音声の符号化の方式を変更することができる通信装置を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、映像データおよび／または音声データを符号化する符号化部と、符号化された映像データおよび／または音声データの送信を制御する送信制御部と、送信した映像データおよび／または音声データに対する応答を受信側の通信装置または受信側の通信装置までの経路上に位置する装置から受信し、応答に基づいて、受信側の通信装置で受信された、符号化された映像データおよび／または音声データを推定する受信推定部と、推定された映像データおよび／または音声データを復号する復号部と、復号された映像データおよび／または音声データを提示する提示部と、ユーザの指示を受付けるユーザ入力部とを備え、符号化部は、ユーザの指示に基づいて、映像データおよび／または音声データの符号化の方式を切替える。
【００１０】
好ましくは、符号化部は、ユーザの指示に基づいて、映像データの送信ビットレートを切替える。
【００１１】
好ましくは、切換部は、ユーザの指示に基づいて、フレームレートを変化させることによって、画像サイズを変化させることによって、または画像サイズとフレームレートとをいずれも変化させることによって、映像データの送信ビットレートを切替える。
【００１２】
好ましくは、符号化部は、ユーザの指示に基づいて、映像データをインタレース化した上で符号化するか否かを切替える。
【００１３】
好ましくは、符号化部は、ユーザの指示に基づいて、映像データを２パスエンコードするか否かを切替える。
【００１４】
好ましくは、符号化部は、ユーザの指示に基づいて、音声データの送信ビットレートを切替える。
【００１５】
好ましくは、送信制御部は、階層的に構成される複数のレイヤ処理部を有し、受信推定部は、送信制御部の複数のレイヤ処理部に対応する階層的に構成される複数のレイヤ処理部を有し、送信制御部のＭＡＣ層に対応するレイヤ処理部は、送信したＭＡＣ層のフレームのデータをメモリに記憶し、受信推定部のＭＡＣ層に対応するレイヤ処理部は、送信制御部が送信したＭＡＣ層のフレームに対するＡＣＫを受信側の通信装置または受信側の通信装置までの経路上に位置する装置から受信した場合に、ＡＣＫに対応するＭＡＣ層のフレームのデータをメモリから読み出して、ＭＡＣ層のフレームのデータからＩＰパケットを作成し、ＩＰパケット内の受信側のアドレスと送信側のアドレスとを入替えて上位のレイヤ処理部へ出力する。
【発明の効果】
【００１６】
本発明によれば、送信側のユーザが、受信側での映像および／または音声の受信状況を認識することができ、かつその認識に応じて映像および／または音声の符号化の方式を変更することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態の通信システムの全体構成を表わす図である。
【図２】本発明の実施形態の送信側通信装置の構成を表わす図である。
【図３】（ａ）は、ＭＡＣフレームから作成されたＩＰパケットを表わす図である。（ｂ）は、図３（ａ）のＩＰパケットを修正した後の構成を表わす図である。
【図４】本発明の実施形態の受信側通信装置の構成を表わす図である。
【図５】本発明の実施形態の通信システムの概略的な動作手順を表わすフローチャートである。
【図６】本発明の実施形態の送信側通信装置おける、映像データおよび音声データの符号化および送信の手順を表わすフローチャートである。
【図７】本発明の実施形態の受信側通信装置における、映像データおよび音声データの受信および復号の手順を表わすフローチャートである。
【図８】本発明の実施形態の送信側通信装置における、受信側で受信された映像データおよび音声データの推定、および推定したデータの復号の手順を表わすフローチャートである。
【図９】送信側通信装置の液晶ディスプレイに表示される画面の例を表わす図である。
【図１０】受信側通信装置の液晶ディスプレイに表示される画面の例を表わす図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について図面を参照して説明する。
（通信システムの構成）
図１は、本発明の実施形態の通信システムの全体構成を表わす図である。
【００１９】
図１を参照して、この通信システムは、無線通信を用いるシステムであって、送信側通信装置１０から受信側通信装置３０ａ，３０ｂへ基地局２を介して、メール、符号化された映像および音声などのデータが送信される。本発明の実施形態では、送信側通信装置１０と基地局２との間の通信は、無線通信であり、基地局２と受信側通信装置３０ａ，３０ｂとの間はネットワーク６３を通じた有線の通信であるとして説明する。
【００２０】
（送信側通信装置１０の構成）
図２は、本発明の実施形態の送信側通信装置１０の構成を表わす図である。
【００２１】
図２を参照して、この送信側通信装置１０は、カメラ１５と、マイク２９と、ユーザ入力部１８と、メモリ１６と、制御部１７と、エンコーダ１９と、デコーダ２０と、送信制御部２１と、受信推定部２２とを備える。
【００２２】
カメラ１５は、周囲を撮影して画像データを生成する。
マイク２９は、周囲の音声を取込んで音声データを生成する。
【００２３】
ユーザ入力部１８は、ボタンおよびタッチパネルであり、ユーザの符号化方式の切換えの指示を受付ける。
【００２４】
メモリ１６は、各種のデータを記憶する。メモリ１６は、送信制御部２１で生成されたＭＡＣ（Media Access Control）フレームを記憶する。
【００２５】
制御部１７は、送信側通信装置１０内の各要素を制御する。
エンコーダ１９は、カメラ１５からの画像データと、マイク２９からの音声データを符号化して送信制御部２１へ出力する。エンコーダ１９は、ユーザからの指示に基づいて、映像データおよび音声データの符号化方式を切替える。
【００２６】
デコーダ２０は、受信推定部２２からの画像データと音声データを復号する。
送信制御部２１は、符号化された映像データおよび音声データの送信を階層的に制御する。送信制御部２１は、ＵＤＰ（User Datagram Protocol）層処理部２３と、ＩＰ（Internet Protocol）層処理部２４と、ＭＡＣ（Media Access Control）層処理部２５と、ＰＨＹ（PHYsical）層処理部６６を備える。
【００２７】
ＭＡＣ処理部２５は、送信したＭＡＣ層のフレームのデータをメモリ１６に記憶する。
受信推定部２２は、基地局２からの応答を受信し、応答に基づいて、階層的な処理を行なうことによって、受信側通信装置３０で受信されたデータである符号化された映像データおよび音声データを推定してデコーダ２０へ出力する。受信推定部２２は、ＵＤＰ層処理部２６と、ＩＰ層処理部２７と、ＭＡＣ層処理部２８と、ＰＨＹ層処理部６５とを備える。
【００２８】
ＭＡＣレイヤ処理部２８は、送信制御部２１が送信したＭＡＣ層のフレームに対するＡＣＫを基地局２から受信した場合に、ＡＣＫに対応するＭＡＣ層のフレームのデータをメモリ１６から読出し、読出したＭＡＣ層のフレームのデータからＩＰパケットを作成し、ＩＰパケットを修正する。具体的には、ＭＡＣレイヤ処理部２８は、ＩＰパケット内のＩＰヘッダの受信側のアドレスと送信側のアドレスを入替え、さらにヘッダチェックサムを再計算して更新した後、ＩＰレイヤ処理部２７へ出力する。
【００２９】
図３（ａ）は、ＭＡＣフレームから作成されたＩＰパケットを表わす図である。図３（ｂ）は、図３（ａ）のＩＰパケットを修正した後の構成を表わす図である。
【００３０】
図３（ａ）および図３（ｂ）を参照して、送信されたＩＰパケットの受信側アドレス「・・・０１１０」と送信側アドレス「・・・００１０」が、それぞれ修正後のＩＰパケットの送信側アドレスと受信側アドレスとされている。また、送信側アドレスと受信側アドレスの変更によって、ヘッダチェックサムが再計算されて、「・・・００１１」から「・・・０１１１」に更新されている。
【００３１】
提示部８は、画像生成部１２と、液晶ディスプレイ１１と、音声生成部１４と、スピーカー１３とを備える。
【００３２】
画像生成部１２は、デコーダ２０で復号された画像を液晶ディスプレイ１１に出力する。
【００３３】
液晶ディスプレイ１１は、画像生成部１２で生成された画像を表示する。
音声生成部１４は、デコーダ２０で復号された音声をスピーカーに出力する。
【００３４】
スピーカー１３は、音声生成部１４で生成された音声を発生する。
（受信側通信装置３０の構成）
図４は、本発明の実施形態の受信側通信装置３０の構成を表わす図である。
【００３５】
図４を参照して、この受信側通信装置３０は、メモリ３６と、制御部３８と、デコーダ３９と、受信制御部４０と、提示部３１とを備える。
【００３６】
メモリ３６は、各種のデータを記憶する。
制御部３８は、受信側通信装置３０内の各要素を制御する。
【００３７】
デコーダ３９は、受信制御部４０からの画像データと音声データを復号する。
受信制御部４０は、送信側通信装置１０からのデータを受信し、階層的な処理を行なうことによって、送信側通信装置１０から送信された符号化された映像データおよび音声データをデコーダ３９へ出力する。受信制御部４０は、ＵＤＰ層処理部４１と、ＩＰ層処理部４２と、ＭＡＣ層処理部４３と、ＰＨＹ層処理部６４とを備える。
【００３８】
提示部３１は、画像生成部３３と、液晶ディスプレイ３２と、音声生成部３５と、スピーカー３４とを備える。
【００３９】
画像生成部３３は、デコーダ３９で復号された画像を液晶ディスプレイ３２に出力する。
【００４０】
液晶ディスプレイ３２は、画像生成部３３で生成された画像を表示する。
音声生成部３５は、デコーダ３９で復号された音声をスピーカーに出力する。
【００４１】
スピーカー３４は、音声生成部３５で生成された音声を発生する。
（動作）
図５は、本発明の実施形態の通信システムの概略的な動作手順を表わすフローチャートである。
【００４２】
図５を参照して、まず、送信側通信装置１０のエンコーダ１９は、カメラ１５から入力された映像データおよびマイク２９から入力された音声データを符号化する（ステップＳ１０１）。
【００４３】
次に、送信側通信装置１０の送信制御部２１は、エンコードされた映像データおよび音声データを複数のレイヤのプロトコルに従って、上位レイヤから順番に階層的に処理した後、基地局２へ送信する（ステップＳ１０２）。
【００４４】
次に、基地局２は、符号化データを受信し（Ｓ１０３）、受信が成功した旨を表わす応答（ＡＣＫ）を送信側通信装置１０へ送信し（ステップＳ１０４）、さらに受信した符号化データを受信側装置３０へ送信する（ステップＳ１０５）。
【００４５】
次に、受信側通信装置３０の受信制御部４０は、基地局２からデータを受信し、複数のレイヤのプロトコルに従って、下位レイヤから順番に階層的に処理した後、符号化された映像データおよび音声データを取出す（ステップＳ１０６）。
【００４６】
次に、受信側通信装置３０のデコーダ３９は、符号化された映像データおよび音声データを復号する（ステップＳ１０７）。
【００４７】
次に、受信側通信装置３０の画像生成部３３は、復号された映像データからフレームごとの画像を生成して、液晶ディスプレイ３２に出力する。受信側通信装置３０の音声生成部３５は、復号された音声データをスピーカー３４に出力する（ステップＳ１０８）。
【００４８】
一方、送信側通信装置１０の受信推定部２２は、応答（ＡＣＫ）を受信した否かに応じて、受信側通信装置３０で受信された符号化された映像データおよび音声データを推定する（ステップＳ１０９）。
【００４９】
次に、送信側通信装置１０のデコーダ２０は、推定された、符号化された映像データおよび音声データを復号する（ステップＳ１１０）。
【００５０】
次に、送信側通信装置１０の画像生成部１２は、復号された映像データからフレームごとの画像を生成して、液晶ディスプレイ１１に出力する。送信側通信装置１０の音声生成部１４は、復号された音声データをスピーカー１３に出力する（ステップＳ１１１）。
【００５１】
次に、送信側通信装置１０の符号化部は、ユーザ入力部１８から符号化方式の設定を変更する指示があった場合には（ステップＳ１１２でＹＥＳ）、映像データおよび音声データを符号化する方式を指示に応じた方式に切替える（ステップＳ１１３）。
【００５２】
（動作）
図６は、本発明の実施形態の送信側通信装置１０における、映像データおよび音声データの符号化および送信の手順を表わすフローチャートである。
【００５３】
図６を参照して、まず、エンコーダ１９は、カメラ１５から入力された映像データ、およびマイク２９から入力された音声データを符号化して、ＵＤＰ層処理部２３へ出力する（ステップＳ２０１）。
【００５４】
次に、ＵＤＰ層処理部２３は、ＵＤＰ層のプロトコルに従って、符号化された映像データおよび音声データからＵＤＰパケットを生成して、ＩＰ層処理部２４へ出力する（ステップＳ２０２）。
【００５５】
次に、ＩＰ層処理部２４は、ＩＰ層のプロトコルに従って、ＵＤＰパケットからＩＰパケットを生成して、ＭＡＣ層処理部２５へ出力する（ステップＳ２０３）。
【００５６】
次に、ＭＡＣ層処理部２５は、ＭＡＣ層のプロトコルに従って、ＩＰパケットからＭＡＣフレームを生成して（ステップＳ２０４）、ＭＡＣフレームをメモリ１６に記憶する（ステップＳ２０５）。
【００５７】
次に、ＰＨＹ層処理部６６は、ＰＨＹ層のプロトコルに従って、生成されたＭＡＣフレームに基づくビットを基地局２を介して受信側通信装置３０へ送信する（ステップＳ２０６）。
【００５８】
（動作）
図７は、本発明の実施形態の受信側通信装置３０における、映像データおよび音声データの受信および復号の手順を表わすフローチャートである。
【００５９】
図７を参照して、まず、ＭＡＣ層処理部４３は、ＰＨＹ層処理部６４からデータを受取ることによって、ＭＡＣフレームを受信したことを確認した場合には（ステップＳ５０１でＹＥＳ）、受信したＭＡＣフレームをＩＰパケットの作成に使用する（ステップＳ５０２）。
【００６０】
ＭＡＣ処理部４３は、ＭＡＣフレームからＩＰパケットが完成できた場合、すなわち１つのＩＰパケットを構成するすべてのＭＡＣフレームを受信した場合には（ステップＳ５０３でＹＥＳ）、完成したＩＰパケットをＩＰ層処理部４２へ出力する（ステップＳ５０４）。
【００６１】
一方、ＭＡＣ層処理部４３は、ＭＡＣフレームからＩＰパケットの一部しか作成できず、所定の時間が過ぎた（タイムアウト）場合に、つまり、所定の時間内に１つのＩＰパケットを構成する複数のＭＡＣフレームに対するＡＣＫのうちの一部しか受取っていない場合（ステップＳ５０５でＹＥＳ）、生成途中のＩＰパケットを破棄する（ステップＳ５０６）。
【００６２】
次に、ＩＰ層処理部４２は、受取ったＩＰパケットのＩＰヘッダをチェックし、ＩＰパケットが正しいパケットである場合には（ステップ５０７でＹＥＳ）、ＩＰパケットのＩＰヘッダを除いたデータをＵＤＰ層処理部４１へ出力する（ステップＳ５０８）。
【００６３】
一方、ＩＰ層処理部４２は、ＩＰパケットが正しくないパケット（宛先が自分宛でない、ヘッダチェックサムが異常）の場合には（ステップ５０７でＮＯ）、ＩＰパケットを破棄する（ステップＳ５０９）。
【００６４】
次に、ＵＤＰ層処理部４１は、ＵＤＰパケットに含まれるＵＤＰヘッダをチェックし、ＵＤＰパケットが正しいパケットである場合には（ステップＳ５１０でＹＥＳ）、ＵＤＰパケットのＵＤＰヘッダを除いたデータをデコーダ３９へ出力する（ステップＳ５１１）。
【００６５】
一方、ＵＤＰ層処理部４１は、ＵＤＰパケットが正しくないパケットの場合には（ステップＳ５１０でＮＯ）、ＵＤＰパケットを破棄する（ステップＳ５１２）。
【００６６】
次に、デコーダ３９は、所定時間内にデコード単位のすべてのデータを受取った場合には（ステップＳ５１３でＹＥＳ）、デコード単位のデータを復号する（ステップＳ５１４）。
【００６７】
一方、デコーダ３９は、所定時間内にデコード単位のデータのうちの一部しか受け取っていない場合には（ステップＳ５１５でＹＥＳ）、そのデコード単位の取得済みのデータのみを復号する（ステップＳ５１６）。
【００６８】
（動作）
図８は、本発明の実施形態の送信側通信装置１０における、受信側で受信された映像データおよび音声データの推定、および推定したデータの復号の手順を表わすフローチャートである。
【００６９】
図８を参照して、まず、ＭＡＣ層処理部２８は、ＰＨＹ層処理部６５からデータを受取ることによって、送信したＭＡＣ層のフレームに対するＡＣＫを受信したことを確認した場合には（ステップＳ４０１でＹＥＳ）、受信したＡＣＫに含まれるフレームＩＤを有するＭＡＣフレームをメモリから読出して、ＩＰパケットの作成に使用する（ステップＳ４０２）。
【００７０】
ＭＡＣ処理部２８は、ＭＡＣフレームからＩＰパケットが完成できた場合、すなわち１つのＩＰパケットを構成するすべてのＭＡＣフレームに対するＡＣＫを受取った場合には（ステップＳ４０３でＹＥＳ）、完成したＩＰパケットを修正し、修正後のＩＰパケットをＩＰ層処理部２７へ出力する。具体的には、ＭＡＣ層処理部２８は、作成したＩＰパケットのＩＰヘッダに含まれる受信側アドレスと送信側アドレスとを入替える。さらに、ＭＡＣ層処理部２８は、アドレスを入替えた後で、ＩＰパケットのヘッダチェックサムを再計算して、再計算した値でＩＰヘッダに含まれるヘッダチェックサムを更新する（ステップＳ４０４）。
【００７１】
一方、ＭＡＣ層処理部２８は、ＭＡＣフレームからＩＰパケットの一部しか作成できず、所定の時間が過ぎた（タイムアウト）場合に、つまり、所定の時間内に１つのＩＰパケットを構成する複数のＭＡＣフレームに対するＡＣＫのうちの一部しか受取っていない場合（ステップＳ４０５でＹＥＳ）、生成途中のＩＰパケットを破棄する（ステップＳ４０６）。
【００７２】
次に、ＩＰ層処理部２７は、受取ったＩＰパケットのＩＰヘッダをチェックし、ＩＰパケットが正しいパケットである場合には（ステップ４０７でＹＥＳ）、ＩＰパケットのＩＰヘッダを除いたデータをＵＤＰ層処理部２６へ出力する（ステップＳ４０８）。
【００７３】
一方、ＩＰ層処理部２７は、ＩＰパケットが正しくないパケット（宛先が自分宛でない、ヘッダチェックサムが異常）の場合には（ステップ４０７でＮＯ）、ＩＰパケットを破棄する（ステップＳ４０９）。
【００７４】
次に、ＵＤＰ層処理部２６は、ＵＤＰパケットに含まれるＵＤＰヘッダをチェックし、ＵＤＰパケットが正しいパケットである場合には（ステップＳ４１０でＹＥＳ）、ＵＤＰパケットのＵＤＰヘッダを除いたデータをデコーダ２０へ出力する（ステップＳ４１１）。
【００７５】
一方、ＵＤＰ層処理部２６は、ＵＤＰパケットが正しくないパケットの場合には（ステップＳ４１０でＮＯ）、ＵＤＰパケットを破棄する（ステップＳ４１２）。
【００７６】
次に、デコーダ２０は、所定時間内にデコード単位のすべてのデータを受取った場合には（ステップＳ４１３でＹＥＳ）、デコード単位のデータを復号する（ステップＳ４１４）。
【００７７】
一方、デコーダ２０は、所定時間内にデコード単位のデータのうちの一部しか受け取っていない場合には（ステップＳ４１５でＹＥＳ）、そのデコード単位の取得済みのデータのみを復号する（ステップＳ４１６）。
【００７８】
（表示画面および符号化の方式の変更例）
図９は、送信側通信装置の液晶ディスプレイに表示される画面の例を表わす図である。図１０は、受信側通信装置の液晶ディスプレイに表示される画面の例を表わす図である。
【００７９】
図９に示すように、送信側通信装置１０には、送信したオリジナルの映像と、受信側で表示されると推定した映像が表示される。図１０に示すように、受信側通信装置３０には、受信した映像が表示される。図１０の受信側の映像には、欠落部分８５が存在する。同様に、図９の送信側での受信側で表示されると推定した映像にも、欠落部分８６が存在する。
【００８０】
送信側のユーザは、欠落部分８６を認識することによって、受信側において欠落部分が生じていると推定することができる。送信側のユーザは、現在送信している映像が重要なシーンであると考える場合には、コントロール５０を操作することによって符号化の方式を切換えることによって、受信側で映像の欠落や遅れがないようにすることができる。一方、送信側のユーザは、現在送信している映像が重要なシーンでないと考える場合には、コントロール５０を操作せずに、現状の符号化の方式を維持する。
【００８１】
図９に示すように、送信側通信装置１０には、符号化の方式を切換えるためのコントロール５０が表示される。
【００８２】
送信側のユーザが、ユーザ入力部１８を通じて映像スライダ５１を操作すると、エンコーダ１９は、映像データの送信ビットレートを映像スライダ５１で設定された値（図１０のＶｉｄｅｏのビットレート５２）に切換える。
【００８３】
送信側のユーザが、ユーザ入力部１８を通じてチェックボタン５３を選択すると、エンコーダ１９は、映像データの符号化を停止し、映像データを送信制御部２１へ出力しない。
【００８４】
送信側のユーザが、ユーザ入力部１８を通じて音声スライダ５４を操作すると、エンコーダ１９は、音声データの送信ビットレートを音声スライダ５４で設定された値（図１０のＡｕｄｉｏのビットレート５２）に切換える。
【００８５】
送信側のユーザが、ユーザ入力部１８を通じてチェックボタン５６を選択すると、エンコーダ１９は、音声データの符号化を停止し、音声データを送信制御部２１へ出力しない。
【００８６】
Ｖｉｄｅｏビットレート設定欄５７は、ラジオボタン５９、６０、６１を含む。ラジオボタン５９、６０、６１は、いずれか１つが選択可能である。
【００８７】
送信側のユーザが、ユーザ入力部１８を通じて、ラジオボタン５８を選択すると、エンコーダ１９は、画像サイズを一定に保ちつつフレームレートを変化させることによって、映像データの送信ビットレートを映像スライダ５１で設定された値に切換える。
【００８８】
送信側のユーザが、ユーザ入力部１８を通じて、ラジオボタン５９を選択すると、エンコーダ１９は、フレームを一定に保ちつつ画像サイズを変化させることによって、映像データの送信ビットレートを映像スライダ５１で設定された値に切換える。
【００８９】
送信側のユーザが、ユーザ入力部１８を通じて、ラジオボタン６０を選択すると、エンコーダ１９は、フレームと画像サイズとバランス良く変化させることによって、映像データの送信ビットレートを映像スライダ５１で設定された値に切換える。
【００９０】
オプション欄６１は、オプションボタン６２、６３、６４を含む。オプション６２、６３、６４は、複数個がオンに選択可能である。
【００９１】
送信側のユーザが、ユーザ入力部１８を通じて、オプションボタン６２をオンに選択すると、エンコーダ１９は、カメラ１５から入力されるノンインタレースの映像をインタレース化した上で符号化する。送信側のユーザが、ユーザ入力部１８を通じて、オプションボタン６２をオフに選択すると、エンコーダ１９は、カメラ１５から入力されるノンインタレースの映像をそのまま符号化する。
【００９２】
送信側のユーザが、ユーザ入力部１８を通じて、オプションボタン６３をオンに選択すると、エンコーダ１９は、映像データを２パスエンコードする。ここで、２パスエンコードとは、映像データを圧縮符号化する際に、データの解析と符号化圧縮を別々に行なう方式である。２パスエンコードでは、１回目で映像データの解析を行なって特徴などを抽出し、その結果に基づいて２回目に圧縮符号化を行なう。送信側のユーザが、ユーザ入力部１８を通じて、オプションボタン６３をオフに選択すると、エンコーダ１９は、映像データを１パスエンコードする。ここで、１パスエンコードとは、映像データを圧縮符号化する際に、データの解析と符号化圧縮を同時に行なう方式である。２パスエンコードは、１パスエンコードに比べて時間がかかるが、高い画質や圧縮率を得られるという特徴がある。
【００９３】
送信側のユーザが、ユーザ入力部１８を通じて、オプションボタン６４をオンに選択すると、エンコーダ１９は、映像データと音声データを両方送信する場合に、符号化された音声データを符号化された映像データを優先して、送信制御部２１へ出力する。
【００９４】
（まとめ）
以上のように、本発明の実施形態の通信システムによれば、受信側からのＡＣＫに基づいて受信側での映像および音声の受信状況を推定して、送信側のユーザに提示することができる。また、送信側のユーザからの指示に基づいて、映像および音声の符号化の方式を変更することができる。
【００９５】
（変形例）
本発明は、上記の実施形態に限定されるものではなく、たとえば以下のような変形例も含む。
（１）  受信推定
本発明の実施形態では、送信側通信装置は、ＭＡＣ層のフレームの受信応答に基づいて、受信側通信装置におけるＭＡＣ層のフレームの遅れ、および欠落を再現することによって、受信側通信装置の受信状態を再現することとしたが、これに限定するものではない。
【００９６】
たとえば、受信側通信装置が、映像データの１フレーム（１画面）のデータの受信に成功した場合に、ＡＣＫを返信するような場合には、送信側通信装置は、ＡＣＫに基づいて、受信側通信装置における映像データの１フレーム（１画面）の遅れ、および欠落を再現することとしてもよい。
【００９７】
（２）  応答の送信元
本発明の実施形態では、受信側の通信装置までの経路上に位置する装置である基地局が応答（ＡＣＫ）を送信したが、これに限定するものではない。たとえば、受信側の通信装置が応答（ＡＣＫ）を送信するものとしてもよい。
【００９８】
（３）  映像、音声データ
本発明の実施形態では、映像データと音声データの両方を符号化して送信するものとしたが、これに限定するものではない。映像データと音声データのいずれか一方を送信するものとしてもよい。
【００９９】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１００】
８，３１  提示部、１０  送信側通信装置、１１，３２  液晶ディスプレイ、１２，３３  画像生成部、１３，３４  スピーカー、１４，３５  音声生成部、１５  カメラ、１６，３６  メモリ、１７，３８  制御部、１８  ユーザ入力部、１９  エンコーダ、２０，３９  デコーダ、２１  送信制御部、２２  受信推定部、２３，２６，４１  ＵＤＰ層処理部、２４，２７，４２  ＩＰ層処理部、２５，２８，４３  ＭＡＣ層処理部、２９  マイク、３０  受信側通信装置、４０  受信制御部、６３  ネットワーク、６４，６５，６６  ＰＨＹ層処理部。
【図１】
2011120168.tif 000003
【図２】
2011120168.tif 000004
【図３】
2011120168.tif 000005
【図４】
2011120168.tif 000006
【図５】
2011120168.tif 000007
【図６】
2011120168.tif 000008
【図７】
2011120168.tif 000009
【図８】
2011120168.tif 000010
【図９】
2011120168.tif 000011
【図１０】
2011120168.tif 000012