(57)【要約】【課題】  リアルタイム再生が望まれる音声・画像データ伝送を実行する際に、特に音声再生において、エラー発生を抑えた音声再生を実現できるデータ送信装置、およびデータ受信装置を提供することを目的とする。【解決手段】  送信側携帯電話機１では、音声ＭＵＸ３ｃ内の音声インターリーブ部３ｄへ符号化された音声情報が送られるとインターリーブにより単位データ毎に連続性のない音声情報となるように変換される。受信側携帯電話機１１では、音声デコーダ１４ｂ内の音声デインターリーブ部１４ｄへ音声情報が送られると、そこでデインターリーブにより単位データ毎に連続性を持たせた音声情報となるように変換される。このように映像処理と音声処理の時間差をインターリーブに利用する事で、重要な音声情報に対してインターリーブ、デインターリーブを施すことによって音声情報の欠損が発生しても修復可能なものとすることが出来る。【選択図】  図１
2005159809.tif 000002
【特許請求の範囲】
【請求項１】
データ送信装置とデータ受信装置との間でリアルタイムにマルチメディアデータ通信す
るデータ通信システムであって、
映像情報を符号化した符号化映像情報と、音声情報を符号化した後に第１の所定時間内に
インターリーブ処理を施した符号化音声情報とをそれぞれパケット化して前記データ送信
装置から前記データ受信装置に送信し、
前記データ受信装置は、前記符号化映像情報を復号化した復号化映像情報と、前記符号化
音声情報を第２の所定時間内にデインターリーブ処理を施した後に復号化した復号化音声
情報とを同期して出力する
ことを特徴とするデータ通信システム。
【請求項２】
前記第１の所定時間と前記第２の所定時間の合計時間は、
前記データ送信装置における前記映像情報の符号化に要する処理時間と前記データ受信装
置における前記映像情報の復号化に要する処理時間の合計時間から
前記データ送信装置における前記音声情報の符号化に要する処理時間と前記データ受信装
置における前記音声情報の復号化に要する処理時間との合計時間を引いた時間である
ことを特徴する請求項１に記載のデータ通信システム。
【請求項３】
前記第１の所定時間と前記第２の所定時間の合計時間は、
前記データ送信装置における前記映像情報の読み込み時間と符号化に要する処理時間と、
前記データ受信装置における前記映像情報の復号化に要する処理時間との合計時間から、
前記データ送信装置における前記音声情報の読み込み時間と符号化に要する処理時間と、
前記データ受信装置における前記音声情報の復号化に要する処理時間との合計時間を引い
た時間である
ことを特徴する請求項１に記載のデータ通信システム。
【請求項４】
前記第１の所定時間と前記第２の所定時間は、前記データ送信装置と前記データ受信装
置とが接続された時、又は前記マルチメディアデータ通信を開始する時に互いに交信され
ることを特徴する請求項１乃至請求項３のいずれか１項に記載のデータ通信システム。
【請求項５】
前記第１の所定時間は、前記データ送信装置における前記映像情報の符号化に要する処
理時間から前記音声情報の符号化に要する処理時間を引いた時間であり、
前記第２の所定時間は、前記データ受信装置における前記映像情報の復号化に要する処理
時間から前記音声情報の復号化に要する処理時間を引いた時間である
ことを特徴とする請求項１に記載のデータ通信システム。
【請求項６】
前記第１の所定時間は、前記データ送信装置における前記映像情報の読み込み時間と符
号化に要する処理時間の合計時間から前記音声情報の読み込み時間と符号化に要する処理
時間の合計時間を引いた時間であり、
前記第２の所定時間は、前記データ受信装置における前記映像情報の復号化に要する処理
時間から前記音声情報の復号化に要する処理時間を引いた時間である
ことを特徴とする請求項１に記載のデータ通信システム。
【請求項７】
データ送信装置とデータ受信装置との間でリアルタイムにマルチメディアデータ通信す
るデータ通信システムであって、
前記データ送信装置は、
映像入力手段と、
前記映像入力手段より得た映像情報を符号化する映像情報符号化手段と、
音声入力手段と、
前記音声入力手段より得た音声情報を符号化する音声情報符号化手段と、
前記音声情報符号化手段により符号化された音声情報を第１の所定時間内にインターリー
ブ処理する音声情報インターリーブ手段と、
前記符号化された前記映像情報のパケットデータ及び前記インターリーブ処理された前記
符号化された音声情報のパケットデータを前記データ受信装置へ送信する送信手段とを有
し、
前記データ受信装置は、
前記映像情報を復号化する映像情報復号化手段と、
前記音声情報を第２の所定時間内にデインターリーブ処理する音声情報デインターリーブ
手段と、
前記音声情報デインターリーブ手段によりデインターリーブ処理された音声情報を復号化
する音声情報復号化手段と、
前記復号化された映像情報と前記復号化された音声情報とを同期して出力する出力手段と
を有することを特徴とするデータ通信システム。
【請求項８】
前記第１の所定時間と前記第２の所定時間の合計時間は、
前記映像情報符号化手段における映像情報の符号化に要する処理時間と前記映像情報復号
化手段における前記映像情報の復号化に要する処理時間の合計時間から、
前記音声情報符号化手段における前記音声情報の符号化に要する処理時間と前記音声情報
復号化手段における前記音声情報の復号化に要する処理時間との合計時間を引いた時間で
ある
ことを特徴する請求項７に記載のデータ通信システム。
【請求項９】
前記第１の所定時間と前記第２の所定時間の合計時間は、
前記映像入力手段における前記映像情報の読み込み時間と前記映像情報復号化手段におけ
る前記映像情報の符号化に要する処理時間と、前記映像情報復号化手段における前記映像
情報の復号化に要する処理時間との合計時間から、
前記音声情報入力手段における前記音声情報の読み込み時間と前記音声情報符号化手段に
おける前記音声情報の符号化に要する処理時間と、前記音声情報復号化手段における前記
音声情報の復号化に要する処理時間との合計時間を引いた時間である
ことを特徴する請求項７に記載のデータ通信システム。
【請求項１０】
前記第１の所定時間と前記第２の所定時間は、前記データ送信装置と前記データ受信装
置とが接続された時、又は前記マルチメディアデータ通信を開始する時に互いに交信され
ることを特徴する請求項７ないし請求項９のいずれか一項に記載のデータ通信システム。
【請求項１１】
前記第１の所定時間は、前記映像情報符号化手段における前記映像情報の符号化に要す
る処理時間から前記音声情報符号化手段における前記音声情報の符号化に要する処理時間
を引いた時間であり、
前記第２の所定時間は、前記映像情報復号化手段における前記映像情報の復号化に要する
処理時間から前記音声情報復号化手段における前記音声情報の復号化に要する処理時間を
引いた時間である
ことを特徴とする請求項７に記載のデータ通信システム。
【請求項１２】
前記第１の所定時間は、前記映像入力手段における前記映像情報の読み込みに要する処
理時間と前記映像情報符号化手段における前記映像情報の符号化に要する処理時間の合計
時間から前記音声入力手段における前記音声情報の読み込み時間に要する処理時間と前記
音声情報符号化手段における符号化に要する処理時間の合計時間を引いた時間であり、
前記第２の所定時間は、前記前記映像情報復号化手段における前記映像情報の復号化に要
する処理時間から前記音声情報復号化手段における前記音声情報の復号化に要する処理時
間を引いた時間である
ことを特徴とする請求項７に記載のデータ通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ通信システムに関する。
【背景技術】
【０００２】
近年、インターネット通信などといった様々な通信媒体を介した画像データ、音声デー
タなどのマルチメディア伝送が盛んに行われている。特に、インターネット上のマルチメ
ディア伝送において、従来から利用されているダウンロード型伝送方式に加えて、ストリ
ーム型伝送方式によるサービスが増加してきている。
【０００３】
ダウンロード型伝送方式とは、映像・音声データを伝送する場合、配信サーバから映像
・音声データをデータファイルとして一旦受信側端末の記憶媒体にダウンロードして、そ
の後、受信側端末が記憶媒体からデータ再生する方式である。この方式では、データファ
イルのダウンロードが完全に終わるまでは再生ができないため、長時間再生やリアルタイ
ム再生などは不向きである。
【０００４】
ストリーム型伝送方式とは、送信側から受信側端末に映像・音声データ伝送が行われる
のと並行して、受信側端末にて受信した映像・音声データの再生処理を実行するものであ
り、インターネット電話や遠隔テレビ会議などに利用されている。このようなストリーム
型伝送方式に適したインターネット技術に、IETF RFC1889で規定されているプロ
トコルで、ＲＴＰ(Real time Transport Protocol)がある。ＲＴＰに従ったデー
タ伝送では、それぞれのパケットに受信側での再生に関する時間情報を付加し、受信側端
末において、その時間情報の参照により映像と音声との時間的関係の把握を行い、同期を
とった再生を行っている。
【０００５】
ただし、ストリーム型伝送方式のプロトコルであるＲＴＰは、実時間のデータ伝送を保
証しているものではない。つまり、パケット配送の優先度の設定はＲＴＰの範疇ではない
ため、ＲＴＰパケットは、他のパケットと同様、ネットワーク上での配送遅延やパケット
損失が起きる可能性がある。このような事態が起こっても、受信側端末は期待する時間内
に到着したパケットだけを利用してデータを再生する。したがって、映像や音声データに
多少のデータ欠損、入れ替わりがあったとしても、データ品質を落とした再生、あるいは
データ補間処理による再生を行うのである。一般にリアルタイム通信に於いては過去の情
報は意味を失うので、再生に間に合わず遅延配送されたパケットは受信側端末でそのまま
破棄され、エラーの発生したパケットは送信側から再送されることはない。
【０００６】
リアルタイム性が要求されるマルチメディア通信では、一般に映像データよりも、音声
データの方が重要視される場合が多い。そこで、もし重要な音声データが欠損した場合、
重要部分の音声が相手側端末で再生されず、通話相手に正しい情報が伝わらないという問
題があった。
【０００７】
このような問題を解決する方法として、データ伝送に信頼性が高いプロトコルであるＴ
ＣＰに従ってパケットの再送要求およびパケットの再送を行わせる方法が考えられる。し
かし、パケットを再送しても再生時間に間に合わない可能性があり、結局、受信側端末に
は遅延配送される結果、リアルタイム通信の実現を困難にするという欠点があるため、解
決方法として妥当でない。
【０００８】
また、上記の問題を解決する他の方法として、受信側におけるパケット連続廃棄の発生
頻度が大きくなり、誤り訂正の必要性が増大したとの情報を受信側から送信側が得た場合
には、送信側が送信データに対してクロスインターリーブ処理を行い、パケット連続廃棄
の発生頻度が小さくなってきたとの情報を送信側が得た場合には、クロスインターリーブ
処理を中止する方法がある（例えば、特許文献１参照。）。この解決方法は、重要音声情
報に対してクロスインターリーブが行われるという保証がないという欠点や、処理遅延が
更に増大するという欠点があるため、この解決方法も妥当でない。
【特許文献１】特開平１１−１７７６２３号公報（２３乃至２５頁、図６、図１５）
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来の技術によれば、リアルタイム通信において重要である音声が相手側端末で再生さ
れず、通話相手に正しい情報が伝わらないという問題に対し、様々な解決方法が考えられ
て来たが、パケットを再送しても再生時間に間に合わずリアルタイム通信の実現を困難に
する欠点や、重要音声情報に対してクロスインターリーブが行われるという保証がないと
いう欠点や、処理遅延が更に増大する欠点があった。
【００１０】
本発明は、上記の種々の欠点を解消するためになされたものであり、テレビ電話や遠隔
テレビ会議のような、リアルタイム再生が望まれる音声・画像データ伝送を実行する際に
、特に音声再生においてパケット損失などのエラー発生や品質の低下を抑えて高品質な音
声再生を実現し、かつ音声・画像データ伝送の処理遅延が従来のリアルタイム再生と変わ
りがないデータ通信システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記問題点を解決するために、本発明のデータ通信システムは、データ送信装置とデー
タ受信装置との間でリアルタイムにマルチメディアデータ通信するデータ通信システムで
あって、映像情報を符号化した符号化映像情報と、音声情報を符号化した後に第１の所定
時間内にインターリーブ処理を施した符号化音声情報とをそれぞれパケット化して前記デ
ータ送信装置から前記データ受信装置に送信し、前記データ受信装置は、前記符号化映像
情報を復号化した復号化映像情報と、前記符号化音声情報を第２の所定時間内にデインタ
ーリーブ処理を施した後に復号化した復号化音声情報とを同期して出力することを特徴と
する。
【発明の効果】
【００１２】
本発明によれば、リアルタイム再生が望まれる音声・画像データ伝送を実行する際に、
特に音声再生においてパケット損失などのエラー発生や品質の低下を抑えて高品質な音声
再生を実現し、かつ音声・画像データ伝送の処理遅延が従来のリアルタイム再生と変わり
がないデータ送信装置、およびデータ受信装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下に、本発明の実施の形態を説明する。
【実施例】
【００１４】
図１を参照して本発明の実施の形態を説明する。なお、ここでは映像と音声を送受信可
能な携帯電話機においてリアルタイム通信を行う場合を想定し、それぞれ送信側の携帯電
話機（図１（ａ））と、受信側の携帯電話機（図１（ｂ））として説明するが、通常では
１つの携帯電話機に両方の機能が設けられている。
【００１５】
図１（ａ）は、本発明の実施の形態における送信側における携帯電話機の内部構成を示
したブロック図である。図１（ａ）のように、送信側携帯電話機１は映像入力部２ａ、映
像エンコーダ２ｂ、映像ＭＵＸ２ｃ、音声入力部３ａ、音声エンコーダ３ｂ、音声ＭＵＸ
３ｃ、およびデータ送信部４、制御部６等から構成され、音声ＭＵＸ３ｃ内には音声イン
ターリーブ部３ｄおよびバッファ３ｅが設けられている。そして、それぞれ映像入力部２
ａ、映像エンコーダ２ｂ、映像ＭＵＸ２ｃ、音声入力部３ａ、音声エンコーダ３ｂ、音声
ＭＵＸ３ｃ、およびデータ送信部４は、送信側携帯電話機１の制御部６によって動作制御
が行われる。
【００１６】
また、データ送信部４からデータを送信すると、無線通信５によって基地局を介して通
信網へデータが送られる。
【００１７】
図１（ｂ）は、本発明の実施の形態における受信側における携帯電話機の内部構造を示
したブロック図である。図１（ｂ）のように受信側携帯電話機１１は、無線通信５から送
られたデータを受信するデータ受信部１２と、映像ＤＥＭＵＸ１３ａと、映像デコーダ１
３ｂと、映像出力部１３ｃと、音声ＤＥＭＵＸ１４ａと、音声デコーダ１４ｂと、音声出
力部１４ｃと、バッファ１４ｅ、制御部１５等から構成され、音声デコーダ１４ｂ内には
音声デインターリーブ部１４ｄおよびバッファ１４ｆが設けられている。そして、データ
受信部１２と、映像ＤＥＭＵＸ１３ａと、映像デコーダ１３ｂと、映像出力部１３ｃと、
音声ＤＥＭＵＸ１４ａと、音声デコーダ１４ｂと、音声出力部１４ｃと、音声デインター
リーブ部１４ｄと、バッファ１４ｅと、バッファ１４ｆは、受信側携帯電話機１１の制御
部１５によって動作制御が行われる。
【００１８】
次に、各部の動作について説明する。最初に、実施形態の送信側携帯電話機１でデータ
通信する際において、映像入力・音声入力からデータ送信までの流れを説明する。
【００１９】
まず、映像情報の流れについて説明する。映像入力部２ａは、例えばＣＣＤカメラなど
のカメラで構成され、制御部６に起動されることによって作動する。そして、リアルタイ
ム通信の際に、映像入力部２ａから得た映像情報は、入力順に映像エンコーダ２ｂへ送ら
れる。
【００２０】
映像エンコーダ２ｂは、映像入力部２ａから受け取った映像情報を受信側携帯電話機１
１へ送信するために符号化処理を行い、それを映像ＭＵＸ２ｃへ送る。ここで、符号化の
方法はＭＰＥＧ４などが主に用いられるが、その他の方法であっても良い。
【００２１】
映像ＭＵＸ２ｃは、主に映像情報のパケット生成を行う。即ち、符号化された映像情報
を映像エンコーダ２ｂから取得すると、映像ＭＵＸ２ｃはＲＴＰに基づき所定の長さの映
像情報ＲＴＰパケット（以下、映像パケットという）を生成する。まず、符号化された所
定の長さの映像情報にＲＴＰヘッダ、ＩＰヘッダが付加されて映像パケットが生成される
。ＲＴＰヘッダには、バージョン情報、拡張ヘッダの有無、送信元数、マーカ情報、ロー
ドタイプ、シーケンス番号、表示時間、同期ソース識別子および貢献ソース識別子などが
含まれている。また、各フレームの終端パケットには、終端であることを示すための識別
フラグがＲＴＰヘッダに格納される。これによって、受信側での映像パケット展開時に処
理時間を制御して実行される。
【００２２】
更に、ＲＴＰヘッダが付加されたパケットにＩＰヘッダが付与される。ＩＰヘッダには
、バージョン、ヘッダ長、パケット長、パケットの識別子、ＩＰ層でのデータ分割に関す
る制御情報としてのフラグ、分割されたデータの場所を示す断片オフセット、データ破棄
までの時間情報を示すＴＴＬ(Time to Live)、上位層で利用されるプロトコルヘッ
ダのチェックサム、送信元ＩＰアドレス、宛先ＩＰアドレスなどが含まれている。この映
像ＭＵＸ２ｃで生成された映像パケットはデータ送信部４へ送られる。
【００２３】
次に、音声情報の流れを説明する。音声入力部３ａは、例えばマイクなどの音声入力装
置で構成され、制御部６により制御されている。そして、使用者等から発生された音声が
、音声情報として入力順に音声エンコーダ３ｂへ送られる。
【００２４】
音声エンコーダ３ｂは、音声入力部３ａから入力された音声情報を符号化し、その音声
情報を音声ＭＵＸ３ｃへ送る。
【００２５】
音声ＭＵＸ３ｃは、主に音声情報のパケット生成を行う。即ち、符号化された音声情報
を音声エンコーダ３ｂから取得すると、音声ＭＵＸ３ｃはＲＴＰに基づき所定の長さの音
声情報ＲＴＰパケット（以下、音声パケットという）を生成する。即ち、符号化された音
声情報が音声エンコーダ３ｂから音声ＭＵＸ３ｃへ送られると、音声ＭＵＸ３ｃ内の音声
インターリーブ部３ｄへ音声情報が送られる。ここで、音声情報が後述するインターリー
ブにより単位データ毎に連続性のない配列に変換され、再度音声ＭＵＸ３ｃへ戻される。
【００２６】
そして、前記映像情報のようにＲＴＰヘッダ、ＩＰヘッダ等が付加された所定の長さの音
声パケットが生成され、データ送信部４へ送られる。なお、音声情報のインターリーブは
、音声ＭＵＸ３ｃ内の音声インターリーブ部３ｄで必ずしも行われる必要はなく、音声エ
ンコーダ３ｂで符号化された後、音声ＭＵＸ３ｃでＲＴＰパケットを生成するまでの間に
、送信側携帯電話機１の内部で行われればよい。
【００２７】
以上の様にして、映像パケットと音声パケットがそれぞれ映像ＭＵＸ２ｃや音声ＭＵＸ
３ｃからデータ送信部４に送られると、無線通信５を介して図示しない基地局、通信網な
どを通じて受信側の携帯電話機１１に送られる。ここで用いる伝送方式は、リアルタイム
性を重視するＵＤＰ／ＩＰ方式であり、ＴＣＰ／ＩＰ方式とは異なりパケットの受信確認
は行わず、伝送効率と伝送遅延を考慮した方法である。そしてこの方法で、受信側携帯電
話機１１のデータ受信部１２は映像パケットと音声パケットを受信する。
【００２８】
次に、データ受信から映像出力・音声出力までの流れを説明する。受信した映像パケッ
トと音声パケットは、データ受信部１２でそれぞれのパケットのヘッダ部が解析され、そ
のヘッダ情報により映像パケットと音声パケットとに分けられ、それぞれ映像パケットは
映像ＤＥＭＵＸ１３ａへ、音声パケットは音声ＤＥＭＵＸ１４ａへ送られる。
【００２９】
そして、映像ＤＥＭＵＸ１３ａと音声ＤＥＭＵＸ１４ａでは、送られてきたパケットの
ヘッダ部とデータ部についての解析がそれぞれ行われ、解析された単位データ毎の複数の
映像情報と複数の音声情報はそれぞれ映像デコーダ１３ｂと音声デコーダ１４ｂに送られ
る。なお、送信側携帯電話機１内のデータ送信部４から送信される順番と、受信側携帯電
話機１１内のデータ受信部１２に受信する順番が異なる場合があるが、その際は、映像Ｄ
ＥＭＵＸ１３ａおよび音声ＤＥＭＵＸ１４ａ内での解析において、それぞれのパケットの
ヘッダ情報を参照し、映像ＭＵＸ２ｃおよび音声ＭＵＸ３ｃから送出されたパケットの順
番に並び替えられて、それぞれ映像デコーダ１３ｂ、音声デコーダ１４ｂに送られる。こ
の時、所定の時刻を過ぎても映像ＤＥＭＵＸ１３ａ、音声ＤＥＭＵＸ１４ａに届かないパ
ケットがある場合は、無線通信５にて誤りが発生したものとみなし、そのパケットに替え
て誤り信号を送るなどの誤り処理を行うものとする。
【００３０】
次に、映像パケットを解析した映像情報を受信する映像デコーダ１３ｂは復号処理を行
う。また、音声パケットを解析した音声情報を音声デコーダ１４ｂが受信すると、音声デ
コーダ１４ｂ内の音声デインターリーブ部１４ｄへ送り、そこで、後述するデインターリ
ーブにより単位データ毎に連続性を持たせた配列に変換する処理が行われる。なお、音声
情報のデインターリーブは、音声デコーダ１４ｂ内の音声デインターリーブ部１４ｄで行
われることに限定されず、音声ＤＥＭＵＸ１４ａでの解析の後、音声デコーダ１４ｂにて
音声情報が復号化される前までに、受信側携帯電話機１１の内部で行われればよい。
【００３１】
そして、そのデインターリーブ処理が終了すると、変換された音声情報は再度音声デコ
ーダ１４ｂに戻され、そこで音声復号化処理が行われる。なお、復号化の際、誤り等で欠
損したデータがあり、誤り訂正できる場合には誤り訂正処理も映像デコーダ１３ｂおよび
音声デコーダ１４ｂにて行われる。
【００３２】
その後、復号化された音声情報はバッファ１４ｅに蓄積され、映像デコーダ１３ｂから
映像出力部１３ｃへ出力される映像情報と同期を取りながら、バッファ１４ｅから音声出
力部１４ｃへ音声情報が出力される。
【００３３】
ここで、前述した音声ＭＵＸ３ｃ内にある音声インターリーブ部３ｄでのインターリー
ブ、および音声デコーダ１４ｂ内にある音声デインターリーブ部１４ｄでのデインターリ
ーブの方法について説明する。
【００３４】
図２は、音声パケット形成方法を示した図であり、インターリーブを３シンボル×３シ
ンボル（読み込み方向３シンボル×送信方向３シンボル、以下インターリーブ処理単位３
という）で施した後のパケット形成状態を示したものである。説明の便宜上、パケットの
内部にあるシンボルには番号が付してある（以下、パケット内部番号という）。
【００３５】
まず、単位データ毎の音声情報１，２，３，・・９が音声インターリーブ部３ｄに送ら
れると、送られてきた順番通りに音声インターリーブ部３ｄ内にあるバッファ３ｅに送ら
れる。そして、バッファ３ｅ内では列方向の１列目に音声情報１，２，３が蓄積され（図
２（ｂ）のようにインターリーブ処理単位３の場合、３シンボルを列方向に蓄積）、列方
向の２列目に次の音声情報４，５，６が、また列方向の３列目に次の音声情報７，８，９
が蓄積される。バッファ３ｅからの読み出しでは、パケット化の行方向の順番で音声イン
ターリーブ部３ｄへ送出し（図２（ｂ）のようにインターリーブ処理単位３の場合、３シ
ンボルをパケット化の行方向に読み出し）、その送出された順番で１行目の音声情報［１
，４，７］、２行目の音声情報［２，５，８］、３行目の音声情報［３，６，９］が順次
音声ＭＵＸ３ｃへ送られる。音声ＭＵＸ３ｃでは時間情報などのヘッダ情報Hや、パケッ
トの終了などを示すトレイラ情報Tが付加されてパケット生成が行われる。
【００３６】
また、受信側携帯電話機１１内の音声デインターリーブ部１４ｄにパケット化された上
記音声情報が送られるとバッファ１４ｆに対し、音声インターリーブ部３ｄとは逆の書き
込み及び読み出し処理が行われる。つまり、音声デインターリーブ部１４ｄに音声情報が
送られると、送られた順番通りに音声情報［１，４，７］、［２，５，８］、［３，６，
９］が音声デインターリーブ部１４ｄ内にあるバッファ１４ｆの１行目〜３行目に蓄積さ
れる。そして、バッファ１４ｆに蓄積した音声情報が列方向に読み出され、その送出され
た順番で音声情報［１，２，３］が音声デコーダ１４ｂへ送られる。同様にして次の音声
情報［４，５，６］、次々の音声情報［７，８，９］が音声でコーダ１４ｂへ送られる。
【００３７】
図２ではインターリーブ処理単位３でインターリーブを行っているが、その処理単位が
大きければ大きいほどバースト誤りに対してその欠損データが分散するため、修復可能性
が高まる。このインターリーブ及びデインターリーブを行うためには、処理単位分の音声
情報を音声インターリーブ部３ｄ内のバッファ３ｅ、および音声デインターリーブ部１４
ｄのバッファ１４ｆに格納する必要がある。そこで、どのようなインターリーブ処理単位
でインターリーブを行うかを、図３乃至図６に示した動作手順で求める。
【００３８】
図３は、送信側携帯電話機１及び受信側携帯電話機１１で、いかなるインターリーブ処
理単位でインターリーブ・デインターリーブを行うかを求める第１のアルゴリズムを示し
たフローチャートである。
【００３９】
まず、送信側携帯電話機１の制御部６は、映像エンコーダ２ｂにおいて一定時間Ｘ（映
像読みこみ時間、以下同じ）内の映像入力に対する平均映像情報をエンコードするのに必
要な映像平均エンコード時間Ａから、音声エンコーダ３ｂにおいて一定時間Ｘ内の音声入
力に対する音声情報をエンコードするのに必要な音声エンコード時間ａを差し引いた時間
Ｔ１を求める（ステップ５１）。なお、ここでいう平均映像情報とは、映像を符号化する
際に指定フレームレートで符号化できる（符号化処理の予測可能な）映像情報を意味し、
平均映像情報の大きさは音声情報を実数倍されたものであっても良い。
【００４０】
Ｔ１＝Ａ−ａ
次に、受信側携帯電話機１１の制御部１５は、映像デコーダ１３ｂにおいて一定時間Ｘ
内の映像出力に対する平均映像情報をデコードするのに必要な映像平均デコード時間Ｂか
ら、音声デコーダ１４ｂにおいて一定時間Ｘ内の音声出力に対する音声情報をデコードす
るのに必要な音声デコード時間ｂを差し引いた時間Ｔ２を求める（ステップ５２）。
【００４１】
Ｔ２＝Ｂ−ｂ
上記時間Ｔ１とＴ２がそれぞれ得られると、送信側携帯電話機１と受信側携帯電話機１
１との間が接続された時に、時間Ｔ１とＴ２を交信する（ステップ５３）。ただし、この
交信は、時間Ｔ１とＴ２を求めた後に交信することに限定されず、映像平均エンコード時
間Ａ，音声エンコード時間ａ，映像平均デコード時間Ｂ，音声デコード時間ｂの値をそれ
ぞれ交信してから、それぞれの制御部６および制御部１５が時間Ｔ１、Ｔ２を求めてもよ
い。
【００４２】
次に、インターリーブ処理単位ｎを仮にｎ＝２と設定し、音声インターリーブ部３ｄで
のインターリーブと音声デインターリーブ部１４ｄでのデインターリーブをインターリー
ブ処理単位ｎ（＝２）で行った場合に、時間Ｔ１＋Ｔ２の時間内にインターリーブ処理と
デインターリーブ処理が可能か否かを判断する（ステップ５４）。
【００４３】
ステップ５４の判断の結果、インターリーブ処理とデインターリーブ処理が可能ならば
インターリーブ処理単位ｎ＝ｎ＋１に設定して（ステップ５５）、再度ステップ５４を繰
り返す。一方、インターリーブ処理とデインターリーブ処理が不可能ならばインターリー
ブ処理単位ｎ＝ｎ−１とする（ステップ５６）。そして、インターリーブ処理単位ｎ＝１
ならばインターリーブを施さないものとし（ステップ５７ａ）、インターリーブ処理単位
ｎ＝１でなければ、そのインターリーブ処理単位ｎの値でインターリーブ、デインターリ
ーブを行う（ステップ５７ｂ）。
【００４４】
図４は、その第２のアルゴリズムを示したフローチャートである。まず、送信側携帯電
話機１の制御部６は、一定時間Ｘに入力される平均の映像情報が映像入力部２ａから映像
エンコーダ２ｂへ読み込まれる時間Ｒ１と、映像エンコーダ２ｂでエンコードするのに必
要な映像平均エンコード時間Ａとの和（Ｒ１＋Ａ）から、一定時間Ｘ内に入力される音声
情報が音声入力部３ａから音声エンコーダ３ｂへ読み込まれる時間Ｒ２と、音声エンコー
ダ３ｂでエンコードするのに必要な音声エンコード時間ａを差し引いた時間Ｔ３を求める
（ステップ６１）。
【００４５】
Ｔ３＝Ａ＋Ｒ１−ａ−Ｒ２
次に、受信側携帯電話機１１の制御部１５は、映像デコーダ１３ｂで一定時間Ｘに出力
される平均映像情報をデコードするのに必要な映像平均デコード時間Ｂから、音声デコー
ダ１４ｂで一定時間Ｘに出力される音声情報をデコードするのに必要な音声デコード時間
ｂを差し引いた時間Ｔ４を求める（ステップ６２）。
【００４６】
Ｔ４＝Ｂ−ｂ
上記時間Ｔ３とＴ４がそれぞれ得られると、送信側携帯電話機１と受信側携帯電話機１
１との間が接続された時に、時間Ｔ３とＴ４を交信する（ステップ６３）。ただし、この
交信は、時間Ｔ３とＴ４を求めた後に交信することに限定されず、映像平均エンコード時
間Ａ，音声エンコード時間ａ，映像平均デコード時間Ｂ，音声デコード時間ｂ，時間Ｒ１
，時間Ｒ２の値をそれぞれ交信してから、それぞれの制御部６および制御部１５が時間Ｔ
３及びＴ４を求めてもよい。
【００４７】
次に、インターリーブ処理単位ｎ数を仮にｎ＝２と設定し、音声インターリーブ部３ｄ
でのインターリーブと音声デインターリーブ部１４ｄでのデインターリーブをインターリ
ーブ処理単位ｎ（＝２）で行った場合に、時間Ｔ３＋Ｔ４の時間内にインターリーブ処理
とデインターリーブ処理が可能か否かを判断する（ステップ６４）。
【００４８】
ステップ６４の判断の結果、インターリーブ処理とデインターリーブ処理が可能ならば
インターリーブ処理単位ｎ＝ｎ＋１に設定して（ステップ６５）、再度ステップ６４を繰
り返す。一方、インターリーブ処理とデインターリーブ処理が不可能ならばインターリー
ブ処理単位ｎ＝ｎ−１とする（ステップ６６）。そして、インターリーブ処理単位ｎ＝１
ならばインターリーブを実施しないものとし（ステップ６７ａ）、インターリーブ処理単
位ｎ＝１でなければ、そのインターリーブ処理単位ｎでインターリーブ、デインターリー
ブを行う（ステップ６７ｂ）。
【００４９】
図５は、その第３のアルゴリズムを示したフローチャートである。まず送信側携帯電話
機１の制御部６は、映像エンコーダ２ｂにおいて一定時間Ｘ内の映像入力に対する最小映
像情報をエンコードするのに必要な映像平均エンコード時間Ａから、音声エンコーダ３ｂ
において一定時間Ｘ内の音声入力に対する音声情報をエンコードするのに必要な音声エン
コード時間ａを差し引いた時間Ｔ１を求める（ステップ７１）。これは第１のアルゴリズ
ムのステップ５１と同じである。
【００５０】
Ｔ１＝Ａ−ａ
次に受信側携帯電話機１１の制御部１５は、映像デコーダ１３ｂにおいて一定時間Ｘ内
の映像出力に対する平均映像情報をデコードするのに必要な映像平均デコード時間Ｂから
、音声デコーダ１４ｂにおいて一定時間Ｘ内の音声出力に対する音声情報をデコードする
のに必要な音声デコード時間ｂを差し引いた時間Ｔ２を求める（ステップ７２）。これも
第1のアルゴリズムのステップ５２と同じである。
【００５１】
Ｔ２＝Ｂ−ｂ
次に、インターリーブ処理単位ｎを仮にｎ＝２と設定し、音声インターリーブ部３ｄで
のインターリーブをインターリーブ処理単位ｎ（＝２）で行った場合に、時間Ｔ１の時間
内にインターリーブ処理が可能であり、且つ、音声デインターリーブ部１４ｄでのデイン
ターリーブを、インターリーブ処理単位ｎ（＝２）で行った場合に、時間Ｔ２の時間内に
インターリーブ処理が可能であるか否かを判断する（ステップ７３）。
【００５２】
ステップ７３の判断の結果、インターリーブ処理が時間Ｔ１の時間内に可能であり、か
つデインターリーブ処理も時間Ｔ２の時間内に可能ならばインターリーブ処理単位ｎ＝ｎ
＋１に設定して（ステップ７４）、再度ステップ７３を繰り返す。一方、インターリーブ
処理、またはデインターリーブ処理がそれぞれの時間内に不可能ならばインターリーブ処
理単位ｎ＝ｎ−１とする（ステップ７５）。そして、インターリーブ処理単位ｎ＝１なら
ばインターリーブを施さないものとし（ステップ７６ａ）、インターリーブ処理単位ｎ＝
１でなければ、そのインターリーブ処理単位ｎの値でインターリーブ、デインターリーブ
を行う（ステップ７６ｂ）。
【００５３】
図６は、その第４のアルゴリズムを示したフローチャートである。まず、送信側携帯電
話機１の制御部６は、一定時間Ｘに入力される平均の映像情報が映像入力部２ａから映像
エンコーダ２ｂへ読み込まれる時間Ｒ１と、映像エンコーダ２ｂでエンコードするのに必
要な映像平均エンコード時間Ａとの和（Ｒ１＋Ａ）から、一定時間Ｘ内に入力される音声
情報が音声入力部３ａから音声エンコーダ３ｂへ読み込まれる時間Ｒ２と、音声エンコー
ダ３ｂでエンコードするのに必要な音声エンコード時間ａを差し引いた時間Ｔ３を求める
（ステップ８１）。これは、第２のアルゴリズムのステップ６１と同じである。
【００５４】
Ｔ３＝Ａ＋Ｒ１−ａ−Ｒ２
次に、受信側携帯電話機１１の制御部１５は、映像デコーダ１３ｂで一定時間Ｘに出力
される平均映像情報をデコードするのに必要な映像平均デコード時間Ｂから、音声デコー
ダ１４ｂで一定時間Ｘに出力される音声情報をデコードするのに必要な音声デコード時間
ｂを差し引いた時間Ｔ４を求める（ステップ８２）。これも第２のアルゴリズムのステッ
プ６２と同じである。
【００５５】
Ｔ４＝Ｂ−ｂ
次に、インターリーブ処理単位ｎを仮にｎ＝２と設定し、音声インターリーブ部３ｄで
のインターリーブをインターリーブ処理単位ｎ（＝２）で行った場合に、時間Ｔ３の時間
内にインターリーブ処理が可能であり、且つ、音声デインターリーブ部１４ｄでのデイン
ターリーブを、インターリーブ処理単位ｎ（＝２）で行った場合に、時間Ｔ４の時間内に
インターリーブ処理が可能であるか否かを判断する（ステップ８３）。
【００５６】
ステップ８３の判断の結果、インターリーブ処理が時間Ｔ３の時間内に可能であり、か
つデインターリーブ処理も時間Ｔ４の時間内に可能ならばインターリーブ処理単位ｎ＝ｎ
＋１に設定して（ステップ８４）、再度ステップ８３を繰り返す。一方、インターリーブ
処理、またはデインターリーブ処理がそれぞれの時間内に不可能ならばインターリーブ処
理単位ｎ＝ｎ−１とする（ステップ８５）。そして、インターリーブ処理単位ｎ＝１なら
ばインターリーブを施さないものとし（ステップ８６ａ）、インターリーブ処理単位ｎ＝
１でなければ、そのインターリーブ処理単位ｎの値でインターリーブ、デインターリーブ
を行う（ステップ８６ｂ）。
【００５７】
なお、アルゴリズム１と２において、インターリーブ処理単位ｎの決定は、例えば、送
信側携帯電話機１と受信側携帯電話機１１との接続時に決定し、通信中はインターリーブ
処理単位ｎを一定にして通信を行っても良い。また、通信の途中で送信側携帯電話機１と
受信側携帯電話機１１と間で交信を行い、インターリーブ処理単位ｎを変更するように交
信を行っても構わない。
【００５８】
また、実施の形態では携帯電話機に適用した場合の説明であるが、趣旨を逸脱しない範
囲内において他の端末機器にも適用・応用することが可能である。
【００５９】
以上のように、本発明の実施の形態によれば、映像情報よりも処理時間の短い音声情報
に対し、その処理時間の差の時間をインターリーブ・デインターリーブに利用することが
できる。これにより、リアルタイム通信において、映像入力から映像出力までの時間は従
来と変わることなく、重要な音声情報に対してインターリーブ、デインターリーブを施す
ことによって音声情報の欠損が発生しても修復可能なものとすることが出来る。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施の形態における送信側携帯電話機および受信側携帯電話機の構成を示すブロック図。
【図２】本発明の実施の形態において、３シンボル×３シンボルのインターリーブでパケット生成を示した図。
【図３】本発明の実施の形態におけるインターリーブ処理単位を決定する第１のアルゴリズムを示した図。
【図４】本発明の実施の形態におけるインターリーブ処理単位を決定する第２のアルゴリズムを示した図。
【図５】本発明の実施の形態におけるインターリーブ処理単位を決定する第３のアルゴリズムを示した図。
【図６】本発明の実施の形態におけるインターリーブ処理単位を決定する第４のアルゴリズムを示した図。
【符号の説明】
【００６１】
１  送信側携帯電話機
２ａ  映像入力部
２ｂ  映像エンコーダ
２ｃ  映像ＭＵＸ
３ａ  音声入力部
３ｂ  音声エンコーダ
３ｃ  音声ＭＵＸ
３ｄ  音声インターリーブ部
３ｅ、１４ｅ、１４ｆ  バッファ
４  データ送信部
５  無線通信
１１  受信側携帯電話機
１２  データ受信部
１３ａ  映像ＤＥＭＵＸ
１３ｂ  映像デコーダ
１３ｃ  映像出力部
１４ａ  音声ＤＥＭＵＸ
１４ｂ  音声デコーダ
１４ｃ  音声出力部
１４ｄ  音声デインターリーブ部
【図１】
2005159809.tif 000003
【図２】
2005159809.tif 000004
【図３】
2005159809.tif 000005
【図４】
2005159809.tif 000006
【図５】
2005159809.tif 000007
【図６】
2005159809.tif 000008