(57)【要約】【課題】リアルタイム性が要求されるパケット通信にあって、パケットの消失が発生しても受信側の端末で必要最低限の復号再生を維持することを可能にする。【解決手段】受信側の携帯端末ＭＳｍから再送要求が到来した場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が再送用帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送不可能と判定された場合に、ビデオエンコーダ２３及びオーディオエンコーダ２４に対しキーフレームの生成を指示すると共に、このキーフレームが生成されるまでの期間に本送信帯域を利用して再送対象の音声パケットを再送する。また上記再送対象の音声パケットを送信する際に、多重化テーブルに記憶された情報に基づいて、元々の送信タイミングが旧い音声フレームほど多重度が小さくなるように再送対象の複数の音声フレームを再多重化する。【選択図】      図２
2008092464.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームを収容した映像パケット及び音声フレームを収容した音声パケットを、通信ネットワーク上に設定される第１の帯域を使用して受信側の端末へ送信する手段と、
前記映像パケット及び音声パケットの送信に対する再送要求が前記受信側の端末から送られた場合に、当該再送要求を受信する手段と、
前記再送要求が受信された場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が、前記通信ネットワーク上に前記第１の帯域とは別に設定される再送用の第２の帯域を使用して制約時間内に伝送可能か否かを判定する判定手段と、
前記判定手段により伝送不可能と判定された場合に、フレーム内符号化された映像フレーム及び音声フレームを生成し、この生成されたフレーム内符号化映像フレームを収容した映像パケット及びフレーム内符号化音声フレームを収容した音声パケットを前記第１の帯域を使用して前記受信側の端末へ送信する手段と、
前記伝送不可能と判定された時点から前記フレーム内符号化された映像フレーム及び音声フレームが生成されるまでの期間に、前記再送対象の音声パケットを前記第１の帯域を使用して前記受信側の端末へ再送する音声パケット再送手段と
を具備することを特徴とするパケット伝送装置。
【請求項２】
前記音声パケット再送手段は、前記第１の伝送帯域を使用して制約時間内に伝送可能な音声パケットの情報量の範囲内で、再送対象の複数の音声フレームを再多重化することにより再送用の音声パケットを再構成することを特徴とする請求項１記載のパケット伝送装置。
【請求項３】
前記音声パケット再送手段は、再送対象の複数の音声フレームのうちフレームサイズがしきい値以下の音声フレームを優先的に再多重化することを特徴とする請求項２記載のパケット伝送装置。
【請求項４】
前記音声パケット再送手段は、再生対象の音声フレームの時間位置と多重度との関係を表す情報を記憶するメモリテーブルを備え、このメモリテーブルに記憶された情報に基づいて、前記再送対象の複数の音声フレームのうち時間位置が旧い音声フレームほど小さい多重度で再多重化し、時間位置が新しい音声フレームほど大きい多重度で再多重化することを特徴とする請求項２記載のパケット伝送装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば無線ネットワークのように伝送速度が比較的低速なチャネルを使用して映像フレーム及び音声フレームを収容したパケットを伝送する機能を備えたパケット伝送装置に関する。
【背景技術】
【０００２】
近年、携帯電話機やＰＤＡ（Personal Digital Assistant）等の携帯端末が急速に普及し、ユーザはこの携帯端末を所持することにより、場所を選ばずに通話や電子メールの送受信は勿論のこと、ウエブサイトからのコンテンツデータのダウンロードやテレビジョン電話通信を行えるようになっている。このうちテレビジョン電話通信は一般に、映像データと音声データをそれぞれ符号化したのちパケット化して伝送する。
【０００３】
ところで、無線ネットワークのように品質の良くない通信チャネルを介してパケット通信を行う場合には、通信チャネルＱｏＳ制御が行われる。例えばＲＴＰ（Real-time Transport Protocol）を採用したシステムでは、受信側の端末でパケットの欠落を監視し、パケットの欠落が検出された場合に送信側の端末に向け再送要求を送信する。これに対し送信側の端末は、受信側の端末から再送要求が到来すると、この再送要求に従い欠落したパケットを受信側の端末に向け再送する。このようなシステムであれば、通信チャネルの品質劣化によりパケットの欠損が発生した場合でも、受信側の端末ではパケットをもれなく受信してデータを高品質に再生することが可能となる。
【０００４】
しかしながら、無線ネットワークにおいて干渉が発生したりハンドオーバが行われ、これにより大量のパケットが消失すると、伝送帯域の制約により送信側の端末は受信側の端末から要求されたすべてのパケットを再生に間に合うように再送することができない。この場合送信側の端末は、上記消失したパケットの再送を断念してフレーム内符号化された映像音声フレームを生成し、この生成されたフレームをパケット化して送信するようにしている。しかし、フレーム内符号化されたフレームを生成するまでにはフレームのサンプリングと符号化処理による遅延がある。このため受信側の端末では、パケットの消失が発生してから上記フレーム内符号化されたフレームのパケットを受信するまでの比較的長い期間にわたって、映像及び音声を正しく復号できなくなり再生が中断する。
【０００５】
そこで従来では、例えばメディアストリームを配信する際に、一つのコンテンツについてフレーム内符号化フレーム（Ｉフレーム）の出現頻度の異なる２つのメディアストリームＡ１，Ａ２を予め生成して記憶しておき、受信側の端末から再送要求が到来した場合に、送信対象のメディアストリームをＩフレームの出現頻度が低いＡ１からＩフレームの出現頻度の高いＡ２に切り替えるようにしたシステムが提案されている（例えば、特許文献１を参照。）。
【特許文献１】特開２００３−３３３５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記従来のシステムによれば、受信側の端末にＩフレームが早く到着する確率が高くなり、これにより受信側の端末における受信コンテンツの再生中断期間は短縮される。しかしながら、パケットの消失が発生してから切替後のメディアストリームＡ２のＩピクチャが受信側の端末で受信されるまで間は、依然として何も送られないか又は送られてもフレーム間符号化により生成されたフレーム（Ｐピクチャ）となる。このため、受信コンテンツの再生中断は避けられない。また、送信側にＩピクチャの出現頻度の異なる２つのメディアストリームＡ１，Ａ２を予め生成して蓄積しておかなければならない。このため、テレビジョン電話通信のようにリアルタイム性が要求されるパケット通信には適用することができない。
【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、リアルタイム性が要求されるパケット通信にあって、パケットの消失が発生しても受信側の端末で必要最低限の復号再生を維持することを可能にしたパケット伝送装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するためにこの発明の一つの観点は、消失した映像パケット及び音声パケットの再送要求が受信側の端末から送られた場合に、再送対象の映像パケット及び音声パケットの情報量が本送信用として設定された第１の伝送帯域とは別に再送用として設定された第２の帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送不可能と判定された場合に、フレーム内符号化された映像フレーム及び音声フレームを生成して、この生成されたフレーム内符号化映像フレームを収容した映像パケット及びフレーム内符号化音声フレームを収容した音声パケットを上記第１の帯域を使用して上記受信側の端末へ送信すると共に、上記伝送不可能と判定された時点から上記フレーム内符号化された映像フレーム及び音声フレームが生成されるまでの期間に、再送対象の音声パケットを上記第１の帯域を使用して受信側の端末へ送信するようにしたものである。
【発明の効果】
【０００９】
一般に、例えばテレビジョン電話通信を行う場合、受信側の端末では受信映像が途切れたり映像の品質が著しく劣化したとしても、少なくとも通話音声さえ再生出力されれば送受間の通話は維持される。したがって、この発明のように消失した映像パケット及び音声パケットを再送し切れない状況下において、フレーム内符号化フレームが生成されるまでの期間に、パケットの本送信用として設定されている第１の伝送帯域を利用して上記消失した映像及び音声パケットのうち音声パケットのみを再送することにより、送受間では少なくとも音声通話を維持することが可能となる。  
すなわち、この発明によれば、リアルタイム性が要求されるパケット通信にあって、パケットの消失が発生しても受信側端末で必要最低限の通信を維持することを可能にしたパケット伝送装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照してこの発明の実施形態を説明する。  
図１は、この発明の一実施形態に係わるパケット伝送装置を使用した移動通信システムの概略構成図である。このシステムは、移動通信交換機能を有する通信ネットワークＮＷと、サービスエリアに分散配置された複数の基地局ＢＳ１〜ＢＳｎとを備え、パケット伝送装置としての携帯端末ＭＳ１〜ＭＳｍを上記基地局ＢＳ１〜ＢＳｎ及び通信ネットワークＮＷを介して相互に接続してテレビジョン電話通信を可能にしたものである。通信プロトコルとしては、例えばＲＴＰ（Real-time Transport Protocol）が用いられる。
【００１１】
上記携帯端末ＭＳ１〜ＭＳｍは次のように構成される。図２はその機能構成を示すブロック図である。すなわち携帯端末ＭＳ１〜ＭＳｍは、無線ユニット１と、ベースバンドユニット２と、ユーザインタフェースユニット３と、電源ユニット４とを備えている。  
同図において、ユーザインタフェースユニット３のマイクロホン３２から出力されたユーザの送話音声信号は、ベースバンドユニット２のオーディオエンコーダ２４に入力される。オーディオエンコーダ２４は、ＧＳＭ−ＡＭＲ（Global System for Mobile communications-Adaptive Multi-rate）やＥＶＲＣ（Enhanced Variable Rate Codec）等の移動通信規格で定められた通話用の符号化方式により上記送話音声信号を符号化する。そして、この符号化処理により生成されたオーディオデータを多重分離部２２及びパケット変換部２７にそれぞれ入力する。
【００１２】
また、同時にカメラ（ＣＡＭ）３１から出力された映像信号は、ベースバンドユニット２のビデオエンコーダ２３に入力される。ビデオエンコーダ２３は、上記映像信号を例えばＭＰＥＧ４（Moving Picture Coding Experts Group 4）方式に従い符号化処理し、この符号化された映像データを上記多重分離部２２及びパケット変換部２７にそれぞれ入力する。
【００１３】
パケット変換部２７は、制御モジュール２１の指示に従い、上記ビデオエンコーダ２３から出力された映像データと、オーディオエンコーダ２４から出力されたオーディオデータをそれぞれパケット化し、生成された映像パケット及び音声パケットを上記多重分離部２２に入力する。多重分離部２２は、上記パケット変換部２７から供給される映像パケット及び音声パケットを、制御モジュール２１において生成された制御パケットと多重化する。そして、この多重分離部２２により多重化されたマルチメディア送信データは、無線ユニット１の送信回路（ＴＸ）１５に供給される。
【００１４】
送信回路１５は、変調器、周波数変換器及び送信電力増幅器を備える。上記送信データは、変調器でディジタル変調されたのち、周波数変換器により周波数シンセサイザ（ＳＹＮ）１４から発生された送信局部発振信号とミキシングされて無線周波信号に周波数変換される。変調方式としては、ＱＰＳＫ（Quadriphase Phase Shift Keying）方式及びＱＡＭ（Quadrature Amplitude Modulation）方式と、拡散符号を使用するスペクトラム拡散方式が用いられる。そして、この生成された送信無線周波信号は、送信電力増幅器で所定の送信レベルに増幅されたのち、アンテナ共用器（ＤＵＰ）１２を介してアンテナ１１に供給され、このアンテナ１１から最寄りの基地局に向け送信される。
【００１５】
一方、基地局ＢＳ１〜ＢＳｎから無線チャネルを介して到来した無線信号は、アンテナ１１で受信されたのちアンテナ共用器１２を介して受信回路（ＲＸ）１３に入力される。受信回路１３は、高周波増幅器、周波数変換器及び復調器を備える。そして、上記無線周波信号を低雑音増幅器で低雑音増幅したのち、周波数変換器において周波数シンセサイザ（ＳＹＮ）１４から発生された受信局部発振信号とミキシングして受信ベースバンド信号に周波数変換し、その出力信号を復調器でディジタル復調する。復調方式としては、例えば直交復調方式と拡散符号を使用したスペクトラム逆拡散方式が用いられる。なお、上記周波数シンセサイザ１４から発生される受信局部発振信号周波数は、ベースバンドユニット２に設けられた制御モジュール２１から指示される。
【００１６】
上記復調器から出力された復調信号は、ベースバンドユニット２に入力される。この復調信号は、多重分離部２２において制御パケットとデータパケットとに分離される。そして、このうちデータパケットはパケット逆変換部２８に入力される。なお、制御パケットには例えば発信元番号や、自端末及び相手通信端末の位置情報などが含まれ、これらは制御モジュール２１において接続制御等を行うために使用される。また、再送要求等の転送制御のためのコマンドも上記制御パケットにより伝送される。
【００１７】
パケット逆変換部２８は、上記入力されたデータパケットからオーディオデータ及び映像データを分離して抽出し、これらのデータをそれぞれ復号処理が可能な情報形式に変換してオーディオデコーダ２６及びビデオデコーダ２５に入力する。オーディオデコーダ２６は、上記入力されたオーディオデータを例えばＧＳＭ−ＡＭＲ方式又はＥＶＲＣ方式に従い復号処理してオーディオ信号を再生し、この再生したオーディオ信号をユーザインタフェースユニット３のスピーカ３４から拡声出力する。ビデオデコーダ２５は、上記入力された映像データを例えばＭＰＥＧ４方式に従い復号処理して映像信号を再生し、この再生した映像信号を図示しない表示制御部を介して液晶表示器（ＬＣＤ）３３に供給し表示させる。
【００１８】
なお、電源ユニット４には、リチウムイオン電池等のバッテリ４１と、このバッテリ４１を商用電源出力（ＡＣ１００Ｖ）をもとに充電するための充電回路４２と、電圧生成回路（ＰＳ）４３とが設けられている。電圧生成回路４３は、例えばＤＣ／ＤＣコンバータからなり、バッテリ４１の出力電圧をもとに所定の電源電圧Ｖccを生成する。
【００１９】
ところで、上記ベースバンドユニット２は、端末全体の動作を統括的に制御する制御モジュール２１と、例えばＮＡＮＤ型フラッシュメモリを使用したメモリ（ＭＥＭ）２９とを備えている。  
メモリ２９には、送受信メールや留守録データ等の送受信データや、電話帳データ、発着信履歴及び各種制御データ等の管理用データがそれぞれ格納される。管理用データには音声パケットの再送制御に使用する多重化テーブルが含まれる。多重化テーブルには、再送対象の音声フレームの元々の送信タイミングに対応付けて多重度を表す情報が記憶されている。図５はこの多重化テーブルの構成の一例を示すもので、送信タイミングｘが古い音声フレームほど多重度が小さくなるように多重度が設定してある。
【００２０】
制御モジュール２１は、マイクロプロセッサを使用したＣＰＵ（Central Processing Unit）と、アプリケーション・プログラムを記憶したＲＯＭと、送受信パケットを一時保持するバッファメモリとを備える。そして、この発明に係わる制御機能として、再送可否判定処理機能２１１と、キーフレーム送信制御機能２１２と、音声パケット再送制御機能２１３とを備えている。これらの機能はいずれも、アプリケーション・プログラムをＣＰＵに実行させることにより実現される。
【００２１】
再送可否判定処理機能２１１は、受信側の携帯端末から再送要求が到来した場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が、再送用帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送可能と判定した場合には、上記再送対象の映像パケット及び音声パケットをバッファメモリから読み出して、上記再送用帯域を使用して受信側の携帯端末へ再送する。
【００２２】
キーフレーム送信制御機能２１２は、上記再送可否判定処理機能２１１により伝送不可能と判定された場合に、ビデオエンコーダ２３及びオーディオエンコーダ２４に対しフレーム内符号化された映像フレーム及びオーディオフレーム、つまりキーフレームの生成を指示する。そして、生成されたキーフレームを本送信帯域を使用して受信側の携帯端末に向け送信する。
【００２３】
音声パケット再送制御機能２１３は、上記再送可否判定処理機能２１１により伝送不可能と判定された時点から、上記キーフレーム送信制御機能２１２によりキーフレームが生成されるまでの期間に、本送信帯域による新たな映像パケット及び音声パケットの送信を停止させ、代わりに再送対象の音声パケットをバッファメモリから読み出し、この音声パケットを上記本送信帯域を使用して受信側の携帯端末へ再送させる。
【００２４】
また音声パケット再送制御機能２１３は再多重化処理機能２１３１を有している。この再多重化処理機能２１３１は、上記再送対象の音声パケットを送信する際に、多重化テーブルに記憶された情報に基づいて、元々の送信タイミングｘが古い音声フレームほど多重度が小さくなるように再送対象の複数の音声フレームを再多重化する。そして、この再多重化により再構成された再送用の音声パケットを、本送信帯域を使用して受信側の端末へ送信させる。
【００２５】
次に、以上のように構成された携帯端末ＭＳ１〜ＭＳｍの伝送動作を説明する。図３及び図４は、その制御手順と制御内容を示すフローチャートである。なお、ここでは携帯端末ＭＳ１と携帯端末ＭＳｎとの間でテレビジョン電話通信を行う場合を例にとって説明する。
【００２６】
テレビジョン電話通信が開始されると送信側の携帯端末ＭＳ１では、カメラ３１により撮像された映像信号がビデオエンコーダ２３により符号化されたのち、パケット変換部２７により映像ＲＴＰパケットに変換される。また、それと共にマイクロホン３２から出力された送話音声信号がオーディオエンコーダ２４により符号化されたのち、パケット変換部２７により音声ＲＴＰパケットに変換される。そして、これらの映像ＲＴＰパケット及び音声ＲＴＰパケットは、制御モジュール２１の制御の下でステップＳ３１により無線ユニット１から上りの無線伝送チャネルを使用して送信される。なお、携帯端末ＭＳ１と携帯端末ＭＳｍとの間の伝送チャネルには、例えば図７（ｂ）に示すように本送信用帯域と再送用帯域とが固定的に割り当てられており、上記映像ＲＴＰパケット及び音声ＲＴＰパケットは本送信用帯域を使用して送信される。  
また、上記映像ＲＴＰパケット及び音声ＲＴＰパケットの送信を行いながら携帯端末ＭＳ１では、制御モジュール２１がステップＳ３２において受信側の携帯端末ＭＳｍからの再送要求の到来を監視している。
【００２７】
さて、この状態で例えば無線伝搬路の品質劣化により、上記携帯端末ＭＳ１が送信した映像ＲＴＰパケット及び音声ＲＴＰパケットの一部が図７（ａ）に示すように消失したとする。そうすると受信側の携帯端末ＭＳｍから再送要求が送信される。再送要求には、欠落したパケットの番号が挿入される。
【００２８】
上記再送要求を受信すると携帯端末ＭＳ１では、制御モジュール２１がステップＳ３３により、上記再送要求により指定された再送対象の映像ＲＴＰパケット及び音声ＲＴＰパケットの情報量を算出し、この算出した情報量を再送用帯域による再送可能容量とステップＳ３４で比較する。ここで、再送可能容量とは、例えば図６に示すように、本送信帯域を使用して新たな映像パケット及び音声パケットを伝送しながら再送用帯域を使用して消失パケットを再送したときに、携帯端末間におけるパケット転送時間を考慮して求められる再送が間に合う制約時間内に消失パケットを再送することが可能な情報量である。
【００２９】
上記比較の結果、上記算出した再送対象パケットの情報量が再送用帯域による再送可能容量以内だったとする。この場合携帯端末ＭＳ１の制御モジュール２１は、再送用帯域を使用した再送処理が可能と判断してステップＳ３５に移行し、上記再送対象の映像パケット及び音声パケット、つまり消失パケットを、図７（ａ），（ｂ）に示すように再送用帯域を使用して再送する。したがって、受信側の携帯端末ＭＳｍでは、送信側の携帯端末ＭＳ１から送信されたパケットが一部区間において消失しても、再送用帯域を使用して再送された上記消失パケットをもとに上記消失区間の映像及び音声を正しく復号し再生することが可能となる。また、上記消失パケットの再送と並行して、本送信用帯域では新たな映像ＲＴＰパケット及び音声ＲＴＰパケットが引き続き送信される。このため、受信側の携帯端末ＭＳｍでは、上記消失区間の映像及び音声の復号再生が終了した後も引き続き新たな映像及び音声の復号再生が行われる。
【００３０】
一方、消失した区間が長く、再送対象パケットの情報量が再送用帯域による再送可能容量を超えていたとする。この場合携帯端末ＭＳ１の制御モジュール２１は、再送用帯域を使用した再送処理が不可能と判断して、キーフレームの生成とその送信処理及び本送信帯域を使用した音声パケットの再送処理を以下のように実行する。
【００３１】
すなわち、先ずステップＳ３６において、本送信帯域で再送可能な音声パケットの長さを算出する。例えば、いま伝送速度が１０fps、６４kbpsの場合には最大１００msecの伝送容量（６４００bit相当）がある。また、符号化方式としてＡＭＲを使用した場合には、Ｏｃｔｅｔ−ａｌｉｇｎｅｄ  ＭｏｄｅでＲＴＰパケットを構成した場合に、ＲＴＰ／ＵＤＰ／ＩＰヘッダ３２０bit＋ペイロードヘッダ８bit＋ＴｏＣ（１スピーチデータ当たり８ｂｉｔ）＋スピーチデータ９６〜２４８bitとなる。そして、この条件の下で、最大パケット長Max Ptimeが１００msec、モード＝０としたときの音声パケット長は８４８bitであるため、６４００bitで０．７秒分の音声パケットを伝送可能である。また、伝送速度が３８４kbps、モード＝７としたときには、２．３秒分の音声パケットを再送することが可能となる。
【００３２】
次に制御モジュール２１は、ステップＳ３７において、ビデオエンコーダ２３及びオーディオエンコーダ２４に対し、フレーム内符号化された映像フレーム及び音声フレーム、つまりキーフレームの生成を指示する。そして、上記ビデオエンコーダ２３及びオーディオエンコーダ２４によりキーフレームが生成されるまでの時間を利用して、再送対象の音声パケットを本送信用帯域により再送する処理を以下のように実行する。
【００３３】
すなわち、先ずステップＳ３８により再送対象の音声パケットの再構成を行う。この音声パケットの再構成は、再送対象の音声パケットに含まれていた複数の音声フレームを、多重化テーブルに記憶された情報に基づいて再多重化することにより行われる。  
図４はその処理手順と処理内容を示すフローチャートである。制御モジュール２１は先ずステップＳ４３により、再送対象の音声フレームを送信タイミングの古いものから選択し、この選択された音声フレームの送信タイミングに対応する多重度をステップＳ４４により多重化テーブルから読み出す。そして、上記選択された音声フレームを上記読み出した多重度に従い再多重化して再送用の音声パケットを生成する。以後同様に、再送対象のすべての音声フレームの選択が終了したことをステップＳ４６で検出するまで、上記ステップＳ４３〜Ｓ４５による再多重化処理を繰り返す。
【００３４】
例えば、いま図１０に示すように音声フレームＦ１〜Ｆ２０のうち、Ｆ１〜Ｆ９が再生対象の音声フレームだったとする。なお、図中Ｐ１〜Ｐ６は本送信時における音声パケットを示す。制御モジュール２１は、先ず再送対象の音声フレームのうち送信タイミングが最も古い音声フレームＦ１を読み出す。この音声フレームＦ１の送信タイミングｘは、最新の再送対象音声フレームの送信タイミングを基準（ｔ０）とすると−ｔ９であるため、多重度は図５の多重化テーブルから“１”となる。したがって、制御モジュール２１は上記音声フレームＦ１のみでペイロードＰ１′を構成し、これに例えば図９（ａ）に示すようにＲＴＰ／ＵＤＰ／ＩＰヘッダを付加して音声パケットＲＰ１を構成する。
【００３５】
次に制御モジュール２１は、音声フレームＦ２，Ｆ３，Ｆ４を順に読み出す。これらの音声フレームＦ２，Ｆ３，Ｆ４の送信タイミングｘは−ｔ８〜−ｔ６であるため、多重度は図５の多重化テーブルからいずれも“３”となる。したがって、制御モジュール２１は上記３個の音声フレームＦ２，Ｆ３，Ｆ４を多重化して１つのペイロードＰ２′を構成し、これに例えば図９（ｂ）に示すようにＲＴＰ／ＵＤＰ／ＩＰヘッダを付加して音声パケットＲＰ２を構成する。
【００３６】
以後同様に、音声フレームＦ５〜Ｆ９の多重度は図５の多重化テーブルによればいずれも“５”となるので、これら５個の音声フレームＦ５〜Ｆ９を多重化して１つのペイロードＰ３′を構成し、これに例えば図９（ｃ）に示すようにＲＴＰ／ＵＤＰ／ＩＰヘッダを付加して音声パケットＲＰ３を構成する。
【００３７】
以上のように再送対象の音声パケットの再構成が終了すると、制御モジュール２１は続いてステップＳ３９に移行し、ここで上記再構成した各音声パケットＲＰ１，ＲＰ２，ＲＰ３を送信タイミングの古い順に、図８（ｂ）に示すように本送信帯域を使用して再送する。そして、ステップＳ４０でビデオエンコーダ２３及びオーディオエンコーダ２４によるキーフレームの生成終了が検出され、さらにステップＳ４１で上記再構成された音声パケットの送信終了が検出されると、制御モジュール２１はステップＳ４２に移行し、ここで上記生成されたキーフレームによる映像パケット及び音声パケットを、図８（ａ），（ｂ）に示すように本送信用帯域を使用して送信する。以後制御モジュール２１は、上記キーフレームを基準に差分符号化された後続の映像及び音声フレームをそれぞれパケット化し、これらのパケットを本送信用帯域を使用して送信する。
【００３８】
以上述べたようにこの実施形態では、受信側の携帯端末ＭＳｍから再送要求が到来した場合に、当該再送要求により指定された再送対象の映像パケット及び音声パケットの情報量が再送用帯域を使用して制約時間内に伝送可能か否かを判定する。そして、伝送不可能と判定された場合に、ビデオエンコーダ２３及びオーディオエンコーダ２４に対しキーフレームの生成を指示すると共に、このキーフレームが生成されるまでの期間に本送信帯域を利用して再送対象の音声パケットを再送するようにしている。
【００３９】
したがって、消失した映像パケット及び音声パケットを再送し切れない場合でも、キーフレームが生成されるまでの期間を利用しかつ本送信用帯域を利用して、上記消失した音声パケットが再送される。このため、受信側の携帯端末ＭＳｍにおいて受話再生音が途切れないようにすることができ、これにより少なくとも音声通話による端末間の通信状態を維持することが可能となる。
【００４０】
本来であれば、再送中においても本送信帯域は新たな映像ＲＴＰパケット及び音声ＲＴＰパケットを送信するために使用される。しかし、先行するパケットが消失している場合には、受信側の携帯端末ＭＳｍでは上記新たなパケットを受信しても正しく復号再生することができない。つまり、上記新たなＲＴＰパケットを送信することは無駄である。これに対し本実施形態では、上記したように本送信帯域における新たな映像及び音声ＲＴＰパケットの送信を中止して、代わりに再送対象の音声パケットを再送するようにしている。
【００４１】
したがって、再送対象のパケットを再送領域よりも帯域の広い本送信用帯域を使用して効率良く再送することが可能となる。しかも、再送用パケットを映像パケットに比べ情報量の少ない音声パケットのみに限定しているので、仮に消失区間が長く大容量の消失パケットを再送しなければならない場合でも、多くの音声パケットを再送することが可能となり、これにより受信側の端末における通話の切断を効果的に防止することができる。
【００４２】
なお、本実施形態では、図３のステップＳ４０，Ｓ４１に示すようにキーフレームが生成されるまでの間に音声パケットを再送しきれなかった場合には、音声パケットの再送が終了するまでキーフレームの送信を待機するようにしている。このため、再送対象の音声パケットの情報量が多い場合でも、すべての音声パケットをもれなく再送することができ、これによりさらに確実に音声通話を維持することができる。
【００４３】
またこの実施形態では、上記再送対象の音声パケットを送信する際に、多重化テーブルに記憶された情報に基づいて、元々の送信タイミングｘが古い音声フレームほど多重度が小さくなるように再送対象の複数の音声フレームを再多重化し、この再多重化により再構成された再送用の音声パケットを本送信帯域を使用して受信側の携帯端末へ送信するようにしている。したがって、再生までの許容遅延が短い古い音声フレームが単独又は多重度の小さいパケットにより受信端末に伝送される。このため、受信側の携帯端末では送信タイミングの旧い音声フレームを許容される遅延時間の範囲で確実に復号再生することが可能となる。
【００４４】
なお、この発明は上記実施形態に限定されるものではない。例えば、音声フレームを再多重化する際に、再多重化処理機能２１３１において無音等のフレームサイズが比較的小さい音声フレームを優先的に多重化するとよい。このようにすることで、受信側の携帯端末において違和感がより少ない再生音を出力させることができる。
【００４５】
また、前記実施形態では再送対象の音声パケットを本送信用帯域のみを利用して送信するようにしたが、本送信用帯域と再送用帯域の両方を併用して送信するようにしてもよい。このようにすると、より広帯域の再送帯域を確保することができ、これにより消失パケットの情報量が多い場合でも、比較的短時間に再送対象の音声パケットの送信を完了することができる。
【００４６】
その他、パケット伝送装置の種類やその構成、パケット再送制御の手順とその内容、再送対象の音声パケットを再構成する際の音声フレーム間の多重度数等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。  
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００４７】
【図１】この発明に係わるパケット伝送装置の一実施形態である携帯端末を使用した移動通信システムの構成を示す図である。
【図２】この発明に係わるパケット伝送装置の一実施形態である携帯端末の構成を示すブロック図である。
【図３】図２に示した携帯端末によるパケット再送制御の手順と内容を示すフローチャートである。
【図４】図３に示したフローチャート中における音声パケット再構成処理の手順と内容を示すフローチャートである。
【図５】図４に示した音声パケット再構成処理において使用される多重化テーブルの一例を示す図である。
【図６】本送信用帯域と再送用帯域の一例を示す図である。
【図７】図３に示したパケット再送制御の動作の一例を説明するための図である。
【図８】図３に示したパケット再送制御の動作の他の例を説明するための図である。
【図９】図４に示した音声パケット再構成処理において生成された音声パケットの一例を示す図である。
【図１０】図４に示した音声パケット再構成処理を説明するための図である。
【符号の説明】
【００４８】
１…無線ユニット、２…ベースバンドユニット、３…ユーザインタフェースユニット、４…電源ユニット、１１…アンテナ、１２…アンテナ共用器（ＤＵＰ）、１３…受信回路（ＲＸ）、１４…周波数シンセサイザ（ＳＹＮ）、１５…送信回路（ＴＸ）、２１…制御モジュール、２１１…再送可否判定処理機能、２１２…キーフレーム送信制御機能、２１３…音声パケット再送制御機能、２１３１…再多重化処理機能、２２…多重分離部、２３…ビデオエンコーダ、２４…オーディオエンコーダ、２５…ビデオデコーダ、２６…オーディオデコーダ、２７…パケット変換部、２８…パケット逆変換部、２９…メモリ（ＭＥＭ）、３１…カメラ（ＣＡＭ）、３２…マイクロホン、３３…液晶表示器（ＬＣＤ）、３４…スピーカ、３５…入力デバイス、４１…バッテリ、４２…充電回路（ＣＨＧ）、４３…電圧生成回路（ＰＳ）。
【図１】
2008092464.tif 000003
【図２】
2008092464.tif 000004
【図３】
2008092464.tif 000005
【図４】
2008092464.tif 000006
【図５】
2008092464.tif 000007
【図６】
2008092464.tif 000008
【図７】
2008092464.tif 000009
【図８】
2008092464.tif 000010
【図９】
2008092464.tif 000011
【図１０】
2008092464.tif 000012