(57)【要約】【課題】マルチメディアデータを通信する際、通信路の誤りの発生度合に応じた誤り訂正符号化を行なっているが、無線通信のような通信路では誤り訂正能力を超えた誤りが起こり、再送が頻繁に行われる可能性が高くなる。その時、誤り訂正能力を強くしておくと冗長度が高くなるため再送の情報量が多くなり、本来伝送すべき情報の通信効率を劣化させることになる。【解決手段】誤り検出情報作成制御部１０５において、特徴抽出部１０７から通知される特徴抽出情報および受信データ解析部１１７から通知される誤り発生度合情報を解析し、特徴領域であるか否かと通信路の誤り発生度合により、符号化データの分割長を可変的に制御し、誤り検出情報作成を行ない、対局装置１５０に送信するパケットデータを作成する。【選択図】  図７
2004282183.tif 000002
【特許請求の範囲】
【請求項１】
対局とパケットデータを送受信するマルチメディアデータ通信装置であって、パケットデータの誤り発生に依存して、対局へ送信されるパケットのデータ長を制御する誤り検出情報作成制御部を備えるマルチメディア通信装置。
【請求項２】
対局とパケットデータを送受信するマルチメディアデータ通信装置であって、
前記マルチメディアデータ通信装置が送信した多重パケットデータに対する誤り度合を解析する誤り度合解析部と、
送信するマルチメディアデータの特徴を抽出する特徴抽出部と、
送信するマルチメディアデータから重要データを解析する重要データ解析部と、
前記誤り度合解析部と、前記特徴抽出部と、前記重要データ解析部とから得た情報を基に、送信されるパケットのデータ長を制御する誤り検出情報作成制御部とを備えるマルチメディアデータ通信装置。
【請求項３】
対局とパケットデータを送受信するマルチメディアデータ通信装置であって、
マルチメディアデータ入力部と、
マルチメディアデータ送信部と、
マルチメディアデータ受信部と、
マルチメディアデータ出力部とを備え、
前記マルチメディアデータ入力部は、複数の種類のデータが入力される入力部を有し、
前記マルチメディアデータ送信部は、
前記マルチメディアデータ入力部から入力された複数の種類のデータを符号化して符号化データを作成する符号化部と、
前記符号化データを任意の長さに分割して分割データを作成し、前記分割データに対して誤り検出情報を求めて、前記分割データに前記誤り検出情報を付加してパケットデータを作成する、誤り検出情報作成部と、
前記マルチメディアデータ受信部から送られてくる誤り発生度合情報を基に、前記分割データのデータ長を制御する誤り検出情報作成制御部と、
前記パケットデータを多重して送信する多重部とを有し、
前記誤り検出情報作成部は、対局から送られてくる再送要求に対して、前記マルチメディアデータ受信部が、再送を拒否する回答として、対局再送要求拒否データを対局に対して発行するときには、前記対局再送要求拒否データに対して誤り検出情報を求めて、前記対局再送要求拒否データに前記誤り検出情報を付加してパケットデータをさらに作成し、
前記マルチメディアデータ受信部は、
受信した多重パケットデータを、複数の種類のデータに分離する分離部と、
前記分離したパケットデータの誤り検出情報を解析する誤り検出情報解析部と、
前記分離したパケットデータから符号化データを取り出し、あるいは、前記誤り検出情報解析部の解析結果を基に、通信路の誤り発生度合情報を作成する、受信データ解析部と、
前記受信データ解析部から入力された前記符号化データを復号する復号化部と、
対局から送られてきて、前記受信データ解析部から入力された、再送要求に関する情報を前記マルチメディアデータ送信部に送る再送制御部とを有し、
マルチメディアデータ出力部は、複数のデータを出力する出力部を有すマルチメディアデータ通信装置。
【請求項４】
前記マルチメディアデータ入力部は、画像入力部、音声入力部、及び、文字・記号入力部を有し、
前記マルチメディアデータ出力部は、画像出力部、音声出力部、及び、文字・記号出力部を有す請求項３記載のマルチメディアデータ通信装置。
【請求項５】
前記受信データ解析部は、
前記マルチメディアデータ受信部が受信したパケットデータに関して、前記誤り検出情報解析部が解析した誤り検出結果を基に、前記パケットを受信した通信路における誤り発生度合を求め、求めた誤り発生度合を前記誤り検出情報作成制御部に通知する、誤り度合解析部をさらに有す請求項３記載のマルチメディアデータ通信装置。
【請求項６】
前記多重部は、送信するデータをある一定量まで保存するデータ保存部をさらに有す請求項３記載のマルチメディアデータ通信装置。
【請求項７】
前記マルチメディアデータ送信部は、
前記マルチメディアデータ入力部から入力するマルチメディアデータに対して、その特徴抽出を行い、特徴領域を表す特徴抽出情報を作成し、前記誤り検出情報作成制御部に通知する、特徴抽出部をさらに有す請求項３記載のマルチメディアデータ通信装置。
【請求項８】
前記マルチメディアデータ送信部は、
前記符号化部から入力した符号化データに対して重要データ部分の解析を行い、前記重要データの符号化データにおける開始位置と終了位置を重要データ情報として作成し、前記誤り検出情報作成制御部に通知する、重要データ解析部をさらに有す請求項３または７記載のマルチメディアデータ通信装置。
【請求項９】
前記特徴抽出部が抽出する特徴は、人物の顔情報を含む請求項２または７記載のマルチメディアデータ通信装置。
【請求項１０】
前記重要データ解析部が解析する重要データは、画像データの動きベクトル情報を含む請求項２または８記載のマルチメディアデータ通信装置。
【請求項１１】
前記重要データ解析部が解析する重要データは、パケットデータのヘッダ情報を含む請求項２または８記載のマルチメディアデータ通信装置。
【請求項１２】
対局とパケットデータを送受信するマルチメディアデータ通信方法であって、パケットデータの誤り発生に依存して、対局へ送信するパケットのデータ長を制御するステップを含むマルチメディア通信方法。
【請求項１３】
対局とパケットデータを送受信するマルチメディアデータ通信方法であって、
送信した多重パケットデータに対する誤り度合を解析する誤り度合解析ステップと、
送信するマルチメディアデータの特徴を抽出する特徴抽出ステップと、
送信するマルチメディアデータから重要データを解析する重要データ解析ステップと、
前記誤り度合解析ステップと、前記特徴抽出ステップと、前記重要データ解析ステップとから得た情報を基に、送信されるパケットのデータ長を制御するデータ長制御ステップとを含むマルチメディアデータ通信方法。
【請求項１４】
対局とパケットデータを送受信するマルチメディアデータ通信方法であって、
マルチメディアデータ入力ステップと、
マルチメディアデータ送信ステップと、
マルチメディアデータ受信ステップと、
マルチメディアデータ出力ステップとを含み、
前記マルチメディアデータ入力ステップは、複数の種類のデータが入力される入力ステップを含み、
前記マルチメディアデータ送信ステップは、
前記マルチメディアデータ入力ステップにおいて入力処理された複数の種類のデータを符号化して符号化データを作成する符号化ステップと、
前記符号化データを任意の長さに分割して分割データを作成し、前記分割データに対して誤り検出情報を求めて、前記分割データに前記誤り検出情報を付加してパケットデータを作成する、誤り検出情報作成ステップと、
前記マルチメディアデータ受信ステップにおいて求められた誤り発生度合情報を基に、前記分割データのデータ長を制御するデータ長制御ステップと、
前記パケットデータを多重して送信する多重化ステップとを含み、
前記誤り検出情報作成ステップは、対局から送られてくる再送要求に対して、前記マルチメディアデータ受信ステップにおいて、再送を拒否する回答として、対局再送要求拒否データが対局に対して発行されるときには、前記対局再送要求拒否データに対して誤り検出情報を求めて、前記対局再送要求拒否データに前記誤り検出情報を付加してパケットデータを作成するステップをさらに含み、
前記マルチメディアデータ受信ステップは、
受信した多重パケットデータを、複数の種類のデータに分離する分離ステップと、
前記分離したパケットデータの誤り検出情報を解析する誤り検出情報解析ステップと、
前記分離したパケットデータから符号化データを取り出し、あるいは、前記誤り検出情報解析ステップで求められた結果を基に、通信路の誤り発生度合情報を作成する、受信データ解析ステップと、
前記受信データ解析ステップにおいて取り出された、前記符号化データを復号する復号化ステップと、
前記受信データ解析ステップにおいて作成された、通信路の誤り発生度合情報を基に、再送要求に関する情報を発行する再送制御ステップとを含み、
マルチメディアデータ出力ステップは、複数のデータが出力される出力ステップを含むマルチメディアデータ通信方法。
【請求項１５】
前記マルチメディアデータ入力ステップは、画像入力ステップ、音声入力ステップ、及び、文字・記号入力ステップを含み、
前記マルチメディアデータ出力ステップは、画像出力ステップ、音声出力ステップ、及び、文字・記号出力ステップを含む請求項１４記載のマルチメディアデータ通信方法。
【請求項１６】
前記受信データ解析ステップは、
前記マルチメディアデータ受信ステップにおいて受信処理したパケットデータに関して、前記誤り検出情報解析ステップにおいて解析した誤り検出結果を基に、前記パケットを受信した通信路における誤り発生度合を求め、発行する、誤り度合解析ステップをさらに含む請求項１４記載のマルチメディアデータ通信方法。
【請求項１７】
前記多重化ステップは、送信するデータをある一定量まで保存するデータ保存ステップをさらに含む請求項１４記載のマルチメディアデータ通信方法。
【請求項１８】
前記マルチメディアデータ送信ステップは、
前記マルチメディアデータ入力ステップにおいて入力処理されたマルチメディアデータに対して、その特徴抽出を行い、特徴領域を表す特徴抽出情報を作成し、発行する、特徴抽出ステップをさらに含む請求項１４記載のマルチメディアデータ通信方法。
【請求項１９】
前記マルチメディアデータ送信ステップは、
前記符号化ステップで入力処理された符号化データに対して、重要データ部分の抽出を行い、前記重要データの符号化データにおける開始位置と終了位置を重要データ情報として作成し、発行する、符号化データ解析ステップをさらに含む請求項１４または１８記載のマルチメディアデータ通信方法。
【請求項２０】
前記特徴抽出ステップは、人物の顔情報を抽出するステップを含む請求項１３または１８記載のマルチメディアデータ通信方法。
【請求項２１】
前記重要データ解析ステップは、重要データとして、画像データの動きベクトル情報を解析するステップをさらに含む請求項１３または１９記載のマルチメディアデータ通信方法。
【請求項２２】
前記重要データ解析ステップは、重要データとして、パケットデータのヘッダ情報を解析するステップをさらに含む請求項１３または１９記載のマルチメディアデータ通信方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディアデータ通信装置およびその方法に関するものであり、さらに詳しくは、送信するパケットデータのデータ長を、通信路の誤り発生頻度、及び、送信データの特徴領域と重要度などを基に、可変的に決定することにより、通信効率の劣化を低減する技術に関するものである。
【０００２】
【従来の技術】
従来、パケット通信によるマルチメディアデータ通信装置及び方法において、通信路において予想されるデータの誤りに対処するため、誤り検出・訂正を支援する符号化が実施されている。（例えば、特許文献１参照。）
【０００３】
この符号化は、通信すべきデータに、誤り検出・訂正のための冗長なデータを付加したパケットデータを作成し、それを送信することによってなされる。
【０００４】
また、画像、音声、あるいは文字・記号などの、いわゆるマルチメディアデータにおいても、あらかじめ定められた一定の長さのデータ長に区切って、それに誤り検出・訂正のための冗長なデータを付加して、パケットデータを作成することが通常行われている。
【０００５】
さらに、対局装置において受信したデータに誤りがあり、対局装置より再送の要求が出された時は、自局装置は、誤り検出・訂正のための冗長なデータが付加されたパケットデータが、再度送信される。
【０００６】
【特許文献１】特開２００２−２−４２７８公報（第６−８頁、第１図）
【０００７】
【発明が解決しようとする課題】
しかし、例えば、無線通信のように、劣悪な通信状態が比較的頻繁に発生しうる通信路では、パケットデータに付与された誤り検出・訂正符号では防止できない誤りが発生する可能性が高い。その結果、自局と対局間で再送要求が頻繁に行われる事となり、通信効率が劣化する。
【０００８】
その対策として、誤り訂正能力をより強くすることが考えられる。しかし、誤り訂正能力を強くすることは、冗長度を大きくすることになり、それだけ伝送する情報量が多くなり、本来伝送すべき情報の通信効率を劣化させることになる。
【０００９】
また、通信路の誤りの発生度合に応じて、誤り検出・訂正符号の強さを随時変更することも考えられるが、その実現のためには、自局装置と対局装置が同一かつ複数の、誤り検出・訂正のための符号化・復号化処理装置を持たなければならないことになる。
【００１０】
そこで本発明は、通信効率の劣化を低減できる、マルチメディアデータ通信装置およびその関連技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
請求項１記載のマルチメディアデータ通信装置は、パケットデータの誤り発生に依存して、対局へ送信されるパケットのデータ長を制御する誤り検出情報作成制御部を備える。
【００１２】
この構成により、通信路の誤り発生頻度に応じて、送信するパケットのデータ長を制御して、誤り発生の頻度を低減することができ、通信効率の劣化を低減できる。
【００１３】
請求項２記載のマルチメディアデータ通信装置は、マルチメディアデータ通信装置が送信した多重パケットデータに対する誤り度合を解析する誤り度合解析部と、送信するマルチメディアデータの特徴を抽出する特徴抽出部と、送信するマルチメディアデータから重要データを解析する重要データ解析部と、誤り度合解析部と、特徴抽出部と、重要データ解析部とから得た情報を基に、送信されるパケットのデータ長を制御する誤り検出情報作成制御部とを備える。
【００１４】
この構成により、通信路の誤り発生頻度に応じて、送信するパケットのデータ長を制御して、誤り発生の頻度を低減することができ、通信効率の劣化を低減できる。さらに、送信するマルチメディアデータの特徴ある部分と重要な部分での誤り発生の頻度を低減することができる。
【００１５】
請求項３記載のマルチメディアデータ通信装置は、マルチメディアデータ入力部と、マルチメディアデータ送信部と、マルチメディアデータ受信部と、マルチメディアデータ出力部とを備え、マルチメディアデータ入力部は、複数の種類のデータが入力される入力部を有し、マルチメディアデータ送信部は、マルチメディアデータ入力部から入力された複数の種類のデータを符号化して符号化データを作成する符号化部と、符号化データを任意の長さに分割して分割データを作成し、分割データに対して誤り検出情報を求めて、分割データに誤り検出情報を付加してパケットデータを作成する、誤り検出情報作成部と、マルチメディアデータ受信部から送られてくる誤り発生度合情報を基に、分割データのデータ長を制御する誤り検出情報作成制御部と、パケットデータを多重して送信する多重部とを有し、誤り検出情報作成部は、対局から送られてくる再送要求に対して、マルチメディアデータ受信部が、再送を拒否する回答として、対局再送要求拒否データを対局に対して発行するときには、対局再送要求拒否データに対して誤り検出情報を求めて、対局再送要求拒否データに誤り検出情報を付加してパケットデータをさらに作成し、マルチメディアデータ受信部は、受信した多重パケットデータを、複数の種類のデータに分離する分離部と、分離したパケットデータの誤り検出情報を解析する誤り検出情報解析部と、分離したパケットデータから符号化データを取り出し、あるいは、誤り検出情報解析部の解析結果を基に、通信路の誤り発生度合情報を作成する、受信データ解析部と、受信データ解析部から入力された符号化データを復号する復号化部と、対局から送られてきて、受信データ解析部から入力された、再送要求に関する情報を、マルチメディアデータ送信部に送る再送制御部とを有し、マルチメディアデータ出力部は、複数のデータを出力する出力部を有す。
【００１６】
この構成により、送信したパケットについて通信路において誤りが発生したかどうかを知ることができ、その発生頻度に応じて、送信するパケットのデータ長を制御して、誤り発生の頻度を低減することができ、通信効率の劣化を低減できる。
【００１７】
請求項４記載のマルチメディアデータ通信装置においては、マルチメディアデータ入力部は、画像入力部、音声入力部、及び、文字・記号入力部を有し、マルチメディアデータ出力部は、画像出力部、音声出力部、及び、文字・記号出力部を有す。
【００１８】
この構成により、マルチメディアデータとして、画像情報、音声情報、あるいは、文字・記号情報を入力し、また、出力することができる。
【００１９】
請求項５記載のマルチメディアデータ通信装置においては、受信データ解析部は、マルチメディアデータ受信部が受信したパケットデータに関して、誤り検出情報解析部が解析した誤り検出結果を基に、パケットを受信した通信路における誤り発生度合を求め、求めた誤り発生度合を誤り検出情報作成制御部に通知する、誤り度合解析部をさらに有す。
【００２０】
この構成により、受信したパケットの誤り発生頻度から、通信路の誤り発生頻度を推定することができ、その推定結果を基に、送信するパケットのデータ長を制御して、誤り発生の頻度を低減することができ、通信効率の劣化を低減できる。
【００２１】
請求項６記載のマルチメディアデータ通信装置においては、多重部は、送信するデータをある一定量まで保存するデータ保存部をさらに有す。
【００２２】
この構成により、送信したマルチメディアデータをある一定量まで保存することができるため、対局からの再送要求に対して、再送制御部は、再送を要求されたデータが多重部に保存されているかどうかを照会することにより、再送に応じるか、再送せず再送拒否通知を発行するかを選択して、必要な処理を直ちに実行できる。
【００２３】
請求項７記載のマルチメディアデータ通信装置においては、マルチメディアデータ送信部は、マルチメディアデータ入力部から入力するマルチメディアデータに対して、その特徴抽出を行い、特徴領域を表す特徴抽出情報を作成し、誤り検出情報作成制御部に通知する、特徴抽出部をさらに有す。
【００２４】
この構成により、通信路の誤り発生頻度が高い場合でも、送信するマルチメディアデータの特徴ある部分のパケットデータ長を短くすることにより、マルチメディアデータの特徴ある部分での誤り発生の頻度を低減することができる。
【００２５】
請求項８記載のマルチメディアデータ通信装置においては、マルチメディアデータ送信部は、符号化部から入力した符号化データに対して重要データ部分の解析を行い、重要データの符号化データにおける開始位置と終了位置を重要データ情報として作成し、誤り検出情報作成制御部に通知する、重要データ解析部をさらに有す。
【００２６】
この構成により、通信路の誤り発生頻度が高い場合でも、送信するマルチメディアデータの重要な部分のパケットデータ長を短くすることにより、送信するマルチメディアデータの重要な部分での誤り発生の頻度を低減することができる。
【００２７】
請求項９記載のマルチメディアデータ通信装置においては、特徴抽出部が抽出する特徴は、人物の顔情報を含む。
【００２８】
この構成により、通信路の誤り発生頻度が高い場合でも、人物の顔情報をデータとして含むパケットデータ長を短くすることにより、人物の顔情報の部分での誤り発生の頻度を低減することができる。
【００２９】
請求項１０記載のマルチメディアデータ通信装置においては、重要データ解析部が解析する重要データは、画像データの動きベクトル情報を含む。
【００３０】
この構成により、通信路の誤り発生頻度が高い場合でも、画像データの動きベクトル情報をデータとして含むパケットデータ長を短くすることにより、画像データの復号に重要な動きベクトル情報の部分での誤り発生の頻度を低減することができる。
【００３１】
請求項１１記載のマルチメディアデータ通信装置においては、重要データ解析部が解析する重要データは、パケットデータのヘッダ情報を含む。
【００３２】
この構成により、通信路の誤り発生頻度が高い場合でも、ヘッダ情報をデータとして含むパケットデータ長を短くすることにより、パケットデータの復号に重要なヘッダ情報の部分での誤り発生の頻度を低減することができる。
【００３３】
【発明の実施の形態】
次に図面を参照しながら、本発明の実施の形態を説明する。
【００３４】
（実施の形態１）
【００３５】
図１は、本発明の実施の形態１におけるマルチメディアデータ通信装置のブロック図である。
【００３６】
マルチメディアデータ通信装置のマルチメディアデータ入力部は、画像入力部１３１と、音声入力部１３２と、文字・記号入力部１３３とを備える。画像入力部１３１は、例えば、ビデオカメラ、ＶＴＲ、ＤＶＤなどの動画像情報を入力する装置であり、音声入力部１３２は、例えば、マイクなどの音声情報を入力する装置、あるいは、レコードプレーヤなどの音楽情報を入力する装置であり、さらに、文字・記号入力部１３３は、例えば、キーボードなどの文字・記号を入力する装置、ハードディスク装置やデジタルカメラやＣＤ−ＲＯＭ装置などのテキストデータや静止画データなどを入力する装置である。特に、文字・記号入力部１３３は、文字と記号のみの入力に限定するものではなく、例えば、ホワイトボードに書いた文字や絵などを電子化したデータの入力も含む。
【００３７】
マルチメディアデータ通信装置の送信部１００は、画像符号化部１０１と、音声符号化部１０２と、文字・記号符号化部１０３とを備える符号化部と、誤り検出情報作成部１０４と、誤り検出情報作成制御部１０５と、多重部１０６を備える。多重部１０６はデータ保存部１０６ａをさらに有す。以下、各要素について説明する。
【００３８】
画像符号化部１０１は、画像入力部１３１から入力される画像情報を符号化する。音声符号化部１０２は、音声入力部１３２から入力される音声情報を符号化する。文字・記号符号化部１０３は、文字・記号入力部１３３から入力される文字・記号情報を符号化する。
【００３９】
誤り検出情報作成部１０４は、誤り検出情報作成制御部１０５から通知される符号化データの分割長情報（分割ビット長）に従って、画像符号化部１０１と、音声符号化部１０２と、文字・記号符号化部１０３とから入力される各符号化データを符号化データ毎に指定されたビット長に分割する。続いて、誤り検出情報作成部１０４は、前記分割したデータに対して誤り検出情報を求め、求めた誤り検出情報を前記分割したデータに付加して、パケットデータを作成する。
【００４０】
さらに、誤り検出情報作成部１０４は、後述する再送制御部１１５より入力される、自局から対局に再送を要求する自局再送要求情報と、対局から要求された再送要求に再送拒否を回答する対局再送要求拒否情報に対して、それぞれの誤り検出情報を求め、求めた誤り検出情報を前記自局再送要求情報と前記対局再送拒否情報のそれぞれに付加してパケットデータを作成する。
【００４１】
誤り検出情報作成制御部１０５は、後述する受信データ解析部１１７から通知される誤り発生度合情報から通信路の誤り発生度合を解析し、その結果に従って、対局装置１５０に送信する符号化データの分割ビット長を求め、符号化データの分割長情報として、誤り検出情報作成部１０４に通知する。
【００４２】
多重部１０６は、誤り検出情報作成部１０４から入力された各パケットデータを多重し、多重データを作成して、通信路インターフェース１２０を介して、対局装置１５０に送信する。また、多重部１０６のデータ保存部１０６ａは、対局装置１５０からなされる再送要求に対応する時のために、各パケットデータ毎にある一定の数パケットデータを保存している。データ保存部１０６ａは、後述する再送制御部１１５から対局再送要求情報が通知されると、再送を要求されているパケットデータが保存されていれば、それを取り出して、多重部１０６から通信路インターフェース１２０を介して対局装置１５０に送信し、保存されていなければ、その旨を後述する再送制御部１１５に回答する。
【００４３】
次に、マルチメディアデータ通信装置の受信部１１０は、分離部１１６と、誤り検出情報解析部１１４と、受信データ解析部１１７を備え、さらに、画像復号部１１１と、音声復号部１１２と、文字・記号復号部１１３を有す復号部を備える。以下、各要素について説明する。
【００４４】
分離部１１６は、通信路インターフェース１２０を介して対局装置１５０より受信した多重データを、画像、音声、文字・記号、及び、対局再送要求情報の各パケットデータに分離する。
【００４５】
誤り検出情報解析部１１４は、分離部１１６より入力されたパケットデータに対して誤り検出情報解析を行ない、誤り検出結果およびパケットデータを受信データ解析部１１７に出力する。
【００４６】
受信データ解析部１１７は、誤り検出情報の解析結果が誤りである時、誤りであるパケットデータの再送を対局装置１５０に要求するための自局再送要求情報を再送制御部１１５に通知する。
【００４７】
一方、誤り検出情報の解析結果が誤りでない時は、受信データ解析部１１７は、受信したパケットデータより誤り検出情報を除去したデータに対して、対局装置１５０からの対局再送要求情報か否かを解析し、対局再送要求情報であれば再送制御部１１５に再送を要求し、対局再送要求情報でなければ、誤り検出情報を除去したデータを該当する復号部のいずれかに出力する。
【００４８】
さらに、受信データ解析部１１７は、対局再送要求情報の受信頻度により通信路の誤り発生度合を求め、これより誤り発生度合情報を作成し、送信部１００の誤り検出情報作成制御部１０５に通知する。
【００４９】
再送制御部１１５は、受信データ解析部１１７より入力される対局装置１５０からの再送要求情報を解析し、再送を要求されているパケットデータがデータ保存部１０６ａに保存されているか否かを照会する。照会の結果、当該パケットが保存されていれば、多重部１０６に当該パケットデータを再送するように通知し、当該パケットが保存されていなければ、対局再送拒否情報を作成して、誤り検出情報作成部１０４に通知する。
【００５０】
また、再送制御部１１５は、受信データ解析部１１７より通知される自局再送要求情報を誤り検出情報作成部１０４に出力する。
【００５１】
画像復号部１１１と、音声復号部１１２と、文字・記号復号部１１３とは、それぞれ入力された符号化データを復号し、画像情報は画像出力部１４１に、音声情報は音声出力部１４２に、文字・記号情報は文字・記号出力部１４３に出力する。
【００５２】
次に、本発明の実施の形態１におけるマルチメディアデータ通信方法の処理の流れについて、図２〜図４を用いて説明する。
【００５３】
まず、図２を用いて、データ送信処理の流れを説明する。
【００５４】
図２は、本発明の実施の形態１におけるマルチメディアデータ通信装置のデータ送信処理の流れを示す図である。
【００５５】
図２のステップＳ２０１において、画像情報が画像入力部１３１より画像符号化部１０１に入力され、音声情報が音声入力部１３２より音声符号化部１０２に入力され、文字・記号情報が文字・記号入力部１３３より文字・記号符号化部１０３に入力される。それらはステップＳ２０２においてそれぞれ符号化され、画像符号化データ、音声符号化データ、及び、文字・記号符号化データとして、誤り検出情報作成部１０４に出力される。
【００５６】
ステップＳ２０３において、対局装置１５０に送信する符号化データの分割長を求めるが、その詳細は後述する。
【００５７】
ステップＳ２０４〜ステップＳ２０６の処理を画像符号化データを例として説明する。ステップＳ２０４において、誤り検出情報作成部１０４は、誤り検出情報作成制御部１０５で決定れた分割長情報に従って、入力された画像符号化データを分割する。ステップＳ２０５において、誤り検出情報作成部１０４は、画像分割データに対して誤り検出情報を作成する。ステップＳ２０６において、誤り検出情報作成部１０４は、画像分割データに誤り検出符号を付加してパケット化して、画像パケットデータを作成し、作成した画像パケットデータを多重部１０６に出力する。
【００５８】
ステップＳ２０４〜ステップＳ２０６おいて、音声符号化データおよび文字・記号符号化データに対しても、誤り検出情報作成部１０４は、同様に分割し、誤り検出情報作成を行ない、パケット化を行ない、音声パケットデータおよび文字・記号パケットデータを作成して、それらを多重部１０６に出力する。
【００５９】
ステップＳ２０５において、さらに、誤り検出情報作成部１０４は、再送制御部１１５より入力される自局再送要求情報と対局再送要求拒否情報について、誤り検出情報を作成する。ステップＳ２０６おいて、誤り検出情報作成部１０４は、作成したそれぞれの誤り検出情報を、自局再送要求情報と対局再送要求拒否情報に付加してパケット化し、自局再送要求パケットデータおよび対局再送要求拒否パケットデータを作成し、それらを多重部１０６に出力する。
【００６０】
ステップＳ２０７において、多重部１０６は、誤り検出情報作成部１０４から入力された各パケットデータを多重し、多重データを作成する。
【００６１】
ステップＳ２０８において、多重部１０６は、通信路インタフェース１２０を介して対局装置１５０に多重データを送信すると共に、対局装置１５０から再送要求がなされた時のために、画像、音声、文字・記号の各パケットデータをそれぞれある一定の数だけデータ保存部１０６ａに保存する。
【００６２】
次に、図３を用いて、データ受信処理の流れを説明する。
【００６３】
図３は、本発明の実施の形態１におけるマルチメディアデータ通信装置のデータ受信処理の流れを示す図である。
【００６４】
図３のステップＳ３１１において、マルチメディアデータ通信装置の受信部１１０は、対局装置１５０より送信されてきた多重データを通信路インタフェース１２０を介して受信する。
【００６５】
ステップＳ３１２において、分離部１１６は、受信した多重データを画像、音声、文字・記号、及び、対局再送要求情報の各パケットデータに分離し、分離した各パケットデータを誤り検出情報解析部１１４に出力する。
【００６６】
ステップＳ３１３において、誤り検出情報解析部１１４は、分離部１１６より入力されたパケットデータに対して誤り検出情報の解析を行ない、誤り検出結果およびパケットデータを受信データ解析部１１７に出力する。
【００６７】
ステップＳ３１４において、受信データ解析部１１７は、誤り検出の結果の判定を行い、受信したパケットデータに誤りがない時は、ステップＳ３１５に制御を進め、誤りがある時は、ステップＳ３１６に制御を進める。
【００６８】
ステップＳ３１５おいて、受信データ解析部１１７は、パケットデータより誤り検出情報の除去を行なう。
【００６９】
ステップＳ３１６おいて、受信データ解析部１１７は、再送制御部１１５に再送を要求し、それを受けて、再送制御部１１５は、再送を要求するパケットデータの情報を基に、自局再送要求情報を作成し、送信部１００の誤り検出情報作成部１０４に出力する。
【００７０】
ステップＳ３１７において、受信データ解析部１１７は、ステップＳ３１５で作成されたデータが対局装置１５０からの対局再送要求情報か否かを判定し、対局再送要求情報である時は、ステップＳ３１８に制御を進め、対局再送要求情報でない時は、ステップＳ３２０に制御を進める。
【００７１】
ステップＳ３１８において、受信データ解析部１１７は、対局再送要求情報の受信頻度により通信路の誤り発生度合を求め、送信部１００の誤り検出情報作成制御部１０５に誤り発生度合情報として通知すると共に、受信した対局再送要求情報を再送制御部１１５に出力する。
【００７２】
ステップＳ３１９において、再送制御部１１５は、対局再送要求情報が入力されると、要求されているパケットデータがデータ保存部１０６ａに保存されているか否かを照会する。照会の結果、当該パケットが保存されていれば、多重部１０６に当該パケットデータを再送するように通知し、当該パケットが保存されていなければ、対局再送拒否情報を作成して、誤り検出情報作成部１０４に出力する。
【００７３】
ステップＳ３２０においては、画像復号部１１１と、音声復号部１１２と、文字・記号復号部１１３とは、入力されたそれぞれの符号化データを復号し、画像情報を画像出力部１４１に、音声情報を音声出力部１４２に、文字・記号情報を文字・記号出力部１４３にそれぞれ出力する。
【００７４】
図４は、本発明の実施の形態１におけるマルチメディアデータ通信装置の分割ビット長算出処理の流れを示す図である。
【００７５】
図２のステップＳ２０３の分割長決定の具体的な処理は、図４のステップＳ４０１〜ステップＳ４０３から構成される。
【００７６】
ステップＳ４０１において、誤り検出情報作成制御部１０５は、受信データ解析部１１７から通知される誤り発生度合情報を基に、通信路の誤り発生度合を解析し、通信路の誤り発生頻度が大きいかどうかを判定し、誤り発生頻度がある定められた頻度値よりも大きい時はステップＳ４０２に制御を進め、大きくない時は、ステップＳ４０３に制御を進める。
【００７７】
ステップＳ４０２おいて、誤り検出情報作成制御部１０５は、通信路の誤り発生頻度がある定められた頻度値よりも大きいことを受けて、分割長を短くする指示を誤り検出情報作成部１０４に行う。
【００７８】
ステップＳ４０３おいて、誤り検出情報作成制御部１０５は、通信路の誤り発生頻度がある定められた頻度値よりも小さいことを受けて、分割長を長くする指示を誤り検出情報作成部１０４に行う。
【００７９】
以上述べたように、対局再送要求情報の受信頻度により求めた通信路の誤り発生度合を判定して、誤り発生頻度がある定められた頻度値よりも大きい時は、対局装置１５０に送信するパケットデータ長を短く設定できる。この結果、通信路においてパケットデータに誤りが発生する可能性が低くなり、対局装置１５０からの再送要求が少なくなリ、本来伝送すべき符号化データの通信効率の劣化を押さえることができる。
【００８０】
また、通信路の通信品質が劣化して、対局装置１５０からの再送要求がしばしば発生する場合でも、再送するパケットデータ長を短くしているために、再送を行なっても本来伝送すべき符号化データの通信効率の劣化を押さえることができる。
【００８１】
なお、音声符号化部の入力を音声情報としているが、音声符号化部の入力は音声に限るものではなく一般のオーディオであっても良い。
【００８２】
さらに、画像符号化データ、音声符号化データ、または、文字・記号符号化データのいずれかが存在しなければ、そのパケットデータを作成せずに多重を行なっても良い。
【００８３】
（実施の形態２）
【００８４】
図５は、本発明の実施の形態２におけるマルチメディアデータ通信装置ブロック図である。なお、図５において、図１と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【００８５】
本実施の形態２において、受信データ解析部１１７は、誤り発生度合解析部１１７ａをさらに有す。その他の構成は、実施の形態と同じである。
【００８６】
図５において、誤り発生度合解析部１１７ａは、対局装置１５０から受信したパケットデータに対して、誤り検出情報解析部１１４が解析した誤り検出結果を基に、通信路の誤り発生度合を求め、誤り発生度合情報を作成し、誤り検出情報作成制御部１０５に通知する。
【００８７】
本実施の形態２における、マルチメディアデータ通信装置の送信部１００の処理の流れは、図２に示した本発明の実施の形態１におけるマルチメディアデータ通信装置のデータ送信処理の流れと同じである。
【００８８】
図６は、本発明の実施の形態２におけるマルチメディアデータ通信装置のデータ受信処理の流れを示す図である。なお、図６において、図３と同様の処理を行うステップについては、同一の符号を付すことにより、説明を省略する。
【００８９】
図６において、本実施の形態２におけるマルチメディア通信端末の受信部１１０が処理するステップは、ステップＳ３１１からステップＳ３１３まで、図３と同じである。
【００９０】
図６のステップＳ６１１において、受信データ解析部１１７は、対局装置１５０から受信したパケットデータに対して、誤り検出情報解析部１１４が解析した誤り検出結果を基に、通信路の誤り発生度合を求め、誤り発生度合情報を作成する。ステップＳ６１２において、受信データ解析部１１７は、作成した誤り発生度合情報を誤り検出情報作成制御部１０５に通知する。
【００９１】
図６におけるステップＳ３１４以下の処理は、図３と同じである。
【００９２】
本実施の形態２の構成と処理により、対局装置１５０からの対局再生要求通知自体に誤りが発生し、その結果、対局再生要求通知を利用して、送信したパケットデータに発生した誤りの発生度合を求めることが困難な場合でも、受信パケットデータの誤り発生度合を用いて、通信路の誤り発生度合を推定することができる。従って、通信路の誤り発生度合がある定められた頻度値よりも大きい時は、送信するパケットデータ長を短くすることができる。その効果として、通信路においてパケットデータに誤りが発生する可能性が低くなり、対局装置１５０からの再送要求が少なくなるために本来伝送すべき符号化データの通信効率の劣化を押さえることができる。
【００９３】
また、対局装置１５０から再送要求に応答して再送を行なう場合でも、再送するパケットデータ長を短くしているために本来伝送すべき符号化データの通信効率の劣化を軽減できる。
【００９４】
（実施の形態３）
【００９５】
図７は、本発明の実施の形態３におけるマルチメディアデータ通信装置のブロック図である。なお、図７において、図１および図５と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【００９６】
本実施の形態３において、送信部１００は、送信するマルチメディアデータの特徴を抽出する特徴抽出部１０７をさらに備える。その他の構成は、実施の形態と同じである。
【００９７】
図７において、特徴抽出部１０７は、画像入力部１３１から入力される画像情報と、音声入力部１３２から入力される音声情報と、文字・記号入力部１３３から入力される文字・記号情報とについて、それぞれの特徴を抽出し、抽出した特徴領域を表わす特徴抽出情報を作成して、作成した特徴抽出情報を誤り検出情報作成制御部１０５に通知する。この特徴抽出情報は、データ分割時に重要な情報となる。
【００９８】
以下に、  本実施の形態３における処理の流れを図８〜図１０を用いて説明する。
【００９９】
図８は、本発明の実施の形態３におけるマルチメディアデータ通信装置のデータ送信処理の流れを示す図である。なお、図８において、ステップＳ８０１とステップＳ２０３とを除く他のステップは図２と同様の処理を行うステップであり、それらについては、同一の符号を付すことにより、説明を省略する。
【０１００】
図８のステップＳ８０１において、特徴抽出部１０７は、画像入力部１３１から入力される画像情報と、音声入力部１３２から入力される音声情報と、文字・記号入力部１３３から入力される文字・記号情報とについて、それぞれの特徴を抽出し、抽出した特徴領域を表わす特徴抽出情報を作成して、作成した特徴抽出情報を誤り検出情報作成制御部１０５に通知する。
【０１０１】
ステップ２０２では、それぞれのマルチメディアデータについて、図２と同様の符号化処理を行う。
【０１０２】
ステップ２０３において、それぞれのマルチメディアデータについてデータ分割長を求めるが、本実施の形態３においては、ステップ２０３は、具体的には、図９に示すステップＳ９０１、ステップＳ４０１、ステップＳ４０２、及び、ステップＳ４０３から構成されている。
【０１０３】
すなわち、図９は、本発明の実施の形態３におけるマルチメディアデータ通信装置の分割ビット長算出処理の流れを示す図である。ステップＳ９０１において、誤り検出情報作成制御部１０５は、特徴抽出部１０７から通知される特徴抽出情報を参照し、送信データが特徴領域に属するかどうかを判定する。判定の結果がＹＥＳ（送信データが特徴領域に属する）の時は制御をステップＳ４０２に移し、ＮＯ（送信データが特徴領域に属さない）の時は制御をステップＳ４０１に移す。
【０１０４】
ステップＳ４０１において、誤り検出情報作成制御部１０５は、受信データ解析部１１７から通知される誤り発生度合情報を基に、通信路の誤り発生度合を解析し、通信路の誤り発生頻度が大きいかどうかを判定し、誤り発生頻度がある定められた頻度値よりも大きい時はステップＳ４０２に制御を進め、大きくない時は、ステップＳ４０３に制御を進める。
【０１０５】
ステップＳ４０２おいて、誤り検出情報作成制御部１０５は、送信データが特徴領域に属するか、または、通信路の誤り発生頻度がある定められた頻度値よりも大きいことを受けて、分割長を短くする指示を誤り検出情報作成部１０４に行う。
【０１０６】
ステップＳ４０３おいて、誤り検出情報作成制御部１０５は、送信データが特徴領域に属していなくて、かつ、通信路の誤り発生頻度がある定められた頻度値よりも小さいことを受けて、分割長を長くする指示を誤り検出情報作成部１０４に行う。
【０１０７】
次に、本実施の形態３におけるマルチメディアデータ通信装置の受信部１１０の処理の流れを説明する。
【０１０８】
本実施の形態３におけるマルチメディアデータ通信装置の受信部１１０の処理の流れは、図３に示す前記本発明の実施の形態２におけるマルチメディアデータ通信方法の処理の流れと同様であるが、ステップＳ３１９の対局再送処理が図１０に示すステップＳ１００１と、ステップＳ１００２と、ステップＳ１００３から構成される点が異なる。
【０１０９】
すなわち、図１０は、本発明の実施の形態３におけるマルチメディアデータ通信装置のデータ受信処理の流れの一部を示す図である。
【０１１０】
ステップＳ１００１において、受信データ解析部１１７は、対局装置１５０からの再送要求のパケットデータが特徴領域を含むか否かの判定を行ない、判定の結果がＹＥＳ（特徴領域を含む）の場合は制御をステップＳ１００２移し、ＮＯ（特徴領域を含まない）の場合は制御をステップＳ１００３に移す。
【０１１１】
ステップＳ１００２では、再送制御部１１５は、再送要求のパケットデータが特徴領域を含むことを受けて、本発明の実施の形態１と同様な再送処理を行なう。
【０１１２】
ステップ１００３では、再送制御部１１５は、再送要求のパケットデータが特徴領域を含まないことを受けて、対局再送拒否情報を作成し、誤り検出情報作成部１０４に出力する。
【０１１３】
図７に示した本実施の形態３における、特徴抽出部１０７の動作と、特徴抽出部１０７から通知される特徴抽出情報を基に分割長を求める処理について、画像情報を例に、図１１を用いて具体的に説明する。
【０１１４】
図１１は、本発明の実施の形態３における画像符号化データの構成図である。ここでは、画像符号化方法にＭＰＥＧ−４を用いた場合について説明する。
【０１１５】
ＭＰＥＧ−４による符号化は、図１１（ａ）に示すように、１枚の画像情報を１６×１６画素のマクロブロックで区切り、左上のマクロブロック（０、０）から、右方向にかつ下方向に、マクロブロック単位で行なわれる。この例では横方向に６区切り、縦方向に５区切りされている。符号化後の画像符号化データの構成は、図１１（ｂ）に示すように、マクロブロックを符号化したデータの集まり、すなわち、マクロブロック番号１１０１（符号化データ（０、０））、１１０２（符号化データ（０、１））・・・１１０９（符号化データ（１、２））、１１１０（符号化データ（１、３））・・・１１３０（符号化データ（４、５））となる。
【０１１６】
特徴抽出部１０７は、図１１（ａ）に例示するように、本画像の特徴である人物の顔の部分を含むマクロブロックの番号（１１０９，１１１０，１１１５，１１１６）を特徴抽出情報として、誤り検出情報作成制御部１０５に通知する（図８のステップＳ８０１）。
【０１１７】
誤り検出情報作成制御部１０５は、特徴抽出部１０７から通知される特徴抽出情報と受信データ解析部１１７から通知される誤り発生度合情報から、対局装置１５０に送信する符号化データの分割長を求める（図８のステップＳ２０３）。その場合、図１１（ｃ）に示すように、特徴領域を含むマクロブロック（マクロブロックの番号＝１１０９，１１１０，１１１５，１１１６）に関しては、一つのマクロブロックサイズを分割長として、パケットデータを作成する（図９のステップＳ９０１、ステップＳ４０２）。特徴領域を含まないその他のマクロブロックに関しては、誤り発生度合が大きい時は、図１１（ｄ）に示すように、一つのマクロブロックサイズを分割長とし（図１０のステップＳ４０２）、誤り発生度合が小さい時は、図１１（ｅ）に示すように、二つ以上のマクロブロックを含むサイズを分割長として、パケットデータを作成する（図１０のステップＳ４０３）。
【０１１８】
以上、画像符号化データの場合について説明したが、音声符号化データおよび文字・記号符号化データに関しても画像符号化データと同様の処理を施す。
【０１１９】
以上説明したように、本実施に形態３では、特徴領域を含む符号化データ部分は分割長を短くしてパケットデータを作成しているために、通信路における誤りの発生頻度を小さく抑えることができる。また、本実施に形態３では、特徴領域を含む符号化データ部分に対しては再送を行なうが、特徴領域を含まない符号化データ部分に対しては、重要度は低いと判断して、再送を拒否し、再送による通信効率の劣化を軽減できる。さらに、本実施に形態３では、特徴領域を含む符号化データ部分に対しては再送を行なう場合でも、特徴領域を含む符号化データに対しては分割長を短くしてパケットデータを作成しているために、本来伝送すべき符号化データの通信効率の劣化を軽減できる。
【０１２０】
（実施の形態４）
【０１２１】
図１２は、本発明の実施の形態４におけるマルチメディアデータ通信装置のブロック図である。なお、図１２において、図１、図５、及び、図７と同様の構成要素については、同一の符号を付すことにより、説明を省略する。
【０１２２】
実施の形態４においては、図１２に示すように、マルチメディアデータ通信装置の送信部１００は、重要データ解析部１０８をさらに備える。
【０１２３】
重要データ解析部１０８は、画像符号化部１０１と、音声符号化部１０２と、文字・記号符号化部１０３とによって符号化された各符号化データについて、復号時に重要となるデータ部分を抽出し、その重要データ部分の各符号化データにおける開始位置と終了位置の情報を重要データ情報として作成し、作成した重要データ情報を誤り検出情報作成制御部１０５に通知する。
【０１２４】
以下に、  本実施の形態４における処理の流れを図１３〜図１５を用いて説明する。
【０１２５】
図１３は、本発明の実施の形態４におけるマルチメディアデータ通信装置のデータ送信処理の流れを示す図である。なお、図１３において、ステップＳ１３０１とステップＳ２０３とを除く他のステップは、図８と同様の処理を行うステップであり、それらについては、同一の符号を付すことにより、説明を省略する。
【０１２６】
図１３のステップＳ１３０１において、重要データ解析部１０８は、画像符号化部１０１と、音声符号化部１０２と、文字・記号符号化部１０３とによって符号化された各符号化データについて、復号時に重要となるデータ部分を抽出し、その重要データ部分の各符号化データにおける開始位置と終了位置の情報を重要データ情報として作成し、それを誤り検出情報作成制御部１０５に通知する。
【０１２７】
ステップＳ２０３において、それぞれのマルチメディアデータについてデータ分割長を求める。本実施の形態４においては、このステップは、具体的には、図１４に示すステップＳ９０１と、ステップＳ１４０１と、ステップＳ４０１と、ステップＳ４０２と、ステップＳ４０３とを含む。
【０１２８】
すなわち、図１４は、本発明の実施の形態４におけるマルチメディアデータ通信装置の分割ビット長算出処理の流れを示す図である。
【０１２９】
図１４のステップＳ９０１において、誤り検出情報作成制御部１０５は、特徴抽出部１０７から通知される特徴抽出情報を参照し、送信データが特徴領域に属すかどうかを判定する。判定の結果がＹＥＳ（送信データが特徴領域に属す）の時は制御をステップＳ１４０１に移し、ＮＯ（送信データが特徴領域に属さない）の時は制御をステップＳ４０１に移す。
【０１３０】
ステップＳ１４０１において、誤り検出情報作成制御部１０５は、重要データ解析部１０８から通知される重要データ情報を参照し、送信データが重要データに属すかどうかを判定する。判定の結果がＹＥＳ（送信データが重要データに属す）の時は制御をステップＳ４０２に移し、ＮＯ（送信データが重要データに属さない）の時は制御をステップＳ４０１に移す。
【０１３１】
ステップＳ４０１において、誤り検出情報作成制御部１０５は、受信データ解析部１１７から通知される誤り発生度合情報を基に、通信路の誤り発生度合を解析し、通信路の誤り発生頻度が大きいかどうかを判定し、誤り発生頻度がある定められた頻度値よりも大きい時は、ステップＳ４０２に制御を進め、大きくない時は、ステップＳ４０３に制御を進める。
【０１３２】
ステップＳ４０２おいて、誤り検出情報作成制御部１０５は、送信データが特徴領域に属しかつ重要データであるか、または、通信路の誤り発生頻度がある定められた頻度値よりも大きいことを受けて、分割長を短くする指示を誤り検出情報作成部１０４に行う。
【０１３３】
ステップＳ４０３おいて、誤り検出情報作成制御部１０５は、送信データが特徴領域に属していないか、あるいは特徴領域に属しているが重要データではなくて、かつ、通信路の誤り発生頻度がある定められた頻度値よりも小さいことを受けて、分割長を長くする指示を誤り検出情報作成部１０４に行う。
【０１３４】
次に、本実施の形態４におけるマルチメディアデータ通信装置の受信部１１０の処理の流れを説明する。
【０１３５】
本実施の形態４におけるマルチメディアデータ通信装置の受信部１１０の処理の流れは、図３に示す前記本発明の実施の形態２におけるマルチメディアデータ通信方法の処理の流れと同様であるが、ステップＳ３１９の対局再送処理が異なる。本実施の形態４におけるステップＳ３１９は、具体的には、図１５に示すステップＳ１００１と、ステップＳ１５０１と、ステップＳ１００２と、ステップＳ１００３とを含む。
【０１３６】
すなわち、図１５は、本発明の実施の形態４におけるマルチメディアデータ通信装置のデータ受信処理の流れの一部を示す図である。
【０１３７】
図１５のステップＳ１００１において、受信データ解析部１１７は、対局装置１５０からの再送要求が特徴領域を含むパケットデータの再送要求か否かの判定を行ない、判定結果がＹＥＳ（特徴領域を含む）の場合は制御をステップＳ１５０１に移し、ＮＯ（特徴領域を含まない）の場合は制御をステップＳ１００３に移す。
【０１３８】
ステップＳ１５０１においては、受信データ解析部１１７は、再送要求が重要データの再送要求か否かの判定を行ない、判定結果がＹＥＳ（重要データである）の場合は制御をステップＳ１００１に移し、ＮＯ（重要データでない）の場合は制御をステップＳ１００３に移す。
【０１３９】
ステップＳ１００２では、再送制御部１１５は、再送要求のパケットデータが特徴領域を含み、かつ重要データであることを受けて、本発明の実施の形態１と同様な再送処理を行なう。
【０１４０】
ステップ１００３では、再送制御部１１５は、再送要求のパケットデータが特徴領域を含まないか、特徴領域を含むが重要データではことを受けて、対局再送拒否情報を作成し、誤り検出情報作成部１０４に出力する。
【０１４１】
図１２に示した本実施の形態４における、重要データ解析部１０８の動作と、重要データ解析部１０８から通知される重要データ情報を基に分割長を求める処理について、画像情報を例に、図１６を用いて具体的に説明する。
【０１４２】
例えば、画像符号化方法としてＭＰＥＧ−４を採用すると、画像符号化データは、図１１（ｂ）に示すように、マクロブロックデータを並べた構成となる。このマクロブロックの符号化データは、例えば、図１６（ａ）に示すように、ヘッダ情報１６０１と、動きベクトル情報１６０２と、その他の情報１６０３とから構成される。
【０１４３】
この符号化方法では、低品質の受信パケットからでも、ヘッダ情報と動きベクトル情報が復号できれば、画質は少々劣化するものの、画像を一応復元できる。
【０１４４】
本実施の形態４において、重要データ解析部１０８は、図１６（ａ）に示すように、ヘッダ情報１６０１や動きベクトル情報１６０２などの復号に重要な情報を抽出データとして抽出し（図１３のステップＳ１３０１）、抽出データの画像符号化データ内での開始位置と終了位置を重要データ情報として作成し、作成した重要データ情報を誤り検出情報作成制御部１０５に出力する。
【０１４５】
誤り検出情報作成制御部１０５は、まず、特徴抽出部１０７から通知される特徴抽出情報と、重要データ解析部１０８から通知される重要データ情報と、受信符号化データ解析部１１７から通知される誤り発生度合情報とを解析する（図１４のステップＳ９０１、ステップＳ１４０１）。解析の結果に基づいて、誤り検出情報作成制御部１０５は、図１６（ｂ）に示すように、ヘッダ情報１６０１や動きベクトル情報１６０２の重要情報部分については、ヘッダ情報のみ、あるいは、動きベクトル情報のみが一つの分割長となるように、分割長を短くする（図１４のステップＳ１４０１、ステップＳ４０２）。さらに、誤り検出情報作成制御部１０５は、重要情報部分を除くその他の情報部分については、誤り発生度合が大きい時は、図１６（ｃ）に示すように、その他の情報１６０３を１６０３ａと１６０３ｂに分割して分割長を短くし（図１４のステップＳ４０２）、誤り発生度合が小さい時は、図１６（ｄ）に示すように、その他の情報１６０３をすべて含むように分割長を長くする（図１４のステップＳ４０３）。
【０１４６】
音声符号化データおよび文字・記号符号化データに関しても、画像符号化データと同様の処理を施す。
【０１４７】
以上説明したように、本実施に形態４では、特徴領域でかつ復号に重要なデータ部分を含む符号化データ部分は分割長を短くしてパケットデータを作成しているために、通信路における誤りの発生頻度を小さく抑えることができる。また、本実施に形態４では、特徴領域でかつ復号に重要なデータ部分を含む符号化データ部分に対しては再送を行なうが、その他の符号化データ部分に対しては、重要度は低いと判断して、再送を拒否し、再送による通信効率の劣化を軽減できる。さらに、本実施に形態４では、特徴領域でかつ復号に重要なデータ部分に対しては再送を行なう場合でも、それらを含む符号化データに対しては分割長を短くしてパケットデータを作成しているために、本来伝送すべき符号化データの通信効率の劣化を軽減できる。
【０１４８】
以上、本発明の実施の形態１〜４においては、具体例を挙げて説明したが、本発明の適用範囲はこれらに限定されるものではない。本発明の趣旨を逸脱しない限りにおいて、種々の適用が可能である。
【０１４９】
すなわち、音声符号化部の入力は音声情報に限定されるものではなく、楽音などの他のオーディオであっても良い。また、文字・記号符号化部の入力は、文字・記号、テキストデータ、あるいは、静止画データに限定されるものではなく、プログラムその他のソフトウェア、計測器の測定データなどであっても良い。
【０１５０】
符号データの多重化に際して、画像符号化データ、音声符号化データ、あるいは文字・記号符号化データのいずれか一つ、あるいは二つが存在しなければ、そのパケットデータを作成せずに多重を行なっても良い。
【０１５１】
画像符号化方法は、ＭＰＥＧ−４に限るものではなく、ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＩＴＵ−Ｔ  Ｈ．２６１、ＩＴＵ−Ｔ  Ｈ．２６３、Ｗａｖｅｌｅｔ変換など、その他の方法であってもよい。
【０１５２】
画像パケットデータの構成は、図１１と図１６に示した例に限定されるものではなく、その他の構成であってもよく、マクロブロックの大きさも上記の例に限るものではない。
【０１５３】
特徴領域は、図１１に記載されるものだけでなく、他の領域であってもよい。さらに、特徴抽出情報は特徴領域を含むマクロブロックの番号に限るものではなく、画素による位置など他の情報であってもよい。
【０１５４】
符号化データの分割長の区分は、２種類だけに限定されるものではなく、さらに細分してもよく、それぞれのデータの長さも上記の例に限るものではない。
【０１５５】
復号に重要なデータはヘッダ情報や動きベクトル情報に限るものではなく、他のデータであってもよい。また、重要データ情報は、復号に重要な情報部分の符号化データにおける開始位置と終了位置に限るものではなく、開始位置とデータ長など他の構成であってもよい。
【０１５６】
対局装置１５０より再送要求があった場合でも、再送を行なわなくてもよい。
【０１５７】
復号に重要な情報以外でも再送要求を行なってもよい。
【０１５８】
このように、本発明の趣旨を逸脱しない限りにおいて、種々の適用が可能である。
【０１５９】
【発明の効果】
本発明によれば、通信路における誤り発生により、送信したパケットデータに誤りが検出され、対局装置より送られてくる再送要求に応答して、パケットデータの再送を行う場合、通信路の誤り発生頻度、送信データの特徴領域、送信データの重要部分などを考慮して、パケットデータのデータ長を可変的に決定することにより、送信するマルチメディアデータの特徴ある部分と重要な部分での誤り発生の頻度を低減することができ、総合的な通信効率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるマルチメディアデータ通信装置のブロック図
【図２】本発明の実施の形態１におけるマルチメディアデータ通信装置のデータ送信処理の流れを示す図
【図３】本発明の実施の形態１におけるマルチメディアデータ通信装置のデータ受信処理の流れを示す図
【図４】本発明の実施の形態１におけるマルチメディアデータ通信装置の分割ビット長算出処理の流れを示す図
【図５】本発明の実施の形態２におけるマルチメディアデータ通信装置のブロック図
【図６】本発明の実施の形態２におけるマルチメディアデータ通信装置のデータ受信処理の流れを示す図
【図７】本発明の実施の形態３におけるマルチメディアデータ通信装置のブロック図
【図８】本発明の実施の形態３におけるマルチメディアデータ通信装置のデータ送信処理の流れを示す図
【図９】本発明の実施の形態３におけるマルチメディアデータ通信装置の分割ビット長算出処理の流れを示す図
【図１０】本発明の実施の形態３におけるマルチメディアデータ通信装置のデータ受信処理の流れの一部を示す図
【図１１】本発明の実施の形態３における画像符号化データの構成図
【図１２】本発明の実施の形態４におけるマルチメディアデータ通信装置のブロック図
【図１３】本発明の実施の形態４におけるマルチメディアデータ通信装置のデータ送信処理の流れを示す図
【図１４】本発明の実施の形態４におけるマルチメディアデータ通信装置の分割ビット長算出処理の流れを示す図
【図１５】本発明の実施の形態４におけるマルチメディアデータ通信装置のデータ受信処理の流れの一部を示す図
【図１６】本発明の実施の形態４における画像符号化データの構成図
【符号の説明】
１００  送信部
１０１  画像符号化部
１０２  音声符号化部
１０３  文字・記号符号化部
１０４  誤り検出情報作成部
１０５  誤り検出情報作成制御部
１０６  多重部
１０７  特徴抽出部
１０８  重要データ解析部
１１０  受信部
１１１  画像復号部
１１２  音声復号部
１１３  文字・記号復号部
１１４  誤り検出情報解析部
１１５  誤り検出情報解析制御部
１１６  分離部
１１７  受信データ解析部
１１７ａ  誤り発生度合解析部
１２０  通信路インターフェース
１３１  画像入力部
１３２  音声入力部
１３３  文字・記号入力部
１４１  画像出力部
１４２  音声出力部
１４３  文字・記号出力部
１５０  対局装置
１１０１〜１１３０  画像パケットデータ
１６０１  ヘッダ情報
１６０２  動きベクトル情報
１６０３、１６０３ａ、１６０３ｂ  その他の情報
【図１】
2004282183.tif 000003
【図２】
2004282183.tif 000004
【図３】
2004282183.tif 000005
【図４】
2004282183.tif 000006
【図５】
2004282183.tif 000007
【図６】
2004282183.tif 000008
【図７】
2004282183.tif 000009
【図８】
2004282183.tif 000010
【図９】
2004282183.tif 000011
【図１０】
2004282183.tif 000012
【図１１】
2004282183.tif 000013
【図１２】
2004282183.tif 000014
【図１３】
2004282183.tif 000015
【図１４】
2004282183.tif 000016
【図１５】
2004282183.tif 000017
【図１６】
2004282183.tif 000018