(57)【要約】【課題】リアルタイムデータ通信において、データ欠落の影響を受けにくくしまた遅延を最小限に留める。【解決手段】送信側は複数個の符号化手段で符号化したデータを複数チャネルで送信し、受信側は送信側から送られてくる複数チャネルの符号化データをそれぞれ対応する復号化手段で受信し、現在、復号処理を行っている復号化手段４０１において、たとえば、フレームＦ３でパケットロス（×印）を検出すると、そのパケットロスしたフレームＦ３の復号処理が可能な復号化手段があるか否かを調べ、の復号処理が可能な復号化手段（図において復号化手段の４０２）を探し、その復号化手段４０２の復号化データを選択するというように、現在、復号処理している復号化手段でパケットロスが検出されると、そのフレームを適正に復号化できる復号化手段を動的に切り替えて、適正な復号化データを選択する。【選択図】      図５
2005033373.tif 000002
【特許請求の範囲】
【請求項１】
時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信装置において、
前記符号化対象データを複数に分配するデータ分配手段と、
このデータ分配手段で分配されたそれぞれの符号化対象データ対応に設けられ、入力される符号化対象データに対し、それぞれが独立して符号化処理を行うとともに、それによって得られたそれぞれの符号化データを送信可能な複数の符号化手段と、
を有することを特徴とするデータ送信装置。
【請求項２】
前記複数の符号化手段は、それぞれの符号化対象データに対し、それぞれの符号化手段間で符号化パラメータを変えて符号化処理することを特徴とする請求項１記載のデータ送信装置。
【請求項３】
前記請求項１または２に記載のデータ送信装置から送信されてくる符号化データを復号してその復号化データを出力するデータ受信装置であって、
前記データ送信装置から送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段と、
これら複数の復号化手段のいずれかを優先復号化手段として設定可能で、かつ、前記複数の復号化手段のうちのいずれかの復号化手段の復号化データを選択可能な復号化手段管理手段とを有し、
前記復号化手段管理手段は、前記優先復号化手段として設定した復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力することを特徴とするデータ受信装置。
【請求項４】
前記復号化手段管理手段は、前記データエラーのあった符号化データを適正に復号化可能な他の復号化手段があると判定した場合、前記優先復号化手段を当該復号化手段に更新することを特徴とする請求項３記載のデータ受信装置。
【請求項５】
前記データエラー検出手段が検出するデータエラーは、前記それぞれの符号化対象データに対する符号化データの欠落であることを特徴とする請求項３または４記載のデータ受信装置。
【請求項６】
時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信装置において、
前記符号化対象データを複数に分配するデータ分配手段と、
このデータ分配手段で分配されたそれぞれの符号化対象データ対応に設けられ、入力される符号化対象データに対し、それぞれが独立して符号化処理を行うとともに、それによって得られたそれぞれの符号化データを送信可能な複数の符号化手段と、
前記複数の符号化手段のうちの少なくとも１つの符号化手段の入力側に設けられ、前記データ分配手段で分配された符号化対象データを縮小するデータ縮小手段と、
を有することを特徴とするデータ送信装置。
【請求項７】
請求項６に記載のデータ送信装置から送信されてくる符号化データを復号してその復号化データを出力するデータ受信装置であって、
前記データ送信装置から送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段と、
出力すべき復号化データの出力サイズを取得する出力サイズ取得手段と、
この出力サイズ取得手段で取得された出力サイズに適合した出力サイズでの復号化が可能な復号化手段を優先復号化手段として設定可能で、かつ、前記複数の復号化手段のうちのいずれかの復号化手段の復号化データを選択可能な復号化手段管理手段とを有し、
前記復号化手段管理手段は、前記優先復号化手段として設定した復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力することを特徴とするデータ受信装置。
【請求項８】
前記復号化手段管理手段で選択された復号化データを拡大・縮小可能な復号化データ拡大・縮小手段を設け、この復号化データ拡大・縮小手段は、前記選択された復号化データのデータサイズが前記出力サイズ取得手段で取得された出力サイズと異なる場合、当該復号化データに対し、そのデータサイズが前記出力サイズ取得手段で取得された出力サイズに適合するようにデータサイズ調整処理を行うことを特徴とする請求項７記載のデータ受信装置。
【請求項９】
前記復号化手段管理手段は、前記データエラーのあった符号化データを適正に復号化可能な他の復号化手段があると判定した場合、前記優先復号化手段を当該復号化手段に更新し、かつ、その更新された優先復号化手段の出力データサイズが前記出力サイズ取得手段で取得された出力サイズと異なる場合は、その優先復号化手段の復号化データを選択して出力したあと、その優先復号化手段を前記出力サイズ取得手段で取得された出力サイズ適合する復号化手段に復帰させることを特徴とする請求項７または８記載のデータ受信装置。
【請求項１０】
時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信方法において、
前記符号化対象となるデータを複数に分配し、
この分配されたそれぞれの符号化対象データをこれらそれぞれの符号化対象データ対応に設けられた複数個のデータ符号化手段対応に入力させて、それぞれの符号化手段で符号化し、それによって得られたそれぞれの符号化データを送信する、
ことを特徴とするデータ送信方法。
【請求項１１】
請求項１０に記載のデータ送信方法によって送信されてくる符号化データを復号してその復号化データを出力するデータ受信方法であって、
前記送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段のうちのいずれかの復号化手段を優先復号化手段として設定し、
その優先復号化手段として設定された復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力する、
ことを特徴とするデータ受信方法。
【請求項１２】
時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信方法において、
符号化対象となるデータを複数に分配し、
この分配されたそれぞれの符号化対象データを、これらそれぞれの符号化対象データ対応に設けられた複数個のデータ符号化手段対応に入力させ、かつ、これら複数個のデータ符号化手段のうちの少なくとも１つの符号化手段に対してはデータ縮小手段によってデータ縮小処理した符号化対象データを入力させて、それぞれの符号化手段で符号化し、
それによって得られたそれぞれの符号化データを送信する、
ことを特徴とするデータ送信方法。
【請求項１３】
請求項１２に記載のデータ送信方法によって送信されてくるそれぞれの符号化データを復号してその復号化データを出力するデータ受信方法であって、
出力すべき復号化データの出力サイズの設定を行い、
前記送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段のうち、前記設定された出力サイズに適合する出力サイズでの復号化データ出力が可能な復号化手段を優先復号化手段として設定し、
この優先復号化手段として設定された復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力する、
ことを特徴とするデータ受信方法。
【請求項１４】
時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信装置と、このデータ送信装置から送信されてくる符号化対象データを受信して復号化してその復号化データを出力するデータ受信装置とを有するデータ通信システムにおいて、
前記データ送信装置は、前記請求項１、２、６のいずれかに記載のデータ送信装置であって、前記データ受信装置は、前記請求項３、４、５、７、８、９のいずれかに記載のデータ受信装置であることを特徴とするデータ通信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化された動画、音楽、音声などのリアルタイムデータをネットワークを介して通信するためのデータ送信装置およびデータ受信装置、データ送信方法およびデータ受信方法、データ通信システムに関する。
【０００２】
【従来の技術】
インターネット環境の拡大に伴い、非常に多くのデータがネットワークを介して通信されるようになってきた。この通信対象となるデータの中には、文字や静止画などの非リアルタイムデータに加え、動画、音楽、音声などのリアルタイムデータも含まれるようになってきている。
【０００３】
これらのリアルタイムデータをネットワークを介して通信するためには何らかの符号化処理が施される。これらの符号化処理は符号化効率を高めるために、データの時間的な近傍での相関の強さを利用し、基準となるデータとの差分データのみを符号化して通信する方法を用いることが多い。しかし、この方法においては、それら符号化されたデータが正しい順序で、欠落なく、かつ適切なタイミングで受信側へ伝送されることが必要となる。
【０００４】
一方、現在のネットワーク通信の基盤となっているものがインターネットプロトコル（以下ＩＰと略す）である。ＩＰを用いた通信の特徴として、データを分割して通信するパケット型通信であること、ベストエフォート型通信であることなどを挙げることができる。
【０００５】
このベストエフォート型通信においては、送信したデータが、送信された順序で受信側へ届くことは保証されない。さらに、送信したデータが受信側に届くこと自体が保証されていない。実際のネットワーク環境においては、受信側に到達しないパケット、つまりパケットロスは１０数パーセントにも及ぶ場合もある。
つまり、このようなネットワーク上で、リアルタイムデータの通信を行うためには多くの課題がある。
これらの課題のうち、パケットロスに対応する技術としては、▲１▼再送、▲２▼誤り訂正、▲３▼その他（再同期化）などが考えられる。
【０００６】
この▲１▼の再送は最も多く用いられる手法であり、たとえば、トランスミッションコントロールプロトコル（以下、ＴＣＰと略す）などが用いられる。ＴＣＰの詳細はＩＥＴＦの技術文書ＲＦＣ７９３に記述されている。
【０００７】
この方法は単純に言って、送信側と受信側がハンドシェイクを行いながらデータ通信を行うものである。つまり、送信されたデータに対し、受信側から送信側へ、適正に受信したことを示すデータであるＡＣＫが返信されることによりデータ通信が進行するものである。送信側は、一定時間の間にＡＣＫが返信されない場合にはデータの再送を行う。このように、ＡＣＫを用いたハンドシェイクにより、送信データが受信側に到着したことが保証される。
【０００８】
また、上述の▲２▼の誤り訂正の例としては、特開２０００−１３４６１９号公報に記載の「エンコード方法及びエンコーダ」の中で従来例として紹介されている方法がある。
これらの方法は単純に言って、データをインターリーブし、複数パケットに分散し、それらに誤り訂正符号を付けることにより、パケットロスを検出し、復元するものである。
【０００９】
たとえば、ｋ個のデータをｈ＋ｋ個のデータへインターリーブし、誤り訂正符号を付ける。送信側は、このｈ＋ｋ個のデータを送信する。受信側においては、ｈ＋ｋ個のデータの内、例えば任意のｋ個のデータを受信することができれば、それに含まれるデータと誤り訂正符号により、送信データの全体を完全に復元することができる。
このｈとｋの割合はネットワークの統計的な情報により決定され、送信データが受信側で適正に復元されることは確率的に保証される。
【００１０】
上記▲３▼の再同期化の例としては、特開２００２−１０２６５号公報に記載の「送信装置およびその方法と受信装置およびその方法」がある。この技術は、上述の▲１▼と▲２▼の技術とは異なり、データの完全性と言うよりは、動画や音楽、音声の通信におけるパケットロスの影響をできるだけ小さくすることを目指したものである。
【００１１】
まず、図１２および図１３を用いて、動画データを例としたパケットロスの影響を簡単に説明する。図中の数字が書き込まれた四角形Ｆ１，Ｆ２，・・・は、それぞれ動画の１フレーム分のデータを模式的に示す（以下では、四角形Ｆ１，Ｆ２，・・・をフレームＦ１，Ｆ２，・・・と呼ぶ）。
【００１２】
また、これらフレームＦ１，Ｆ２，・・・のうち、太枠のフレームＦ１とＦ５は、それ単独で復号化可能なフレームデータ（以下ではＩピクチャと略す）を示すものとする。また、それ以外の細枠の四角形（フレームＦ２，Ｆ３，Ｆ４，Ｆ６，Ｆ７など）は、それ単独では復号できない差分データよりなるフレーム（以下ではＰピクチャと略す）を示すものとする。また、それら四角形を結ぶ曲線矢印ａは、フレーム間の依存関係を示すものとする。
【００１３】
通常の動画符号化方式では、Ｉピクチャが周期的に現れるように設定され、１つのＩピクチャから次のＩピクチャまでのデータの集合をグループオブピクチャズ（以下ＧＯＰと略す）と呼ぶ。図１２の例では、フレームＦ１からＦ４までが１つのＧＯＰであるといえる。このＧＯＰは相互に独立に復号化可能である。逆に言うと、ＧＯＰ内でパケットロスが発生すると、それ以降、同一のＧＯＰ内のデータを適正に複号することはできない。
【００１４】
図１２は、通信が全て適正に行われる場合を模式的に示したものである。図１２（ａ）に示す送信側から送られたそれぞれのパケットに対応するフレームＦ１，Ｆ２，・・・は、図１２（ｂ）に示すように、受信側へ正しい順序で、パケットロス無く、適切なタイミングで到着したとする。この場合は、全てのフレームＦ１，Ｆ２，・・・が適正に復号でき、それによって、元データを適正に復元することができる。
【００１５】
一方、図１３は、図１３（ａ）に示す送信側から送られたそれぞれのパケットに対応するフレームＦ１，Ｆ２，・・・のうち、たとえば、フレームＦ３がパケットロスにより欠落した場合を示す（図中の×を付けたフレームがパケットロスしたとする）。
【００１６】
この場合、フレームＦ３のデータが復号できないのは当然であるが、それ以降のフレームＦ４のデータが適正に受信されたとしても、フレームＦ４はフレームＦ３のデータに依存するため、これを適正に復号することはできず、元データを適正に復元できないことになる。このため、元データを適正に復元するには、次のＧＯＰの開始フレーム、つまり、フレームＦ５を受信するまでは再開することができないことになる。
【００１７】
ＭＰＥＧなどにおいては、通常、０．５秒程度に相当する分のデータがＧＯＰとなるのが一般的である。つまり、最大０．５秒ほどのデータが、パケットロスにより複号できない可能性がある。これは、人間の知覚上で十分に長い時間であり、大きな画質の劣化を引き起こす。上述の特開２００２−１０２６５号公報に記載の技術は、このような問題の改善を図るものであり、以下にこの特開２００２−１０２６５号公報に記載の技術について簡単に説明する。
まず、この特開２００２−１０２６５号公報がその中で従来例として挙げている技術を図１４を用いて簡単に説明する。
【００１８】
これは単純に言って、パケットロスが検出された場合、受信側から送信側に対して、データ未着を示すＮＡＣＫを返信し、それにより、送信側が差分の元となるデータ（以下、参照データを呼ぶ）を変更したデータを送信するというものである。
【００１９】
まず、図１４に示すように、フレームＦ３が未着のまま、フレームＦ４が受信された場合、フレームＦ３がパケットロスしたことが検出される。このままでは、図１３の例と同じく、フレームＦ４も、またそれに続くもフレームＦ５も適正には復号することはできず、元データを適正に復元することはできない。
【００２０】
この特開２００２−１０２６５号公報がその中で従来例として挙げている技術においては、この場合、受信側より送信側へＮＡＣＫが返信される。ＮＡＣＫを受信した送信側は、欠落したフレームの近傍で、受信側が適正に受信したフレームを新たな参照データとし、それに対する差分データとして次のフレームＦ５に対応するデータを送信する。たとえば、図１４の場合は、欠落したフレームＦ３の直前のデータであるフレームＦ２を新たな参照データとしている。
受信側においては、フレームＦ２は適正に受信しているので、それに対するフレームＦ５の差分データを適正に復号することができる。
【００２１】
このように、この技術によれば、フレームＦ３とフレームＦ４は適正には復号できずそれに対応する元データの復元は失敗するが、それ以降のフレームにおいては、復元を再開することが可能となる。
【００２２】
しかし、この技術においては、通信が多点間に渡る場合、受信側のそれぞれに異なったフレームで欠落が起こった場合に対応するために、各々の受信側と１対１に対応する参照データを送信側が持つ必要があるという問題がある。特開２００２−１０２６５号公報に記載の技術は、そのような問題を解決するものである。
【００２３】
特開２００２−１０２６５号公報に記載の技術は単純にいうと、パケットロスが発生した場合に切り替える参照データを予め、送信側、および全ての受信側においてルールとして定めておくと言うものである。これにより、送信側は全ての受信側へ、参照データを切り替えるということを通知することのみで、各々の受信側と１対１に対応する参照データを持つ必要がなくなる。
【００２４】
図１５はそれを説明するためのもので、パケットロスが発生した場合の参照フレームをフレームＦ１と指定した場合の図である。
この図１５において、例えばフレームＦ３に対応したパケットロスが発生した場合、フレームＦ１を参照データとしてフレームＦ４が符号化されることになる。
【００２５】
さらに、その後のフレームＦ５に対応したパケットロスが発生した場合、この場合においても、適正に受信されたデータで最も近いデータであるフレームＦ４ではなく、フレームＦ１が参照データとして用いられることになる。
【００２６】
上述のいずれの場合も、いずれかの受信側が返信したＮＡＣＫを送信側で受信すると、参照データがルールにより予め定められたデータへ切り替えられ、そのことを全ての受信側へ通知するだけで、全ての受信側においてデータが適正に復元できることになる。ただし、全ての受信側において、この切り替えの可能性のあるフレームデータを記憶する手段が必要となる。
【００２７】
図１６は、特開２００２−１０２６５号公報に記載の図４に対応し、送信側（サーバ装置）の構成を示す図である。特開２００２−１０２６５号公報においては、サーバ装置は主たる符号化手段（第１の符号化モジュール）と、それを補う第２の符号化手段（第２の符号化モジュール）を持つ。第２の符号化モジュールは複数個が存在することも可能である。
【００２８】
ただし、特開２００２−１０２６５号公報においては、この第２の符号化モジュールが存在することは必須ではない。つまり、第２の符号化モジュールの存在は、何れかの受信側がパケットロスを検出した場合に切り替えられる参照データに対応する符号化データを予め用意すると言う意味以上のものはない。つまり、主たる符号化手段（第１の符号化モジュール）を用いて、参照データの切り替えと再度の符号化を逐次的に実行してもよいものである。
【００２９】
【特許文献１】
特開２０００−１３４６１９号公報
【特許文献２】
特開２００２−１０２６５号公報
【００３０】
【発明が解決しようとする課題】
先に述べた再送によるデータ通信技術においては、データの順序、完全性は保証される。このため、非リアルタイム通信には適したものである。しかし、このデータ通信方法においては常にハンドシェイクが必要とされ、大きな遅延が発生する。そのため、リアルタイムデータ通信には適さない。
【００３１】
また、誤り訂正技術においてはハンドシェイクは行われないが、データをインターリーブするために、データが時間軸上に分散し、これもまた大きな遅延が発生する。そのため、リアルタイムデータ通信には適さない。
また、上述の特許文献２などの再同期化処理は、ＮＡＣＫの通信などのハンドシェイク処理を含む。そのため、この部分において大きな遅延が発生する。
【００３２】
このように、従来の技術ではその多くが遅延の発生を伴うデータ通信手法を採用している。しかし、双方向リアルタイムデータ通信においては、遅延は大きな問題であるので、ハンドシェイクなど遅延の発生要因を必要としない通信が求められる。
【００３３】
また、上述の特許文献２においては、多点間通信システムに適用する例が示されているが、この技術は、多点間通信とは言っても非常に少数の端末間での通信を想定したものである。このため、本発明が想定しているように、受信側の数が極めて多くなり、ほぼ全てのフレームデータにおいて、何れかの受信側がパケットロスを検出すると言うような状況においては、上述の特許文献２の技術では実質的に破綻してしまう可能性が高い。
【００３４】
そこで本発明は、データの欠落を最小限に留めるとともに遅延の発生を最小限にとどめることを可能とし、リアルタイムデータ通信、特に、双方向リアルタイムデータ通信に適用可能とするデータ送信装置およびデータ受信装置、データ送信方法およびデータ受信方法、データ通信システムを提供することを目的としている。
【００３５】
【課題を解決するための手段】
（１）本発明のデータ送信装置は、時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信装置において、前記符号化対象データを複数に分配するデータ分配手段と、このデータ分配手段で分配されたそれぞれの符号化対象データ対応に設けられ、入力される符号化対象データに対し、それぞれが独立して符号化処理を行うとともに、それによって得られたそれぞれの符号化データを送信可能な複数の符号化手段とを有することを特徴としている。
【００３６】
このように、（１）に記載のデータ送信装置は、符号化対象データ（たとえば、動画データの１フレーム分のデータ）を複数に分配し、分配されたそれぞれの符号化対象データをそれぞれ対応する符号化手段でそれぞれ独立して符号化し、それによって得られた複数の符号化データを複数チャネルの符号化データとして送信するものである。
【００３７】
すなわち、この（１）に記載のデータ送信側の符号化手段は、それぞれ独立したものであり、たとえば、上述の特許文献２に記載の技術がその中で従来例として挙げているものと何ら変わるものではない。つまり、個々の符号化手段としては、従来の技術をそのまま用いることができる。これは従来技術との互換性を保つために重要な要素である。
【００３８】
また、（１）に記載のデータ送信側の動作は、単にデータを出力し続けるものであり、データ受信側の個数に依存しない。したがって、非常に多数のデータ受信側が存在する放送型の通信が容易に実行できる。また、データ送信装置とデータ受信装置とがハンドシェイク処理を行うことがないので、それ起因するデータの遅延を最小限に抑えることができる。また、自明であるが、多数のデータ受信装置とのハンドシェイクのための負荷が発生することもない。
【００３９】
これはまた、符号化効率を悪化させないと言う効果もある。たとえば、上述の特許文献２に記載の技術に用いられている手法は、パケットロス時に受信側からのＮＡＣＫ信号を受けると、時間的に離れたデータを参照データとして用いて符号化しているが、これではデータ間の相関が小さくなり、符号化効率が劣化してしまう。一方、本発明においては、符号化を行う際、時間的に近傍のデータしか参照データとして用いない。よって、データ間の相関は高いことが期待され、符号化効率を悪化させることはない。
【００４０】
（２）前記複数の符号化手段は、それぞれの符号化対象データに対し、それぞれの符号化手段間で符号化パラメータを変えて符号化処理することが好ましい。
【００４１】
これは、たとえば、前述のＩピクチャの位置を複数の符号化手段で異ならせるというようなことであり、それによって、受信側では、あるチャネルの符号化データにパケットロスなどのデータエラーが発生しても、他のチャネルの符号化データを用いて復号化できる確率が高くなり、パケットロスの影響を受けにくくすることできる。
【００４２】
（３）前記（１）または（２）に記載のデータ送信装置から送信されてくる符号化データを復号してその復号化データを出力するデータ受信装置であって、前記データ送信装置から送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段と、これら複数の復号化手段のいずれかを優先復号化手段として設定可能で、かつ、前記複数の復号化手段のうちのいずれかの復号化手段の復号化データを選択可能な復号化手段管理手段とを有し、前記復号化手段管理手段は、前記優先復号化手段として設定した復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力することを特徴としている。
【００４３】
このように、（３）に記載のデータ受信装置では、送信側から送られてくる複数チャネルの符号化データをそれぞれ対応する復号化手段で受信し、優先復号化手段として設定した復号化手段が復号処理中にデータエラーを検出すると、そのデータエラーのあった符号化データを適正に復号化可能な他の復号化手段の復号化データを選択して出力するようにしているので、パケットロスの影響を受けずに、元データを適正に復元することができる。
【００４４】
また、この（３）に記載のデータ受信装置においては、データ送信装置と同じく、複数の復号化手段のそれぞれの復号化手段として、従来例（たとえば、上述の特許文献２に記載の技術がその中で従来例として挙げているもの）と同等のものを用いることができる。
【００４５】
つまり、本発明のデータ送信装置が送信する符号化データを、本発明に対応しないデータ受信装置においても受信して復号化することができる。ただし、この場合、本発明が行う動作、すなわち、データエラーがあった場合、復号化可能な復号化手段を動的に切り替えて、適正な復号化データを選択するといった動作は行えないが、従来のデータ受信装置を利用できることの意義は大きい。
【００４６】
（４）前記復号化手段管理手段は、前記データエラーのあった符号化データを適正に復号化可能な他の復号化手段があると判定した場合、前記優先復号化手段を当該復号化手段に更新することが好ましい。
【００４７】
このように、データエラーのあった符号化データを適正に復号化可能な復号化手段が他に存在すると判定した場合は、優先復号化手段を当該復号化手段に更新する処理を行うことによって、その時々に応じて、適正に復号化可能な復号化手段を動的に切り替えて、適正な復号化データを選択することができ、それにより、元データを適正に復元することができる。
【００４８】
（５）前記データエラー検出手段が検出するデータエラーは、前記それぞれの符号化対象データに対する符号化データの欠落である。
【００４９】
この符号化対象データに対する符号化データの欠落（後に説明する実施の形態ではパケットロスと表現している）を検出してそれに対応した処理を行うことによって、パケットロスの影響を受けない高品質なデータを復元することができる。
【００５０】
（６）時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信装置において、前記符号化対象データを複数に分配するデータ分配手段と、このデータ分配手段で分配されたそれぞれの符号化対象データ対応に設けられ、入力される符号化対象データに対し、それぞれが独立して符号化処理を行うとともに、それによって得られたそれぞれの符号化データを送信可能な複数の符号化手段と、前記複数の符号化手段のうちの少なくとも１つの符号化手段の入力側に設けられ、前記データ分配手段で分配された符号化対象データを縮小するデータ縮小手段とを有することを特徴としている。
【００５１】
この（６）に記載のデータ送信装置は、前述の（１）のデータ送信装置の効果に加えて、複数の符号化手段のうちの少なくとも１つの符号化手段に縮小データを入力することによって、たとえば、画像においてはサンプル表示、あるいは動画版サムネール表示などを容易に実現することができる。
【００５２】
また、この（６）に記載のデータ送信装置においても、（１）のデータ送信装置と同様に、前記複数の符号化手段は、それぞれの符号化対象データに対し、それぞれの符号化手段間で符号化パラメータを変えて符号化処理することが好ましい。
【００５３】
（７）前記（６）に記載のデータ送信装置から送信されてくる符号化データを復号してその復号化データを出力するデータ受信装置であって、前記データ送信装置から送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段と、出力すべき復号化データの出力サイズを取得する出力サイズ取得手段と、この出力サイズ取得手段で取得された出力サイズに適合した出力サイズでの復号化が可能な復号化手段を優先復号化手段として設定可能で、かつ、前記複数の復号化手段のうちのいずれかの復号化手段の復号化データを選択可能な復号化手段管理手段とを有し、前記復号化手段管理手段は、前記優先復号化手段として設定した復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力することを特徴としている。
【００５４】
これによって、（３）に記載のデータ受信装置の効果に加えて、たとえば、画像においてはサンプル表示、あるいは動画版サムネール表示などを容易に実現することができる。また、これを実現するに際して、このデータ受信装置では、データ送信装置側から送られてくる縮小された符号化データを受け取ってそれを復号化するだけで済むので、たとえば、データ受信装置がユーザのパーソナルコンピュータである場合には、ユーザ側機器における処理の負荷を軽減することができるとともに、ネットワーク上の負荷の軽減が図れる。また、受信側でサムネール画像などを見ることができる。
【００５５】
なお、この（７）に記載のデータ受信方法においても、前記データエラー検出手段が検出するデータエラーは前記それぞれの符号化対象データに対する符号化データの欠落としている。
【００５６】
（８）前記復号化手段管理手段で選択された復号化データを拡大・縮小可能な復号化データ拡大・縮小手段を設け、この復号化データ拡大・縮小手段は、前記選択された復号化データのデータサイズが前記出力サイズ取得手段で取得された出力サイズと異なる場合、当該復号化データに対し、そのデータサイズが前記出力サイズ取得手段で取得された出力サイズに適合するようにデータサイズ調整処理を行うことが好ましい。
【００５７】
これによって、出力サイズ指定手段で指定された出力サイズに適応する出力サイズでの復号化が可能な復号化手段でデータエラーが検出されて、出力サイズの異なる他の復号化手段で復号化をした場合でも、その復号化された出力サイズを、出力サイズ指定手段で指定された出力サイズに適合する出力サイズに変換して出力することができる。
【００５８】
（９）前記復号化手段管理手段は、前記データエラーのあった符号化データを適正に復号化可能な他の復号化手段があると判定した場合、前記優先復号化手段を当該復号化手段に更新し、かつ、その更新された優先復号化手段の出力データサイズが前記出力サイズ取得手段で取得された出力サイズと異なる場合は、その優先復号化手段の復号化データを選択して出力したあと、その優先復号化手段を前記出力サイズ取得手段で取得された出力サイズ適合する復号化手段に復帰させることが好ましい。
【００５９】
このように、データエラーのあった符号化データを適正に復号化可能な他の復号化手段があると判定した場合は、優先復号化手段を当該復号化手段に更新する処理を行うことによって、その時々に応じて、適正に復号化可能な復号化手段を動的に切り替えて、適正な復号化データを選択することができ、それによって、元データを適正に復元することができる。
【００６０】
また、その更新された優先復号化手段の出力データサイズが前記出力サイズ取得手段で取得された出力サイズと異なる場合は、その優先復号化手段の復号化データを選択して出力したあと、その優先復号化手段を前記出力サイズ取得手段で取得された出力サイズ適合する復号化手段に復帰させるようにしているので、出力サイズ取得手段で取得された出力サイズと異なる復号化データの出力を最小限にとどめることができる。これによって、復号化データを拡大または縮小して出力する時間を最小限にとどめることができ、出力データの品質劣化を抑えることができる。
【００６１】
（１０）時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信方法において、前記符号化対象となるデータを複数に分配し、この分配されたそれぞれの符号化対象データをこれらそれぞれの符号化対象データ対応に設けられた複数個のデータ符号化手段対応に入力させて、それぞれの符号化手段で符号化し、それによって得られたそれぞれの符号化データを送信することを特徴としている。
【００６２】
このようなデータ送信方法を採用することによって、前述の（１）のデータ送信装置と同様の効果が得られる。また、この（１０）に記載のデータ送信方法においても、前記複数の符号化手段は、それぞれの符号化対象データに対し、それぞれの符号化手段間で符号化パラメータを変えて符号化処理することが好ましい。
【００６３】
（１１）前記（１０）に記載のデータ送信方法によって送信されてくる符号化データを復号してその復号化データを出力するデータ受信方法であって、前記送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段のうちのいずれかの復号化手段を優先復号化手段として設定し、その優先復号化手段として設定された復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力することを特徴としている。
【００６４】
このようなデータ受信方法を採用することによって、前述の（３）のデータ受信装置と同様の効果が得られる。
【００６５】
（１２）時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信方法において、符号化対象となるデータを複数に分配し、この分配されたそれぞれの符号化対象データを、これらそれぞれの符号化対象データ対応に設けられた複数個のデータ符号化手段対応に入力させ、かつ、これら複数個のデータ符号化手段のうちの少なくとも１つの符号化手段に対してはデータ縮小手段によってデータ縮小処理した符号化対象データを入力させて、それぞれの符号化手段で符号化し、それによって得られたそれぞれの符号化データを送信することを特徴としている。
【００６６】
このようなデータ送信方法を採用することによって、前述の（６）のデータ送信装置と同様の効果が得られる。また、この（１２）に記載のデータ送信方法においても、（１）のデータ送信装置と同様に、前記複数の符号化手段は、それぞれの符号化対象データに対し、それぞれの符号化手段間で符号化パラメータを変えて符号化処理することが好ましい。
【００６７】
（１３）前記（１２）に記載のデータ送信方法によって送信されてくるそれぞれの符号化データを復号してその復号化データを出力するデータ受信方法であって、出力すべき復号化データの出力サイズの設定を行い、前記送信されてくるそれぞれの符号化データを受信して復号化処理可能であるとともに、その受信した符号化データのデータエラーを検出可能な複数の復号化手段のうち、前記設定された出力サイズに適合する出力サイズでの復号化データ出力が可能な復号化手段を優先復号化手段として設定し、この優先復号化手段として設定された復号化手段でのデータエラー検出状態を監視し、データエラーがなければ、当該優先復号化手段での復号化データを選択して出力し、データエラーがある場合には、当該符号化データを適正に復号化可能な他の復号化手段があるか否かを調べ、適正に復号化可能な他の復号化手段があれば、その復号化手段の復号化データを選択して出力することを特徴としている。
このようなデータ受信方法を採用することによって、前述の（７）に記載のデータ受信装置と同様の効果が得られる。
【００６８】
また、この（１３）に記載のデータ受信方法においても、前記データエラー検出手段が検出するデータエラーは前記それぞれの符号化対象データに対する符号化データの欠落としている。また、前記選択された復号化手段の復号化データサイズが要求される出力サイズと異なる場合、当該復号化データに対し、そのデータサイズが前記要求される出力サイズに適合するようにデータサイズ調整処理を行うことが好ましい。
【００６９】
また、データエラーのあった符号化データを適正に復号化可能な他の復号化手段があると判定した場合、優先復号化手段を当該復号化手段に更新し、かつ、その更新された優先復号化手段の出力データサイズが前記要求される出力サイズと異なる場合は、その優先復号化手段の復号化データを選択して出力したあと、その優先復号化手段を前記要求される出力サイズ適合する復号化手段に復帰させることが好ましい。
【００７０】
（１４）時系列に沿って入力される符号化対象データを符号化してその符号化データを出力するデータ送信装置と、このデータ送信装置から送信されてくる符号化対象データを受信して復号化してその復号化データを出力するデータ受信装置とを有するデータ通信システムにおいて、前記データ送信装置は、前記（１）、（２）、（６）のいずれかに記載のデータ送信装置であって、前記データ受信装置は、前記（３）、（４）、（５）、（７）、（８）、（９）のいずれかに記載のデータ受信装置であることを特徴とするデータ通信システム。
【００７１】
これによって、データ送信装置側は、前述した（１）、（２）、（６）のデータ送信装置の効果をそのまま引き継ぐことができ、また、データ受信装置側は、前述した（３）、（４）、（５）、（７）、（８）、（９）のデータ受信装置の効果をそのまま引き継ぐことができる。このため、データ受信装置側では、パケットロスの影響を受けることなく正常なデータ復元が可能となり、また、本発明のデータ通信システムでは、データ受信装置側とのハンドシェイクが不要となるので、データの遅延を最小限に抑えることができ、リアルタイムデータ通信、特に双方向のリアルタイム通信に最適なデータ通信システムとすることができる。
【００７２】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。なお、この実施の形態で説明する内容は、本発明のデータ送信装置およびデータ受信装置、データ送信方法およびデータ受信方法、データ通信システムについての説明を含むものである。また、この実施の形態では、処理対象となるリアルタイムデータとして動画を例にするが、本発明は、動画に限られるものではなく、音楽、音声などのリアルタイムデータにおいても同様に実施可能である。
【００７３】
〔実施の形態１〕
図１は本発明のデータ送信装置の実施の形態１の構成例を示すブロック図である。この実施の形態１におけるデータ送信装置は、送信すべきリアルタイムデータ（この実施の形態では動画としている）から時系列に沿った符号化単位（たとえば、１フレーム分の動画データ）ごとのデータを符号化対象データとして入力するデータ入力手段１、このデータ入力手段１に入力された符号化対象データをＮ個（Ｎは自然数）に分配するデータ分配手段２、このデータ分配手段２で分配されたＮ個の符号化対象データそれぞれに対応して設けられたＮ個の符号化手段３０１〜３０Ｎを有している。
【００７４】
なお、本発明の実施の形態（この実施の形態１と後述する実施の形態２も含む）では、説明を簡単にするために、符号化単位がフレームであるとし、また、１フレームを１パケットで送信するとして説明する。
【００７５】
符号化手段３０１〜３０Ｎは、それぞれに対応する画像データをそれぞれ独立に符号化するデータ符号化手段３１と符号化されたデータを送信する符号化データ送信手段３２を有している。なお、それぞれのデータ符号化手段３１による符号化は、それぞれの符号化手段３０１〜３０Ｎごとに符号化パラメータを変えた符号化が行われる（これついては後述する）。
【００７６】
そして、これらデータ符号化手段３１で符号化されたそれぞれの符号化データは、それぞれ対応する符号化データ送信手段３２によって、Ｎチャネルの符号化データとしてデータ通信路１０上に出力され、ここでは図示しないネットワークを介して受信側に送信される。
【００７７】
図２は本発明によるデータ受信装置の実施の形態１の構成例を示すブロック図である。この実施の形態１におけるデータ受信装置は、それぞれ独立して設けられた複数個（Ｎ個）の復号化手段４０１〜４０Ｎと、復号化手段管理手段５（優先復号化手段記憶手段５１と復号化手段選択手段５２からなる）、復号化データを出力するデータ出力手段６を有している。
【００７８】
なお、復号化手段４０１〜４０ＮのＮは、図１に示した符号化手段３０１〜３０ＮのＮと必ずしも一致していなくてもよい。すなわち、復号化手段４０１〜４０Ｎの個数と符号化手段３０１〜３０Ｎの個数は同数である必要はない。
【００７９】
復号化手段４０１〜４０Ｎは、図１で示したデータ送信装置から送られてくるＮチャネルの符号化データをそれぞれ受信する符号化データ受信手段４１、受信した符号化データにデータエラーが発生した場合、そのデータエラーを検出するデータエラー検出手段４２、符号化データを復号化する符号化データ復号化手段４３をそれぞれ有している。
【００８０】
なお、本発明の実施の形態（この実施の形態１と後に説明する実施の形態２を含む）では、検出するデータエラーはデータ欠落（以下ではパケットロスという）としている。したがって、以下の説明では、データエラー検出手段４２をパケットロス検出手段４２と呼ぶことにする。
【００８１】
また、復号化手段管理手段５は、上述したように、優先復号化手段記憶手段５１と復号化手段選択手段５２からなり、復号化手段選択手段５２は、復号化手段４０１〜４０Ｎのいずれかを優先復号化手段として優先復号化手段記憶手段５１に設定可能で、かつ、その優先復号化手段記憶手段５１の設定内容に基づいて、復号化手段４０１〜４０Ｎのいずれかの復号化手段の復号化データを選択可能としている。
【００８２】
具体的には、復号化手段選択手段５２は、優先復号化手段記憶手段５１に対して、初期値としてある任意の復号化手段を優先復号化手段として設定し、この優先復号化手段記憶手段５１の記憶内容から優先復号化手段による復号化データを選択して、その選択した復号化データをデータ出力手段６に出力する機能を有する。なお、本発明においては、優先復号化手段記憶手段５１により選択されない復号化手段に含まれる符号化データ復号化手段を休止させておくように構成することも可能である。
【００８３】
復号化手段選択手段５２は、優先復号化手段として設定した復号化手段でのデータエラー検出状態を監視し、その優先復号化手段でパケットロスが検出されると、そのパケットロスしたフレームを適正に復号化可能な復号化手段が他にあるか否かを調べ、適正に復号化可能な復号化手段があれば、その復号化手段を新たな優先復号化手段として優先復号化手段記憶手段５１に記憶（記憶内容を更新）するとともに、その復号化可能な復号化手段による復号化データを選択して、その選択した復号化データをデータ出力手段６に出力する機能を有する。なお、この一連の処理については後述する。
【００８４】
また、データ出力手段６は、復号化手段選択手段５２により選択された復号化データをデータ出力として出力するものである。
【００８５】
このような構成において、その動作を図３のフローチャートを用いて詳細に説明する。
【００８６】
まず、復号化処理が起動されると、優先復号化手段記憶手段５１が初期化され（ステップＳ１）、復号化手段４０１〜４０Ｎのうちの任意の１つの復号化手段が優先復号化手段として優先復号化手段記憶手段５１に記憶される。
【００８７】
その後に、図１で示すデータ送信装置から送信されてくるＮチャネルの符号化データがそれぞれのチャネル対応の復号化手段４０１〜４０Ｎのそれぞれの符号化データ受信手段４１で受信される（ステップＳ２）。これによって、復号化手段４０１〜４０Ｎのそれぞれの符号化データ復号化手段４３では復号化処理が開始される。
【００８８】
このとき、優先復号化手段記憶手段５１に記憶された優先復号化手段（復号化手段選択手段５２によって初期設定された優先復号化手段）においてパケットロスが検出されたか否かを判定し（ステップＳ３）、パケットロスが検出されなければ、その優先復号化手段で復号化された復号化データがデータ出力となる（ステップＳ４）。
【００８９】
また、このとき、その優先復号化手段でパケットロスが検出されれば（ステップＳ３）、そのパケットロスした符号化対象データ（ここでは１フレーム分のデータ）に対応するフレームを適正に復号化可能な復号化手段が他にあるか否かが調べられ（ステップＳ５）、適正に復号化可能な復号化手段があれば、その復号化手段が優先復号化手段記憶手段５１に優先復号化手段として設定される（ステップＳ６）。そして、その新たに優先復号化手段とされた復号化手段の復号化データがデータ出力となる（ステップＳ４）。
【００９０】
ここで、適正に復号化可能というのは、データエラーのない状態である。なお、本発明の実施の形態（この実施の形態１と後述する実施の形態２も含む）では、データエラーはパケットロスであるとしているが、このデータエラーとしては、パケットロスの他に、▲１▼ジッタや遅延などにより、復号のために必要なタイミングに、パケット（データ）が未着である、▲２▼到着したパケット（データ）に何らかのエラーが検出されたなどが考えられる。すなわち、適正に復号化可能というのは、パケットロスがないことの他、上述の▲１▼、▲２▼に該当しない状態であるということができる。
【００９１】
また、ステップＳ５において、適正に復号化可能な復号化手段がなければ、パケットロスに対する何らかの処理、たとえば、最後に復号されたデータを継続して用いるなどの処理が行われ（ステップＳ７）、その後、いずれかの復号化手段が適正に復号化可能となるまで待つ（ステップＳ８）。そして、何れかの復号化手段が適正に復号化可能となったとき、その復号化手段が優先復号化手段記憶手段５１に優先復号化手段として記憶され（ステップＳ６）、その新たに優先復号化手段とされた復号化手段の復号化データがデータ出力となる（ステップＳ４）。
【００９２】
そして、再び、ステップＳ２に戻り、Ｎチャネルに対応するそれぞれの復号化手段４０１〜４０Ｎは、次の符号化対象となる１フレーム分のデータ受信を行って、ステップＳ３以降の処理を行う。このようにして、符号化データの復号化処理が行われる。以下、図４および図５を用いて上述した動作をより詳しく説明する。
【００９３】
図４は、図２で示した本発明の実施の形態１におけるデータ送信装置において、Ｎ個の符号化手段３０１〜３０ＮのＮを２（Ｎ＝２）、すなわち、符号化手段が２つ（符号化手段３０１と符号化手段３０２とする）であるとした場合の符号化処理動作を説明するものである。
【００９４】
図４（ａ）は符号化手段３０１で符号化された符号化データの一例を示し、図４（ｂ）は符号化手段３０２で符号化された符号化データの一例を示すもので、前述の従来技術で説明したと同様に、四角形Ｆ１，Ｆ２，・・・は、それぞれ動画の１フレーム分ごとのデータを模式的に示したもので、この四角形Ｆ１，Ｆ２，・・・をフレームＦ１，Ｆ２，・・・と呼んでいる。また、太枠のフレームＦ１とＦ５は、それ単独で復号化可能なフレームデータ（Ｉピクチャ）を示すものとする。また、それ以外の細枠の四角形（フレームＦ２，Ｆ３，Ｆ４，Ｆ６，Ｆ７など）は、それ単独では復号できない差分データよりなるフレーム（Ｐピクチャ）を示すものである。また、それら四角形を結ぶ曲線矢印ａは、データ間の依存関係を示すものとする。
【００９５】
この図４（ａ），（ｂ）に示す例においては、符号化手段３０１と符号化手段３０２は、同じ符号化対象データを符号化しているが、それぞれの符号化パラメータを異ならせており、ここでは、図４（ａ），（ｂ）に示すように、単独で復号できるフレームの位置、つまり、Ｉピクチャの位置が異なるように符号化パラメータを設定している。この図４の例では、符号化手段３０１では、ＩピクチャはフレームＦ１，Ｆ５，・・・であり、符号化手段３０２では、ＩピクチャはフレームＦ３，Ｆ７，・・・であるというように、Ｉピクチャの位置が異なるような設定としている。
【００９６】
図５は図４で示したような符号化データが入力された場合のデータ受信装置側の復号化動作を説明するものである。この図５は、Ｎ個の復号化手段４０１〜４０ＮにおけるＮを２（Ｎ＝２）、すなわち、復号化手段が２つ（復号化手段４０１と復号化手段４０２とする）であるとした場合について、これらの復号化手段４０１と復号化手段４０２での復号化処理について説明するものである。
【００９７】
なお、ここでは、符号化手段３０１で符号化された符号化データ（図４（ａ））は復号化手段４０１に入力され、符号化手段３０２で符号化された符号化データ（図４（ｂ））は復号化手段４０２に入力されるとする。なお、この図５の例においては、図中の×を付けたフレームがパケットロスしたとする。また、このとき、優先復号化手段記憶手段５１には復号化手段４０１が優先復号化手段として初期設定されているとする。
【００９８】
まず、フレームＦ１が復号化手段４０１，４０２で受信されるが、図５（ａ）からもわかるように、この時点における優先復号化手段である復号化手段４０１ではそのフレームＦ１のパケットロスが検出されない。したがって、この場合は、優先復号化手段である復号化手段４０１の復号化データが選択され、その復号化データがデータ出力となる（図３のステップＳ１，Ｓ２，Ｓ３，Ｓ４の処理に対応）。
【００９９】
続いて、フレームＦ２が復号化手段４０１，４０２で受信される。この場合、図５（ａ）からもわかるように、このフレームＦ２もフレームＦ１と同様、この時点の優先復号化手段である復号化手段４０１ではそのフレームＦ２のパケットロスが検出されない。したがって、このフレームＦ２に対しても、優先復号化手段である復号化手段４０１の復号化データが選択され、その復号化データがデータ出力となる（図３のステップＳ１，Ｓ２，Ｓ３，Ｓ４の処理に対応）。
【０１００】
続いて、フレームＦ３が復号化手段４０１，４０２で受信されるが、図５（ａ）からもわかるように、この時点の優先復号化手段である復号化手段４０１では、フレームＦ３がパケットロスしていることがそのデータエラー検出手段４２で検出される。
【０１０１】
これによって、復号化手段選択手段５２は、そのフレームＦ３を適正に復号化可能な復号化手段が他にあるか否かを調べ、その結果、復号化手段４０２で適正な復号化が可能であることが検出されると、優先復号化手段記憶手段５１の記憶内容は復号化手段４０２が優先復号化手段として更新され、このフレームＦ３に対しては、復号化手段４０２による復号化データが選択されて、その復号化データがデータ出力となる（ステップＳ５，Ｓ６，Ｓ４の処理に対応）。
【０１０２】
続いて、フレームＦ４が復号化手段４０１，４０２で受信されるが、現時点における優先復号化手段である復号化手段４０２では、図５（ｂ）からもわかるように、そのフレームＦ４のパケットロスが検出されない。したがって、この場合は、優先復号化手段である復号化手段４０２の復号化データが選択され、その復号化データがデータ出力となる（ステップＳ２，Ｓ３，Ｓ４の処理に対応）。
【０１０３】
続いて、フレームＦ５が復号化手段４０１，４０２で受信されるが、現時点における優先復号化手段である復号化手段４０２では、図５（ｂ）からもわかるように、その時点の優先復号化手段である復号化手段４０２においてパケットロスが検出されないので、そのフレームＦ５は復号化手段４０２で復号化処理され、その復号化処理された復号化データが選択され、その復号化データがデータ出力となる（ステップＳ２，Ｓ３，Ｓ４の処理に対応）。
【０１０４】
続いて、フレームＦ６が復号化手段４０１，４０２で受信される。この場合、現時点における優先復号化手段である復号化手段４０２では、図５（ｂ）からもわかるように、このフレームＦ６がパケットロスしていることが検出される。このとき、復号化手段選択手段５２によって、復号化手段４０１がこのフレームＦ６を適正に復号化可能であると検出されると、優先復号化手段記憶手段５１の記憶内容は復号化手段４０１が優先復号化手段として更新され、このフレームＦ６については復号化手段４０１による復号化データが選択され、その復号化データがデータ出力となる（ステップＳ５，Ｓ６，Ｓ４の処理に対応）。
【０１０５】
続いて、フレームＦ７が復号化手段４０１，４０２で受信されるが、現時点における優先復号化手段である復号化手段４０１では、図５（ａ）からもわかるように、その復号化手段４０１においてパケットロスが検出されないので、そのフレームＦ７については復号化手段４０１による復号化データがデータ出力となる（ステップＳ２，Ｓ３，Ｓ４の処理に対応）。
【０１０６】
以上のような手順で復号化処理がなされ、結局、この例の場合、図５（ａ），（ｂ）の破線Ａで示すような順序で復号化データが出力される。すなわち、フレームＦ１，Ｆ２は復号化手段４０１の復号化データが出力され、フレームＦ３，Ｆ４，Ｆ５は復号化手段４２の復号化データが出力され、フレームＦ６，Ｆ７は復号化手段４０１の復号化データが出力されるというように、データ送信装置側から順次送られてくるそれぞれのフレームのパケットロスの状態に応じて、適正に復号化できる復号化手段の復号化データを動的に切り替えて選択して出力するようにしている。
【０１０７】
これによって、この例においては、すべてのフレームがパケットロスなく適正に復号化され、それによって、元のデータ（ここでは動画データとしている）を適正に復元することができる。
以上の説明より明らかであるように、この実施の形態１は以下のような効果をもつ。
【０１０８】
この実施の形態１におけるデータ送信装置は、符号化対象データ（たとえば、動画データの１フレーム分のデータ）を複数に分配し、分配されたそれぞれの符号化対象データをそれぞれ対応する符号化手段でそれぞれ独立して符号化し、それによって得られた複数の符号化データを複数チャネルの符号化データとして送信するものである。
【０１０９】
すなわち、このデータ送信側の符号化手段は、それぞれ独立したものであり、たとえば、前述の特許文献２に記載の技術がその中で従来例として挙げているものと何ら変わるものではない。つまり、個々の符号化手段としては、従来の技術をそのまま用いることができる。これは従来技術との互換性を保つために重要な要素である。
【０１１０】
また、このデータ送信側の動作は、単にデータを出力し続けるものであり、データ受信側の個数に依存しない。したがって、非常に多数のデータ受信側が存在する放送型の通信が容易に実行できる。また、データ送信装置とデータ受信装置とがハンドシェイク処理を行うことがないので、それ起因するデータの遅延を最小限に抑えることができる。また、自明であるが、多数のデータ受信装置とのハンドシェイクのための負荷が発生することもない。
【０１１１】
これはまた、符号化効率を悪化させないと言う効果もある。たとえば、パケットロス時に受信側からのＮＡＣＫ信号を受ける前述の特許文献２に記載の技術では、時間的に離れたデータを参照データとして用いて符号化するが、この方法ではデータ間の相関が小さくなり、符号化効率が劣化してしまう。一方、本発明においては、符号化を行う際、近傍のデータしか参照データとして用いない。よって、データ間の相関は高いことが期待され、符号化効率を悪化させることはない。
【０１１２】
次に、この実施の形態１のデータ送信装置側の動作は、単に符号化データを出力し続けるものであり、データ受信装置側の個数に依存しない。従って、非常に多数のデータ受信装置が存在する放送型の通信が容易に実行できる。
【０１１３】
次に、データ受信装置においては、データ送信装置と同じく、それぞれの復号化手段４０１〜４０Ｎに用いられる符号化データ復号化手段４３として、従来例と同等のものを用いることができる。これは、本発明のデータ送信装置が送信するデータを、本発明に対応しないデータ受信装置において受信することが可能であるということである。
【０１１４】
すなわち、本発明の実施の形態１で示したデータ受信装置（図２参照）を用いれば、図３のフローチャートや図４および図５で説明したような処理が可能となり、それによって、パケットロスを発生させることなく、リアルタイムデータを受信することが可能である。
【０１１５】
一方、図２で示したような本発明のデータ受信装置ではない従来のデータ受信装置を用いた場合には、図３のフローチャートや図４および図５で説明したような処理、つまり、ある１つの復号化手段でパケットロスが検出されると、適正に復号化可能な他の復号手段からの復号化データを動的に選択して出力するということはできないが、従来の復号化処理はそのまま行うことができる。このように、本発明は、個々の復号化手段４０１〜４０Ｎとしては、従来の復号化手段を用いることができる。これは従来技術との互換性を保つために重要な要素である。
【０１１６】
以上のように、この実施の形態１においては、従来技術に僅かの変更を加えるだけで、非常に大きな効果を得ることができる。
【０１１７】
〔実施の形態２〕
図６は本発明のデータ送信装置の実施の形態２の構成例を示すブロック図である。図６は実施の形態１の説明に用いた図１のデータ送信装置の構成に、データ縮小手段１１を付加したものであり、そのほかの構成要素は図１と同様であるので、同一部分には同一符号が付されている。このデータ縮小手段１１は、この実施の形態２ではある１つの符号化手段に対して設けられているが、複数の符号化手段に対して設けるようにすることも可能である。
【０１１８】
なお、実施の形態１での説明に用いた図１では、符号化手段は符号化手段３０１〜３０ＮのＮ個とした例が示されているが、この図６では、説明の都合上、符号化手段は符号化手段３０１，３０２，３０３の３個とし、符号化手段３０３の入力側にデータ縮小手段１１を設けた例が示されている。
【０１１９】
すなわち、データ入力手段１に入力された符号化対象データ（たとえば、１フレーム分の動画データ）をデータ分配手段２でＮ個（この図６の場合は３個）に分配し、分配されたそれぞれの符号化対象データは、符号化手段３０１，３０２にはそのまま入力され、符号化手段３０３にはデータ縮小手段１１を介して縮小されたデータとして入力される。なお、この図６におけるその他の構成要素は図２と同様であるので、同一部分には同一符号が付されている。
【０１２０】
データ縮小手段１１は、処理対象データが動画データなどの画像データにおいては、そのサイズを縮小する機能を有するものなどが考えられる。また、音楽データ、音声データなどにおいては、サンプリングレートを低く変換する機能を有するもののであるとか、マルチチャネルのデータをモノラルデータへ変換する機能を有するものであるとかが考えられる。
【０１２１】
図７は、本発明のデータ受信装置の実施の形態２の構成例を示すブロック図である。図７は実施の形態１の説明に用いた図２のデータ受信装置の構成に、出力サイズ取得手段１２、復号化データ拡大・縮小手段１３を付加したものであり、その他の構成要素は図２と同様であるので、同一部分には同一符号が付されている。
【０１２２】
なお、実施の形態１での説明に用いた図２では、復号化手段は復号化手段４０１〜４０ＮのＮ個とした例が示されているが、この図７では、説明の都合上、復号化手段は復号化手段４０１，４０２，４０３の３個とした例が示されている。
【０１２３】
図７に示したデータ受信装置におけるデータ処理手順は、実施の形態１における図２に示したデータ受信装置の復号化手順（図３のフローチャート）と基本的には同一であるが、以下の３つの点が異なる。
【０１２４】
第１の異なる点は、前述の実施の形態１の説明に用いた図３のフローチャートに示した処理のうち、優先復号化手段記憶手段５１の初期化処理に係わる部分である。
図８は図３で示したフローチャートにおけるステップＳ１、すなわち、優先復号化手段記憶手段５１の初期化処理について説明するフローチャートである。
【０１２５】
この実施の形態２における優先復号化手段記憶手段５１の初期化処理は、この図８によれば、まず、出力サイズ指定があるか否かを判定し（ステップＳ１１）、出力サイズ指定があれば、指定された出力サイズ（出力サイズ取得手段１２で取得された出力サイズ）と同一、あるいは、その出力サイズに最も近い出力サイズを持つ復号化手段が優先復号化手段記憶手段５１に優先復号化手段として設定される（ステップＳ１２）。また、出力サイズ指定がなければ、任意の復号化手段が優先復号化手段記憶手段５１に優先復号化手段として設定される（ステップＳ１３）。
【０１２６】
すなわち、前述の実施の形態１では、この初期値として、任意の復号化手段が設定されたが、この実施の形態２では、指定された出力サイズ、つまり、出力サイズ取得手段１２により取得された出力サイズと同一、あるいは、その出力サイズに最も近い出力サイズを持つ復号化手段が設定され、出力サイズが指定されていなければ、実施の形態１と同じく任意の復号化手段が設定される。
【０１２７】
また、第２の異なる点は、前述の実施の形態１の説明に用いた図３のフローチャートに示した処理のうち、データ出力（図３におけるステップＳ４）に係わる部分である。このデータ出力に係わる部分の処理は、この実施の形態２では、図９に示すような処理がなされる。
【０１２８】
図９において、まず、出力サイズ指定があるか否かを判定し（ステップＳ２１）、出力指定があれば、優先復号化手段記憶手段５１に記憶されている優先復号化手段の出力サイズが指定出力サイズ（出力サイズ取得手段１２で指定されたデータサイズ）と同一か否かを判定し（ステップＳ２２）、同一でなければ復号化データ拡大・縮小手段１３により復号化データのサイズを調整したのちに（ステップＳ２３）、その調整後の復号化データを出力する（ステップＳ２４）。
【０１２９】
また、ステップＳ２１において出力サイズ指定がない場合や、ステップＳ２２において優先復号化手段記憶手段５１に記憶されている優先復号化手段の出力サイズが指定出力サイズ（出力サイズ取得手段１２で取得されたデータサイズ）と同一である場合には、その復号化データの出力サイズを調整する処理を行わずに出力する（ステップＳ２４）。
【０１３０】
このように、この実施の形態２では、データ出力を行う際、復号化手段選択手段５２より選択された復号化データの出力サイズと、出力サイズ取得手段１２より得られた出力サイズが異なれば、復号化データは復号化データ拡大・縮小手段１３によって取得された出力サイズとなるようなサイズ調整がなされるものである。
【０１３１】
また、第３の異なる点は、優先復号化手段の更新にかかわる処理である。すなわち、この実施の形態２の場合、優先復号化手段としては出力サイズ取得手段１２より得られた出力サイズに適合した出力サイズを有する復号化手段が初期値として設定されるが、この優先復号化手段にパケットロスが発生したとき、例外的な復号化データ選択処理として、出力サイズ取得手段１２より得られた出力サイズとは異なる出力サイズの復号化データが選択されることがある。
【０１３２】
このような例外的な復号化データ選択処理を行った場合も、例外的な復号化データ選択処理でない場合と同様、復号化手段選択手段５２は、その出力サイズの異なる復号化データを出力する復号化手段を優先復号化手段として優先復号化手段記憶手段５１に設定するが（図３のステップＳ６）、この例外的な復号化データ選択処理を行った場合は、その出力サイズの異なる優先復号化手段からの復号化データの選択を行ったあと、優先復号化手段記憶手段５１に設定される優先復号化手段を、出力サイズ取得手段１２によって取得された出力サイズを有する復号化手段（初期値として設定された復号化手段）に復帰させる処理を行う。なお、この処理手順については図示されていない。
【０１３３】
図１０および図１１はこの実施の形態２の復号化処理を説明するためのものである。なお、この実施の形態２では、図６で説明したように、符号化手段３０３に対してはデータ縮小手段１１によって縮小されたデータが与えられ、この符号化手段３０３からの符号化データはその縮小されたデータに対応する符号化データとなっており、その符号化データは復号化手段４０３に入力される。
【０１３４】
また、この図１０および図１１においては、縮小されたデータは、そのデータの小ささを考慮して、全てのフレームにおいて単独で復号化可能（すべてのフレームがＩピクチャ）であるように符号化されているものとしている。なお、この縮小されたそれぞれのフレームはフレームｓ１，ｓ２，ｓ３，・・・と表すことにする。
【０１３５】
まず、図１０について説明する。この図１０は、優先復号化手段記憶手段５１には初期値として復号化手段４０１が設定されている例が示されている。すなわち、この場合、出力サイズ取得手段１２で取得された出力サイズと同一の出力サイズ（または最も近い出力サイズ）を有する復号化手段は、復号化手段４０１と復号化手段４２であって、これらの復号化手段４０１，４０２のうち、復号化手段４０１が優先復号化手段として設定された例である。
【０１３６】
ここで、図１０（ａ）に示すように、復号化手段４０１に入力された符号化データにおいては、フレームＦ３とフレームＦ６にパケットロス（図中、×印が付されている）が発生し、同図（ｂ）に示すように、復号化手段４２に入力された符号化データにおいては、フレームＦ２とフレームＦ６にパケットロス（図中、×印が付されている）が発生したとする。また、図１０（ｃ）に示すように、復号化手段４０３に入力された符号化データにおいては、パケットロスは発生していないものとする。なお、それぞれのフレームに対する処理手順は実施の形態１で詳細に説明したので、ここでは簡略化して説明する。
【０１３７】
まず、フレームＦ１が復号化手段４０１，４０２，４０３で受信され、復号化処理が開始される。そして、優先復号化手段として初期設定された復号化手段４０１ではフレームＦ１のパケットロスが検出されないので、その復号化手段４０１の復号化データが選択される。フレームＦ２も同様に、優先復号化手段として初期設定された復号化手段４０１ではフレームＦ１のパケットロスが検出されないので、その復号化手段４０１の復号化データが選択される。
【０１３８】
続いて、フレームＦ３が復号化手段４０１，４０２，４０３で受信されるが、現時点における優先復号化手段である復号化手段４０１では、図１０（ａ）からもわかるように、そのフレームＦ３のパケットロスが検出される。
【０１３９】
これによって、復号化手段選択手段５２は、そのフレームＦ３を適正に復号化可能な復号化手段が他にあるか否かを調べ、その結果、復号化手段４０２で適正な復号化が可能であることが検出されると、優先復号化手段記憶手段５１の記憶内容は復号化手段４０２が優先復号化手段として更新され、このフレームＦ３に対しては、復号化手段４０２の復号化データが選択されて、その復号化データがデータ出力となる。なお、復号化手段４０３もフレームＦ３の復号化が可能であるが、この場合、要求される出力サイズ（出力サイズ取得手段１２で取得された出力サイズ）と同じ出力サイズを有する復号化手段４０２を優先する。
【０１４０】
続いて、フレームＦ４が復号化手段４０１，４０２，４０３で受信されるが、現時点における優先復号化手段である復号化手段４０２では、図１０（ｂ）からもわかるように、そのフレームＦ４のパケットロスが検出されない。したがって、この場合は、優先復号化手段である復号化手段４０２の復号化データが選択され、その復号化データがデータ出力となる。フレームＦ５も同様に、その時点の優先復号化手段として設定されている復号化手段４０２ではフレームＦ５のパケットロスが検出されないので、その復号化手段４０２での復号化データが選択される。
【０１４１】
なお、ここまでの処理において、要求される出力サイズ（出力サイズ取得手段１２で取得された出力サイズ）は、復号化手段４０１および復号化手段４２の出力サイズと同一であるので、これら復号化手段４０１，４０２から出力される符号化データに対して、サイズの調整（拡大または縮小）がなされることはない。
【０１４２】
続いて、フレームＦ６が復号化手段４０１，４０２，４０３で受信されるが、現時点における優先復号化手段である復号化手段４０２では、図１０（ｂ）からもわかるように、その時点の優先復号化手段である復号化手段４０２においてパケットロスが検出される。
【０１４３】
これによって、復号化手段選択手段５２は、そのフレームＦ６を適正に復号化可能な復号化手段が他にあるか否かを調べる。その結果、このフレームＦ６は、復号化手段４０１でもパケットロスが発生しており、この場合は、復号化手段４０３で適正な復号化が可能であることが検出される。これにより、優先復号化手段記憶手段５１の記憶内容は復号化手段４０３が優先復号化手段として更新され、このフレームＦ６に対しては、復号化手段４０３のフレームｓ６の復号化データが選択されて、その復号化データがデータ出力となる。
【０１４４】
このとき、復号化手段４０３に入力されている符号化データは縮小サイズの符号化データとなっているので、それを復号化して得られた復号化データも当然のことながらそのデータサイズは、要求される出力サイズ（出力サイズ取得手段１２で取得される出力サイズ）よりも小さいために、復号化データ拡大・縮小手段１３によって、出力サイズの調整（この場合は拡大処理）が行われ、拡大処理されることによって、要求される出力サイズ（出力サイズ取得手段１２で取得された出力サイズ）と同じ出力サイズとなった復号化データがデータ出力として出力される。
【０１４５】
そして、次のフレームＦ７が復号化手段４０１，４０２，４０３で受信され、この時点における優先復号化手段でパケットロスが検出されたか否かが判定される。ここで、この時点においては、優先復号化手段記憶手段５１には復号化手段４０３が優先復号化手段として設定されており、これまでの例では、復号化手段４０３が優先復号化手段として処理がなされるが、この実施の形態２の場合、要求される出力サイズが指定されているので、その要求された出力サイズ（出力サイズ取得手段１２で取得された出力サイズ）での復号化データを出力させる必要がある。
【０１４６】
すなわち、この図１０の例では、要求される出力サイズと同一の出力サイズは、復号化手段４０１と復号化手段４０２の復号化データとされているので、復号化手段４０３の復号化データ（縮小された復号化データ）を用いるのは、この場合、復号化手段４０１または復号化手段４０２の復号化データを用いることのできない場合の例外的な復号化データ選択処理であるといえる。
【０１４７】
したがって、このような例外的な復号化データ選択処理を行った場合は、前述したように、復号化手段選択手段５２は、出力サイズの異なる復号化手段による復号化データの選択を行ったあと、優先復号化手段記憶手段５１に記憶される優先復号化手段を、要求される出力サイズ（出力サイズ取得手段１２によって取得された出力サイズ）を有する復号化手段に復帰させる処理を行う。
【０１４８】
すなわち、図１０の場合、例外的な復号化データ選択処理として復号化手段４０３による復号化データが出力されたあと、優先復号化手段記憶手段５１に記憶される優先復号化手段は、元の出力サイズを有する復号化手段４０１または復号化手段４０２に戻されて、次のフレームＦ７についての処理がなされる。
【０１４９】
なお、この図１０の場合は、復号化手段４０１，４０２がともにフレームＦ６でパケットロスが検出されている。ここで、復号化手段４０１のフレームＦ７はＰピクチャであり、復号化手段４０２のフレームＦ７はＩピクチャであるので、復号化手段４０２の復号化データが採用され、その復号化データがデータ出力される。この復号化手段４０２によるフレームＦ７の復号化データは、要求される出力サイズと同一であるので、出力データのサイズ調整（拡大または縮小）の必要はない。
【０１５０】
以上のように、この図１０の例では、破線Ａで示すような順序で復号化データが選択されて出力される。すなわち、フレームＦ１，Ｆ２は復号化手段４０１の復号化データが選択され、フレームＦ３，Ｆ４，Ｆ５は復号化手段４０２の復号化データが選択され、フレームＦ６に対応するフレームとしては例外的に復号化手段４０３のフレームｓ６の復号化データが選択され、フレームＦ７は復号化手段４０２の復号化データが選択される。
【０１５１】
図１１は、優先復号化手段記憶手段５１の初期値として、復号化手段４０３が選択されている例を示す。すなわち、この図１１は、出力サイズ取得手段１２で取得された出力サイズと同一の出力サイズ（または最も近い出力サイズ）を有する復号化手段として、復号化手段４０３が選択された例である。
【０１５２】
ここで、図１１に示すように、図１０の場合と同様、復号化手段４０１に入力された符号化データにおいては、フレームＦ３、フレームＦ６にパケットロス（図中、×印が付されている）が発生し、復号化手段４０２に入力された符号化データにおいては、フレームＦ２、フレームＦ６にパケットロス（図中、×印が付されている）が発生し、また、この図１１の例においては、復号化手段４０３に入力された符号化データにおいては、フレームｓ３、フレームｓ４にパケットロス（図中、×印が付されている）が発生したとする。
【０１５３】
この図１１の例においては、図１１における破線Ａで示したように、フレームｓ１、フレームｓ２までのデータは、優先復号化手段である復号化手段４０３で復号される。ここまでは、要求される出力サイズは、復号化手段４０３の出力サイズと同一であるので、出力データのサイズ調整（拡大または縮小）されることはない。その後、フレームｓ３がパケットロスしていることが検出される。
【０１５４】
このとき、このフレームｓ３に対応するフレームの復号が可能な復号化手段があるか否かを調べた結果、この場合、復号化手段４０１に入力された符号化データもフレームＦ３がパケットロスしていることが検出されるので、復号化手段４０２のフレームＦ３が復号化可能であると判定され、復号化手段４０２のフレームＦ３の復号化データが選択されることになる。
【０１５５】
この復号化手段４０２の復号化データは、この図１１の例においては、要求される出力サイズよりも大きいサイズであるので、出力サイズの調整（この場合、縮小処理）が行われ、要求される出力サイズ（出力サイズ取得手段１２で取得された出力サイズすなわち復号化手段４０３の復号化データと同じサイズ）にまで縮小処理された復号データが出力データとなる。なお、この時点における優先復号化手段は復号化手段４０２に更新されているが、前述したように、この場合は、例外的な復号化データ選択処理として出力サイズの異なる復号化手段４０２の復号化データを選択している。
【０１５６】
このような例外的な復号化データ選択処理を行った場合は、前述同様、出力サイズの異なる復号化手段による復号化データの選択を行ったあとは、優先復号化手段記憶手段５１に記憶される優先復号化手段は、要求される出力サイズ（出力サイズ取得手段１２によって取得された出力サイズ）を有する復号化手段に復帰されるものとする。
【０１５７】
すなわち、図１１の場合、例外的な復号化データ選択処理として復号化手段４０２による復号化データが出力されたあと、優先復号化手段記憶手段５１に記憶される優先復号化手段は、元の出力サイズを有する復号化手段４０３に復帰し、この復号化手段４０３が現時点における優先復号手段となって、次のフレームｓ４についての処理がなされる。
【０１５８】
これによって、現時点の優先復号手段である復号化手段４０３において、このフレームｓ４がパケットロスしていることが検出され、この場合も、復号化手段４０２のフレームＦ４が例外的な復号化データ選択処理として選択されることになる。このとき、復号化手段４０２に入力されている符号化データは要求される出力サイズよりも大きいサイズであるので、縮小処理が行われ、その縮小処理された復号化データが出力データとなる。
【０１５９】
そして、上述同様、例外的な復号化データ選択処理としての復号化手段４０２による復号化データが出力されたあと、優先復号化手段記憶手段５１に記憶される優先復号化手段は、初期設定された復号化手段４０３に戻されて、次のフレームｓ５についての処理がなされる。
【０１６０】
このフレームｓ５はパケットロスが検出されないので、そのフレームｓ５はそのまま復号化される。なお、復号化手段４０３に入力される符号化データはすべて単独で復号化可能なＩピクチャであるので、直前のフレームの状態に依存されることなくそのフレーム単独での復号化が可能である。
【０１６１】
したがって、この図１１の例では、復号化の順番としては、破線Ａで示すように、復号化手段４０３のフレームｓ１，ｓ２、復号化手段４０２のフレームＦ３，Ｆ４（これらについては縮小処理が行われる）、復号化手段４０３のフレームｓ５，ｓ６，ｓ７というような順番となる。
【０１６２】
以上の説明より明らかであるように、この実施の形態２は前述の実施の形態１で説明した効果に加え、以下のような効果をもつ。
第１には、アプリケーションが要求するサイズに最も近い符号化データを用いて復号化することができるため、データの品質劣化を最小限にとどめることができる。
【０１６３】
次に、特に縮小されたデータを用いるとき、たとえば、画像においてはサンプル表示、あるいは動画版サムネール表示などを容易に実現することができる。これを実現するに際して、この実施の形態２では、データ送信装置から送られてくる縮小された符号化データをデータ受信装置側で受け取って、データ受信装置ではそれを復号化するだけとすることができるので、データ受信装置側での処理の負荷を軽減することができるとともに、ネットワーク上の負荷の軽減が図れる。また、データ受信装置でサムネール画像などを見ることができることで、ユーザ側からすれば使い勝手のよいデータ通信システムとなる。
【０１６４】
なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、上述の実施の形態１および実施の形態２では、処理対象となるリアルタイムデータとしては動画データを例にとって説明したが、動画データに限られるものではなく、前述したように、音楽や音声についても同様に実施することができる。
【０１６５】
なお、音楽や音声の場合、処理対象となる符号化単位（符号化対象データ）は、予め設定した所定の時間長のデータとする。また、実施の形態２における縮小データは動画などの画像データの場合は、サムネール画像の表示用などに用いることができるが、音楽や音声の場合は、試聴用データなどの出力用として用いることができる。
【０１６６】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【図１】本発明のデータ送信装置の実施の形態１の構成を示すブロック図である。
【図２】本発明のデータ受信装置の実施の形態１の構成を示すブロック図である。
【図３】本発明のデータ受信装置の復号化処理手順を示すフローチャートである。
【図４】本発明のデータ送信装置における符号化処理を説明する例として、符号化手段が２つの場合の符号化処理の一例を説明する図である。
【図５】本発明のデータ受信装置における復号化処理を説明する例として、復号化手段が２つの場合の復号化処理（パケットロスを含む復号化処理）の一例を説明する図である。
【図６】本発明のデータ送信装置の実施の形態２の構成を示すブロック図である。
【図７】本発明のデータ受信装置の実施の形態２の構成を示すブロック図である。
【図８】図３のフローチャートにおける優先復号化手段記憶手段の初期化に係わる処理を実施の形態２に適用可能とするように処理手順を加えた図である。
【図９】図３のフローチャートにおけるデータ出力に係わる処理を実施の形態２に適用可能とするように処理手順を加えた図である。
【図１０】実施の形態２による復号化処理（パケットロスを含む復号化処理）の一例を説明する図である。
【図１１】実施の形態２による復号化処理（パケットロスを含む復号化処理）の他の例を説明する図である。
【図１２】従来のデータ通信を説明するための図である。
【図１３】従来のパケットロスを含むデータ通信を説明するための図である。
【図１４】従来のパケットロスを含むデータ通信を説明するための図である。
【図１５】従来のパケットロスを含むデータ通信を説明するための図である。
【図１６】従来のデータ送信装置の構成を示すブロック図である。
【符号の説明】
１  データ入力手段、２  データ分配手段、３０１〜３０Ｎ  符号化手段、４０１〜４０Ｎ  復号化手段、５  復号化手段管理手段、５１  優先復号化手段記憶手段、５２  復号化手段選択手段、６  データ出力手段、１０  データ通信路、１１  データ縮小手段、１２  出力サイズ取得手段、１３  復号化データ拡大・縮小手段、３１  データ符号化手段、３２  符号化データ送信手段、４１  符号化データ受信手段、４２  データエラー検出手段（パケットロス検出手段）、４３  符号化データ復号化手段、Ｆ１，Ｆ２，・・・  フレーム、ｓ１，ｓ２，・・・  縮小データのフレーム
【図１】
2005033373.tif 000003
【図２】
2005033373.tif 000004
【図３】
2005033373.tif 000005
【図４】
2005033373.tif 000006
【図５】
2005033373.tif 000007
【図６】
2005033373.tif 000008
【図７】
2005033373.tif 000009
【図８】
2005033373.tif 000010
【図９】
2005033373.tif 000011
【図１０】
2005033373.tif 000012
【図１１】
2005033373.tif 000013
【図１２】
2005033373.tif 000014
【図１３】
2005033373.tif 000015
【図１４】
2005033373.tif 000016
【図１５】
2005033373.tif 000017
【図１６】
2005033373.tif 000018