(57)【要約】【課題】冗長データを画像の全領域に対して簡便に付与することで、データの欠損が発生した際も、リアルタイム性を維持しつつ画像の品質を良好に保つことができるようにする。【解決手段】送信装置１００において、圧縮符号化過程のＤＣＴ変換処理結果の高周波成分を冗長化処理ブロック１０７において他画素ブロックの冗長データで置き換えて伝送する。一方、受信装置１０１において、データの欠損が検出された場合には、欠損補完処理ブロック１２０において高周波成分中に置かれている冗長データで補完処理を行う。【選択図】図１
2007336382.tif 000002
【特許請求の範囲】
【請求項１】
画像データを圧縮符号化して送受信する画像伝送装置であって、
圧縮符号化過程のＤＣＴ変換処理結果の高周波成分を冗長データで置換する置換手段を有する画像送信装置と、
データの欠損を検出した場合に、前記冗長データを用いて補完処理を行う補完手段を有する画像受信装置とを備えたことを特徴とする画像伝送装置。
【請求項２】
前記画像送信装置は、前記画像データを入力する入力手段と、前記画像データを圧縮符号化する圧縮符号化手段と、前記画像データに冗長な情報を付加する付加手段と、前記画像データをネットワークに出力する出力手段とを有し、
前記画像受信装置は、前記画像データをネットワークから入力する画像入力手段と、前記画像データの欠損を検出する検出手段と、前記画像データの欠損を補完する欠損補完手段と、前記画像データを復号伸長する復号伸長手段と、前記画像データを出力する画像出力手段とを有することを特徴とする請求項１に記載の画像伝送装置。
【請求項３】
前記置換手段によって冗長データで置換するＤＣＴ変換処理結果の高周波成分は、画像の縦方向上部に隣接する画素群のＤＣＴ変換処理結果の直流成分と、画像の縦方向下部に隣接する画素群のＤＣＴ変換処理結果の直流成分との２つであることを特徴とする請求項１または２に記載の画像伝送装置。
【請求項４】
前記圧縮符号化手段は、ＤＣＴ変換処理結果のデータを一時的に記憶手段に格納し、
前記付加手段は、前記記憶手段で冗長データを付加することを特徴とする請求項２または３に記載の画像伝送装置。
【請求項５】
画像データを圧縮符号化してネットワークに送信する画像送信装置と、前記圧縮符号化された画像データを受信する画像受信装置とで構成される画像伝送装置であって、
前記画像送信装置における通信パケットの生成時に冗長データを拡張領域に格納し、前記画像受信装置においてデータの欠損を検出した場合に、前記冗長データを用いて補完処理を行うことを特徴とする画像伝送装置。
【請求項６】
前記画像送信装置は、前記画像データを入力する入力手段と、前記画像データを圧縮符号化する圧縮符号化手段と、前記画像データに冗長な情報を付加する付加手段と、前記画像データをネットワークに出力する出力手段とを有し、
前記画像受信装置は、前記画像データをネットワークから入力する画像入力手段と、前記画像データの欠損を検出する検出手段と、前記画像データの欠損を補完する補完手段と、前記画像データを復号伸長する復号伸長手段と、前記画像データを出力する画像出力手段とを有することを特徴とする請求項５に記載の画像伝送装置。
【請求項７】
前記通信パケットの拡張領域に格納する冗長データと、前記通信パケットのペイロード中の圧縮符号化されたデータとは、異なる画素ブロックに関連したデータであることを特徴とする請求項５または６に記載の画像伝送装置。
【請求項８】
前記通信パケットの拡張領域に格納する冗長データは、前記通信パケットのペイロード中の圧縮符号化されたデータに関連する画素ブロックのうち、縦方向に隣接する画素ブロックに関するデータであることを特徴とする請求項５乃至７の何れか１項に記載の画像伝送装置。
【請求項９】
前記圧縮符号化手段は、ＤＣＴ変換処理結果のデータを一時的に記憶手段に格納し、
前記付加手段は、前記記憶手段で前記冗長データを生成し、前記冗長データを通信パケットの生成手段に渡すことを特徴とする請求項６乃至８の何れか１項に記載の画像伝送装置。
【請求項１０】
画像データを圧縮符号化して送受信する画像伝送方法において、
画像送信装置において、圧縮符号化過程のＤＣＴ変換処理結果の高周波成分を冗長データで置換する置換工程と、
画像受信装置において、データの欠損を検出した場合に前記冗長データを用いて補完処理を行う補完工程とを備えたことを特徴とする画像伝送方法。
【請求項１１】
請求項１０記載の方法の各工程をコンピュータにて実施させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像伝送装置、画像伝送方法及びプログラムに関し、例えば圧縮された画像を復号して、表示または出力を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
近年のパーソナル・コンピュータの高性能化やその普及、及び通信媒体の高速化に伴い、遠隔コンピュータ間でのデータ授受の多様性が拡がり、動画の送受信をコンピュータ・ネットワーク上で行うことが常態化してきた。また、これに伴って、リアル・ネットワークス社のHelix Serverのような、動画ストリームをリアルタイムで配信するサービスも実用化されてきている。
【０００３】
しかしながら、通信路が混雑していたり、何か別の理由により通信状態が悪かったりする場合には、本来届くべき画像情報の全てが揃わず、これにより、リアルタイムな画像伝送を行おうとした場合に、受信画像が大きく劣化する。劣化した受信画像を補間する方法として、下記の技術が存在する。
【０００４】
例えば、直前のフレームを用いて欠陥部分の補間を行う例が開示されている（例えば、特許文献１参照）。この方法では、受信装置内に画像補間部を設け、過去の画像フレームを参照しながら補間処理を行っている。
【０００５】
一般にＦＥＣ（：Forward Error Correction）と呼ばれる手法がある。これは、送信側で予め冗長符号を付加することで、伝送中にパケット・ロスがあっても、受信側でデータの復元ができるようにするものである。冗長符号化は、Tornado符号、LT符号、Reed-Solomon符号を用いたものが知られている。ｎ個のパケットをグループ化し、それを元に冗長化したｍ個のパケットを生成する（ｎ＜ｍ）。そして、パケット・ロスが生じた場合は、グループ内の残りのパケットを用いて、消失したパケットの内容を復元することができる（例えば、特許文献２参照）。
【０００６】
また、ＦＥＣの適用を選択的に行う手法がある。例えば、画像を部分毎に優先度付けし、優先度を高く設定した箇所にのみ冗長符号を付加する手法が開示されている（例えば、特許文献３参照）。また、欠くと影響が大きなフレーム・データに対してのみ冗長符号を付加する手法も開示されている（例えば、特許文献４参照）。
【０００７】
【特許文献１】特開昭６２−６１４８５号公報
【特許文献２】特開２００１−４５０９８号公報
【特許文献３】特開２０００−１３４６１９号公報
【特許文献４】特開２００４−４８１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、前記従来例では、シーン切り替えが起きた際等の場合、関連性が無いデータによる補間処理が行われることとなり、画像品質における根本的な問題があった。従来例では、誤り強度に比例した帯域が必要となり、用いる帯域を一定とする場合には画像品質が劣化し、画像品質を一定とする場合には使用する帯域の増加をもたらすこととなった。さらに、冗長データ作成のための処理やそれら冗長データを用いる補間処理の負荷が大きくなり、リアルタイム性が損なわれる可能性もあった。また、他の従来例ではＦＥＣが適用されない部分におけるエラー耐性が下がり、それら部分においては画像品質が大きく劣化する可能性があった。
【０００９】
本発明は前述の問題点に鑑み、冗長データを画像の全領域に対して簡便に付与することで、データの欠損が発生した際も、リアルタイム性を維持しつつ画像の品質を良好に保つことができるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の画像伝送装置は、画像データを圧縮符号化して送受信する画像伝送装置であって、圧縮符号化過程のＤＣＴ変換処理結果の高周波成分を冗長データで置換する置換手段を有する画像送信装置と、データの欠損を検出した場合に、前記冗長データを用いて補完処理を行う補完手段を有する画像受信装置とを備えたことを特徴とする。
【００１１】
本発明の画像伝送方法は、画像データを圧縮符号化して送受信する画像伝送方法において、画像送信装置において、圧縮符号化過程のＤＣＴ変換処理結果の高周波成分を冗長データで置換する置換工程と、画像受信装置において、データの欠損を検出した場合に前記冗長データを用いて補完処理を行う補完工程とを備えたことを特徴とする。
【００１２】
本発明のプログラムは、前記の方法の各工程をコンピュータにて実施させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、送信データへの冗長データの挿入や、欠損発生時のデータの補完を、画像データの全般に対してリアルタイム性を損なうことなく、かつネットワーク帯域をいたずらに圧迫することなく行うことができる。
【発明を実施するための最良の形態】
【００１４】
（第１の実施形態）
本発明の第１の実施形態における画像伝送装置の概略構成を、図１に示すブロック図を参照しながら説明する。
本実施形態の画像伝送装置は、送信装置１００と受信装置１０１とがネットワーク１０２を介して接続されている。送信装置１００は、入力された画像データを圧縮符号化したものを、ネットワーク１０２を介して受信装置１０１に伝送する。また、受信装置１０１は伝送されてきた圧縮符号化された画像データを伸長復号化して出力する。
【００１５】
まず、送信装置１００の構成について説明する。
１０３は画像入力インタフェースであり、送信するソース画像データを入力する。１０４は第１のバッファであり、画像入力インタフェース１０３が入力したソース画像データを格納する。１０５はＤＣＴ処理ブロックであり、第１のバッファ１０４に格納されたデータをＤＣＴ変換する。
【００１６】
１０６は第２のバッファであり、ＤＣＴ処理ブロック１０５がＤＣＴ変換したデータを格納する。１０７は冗長化処理ブロックであり、第２のバッファ１０６に格納されたデータに対して冗長化処理を施す。１０８は量子化処理ブロックであり、第２のバッファ１０６に格納されたデータに対して量子化処理を施す。１０９は符号化処理ブロックであり、量子化処理ブロック１０８が量子化したデータを符号化する。
【００１７】
１１０は第３のバッファであり、符号化処理ブロック１０９が符号化したデータを格納する。１１１はパケタイズ処理ブロックであり、第３のバッファ１１０に格納されたデータをペイロードとしたパケットを生成する。１１２は送信インタフェースであり、パケタイズ処理ブロック１１１が生成したパケットをネットワーク１０２に送信する。
【００１８】
次に、受信装置１０１の構成について説明する。
１１３は受信インタフェースであり、ネットワーク１０２からパケットを受信する。１１４はデパケタイズ処理ブロックであり、受信インタフェース１１３が受信したパケットを展開する。
【００１９】
１１５は第４のバッファであり、デパケタイズ処理ブロック１１４がパケットから展開したデータを格納する。１１６は欠損検出処理ブロックであり、第４のバッファ１１５に格納されたデータからパケットの欠損を検出する。１１７は復号化処理ブロックであり、第４のバッファ１１５に格納されたデータを復号化する。
【００２０】
１１８は逆量子化処理ブロックであり、復号化処理ブロック１１７が復号化したデータを逆量子化する。１１９は第５のバッファであり、逆量子化処理ブロック１１８が逆量子化したデータを格納する。１２０は欠損補完処理ブロックであり、第５のバッファ１１９に格納されたデータに対して欠損補完処理を施す。
【００２１】
１２１はＩＤＣＴ処理ブロックであり、第５のバッファ１１９に格納されたデータを逆ＤＣＴ変換する。１２２は第６のバッファであり、ＩＤＣＴ処理ブロック１２１が逆ＤＣＴ変換したデータを格納する。１２３は画像出力インタフェースであり、第６のバッファ１２２に格納されたデータを出力する。
【００２２】
以下、図１に示すブロック図における一連の処理について説明する。本実施形態においては、横方向に６４０画素、縦方向に４８０画素の画像を伝送する動作について例示する。
画像入力インタフェース１０３は、入力された画像データを第１のバッファ１０４に格納する。ＤＣＴ処理ブロック１０５は、第１のバッファ１０４に格納された画像データを８×８画素のブロック単位で順次読み出し、ＤＣＴ変換を行い、ＤＣＴ変換した結果のデータを第２のバッファ１０６に順次格納する。
【００２３】
図２に、第２のバッファ１０６に格納される８×８画素ブロックのＤＣＴ変換結果のデータ配列を示す。
図２において、ＤＣ（ｉ，ｊ）２００は、横方向ｉ番目、縦方向ｊ番目の８×８画素ブロックのＤＣ成分を示す。本実施形態においては、入力画像の画素サイズは縦方向に６４０画素、横方向に４８０画素であるので、ｉは０〜７９までの値をとり、ｊは０〜５９までの値をとる。ＡＣｋ（ｉ，ｊ）２０１〜２０７は、横方向ｉ番目、縦方向ｊ番目の８×８画素ブロックのｋ番目のＡＣ成分を示す。
【００２４】
図３に、ＤＣＴ変換後の基底ベクトルを示す。各８×８画素ブロックのＤＣＴ変換後のデータは、図３の基底ベクトルをジグザグ・スキャンした順序に並んでおり、ｋは１〜６３までの値をとる。ｋの値が大きいＡＣ成分ほど、高周波領域に属する。
【００２５】
ＤＣＴ処理ブロック１０５によるＤＣＴ変換処理が済み、図２に示す様態でＤＣＴ変換処理結果のデータが第２のバッファ１０６に格納されると、冗長化処理ブロック１０７が冗長化処理を開始する。冗長化処理ブロック１０７は、最も高周波領域側の２つのＡＣ成分を、縦方向に隣接する２つの８×８画素ブロックのＤＣ成分に置き換える。本実施形態においては、ＡＣ６２（ｉ，ｊ）をＤＣ（ｉ，ｊ−１）に置き換え、ＡＣ６３（ｉ，ｊ）をＤＣ（ｉ，ｊ＋１）に置き換える。
【００２６】
一方、縦方向最上位に位置する８×８画素ブロック（ｊ＝０である８×８画素ブロック）や、縦方向最下位に位置する８×８画素ブロック（ｊ＝５９である８×８画素ブロック）には、縦方向に隣接する８×８画素ブロックが片側しか存在しない。そのような場合、冗長化処理ブロック１０７は、存在しない８×８画素ブロックのＤＣ成分の代わりに、他方の縦方向端の８×８画素ブロックのＤＣ成分を用いて置き換える。本実施形態においては、ＡＣ６２（ｉ，０）はＤＣ（ｉ，５９）で置き換え、また、ＡＣ６３（ｉ，５９）はＤＣ（ｉ，０）で置き換える。
【００２７】
図４に、冗長化処理ブロック１０７による冗長化処理後の第２のバッファ１０６に格納されたデータ配列を示す。
図４において、４００は添え字（ｉ，ｊ−１）の８×８画素ブロックのＤＣ成分であり、４０１は添え字（ｉ，ｊ＋１）の８×８画素ブロックのＤＣ成分である。
【００２８】
冗長化処理ブロック１０７による冗長化処理が済み、図４に示す様態で改変されたＤＣＴ変換処理結果が第２のバッファ１０６に格納されると、量子化処理ブロック１０８がそれらデータを順次読み出し、量子化処理を施す。量子化処理が済んだデータは符号化処理ブロック１０９に渡され、符号化処理が施される。符号化処理ブロック１０９により符号化されたデータは、第３のバッファ１１０に格納される。
【００２９】
符号化処理ブロック１０９による符号化処理が済み、第３のバッファ１１０に符号化データが格納されると、パケタイズ処理ブロック１１１がそれらデータを順次読み出し、通信パケット化する。パケタイズ処理ブロック１１１はパケタイズする際に、各パケットにシーケンス番号を付加する。なお、シーケンス番号は、画像の識別とその画像内の何番目のデータであるかの識別が可能となるように付加される。また、１つのパケットには複数の８×８画素ブロックの符号化されたデータを含むことができ、パケット中の８×８画素ブロックは前述した添え字（ｉ，ｊ）の順で並んだ形で含まれる。
【００３０】
パケタイズ処理ブロック１１１は、その他ネットワーク１０２上を伝送させるのに必要なヘッダ類を付加して通信パケットを完成させると、順次それらパケットを送信インタフェース１１２に渡す。送信インタフェース１１２は、渡されたパケットをネットワーク１０２に送信する。
【００３１】
送信装置１００から送信されたパケットは、ネットワーク１０２上を受信装置１０１に伝送される。受信インタフェース１１３は、ネットワーク１０２からパケットを受信し、受信したパケットをデパケタイズ処理ブロック１１４に渡す。
【００３２】
デパケタイズ処理ブロック１１４は、パケット中のシーケンス番号を解釈することで新たな画像のデータ伝送が開始されたことを検出すると、第４のバッファ１１５の領域を確保し、確保した領域の初期化を行う。また、デパケタイズ処理ブロック１１４は、渡されたパケットにおける通信エラー発生の有無のチェックを行う。このチェックはＣＲＣ等の手法を用いる。
【００３３】
通信エラーの発生が検出されないパケットは、送信装置１００中のパケタイズ処理ブロック１１１が付加したヘッダを取り去った上で、第４のバッファ１１５に格納される。なお、第４のバッファ１１５に格納される際、パケットに付加されていたシーケンス番号に対応したアドレスに格納される。すなわち、第４のバッファ１１５には、８×８画素ブロックの添え字（ｉ，ｊ）の順で符号化データが並ぶことになる。
【００３４】
また、通信エラーの発生が検出されたパケットは、この時点で破棄される。受信インタフェース１１３が、該画像データを含むパケットの受信を開始してから一定時間が経過すると、欠損検出処理ブロック１１６が動作を開始する。第４のバッファ１１５には、８×８画素ブロックの符号化されたデータが添え字（ｉ，ｊ）の順で格納されている。また、通信エラーが検出され破棄されたパケットに含まれるデータ、及び通信遅滞により到着が遅れているパケットに含まれるデータに対応する第４のバッファ１１５中の箇所は、初期化されたままで残されている。
【００３５】
欠損検出処理ブロック１１６は、１パケット分単位で初期化されたまま残されている箇所を見つけ、その部分を欠損箇所として欠損補完処理ブロック１２０に通知する。欠損補完処理ブロック１２０の動作の詳細については後述する。その後、復号化処理ブロック１１７が第４のバッファ１１５に格納されている符号化されたデータを順次読み出し、復号化を行う。復号化されたデータは逆量子化処理ブロック１１８に渡され、逆量子化処理ブロック１１８は逆量子化処理を行う。
【００３６】
逆量子化処理を施されたデータは、第５のバッファ１１９に格納される。なお、第４のバッファ１１５に初期化されたままで残されているデータの欠損箇所については、復号化処理ブロック１１７による処理、及び逆量子化処理ブロック１１８による処理はスキップされる。第５のバッファ１１９においても、８×８画素ブロックの添え字（ｉ，ｊ）の順でデータが並ぶ。データの欠損が発生しなかった場合、第５のバッファ１１９に格納されているデータは図４に示した様態と同じとなる。データの欠損が発生した場合、例えば、図５のようになる。
【００３７】
図５においては、添え字（ｉ，ｊ）が（０，２０）、（１，２０）、（２，２０）、（３，２０）の８×８画素ブロックに対応するデータが欠損した様子を示している。図５において、５００〜５０３は、「無効」とされている無効領域である。また、無効領域５００〜５０３には、現在処理を行っている画像のデータとは関連の無いデータが格納されており、欠損検出処理ブロック１１６から通知された情報により、欠損補完処理ブロック１２０によって識別されるものである。
【００３８】
欠損補完処理ブロック１２０は、欠損検出処理ブロック１１６から通知された情報に基づき、欠損したデータの補完処理を行う。添え字（ｉ，ｊ）の８×８画素ブロックのデータ補完は、添え字（ｉ，ｊ−１）の８×８画素ブロックのデータ中に包含される添え字（ｉ，ｊ）の８×８画素ブロックのＤＣ成分、または添え字（ｉ，ｊ＋１）の８×８画素ブロックのデータ中に包含される添え字（ｉ，ｊ）の８×８画素ブロックのＤＣ成分を、添え字（ｉ，ｊ）の８×８画素ブロックのＤＣ成分が本来あるべき箇所にコピーする。そして、ＡＣ成分には値０を書き込むことによって行う。
【００３９】
図５に示す例においては、添え字（０，２０）の８×８画素ブロックのＤＣ成分を、添え字（０，１９）または添え字（０，２１）の８×８画素ブロックのデータ中に包含される添え字（０，２０）の８×８画素ブロックのＤＣ成分をコピーする。そして、ＡＣ成分を全て値０とすることによって補完する。また、添え字（１，２０）の８×８画素ブロックのＤＣ成分を、添え字（１，１９）または添え字（１，２１）の８×８画素ブロックのデータ中に包含される添え字（１，２０）の８×８画素ブロックのＤＣ成分をコピーする。そして、ＡＣ成分を全て値０とすることによって補完する。
【００４０】
さらに、添え字（２，２０）の８×８画素ブロックのＤＣ成分を、添え字（２，１９）または添え字（２，２１）の８×８画素ブロックのデータ中に包含される添え字（２，２０）の８×８画素ブロックのＤＣ成分をコピーする。そいて、ＡＣ成分を全て値０とすることによって補完する。また、添え字（３，２０）の８×８画素ブロックのＤＣ成分を、添え字（３，１９）または添え字（３，２１）の８×８画素ブロックのデータ中に包含される添え字（３，２０）の８×８画素ブロックのＤＣ成分をコピーする。そして、ＡＣ成分を全て値０とすることで補完する。
【００４１】
図６に、図５に示すデータ欠損を補完した結果のデータ配列を示す。
図６において、６００は補完するＤＣ（０，２０）、ＤＣ（１，２０）、ＤＣ（２，２０）、ＤＣ（３，２０）のソースであり、６０１〜６０４は欠損補完処理ブロック１２０により補完されたデータ群である。
【００４２】
欠損補完処理ブロック１２０による欠損補完処理が済み、第５のバッファ１１９に例えば図６に示す様態でデータが格納されると、ＩＤＣＴ処理ブロック１２１がそれらデータを順次読み出し、逆ＤＣＴ処理をそれぞれ施す。そして、その結果を第６のバッファ１２２に書き込む。
【００４３】
ＩＤＣＴ処理ブロック１２１による逆ＤＣＴ処理は、送信装置１００の冗長化処理ブロック１０７が付加した冗長データである、縦方向上下に隣接する８×８画素ブロックのＤＣ成分を用いずに行う。そして、それら縦方向上下に隣接する８×８画素ブロックのＤＣ成分が置かれている箇所に本来置かれている高周波ＡＣ成分は値０と見なして逆ＤＣＴ処理を行う。そして、第６のバッファ１２２に格納されている復元された画像データは、画像出力インタフェース１２３により受信装置外部へ転送される。
【００４４】
以上のように本実施形態においては、送信データへの冗長データの挿入や、欠損発生時のデータの補完を、画像データの全般に対してリアルタイム性を損なうことなく、かつネットワーク帯域をいたずらに圧迫することなく行うことができる。
【００４５】
（第２の実施形態）
本発明の第２の実施形態における画像伝送装置の概略構成を、図７に示すブロック図を参照しながら説明する。
本実施形態の画像伝送装置は、送信装置７００と受信装置７０１とがネットワーク７０２を介して接続されている。送信装置７００は、入力された画像データを圧縮符号化したものを、ネットワーク７０２を介して受信装置７０１に伝送する。そして、受信装置７０１は、伝送されてきた圧縮符号化された画像データを伸長復号化して出力する。
【００４６】
送信装置７００の構成について説明する。
７０３は画像入力インタフェースであり、送信するソース画像データを入力する。７０４は第１のバッファであり、画像入力インタフェース７０３が入力したソース画像データを格納する。７０５はＤＣＴ処理ブロックであり、第１のバッファ７０４に格納されたデータをＤＣＴ変換する。
【００４７】
７０６は第２のバッファであり、ＤＣＴ処理ブロック７０５がＤＣＴ変換したデータを格納する。７０７は冗長化処理ブロックであり、第２のバッファ７０６に格納されているデータを用いて冗長化処理を行う。７０８は量子化処理ブロックであり、第２のバッファ７０６に格納されているデータに対して量子化処理を施す。７０９は符号化処理ブロックであり、量子化処理ブロック７０８が量子化したデータを符号化する。
【００４８】
７１０は第３のバッファであり、符号化処理ブロック７０９が符号化したデータを格納する。また、冗長化処理ブロック７０７が冗長化処理したデータを格納する。７１１はパケタイズ処理ブロックであり、第３のバッファ７１０に格納されているデータをパケット化する。７１２は送信インタフェースであり、パケタイズ処理ブロック７１１が生成したパケットをネットワーク７０２に送信する。
【００４９】
次に、受信装置７０１の構成について説明する。
７１３は受信インタフェースであり、ネットワーク７０２からパケットを受信する。７１４はデパケタイズ処理ブロックであり、受信インタフェース７１３が受信したパケットを展開する。
【００５０】
７１５は第４のバッファであり、デパケタイズ処理ブロック７１４が展開したデータを格納する。７１６は復号化処理ブロックであり、第４のバッファ７１５に格納されているデータを復号化する。７１７は逆量子化処理ブロックであり、復号化処理ブロック７１６が復号化したデータを逆量子化する。７１８は欠損検出補完処理ブロックであり、第４のバッファ７１５に格納されているデータからパケットの欠損を検出し、それらの欠損に対して補完処理を行う。
【００５１】
７１９は第５のバッファであり、逆量子化処理ブロック７１７が逆量子化したデータを格納する。また、欠損検出補完処理ブロック７１８が欠損補完処理したデータを格納する。７２０はＩＤＣＴ処理ブロックであり、第５のバッファ７１９に格納されているデータを逆ＤＣＴ変換する。７２１は第６のバッファであり、ＩＤＣＴ処理ブロック７２０が逆ＤＣＴ変換したデータを格納する。７２２は画像出力インタフェースであり、第６のバッファ７２１に格納されているデータを出力する。
【００５２】
以下、図７に示すブロック図における一連の処理について説明する。本実施形態においては、横方向に６４０画素、縦方向に４８０画素の画像を伝送する動作を例示する。
画像入力インタフェース７０３は、入力された画像データを第１のバッファ７０４に格納する。ＤＣＴ処理ブロック７０５は、第１のバッファ７０４に格納されている画像データを８×８画素のブロック単位で順次読み出し、ＤＣＴ変換を行い、ＤＣＴ変換した結果のデータを第２のバッファ７０６に順次格納する。
【００５３】
第２のバッファ７０６に格納される８×８画素ブロックのＤＣＴ変換処理結果のデータ配列は、第１の実施形態の図２に示すものと同じである。ＤＣＴ処理ブロック７０５によるＤＣＴ変換処理が済み、図２に示す様態でＤＣＴ変換処理結果のデータが第２のバッファ７０６に格納されると、冗長化処理ブロック７０７が冗長化処理を開始し、量子化処理ブロック７０８が量子化処理を開始する。
【００５４】
冗長化処理ブロック７０７は、それぞれの８×８画素ブロックのＤＣ成分を第２のバッファ７０６から読み出し、第３のバッファ７１０の所定の領域にコピーする。量子化処理ブロック７０８は、第２のバッファ７０６に格納されているデータを順次読み出し、量子化処理を施す。量子化処理が済んだデータは符号化処理ブロック７０９に渡され、符号化処理が施される。そして、符号化処理ブロック７０９により符号化されたデータは第３のバッファ７１０に格納される。
【００５５】
図８に、符号化処理ブロック７０９により符号化されたデータが第３のバッファ７１０に格納された時の状態を示す。
図８において、８００は符号化処理ブロック７０９によって格納された符号化データ群であり、８０１は冗長化処理ブロック７０７によって格納されたＤＣ成分データ群である。
【００５６】
冗長化処理ブロック７０７による処理、及び符号化処理ブロック７０９による符号化処理が済み、第３のバッファ７１０において図８に示すような状態になると、パケタイズ処理ブロック７１１がパケタイズ処理を開始する。
【００５７】
パケタイズ処理ブロック７１１は、第３のバッファ７１０からヘッダ情報を含む符号化データと、冗長化処理ブロック７０９によって格納された各８×８画素ブロックのＤＣ成分のデータを順次読み出す。そして、画像の識別とその画像内の何番目のデータであるかが識別可能となるようなシーケンス番号、その他ネットワーク１０２上を伝送させるのに必要なヘッダ類を付加して、通信パケットを作成する。
【００５８】
このとき、符号化データはパケットのペイロード・データ部に包含させ、８×８画素ブロックのＤＣ成分は通信用ヘッダ部の拡張領域に包含させる。その際、添え字（ｉ，ｊ）の８×８画素ブロックの符号化データをペイロード・データ部に包含するパケットには、８×８画素ブロックのＤＣ（ｉ，ｊ−１）と、８×８画素ブロックのＤＣ（ｉ，ｊ＋１）を拡張ヘッダ領域に包含する。すなわち、ある８×８画素ブロックの符号化データを伝送するパケットには、縦方向上下に隣接する８×８画素ブロックのＤＣ成分が含まれるようにする。
【００５９】
ＲＴＰ（：Realtime Transport Protocol）を用いる場合を例示する。
ＲＴＰヘッダとして図９に示す情報が付加される。ＲＴＰヘッダ中のＸフラグの値を１とすると、図９に示すＲＴＰ固定ヘッダの他に拡張ヘッダを付加することができる。ＲＴＰを用いる場合においては、この拡張ヘッダ部に各８×８画素ブロックのＤＣ成分を包含させる。
【００６０】
パケタイズ処理ブロック７１１が作成するパケットは、図１０に示すようなものとなる。
図１０において、１０００はＩＰヘッダ部であり、１００１はＵＤＰヘッダ部である。１００２はＲＴＰ固定ヘッダ部であり、１００３はＲＴＰ拡張ヘッダ部である。また、１００４はペイロード・データ部である。そして、１００５〜１００７はペイロード・データ部１００４に含まれる符号化データ群であり、１００８〜１０１３はＲＴＰ拡張ヘッダ部１００３に含まれるＤＣ成分データ群である。
【００６１】
パケタイズ処理ブロック７１１は、通信パケットを作成すると、順次それらパケットを送信インタフェース７１２に渡す。送信インタフェース７１２は、渡されたパケットをネットワーク７０２に送信する。
【００６２】
送信装置７００から送信されたパケットは、ネットワーク７０２上を受信装置７０１に伝送される。受信インタフェース７１３は、ネットワーク７０２からパケットを受信し、受信したパケットをデパケタイズ処理ブロック７１４に渡す。デパケタイズ処理ブロック７１４は、パケット中のシーケンス番号を解釈することで新たな画像のデータ伝送が開始されたことを検出すると、第４のバッファ７１５の領域を確保し、確保した領域の初期化を行う。
【００６３】
デパケタイズ処理ブロック７１４は、渡されたパケットにおける通信エラー発生の有無のチェックを行う。このチェックはＣＲＣ等の手法を用いる。通信エラーの発生が検出されないパケットは、パケット中のペイロード・データ部１００４とＲＴＰ拡張ヘッダ部１００３が第４のバッファ７１５にそれぞれ格納される。
【００６４】
それぞれのデータの格納は、パケット中のシーケンス番号に対応したアドレスに対してなされる。第４のバッファ７１５には８×８画素ブロックの添え字（ｉ，ｊ）の順で、ペイロード・データ部１００４に含まれていた符号化データと、ＲＴＰ拡張ヘッダ部１００３に含まれていたＤＣ成分とが並ぶこととなる。なお、通信エラーの発生が検出されたパケットは、この時点で破棄される。
【００６５】
復号化処理ブロック７１６は、第４のバッファ７１５から符号化データを順次読み出し、復号化を行う。復号化されたデータは逆量子化処理ブロック７１７に渡され、逆量子化処理ブロック７１７は逆量子化処理を行う。そして、逆量子化処理を施されたデータは、第５のバッファ７１９に格納される。
【００６６】
第４のバッファ７１５で初期化されたままで残されているデータについては、復号化処理ブロック７１６による処理、及び逆量子化処理ブロック７１７による処理は行わない。パケットを受信し、符号化データが第４のバッファ７１５に格納される度に、複合化処理ブロック７１６の処理が起動し、引き続き逆量子化処理ブロック７１７の処理が起動する。
【００６７】
一方、受信インタフェース７１３が該画像データを含むパケットの受信を開始してから一定時間が経過すると、欠損検出補完処理ブロック７１８が動作を開始する。第４のバッファ７１５には８×８画素ブロックの符号化されたデータとＤＣ成分とが、添え字（ｉ，ｊ）の順で格納されている。通信エラーが検出され破棄されたパケットに含まれるデータ、及び通信遅滞により到着が遅れているパケットに含まれるデータに対応する第４のバッファ７１５に格納されている箇所は、初期化されたままで残されている。
【００６８】
欠損検出補完処理ブロック７１８は、１パケット分単位で初期化されたまま残されている箇所を見つけ、それらデータを包含していたパケットが欠損したことを認識し、補完処理を開始する。
【００６９】
添え字（ｉ、ｊ）の８×８画素ブロックのデータ補完は、添え字（ｉ，ｊ−１）の８×８画素ブロックの符号化データが含まれていたパケット、または添え字（ｉ，ｊ＋１）の８×８画素ブロックの符号化データが含まれていたパケットのＲＴＰ拡張ヘッダ部１００３に含まれていた、第４のバッファ７１５中の添え字（ｉ，ｊ）の８×８画素ブロックのＤＣ成分を、第５のバッファ７１９中の添え字（ｉ，ｊ）の８×８画素ブロックのＤＣ成分が本来あるべき箇所にコピーする。そして、ＡＣ成分には値０を書き込むことで行う。
【００７０】
図１１は、本実施形態における補完処理を例示する図である。
図１１において、図１１（ａ）は第４のバッファ７１５の状態を示し、図１１（ｂ）は補完処理前の第５のバッファ７１９の状態を示し、図１１（ｃ）は補完処理後の第５のバッファ７１９の状態を示す。
【００７１】
図１１（ａ）に示す第４のバッファ７１５の状態を見ることにより、欠損検出補完処理ブロック７１８は、添え字（ｉ，ｊ）が（０，２２）、（１，２２）、（２，２２）、及び（３，２２）の８×８画素ブロックの符号化データが到着しなかったことを検知する。
【００７２】
図１１（ａ）において、１１００〜１１０３は「無効」と記されている領域であり、初期化された状態のまま残っている箇所である。復号化処理ブロック７１６及び逆量子化処理ブロック７１７が処理を行うことで、欠損検出補完処理ブロック７１８による補完処理前の第５のバッファ７１９の状態は、図１１（ｂ）に示すようになる。
【００７３】
添え字（ｉ，ｊ）が（０，２２）、（１，２２）、（２，２２）、及び（３，２２）の４つの８×８画素ブロックについては、復号化処理ブロック７１６と逆量子化処理ブロック７１７による処理が行われない。このため、領域１１０４〜１１０７には無効なデータが並んでいる。欠損検出補完処理ブロック７１８は、第４のバッファ７１５における添え字（ｉ，ｊ）が（０，２２）、（１，２２）、（２，２２）、及び（３，２２）の８×８画素ブロックのＤＣ成分１１０８を、第５のバッファ７１９の該当箇所にコピーする。ＡＣ成分の値は全て０とする。
【００７４】
このようにすることにより、第５のバッファ７１９は図１１（ｃ）に示すような状態となる。１１０９〜１１１２は、欠損検出補完処理ブロック７１８によって補完されたデータ群である。
【００７５】
欠損検出補完処理ブロック７１８による欠損補完処理が済み、第５のバッファ７１９にデータが格納されると、ＩＤＣＴ処理ブロック７２０がそれらデータを順次読み出し、逆ＤＣＴ処理をそれぞれ施す。そして、その結果を第６のバッファ７２１に書き込む。第６のバッファ７２１に格納された復元された画像データは、画像出力インタフェース７２２により受信装置７０１外部へ転送される。
【００７６】
以上のように本実施形態においては、送信データへの冗長データの挿入や、欠損発生時のデータの補完を、画像データの全般に対してリアルタイム性を損なうことなく、かつネットワーク帯域をいたずらに圧迫することなく行うことができる。
【００７７】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像伝送装置を構成する各手段、並びに画像伝送方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００７８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７９】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムまたは装置に直接、または遠隔から供給する。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００８０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００８２】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００８３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００８４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８５】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００８７】
さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００８８】
【図１】本発明の第１の実施形態における画像伝送装置の概略構成例を示すブロック図である。
【図２】本発明の第１の実施形態において、ＤＣＴ変換処理結果を格納する第２のバッファ内のデータ配列例を示す図である。
【図３】本発明の第１の実施形態において、ＤＣＴ変換後の基底ベクトルを示す図である。
【図４】本発明の第１の実施形態において、冗長化処理後の第２のバッファ内のデータ配列例を示す図である。
【図５】本発明の第１の実施形態において、欠損発生時の第５のバッファ内のデータ配列例を示す図である。
【図６】本発明の第１の実施形態において、補完処理後の第５のバッファ内のデータ配列例を示す図である。
【図７】本発明の第２の実施形態における画像伝送装置の概略構成例を示すブロック図である。
【図８】本発明の第２の実施形態において、符号化処理後の第３のバッファ内のデータ配列例を示す図である。
【図９】本発明の第２の実施形態において、ＲＴＰヘッダを示す図である。
【図１０】本発明の第２の実施形態において、通信パケットの構成例を示す図である。
【図１１】本発明の第２の実施形態において、補完処理を示す図である。
【符号の説明】
【００８９】
１００  送信装置
１０１  受信装置
１０２  ネットワーク
１０３  画像入力インタフェース
１０４  第１のバッファ
１０５  ＤＣＴ処理ブロック
１０６  第２のバッファ
１０７  冗長化処理ブロック
１０８  量子化処理ブロック
１０９  符号化処理ブロック
１１０  第３のバッファ
１１１  パケタイズ処理ブロック
１１２  送信インタフェース
１１３  受信インタフェース
１１４  デパケタイズ処理ブロック
１１５  第４のバッファ
１１６  欠損検出処理ブロック
１１７  復号化処理ブロック
１１８  逆量子化処理ブロック
１１９  第５のバッファ
１２０  欠損補完処理ブロック
１２１  ＩＤＣＴ処理ブロック
１２２  第６のバッファ
１２３  画像出力インタフェース
【図１】
2007336382.tif 000003
【図２】
2007336382.tif 000004
【図３】
2007336382.tif 000005
【図４】
2007336382.tif 000006
【図５】
2007336382.tif 000007
【図６】
2007336382.tif 000008
【図７】
2007336382.tif 000009
【図８】
2007336382.tif 000010
【図９】
2007336382.tif 000011
【図１０】
2007336382.tif 000012
【図１１】
2007336382.tif 000013