(57)【特許請求の範囲】
【請求項１】
所定の順に２つの系列で入力される、所定の数の画素の画素値の関係を算出する情報処理装置において、
ブロック内の左上隅の画素を含む格子状に配置された画素を所定の順に並べた第１の系列で入力された画素値を１画素分だけ遅延させる第１の遅延手段と、
前記ブロック内の前記第１の系列に含まれない画素を所定の順に並べた第２の系列で入力された画素値と前記第１の遅延手段で遅延された画素値との差の絶対値を演算する第１の演算手段と、
前記第１の遅延手段で遅延された画素値を１画素分だけ遅延させる第２の遅延手段と、
前記第２の系列で入力された画素値と前記第２の遅延手段で遅延された画素値との差の絶対値を演算する第２の演算手段と、
前記第２の系列で入力された画素値を１画素分だけ遅延させる第３の遅延手段と、
前記第１の系列で入力された画素値と前記第３の遅延手段で遅延された画素値との差の絶対値を演算する第３の演算手段と、
前記第３の遅延手段で遅延された画素値を１画素分だけ遅延させる第４の遅延手段と、
前記第１の系列で入力された画素値と前記第４の遅延手段で遅延された画素値との差の絶対値を演算する第４の演算手段と、
前記第１の系列で入力された画素値と前記第２の系列で入力された画素値との差の絶対値を演算する第５の演算手段と、
前記第１の演算手段で演算された前記絶対値、前記第２の演算手段で演算された前記絶対値、前記第３の演算手段で演算された前記絶対値、前記第４の演算手段で演算された前記絶対値、および前記第５の演算手段で演算された前記絶対値を加算する加算手段と
を含む情報処理装置。
【請求項２】
所定の順に２つの系列で入力される、所定の数の画素の画素値の関係を算出する情報処理装置が、
ブロック内の左上隅の画素を含む格子状に配置された画素を所定の順に並べた第１の系列で入力された画素値を１画素分だけ遅延させる第１の遅延ステップと、
前記ブロック内の前記第１の系列に含まれない画素を所定の順に並べた第２の系列で入力された画素値と前記第１の遅延ステップにより遅延された画素値との差の絶対値を演算する第１の演算ステップと、
前記第１の遅延ステップにより遅延された画素値を１画素分だけ遅延させる第２の遅延ステップと、
前記第２の系列で入力された画素値と前記第２の遅延ステップにより遅延された画素値との差の絶対値を演算する第２の演算ステップと、
前記第２の系列で入力された画素値を１画素分だけ遅延させる第３の遅延ステップと、
前記第１の系列で入力された画素値と前記第３の遅延ステップにより遅延された画素値との差の絶対値を演算する第３の演算ステップと、
前記第３の遅延ステップにより遅延された画素値を１画素分だけ遅延させる第４の遅延ステップと、
前記第１の系列で入力された画素値と前記第４の遅延ステップにより遅延された画素値との差の絶対値を演算する第４の演算ステップと、
前記第１の系列で入力された画素値と前記第２の系列で入力された画素値との差の絶対値を演算する第５の演算ステップと、
前記第１の演算ステップにより演算された前記絶対値、前記第２の演算ステップにより演算された前記絶対値、前記第３の演算ステップにより演算された前記絶対値、前記第４の演算ステップにより演算された前記絶対値、および前記第５の演算ステップにより演算された前記絶対値を加算する加算ステップと
を含む情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法に関し、特に、複数のフレームを分割したブロック毎に可変長に符号化されたコードを切り出して、前記ブロック毎に所定の時間に復号し、画像の信号を出力する情報処理装置および方法に関する。
【０００２】
【従来の技術】
データ伝送における圧縮方式の多くは、圧縮比を向上させるため、エントロピー符号化に代表される可変長符号化が用いられている。このエントロピー符号化の特徴は、圧縮の対象となるデータの内容に応じて符号語の長さを変えることで圧縮を実現することである。例えば、発生頻度の高いデータには、短い符号語が割り当てられ、発生頻度の低いデータには長い符号語が割り当てられる。その結果、伝送するデータ全体の情報量が削減される。
【０００３】
通信エラーにより受信側に誤ったデータが伝送された場合、データの内容に応じて、符号語の長さが常に変化するため、復号の誤りは、伝送されるデータの基準となるポイントまで続くことになり、この現象は、一般に「エラー伝搬」と称される。
【０００４】
また、MPEG(Moving Picture Experts Group)に代表される動画像の圧縮方式は、離散コサイン変換により、空間的冗長度を減らすと共に、フレーム間の差分のみを伝送するなどにより、時間的冗長度を減らすことにより、データ量を削減する。
【０００５】
このような動画像の圧縮方式により圧縮された動画像のデータを伸張する場合、通信エラーにより受信側に誤った動画像のデータが伝送されたとき、そのデータの欠落は、空間的および時間的に伸張され、圧縮比が高いほど顕著に現れる。
【０００６】
モバイル環境等において、通信路の条件は、固定局と固定局との通信または有線による通信と比較して劣悪で、「パケットロス」と称されるバースト状のデータの欠落が比較的頻繁に発生する。このようなモバイル環境では、エラー伝搬が少なく、ビット誤りが空間的に広がるのを防止するために、空間的冗長度のみを除去する圧縮方式、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）方式がデータの欠落の影響を受けにくく、有利である。
【０００７】
ＡＤＲＣ方式は、半固定長の符号化方式で、符号間に画素相関が残っており、データの欠落が発生しても、この相関を利用して欠落したデータを復元すれば、非常に高い復元の成功率が得られる。このＡＤＲＣ方式の復号の処理において、符号に対する演算は、所定の数の画素を含むブロックを単位として実行される。
例えば、ブロック内の上下または左右に隣接する画素の符号（以下、コードと称する）の差の絶対値を加算した値を、そのブロックの評価値として求める場合を考える。
【０００８】
この評価値について、図１に示される４×４の画素のブロックを例に説明する。いま、ブロックの左端の最も上に位置する画素を、ｑ０とし、ｑ０の右隣の画素を、ｑ１とし、ｑ１の右隣の画素を、ｑ２とし、ブロックの右端の最も上に位置する画素を、ｑ３とする。ブロックの左端の上から２番目の行に位置する画素を、ｑ４とし、ｑ４の右隣の画素を、ｑ５とし、ｑ５の右隣の画素を、ｑ６とし、ブロックの右端の上から２番目の行に位置する画素を、ｑ７とする。
【０００９】
同様に、３番目の行の画素は、左から順に、それぞれｑ８，ｑ９，ｑａ，またはｑｂとする。最も下の行の左端の画素は、左から順に、それぞれｑｃ，ｑｄ，ｑｅ，またはｑｆとする。
【００１０】
このように各画素に符号を対応させたとき、このブロックの評価値は、式（１）で算出される。
0004568939.tif 000002
式（１）において、（ｑ０）乃至（ｑｆ）は、画素ｑ０乃至ｑｆのそれぞれのコードを表す。｜｜は、絶対値を求める関数を表す。このように、評価値は、ブロック内の縦または横に隣接する画素のコードの差の絶対値を加算して算出される。
【００１１】
図２は、図１に示すブロックの評価値を算出する従来の評価値算出回路を示す図である。レジスタ１は、入力されたコードを１つのコードが入力される時間（例えば、１クロック分）遅延し、演算回路２に供給する。演算回路２は、レジスタ１から供給されたコードと入力されたコードとの差を算出し、絶対値回路３に供給する。
【００１２】
絶対値回路３は、演算回路２から入力されたコードの差の絶対値を算出し、加算器４に供給する。加算器４は、絶対値回路３の出力およびレジスタ５の出力を加算し、レジスタ５に出力する。レジスタ５は、１つのコードが入力される時間遅延し、加算器４に出力し、また外部に出力する。
【００１３】
図３は、図２に示す評価値算出回路に入力されるコードを示す図である。コード（ｑ０）乃至（ｑｆ）が順に入力され、その後、再度、（ｑ０），（ｑ４），（ｑ８），（ｑｃ）・・・の順に、入力される。コード（ｑ０）乃至（ｑｆ）は、図２示す評価値算出回路に、それぞれ２回入力される。
【００１４】
図４は、図１に示すブロックの評価値を算出する従来の他の評価値算出回路を示す図である。レジスタ１１−１は、入力１から入力されたコードを１つのコードが入力される時間遅延し、演算回路１２−１に供給する。演算回路１２−１は、レジスタ１１−１から供給されたコードと入力１から入力されたコードとの差を算出し、絶対値回路１３−１に供給する。
【００１５】
絶対値回路１３−１は、演算回路１２−１から入力されたコードの差の絶対値を算出し、加算器１４−１に供給する。加算器１４−１は、絶対値回路１３−１の出力およびレジスタ１５−１の出力を加算し、レジスタ１５−１に出力する。
レジスタ１５−１は、１つのコードが入力される時間遅延し、加算器１４−１および加算器１６に出力する。
【００１６】
レジスタ１１−２は、入力１から入力されたコードを１つのコードが入力される時間遅延し、演算回路１２−２に供給する。演算回路１２−２は、レジスタ１１−２から供給されたコードと入力１から入力されたコードとの差を算出し、絶対値回路１３−２に供給する。
【００１７】
絶対値回路１３−２は、演算回路１２−２から入力されたコードの差の絶対値を算出し、加算器１４−２に供給する。加算器１４−２は、絶対値回路１３−２の出力およびレジスタ１５−２の出力を加算し、レジスタ１５−２に出力する。
レジスタ１５−２は、１つのコードが入力される時間遅延し、加算器１４−２および加算器１６に出力する。
【００１８】
加算器１６は、レジスタ１５−１およびレジスタ１５−２の出力を加算し、出力する。
【００１９】
図５は、図４に示す評価値算出回路に入力されるコードを示す図である。コード（ｑ０）乃至（ｑｆ）が順に入力１に入力され、同時に、（ｑ０），（ｑ４），（ｑ８），（ｑｃ）・・・の順に、入力２に入力される。
【００２０】
【発明が解決しようとする課題】
図２に示す評価値算出回路は、コード（ｑ０）乃至（ｑｆ）が、それぞれ２回入力され、演算に時間がかかる。また、図４に示す評価値算出回路は、演算に要する時間は、図２に示す評価値算出回路に比較し、１／２となるが、入力１および入力２から入力するためのコードをそれぞれ記憶しなければならず、図２に示す評価値算出回路の場合に比較し、２倍の記憶容量を有するメモリを必要とする。
【００２１】
コードに代わり、画素値を利用してブロックの評価値を算出する場合も同様に、演算に要する時間および所定の記憶容量を有するメモリが必要とされる。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、迅速に評価値を算出でき、画素値の相関が残っているコードまたは画素値の記憶に要するメモリの記憶容量も少なくできるようにすることを目的とする。
【００２３】
【課題を解決するための手段】
請求項１に記載の情報処理装置は、ブロック内の左上隅の画素を含む格子状に配置された画素を所定の順に並べた第１の系列で入力された画素値を１画素分だけ遅延させる第１の遅延手段と、ブロック内の第１の系列に含まれない画素を所定の順に並べた第２の系列で入力された画素値と第１の遅延手段で遅延された画素値との差の絶対値を演算する第１の演算手段と、第１の遅延手段で遅延された画素値を１画素分だけ遅延させる第２の遅延手段と、第２の系列で入力された画素値と第２の遅延手段で遅延された画素値との差の絶対値を演算する第２の演算手段と、第２の系列で入力された画素値を１画素分だけ遅延させる第３の遅延手段と、第１の系列で入力された画素値と第３の遅延手段で遅延された画素値との差の絶対値を演算する第３の演算手段と、第３の遅延手段で遅延された画素値を１画素分だけ遅延させる第４の遅延手段と、第１の系列で入力された画素値と第４の遅延手段で遅延された画素値との差の絶対値を演算する第４の演算手段と、第１の系列で入力された画素値と第２の系列で入力された画素値との差の絶対値を演算する第５の演算手段と、第１の演算手段で演算された絶対値、第２の演算手段で演算された絶対値、第３の演算手段で演算された絶対値、第４の演算手段で演算された絶対値、および第５の演算手段で演算された絶対値を加算する加算手段とを含む。
【００２４】
請求項２に記載の情報処理方法は、情報処理装置が、ブロック内の左上隅の画素を含む格子状に配置された画素を所定の順に並べた第１の系列で入力された画素値を１画素分だけ遅延させる第１の遅延ステップと、ブロック内の第１の系列に含まれない画素を所定の順に並べた第２の系列で入力された画素値と第１の遅延ステップにより遅延された画素値との差の絶対値を演算する第１の演算ステップと、第１の遅延ステップにより遅延された画素値を１画素分だけ遅延させる第２の遅延ステップと、第２の系列で入力された画素値と第２の遅延ステップにより遅延された画素値との差の絶対値を演算する第２の演算ステップと、第２の系列で入力された画素値を１画素分だけ遅延させる第３の遅延ステップと、第１の系列で入力された画素値と第３の遅延ステップにより遅延された画素値との差の絶対値を演算する第３の演算ステップと、第３の遅延ステップにより遅延された画素値を１画素分だけ遅延させる第４の遅延ステップと、第１の系列で入力された画素値と第４の遅延ステップにより遅延された画素値との差の絶対値を演算する第４の演算ステップと、第１の系列で入力された画素値と第２の系列で入力された画素値との差の絶対値を演算する第５の演算ステップと、第１の演算ステップにより演算された絶対値、第２の演算ステップにより演算された絶対値、第３の演算ステップにより演算された絶対値、第４の演算ステップにより演算された絶対値、および第５の演算ステップにより演算された絶対値を加算する加算ステップとを含む。
【００２７】
請求項１に記載の情報処理装置および請求項２に記載の情報処理方法においては、第２の系列で入力された画素値と第１の系列で入力された画素値を１画素分だけ遅延させた画素値との差の絶対値、第２の系列で入力された画素値と第１の系列で入力された画素値を２画素分だけ遅延させた画素値との差の絶対値、第１の系列で入力された画素値と第２の系列で入力された画素値を１画素分だけ遅延させた画素値との差の絶対値、第１の系列で入力された画素値と第２の系列で入力された画素値を２画素分だけ遅延させた画素値との差の絶対値、および、第１の系列で入力された画素値と第２の系列で入力された画素値との差の絶対値が演算され、演算された絶対値が加算される。
【００２９】
【発明の実施の形態】
図６は、本発明に係る画像を送受信する画像伝送システムを説明する図である。送信装置２１は、入力されたビデオ信号を、本発明に係る方式で圧縮し、符号化し、パケットの形式に変換し、伝送路を介して、受信装置２２に送信する。受信装置２２は、伝送路を介して送信されたパケットを受信し、パケットに含まれるデータを本発明に係る方式で復号して、伸張し、ビデオ信号として出力する。
伝送路において、パケットに含まれるデータは、輻輳などにより、欠落することがある。また、伝送路を構成するＡＴＭ交換機（図示せず）の処理能力を超えたような場合、パケットそのものが、失われることがある。
【００３０】
図７は、本発明に係る送信装置２１の一実施の形態の構成を示すブロック図である。Ｙ／Ｃ分離クロマデコーダ３１は、アナログコンポジットビデオ信号、または輝度信号Ｙとクロマ信号Ｃのようなアナログコンポーネント信号（Ｙ／Ｃ信号）のいずれか１つの信号が入力されると、その信号を、輝度信号Ｙ、色信号Ｕ，Ｖのようなコンポーネント信号（Ｙ／Ｕ／Ｖ信号）に変換し、セレクタ３２に供給する。セレクタ３２は、Ｙ／Ｃ分離クロマデコーダ３１から供給されたＹ／Ｕ／Ｖ信号、または初めからＹ／Ｕ／Ｖ信号のフォーマットで入力された信号の一方を選択し、間引き部３３に供給する。このＹ／Ｕ／Ｖ信号は、例えば、スタンダードデンシティ（ＳＤ）、４：２：２、フィールド周波数６０Ｈｚ、およびインターレースフォーマット形式の信号である。
【００３１】
間引き部３３は、セレクタ３２から供給されたＹ信号、Ｕ信号、およびＶ信号を、それぞれ後述する方式で間引きして、フォーマット変換回路３４に供給する。間引き部３３は、前置フィルタ５１、Ａ／Ｄ変換回路５２、間引きフィルタ５３、外部メモリ５４、ＵＶ垂直１／２回路５５、および外部メモリ５６で構成される。
【００３２】
前置フィルタ５１は、入力されたＹ信号、Ｕ信号、およびＶ信号の、それぞれ所定の周波数帯域のみを出力するローパスフィルタである。前置フィルタ５１の出力は、Ａ／Ｄ変換回路５２に供給される。
【００３３】
Ａ／Ｄ変換回路５２は、入力されたＹ信号、Ｕ信号、およびＶ信号をサンプリングし、それぞれを、例えば、８ビットのデータとする。Ａ／Ｄ変換回路５２に入力されたアナログＹ信号は、サンプリングされることにより、水平方向に５２８画素および垂直方向に４８０画素を含むＹデータとして、間引きフィルタ５３に出力される。
【００３４】
Ａ／Ｄ変換回路５２に入力されたアナログＵ信号は、サンプリングされることにより、水平方向に１７６画素および垂直方向に４８０画素を含むＵデータとして間引きフィルタ５３に出力される。Ａ／Ｄ変換回路５２に入力されたアナログＶ信号は、サンプリングされることにより、水平方向に１７６画素および垂直方向に４８０画素を含むＶデータとして間引きフィルタ５３に出力される。
【００３５】
従って、Ａ／Ｄ変換回路５２の出力は、３：１：１のフォーマットの信号となっている。
【００３６】
間引きフィルタ５３は、入力されたＹデータ、Ｕデータ、およびＶデータを一時的に外部メモリ５４に記憶させ、一時的に記憶させたＹデータ、Ｕデータ、およびＶデータを、それぞれ水平方向に１／２および垂直方向に１／２に間引きし、ＵＶ垂直１／２回路５５に供給する。
【００３７】
ＵＶ垂直１／２回路５５は、間引きフィルタ５３から供給されたＹデータ、Ｕデータ、およびＶデータを一時的に外部メモリ５６に記憶させ、一時的に記憶させたＵデータおよびＶデータを、それぞれ垂直方向に１／２に間引きし、Ｙデータ、Ｕデータ、およびＶデータをフォーマット変換回路３４に出力する。
【００３８】
従って、間引き部３３より出力される信号は、３：０．５：０．５の信号となる。
【００３９】
フォーマット変換回路３４は、間引き部３３から供給されたＹデータ、Ｕデータ、およびＶデータを、後述する方式で並び替えて、ブロック構造として、符号化回路３５に供給する。
【００４０】
符号化回路３５は、フォーマット変換回路３４から供給されたＹデータ、Ｕデータ、およびＶデータを一時的に外部メモリ３６に記憶させ、外部メモリ３６にに記憶されたＹデータ、Ｕデータ、およびＶデータを、記憶と読み出しのアドレスを変えることでシャフリングして、ＡＤＲＣ（Adaptive Dynamic Range Coding）方式で符号化し、シャフリングして、パケット化回路３７に出力する。
【００４１】
ＡＤＲＣ方式は、入力された画像のデータのダイナミックレンジ（ＤＲ）に適応した可変長の符号を出力する可変長符号化方式である。画像のデータは、複数の画素からなるブロック（後述するＡＤＲＣブロック）に分割され、各ブロックに含まれる画素値の最大値および最小値の差であるダイナミックレンジが検出される。ブロックのダイナミックレンジを基に、各画素値を元の量子化ビット数（例えば、８ビット）よりも少ないビット数で、再量子化する。ダイナミックレンジが小さいほど、少ないビット数で再量子化することができ、量子化ひずみの増大を抑えつつ、画素の画素値の冗長度のみを除去して、更にデータ量を少なくすることが可能である。
【００４２】
ＡＤＲＣ方式は、ダイナミックレンジの大きさに関連して量子化ビット数を選択するものである。ダイナミックレンジの大小関係を判断するために、動きなどに対応した閾値が使用される。再量子化のためのビット数として、例えば、２ビット、３ビット、または４ビットのいずれか１つを割り当てるとき、動きまたはダイナミックレンジ毎の量子化テーブルに記憶された閾値Ｔ１およびＴ２（但し、Ｔ１＜Ｔ２）が使用される。受信側でも、同じ量子化テーブルが使用される。
【００４３】
ダイナミックレンジが（Ｔ１−１）以下であるブロックでは、画素値に対するコードに、２ビットが割り当てられる。ダイナミックレンジがＴ１以上で（Ｔ２−１）以下であるブロックでは、画素値に対するコードに、３ビットが割り当てられる。ダイナミックレンジがＴ２以上であるブロックでは、画素値に対するコードに、４ビットが割り当てられる。画素値に対するコードに割り当てられたビット数をｑとする。
【００４４】
符号化は、２フレームを３０分割して作成される、８８個のＡＤＲＣブロックを単位（この単位をバッファと称する）として実行される。１つのバッファに対して生成されるコードが、ここでは、16,104ビット以下になるように、閾値Ｔ１およびＴ２を記憶した量子化テーブルは、１つのバッファに対して１つ選択される。選択された量子化テーブルは、ＴＩで示されるテーブルインデックスで指定される。１つのバッファに対して生成されるコードが、16,104ビット以下になるようにすることで、符号化された画像のデータの情報を、8Mbpsとすることができる。
【００４５】
ダイナミックレンジが２のｑ乗より大きいとき、画素値に対するコードＱは、
［（Ｌ−ＭＩＮ＋０．５）×２ｑ／ＤＲ］
で算出される。［］は、小数点以下の切り捨てを表す。Ｌは、画素値を表し、ＭＩＮは、ブロック内の画素の画素値の最小値を表す。ＤＲは、ブロックのダイナミックレンジを表す。ダイナミックレンジが２のｑ乗以下のとき、画素値に対するコードＱは、Ｌ−ＭＩＮで算出される。
【００４６】
符号化回路３５は、符号化されたデータとして、量子化テーブルを指定するテーブルインデックスＴＩ、ダイナミックレンジＤＲ、ブロック内の画素の画素値の最小値ＭＩＮ、動きを示す動きフラグＭＦ、および画素値に対応するコードＱを出力する。テーブルインデックスＴＩ、ダイナミックレンジＤＲ、ブロック内の画素の画素値の最小値ＭＩＮ、および動きを示す動きフラグＭＦの長さ（ビット数）は、８ビットで固定である。一方、画素値に対するコードＱの長さは、変化する。
【００４７】
パケット化回路３７は、符号化回路３５から供給された、符号化データを、一時的に外部メモリ３８に記憶させ、一時的に記憶された符号化データを、１．６Ｋビット毎に分割し、ヘッダ等を付加してパケット化し、送信回路３９に供給する。送信回路３９は、パケット化回路３７から供給されたパケットを所定の伝送方式で変調して、伝送路を介して送信する。
【００４８】
ＰＬＬ回路４０は、画像に同期した基準信号を生成し、コントロール回路２１に基準信号を供給する。コントロール回路４１は、間引き部３３、フォーマット変換回路３４、符号化回路３５、外部メモリ３６、パケット化回路３７、外部メモリ３８、および送信回路３９に、ＰＬＬ回路４０から供給された基準信号に基づく、コントロール信号を供給し、送信装置２１全体の動作を制御する。
【００４９】
図８を参照して、送信装置２１に入力された画像信号が圧縮される過程を説明する。６０Ｈｚのフィールド周波数を有する、インターレース方式のＹ信号は、Ａ／Ｄ変換回路５２により、１フィールド当たり水平方向に５２８画素および垂直方向に４８０画素のＹデータに変換される。６０Ｈｚのフィールド周波数を有する、インターレース方式のＵ信号およびＶ信号は、水平方向に１７６画素および垂直方向に４８０画素のＵデータおよびＶデータにそれぞれ変換される。Ａ／Ｄ変換回路５２に入力される画像の信号の情報は166Mbpsに相当し、Ａ／Ｄ変換回路５２から出力される画像のデータの情報は104Mbpsとなり、６２％の情報量に圧縮される。
【００５０】
６０Ｈｚのフィールド周波数を有する、インターレース方式の１フレーム当たり水平方向に５２８画素および垂直方向に４８０画素を含むＹデータは、間引きフィルタ５３により、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式の１フレーム当たり水平方向に２６４画素および垂直方向に２４０画素を含むデータに圧縮される。６０Ｈｚのフィールド周波数を有する、インターレース方式の１フレーム当たり水平方向に１７６画素および垂直方向に４８０画素を含むＵデータおよびＶデータは、間引きフィルタ５３により、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式の１フレーム当たり水平方向に８８画素および垂直方向に２４０画素を含むデータにそれぞれ圧縮される。
【００５１】
１フレーム当たり水平方向に８８画素および垂直方向に２４０画素を含むＵデータおよびＶデータは、ＵＶ垂直１／２回路５５により、水平方向に８８画素および垂直方向に１２０画素を含むデータにそれぞれ圧縮される。ＵＶ垂直１／２回路５５から出力される画像のデータの情報は、21Mbpsとなり、送信装置２１に入力される信号の情報と比較し、１３％の情報量に圧縮される。
【００５２】
このように、間引き部３３で間引き処理を行うことで、後段の各回路の構成を簡略化し、伝送路におけるビットレートを、実用的な充分小さい値に設定することができる。
【００５３】
３０Ｈｚのフレーム周波数を有する、プログレッシブ方式の１フレーム当たりそれぞれ水平方向に８８画素および垂直方向に１２０画素を含むＵデータおよびＶデータは、フォーマット変換回路３４により、８８画素×１２０画素のデータを２つ合わせたデータに変換される。
【００５４】
１フレーム当たり水平方向に２６４画素および垂直方向に２４０画素を有するＹデータ並びに８８画素×１２０画素×２のＵデータおよびＶデータが符号化回路３５により符号化される。符号化された画像のデータの情報は、8Mbpsとなり、送信装置２１に入力されるアナログ信号の情報と比較し、５％の情報量に圧縮される。
【００５５】
以上のように、送信装置２１は、画像信号を圧縮して符号化する。
【００５６】
図９は、間引きフィルタ５３の構成を示すブロック図である。インターレース方式のＹデータは、水平方向のラインに沿って、水平１／２回路６１に供給される。水平１／２回路６１は、遅延回路（レジスタ）７１−１乃至７１−Ｎ、乗算回路７２−１乃至７２−Ｎ、および加算回路７３で構成されている。
【００５７】
ハーフバンドフィルタである水平１／２回路６１に順次入力されたＹデータは、遅延回路７１−１乃至７１−Ｎにより、それぞれ水平方向の１画素分だけ遅延され、順次後段に出力される。乗算回路７２−１乃至７２−Ｎは、入力されたＹデータ（画素）に１／Ｎを乗じて、加算回路７３に出力する。加算回路７３は、乗算回路７２−１乃至７２−Ｎから供給されたデータを加算し、垂直１／２回路６２に出力する。
【００５８】
ハーフバンドフィルタである垂直１／２回路６２は、ラッチ回路８１、フィールドＦＩＦＯ（Fast In Fast Out)８２、加算回路８３、およびラッチ回路８４から構成されている。水平１／２回路６１から出力されたデータは、ラッチ回路８１に供給される。ラッチ回路８１は、クロック信号が入力されたとき、入力されたデータをラッチし、ラッチしたデータを出力する。
【００５９】
水平１／２回路６１の動作を図１０を参照して説明する。フレームの水平方向に順次入力された、Ｙデータ（図１０に白い丸印で示す画素）は、遅延回路７１−１乃至７１−Ｎにより保持され、乗算回路７２−１乃至７２−Ｎによりそれぞれ係数が乗算される。乗算回路７２−１乃至７２−Ｎの出力は、加算回路７３で加算された後、ラッチ回路８１に出力される。ラッチ回路８１には、図１０の黒い４角形に対応するタイミングで、ラッチを指示するクロック信号が入力される。図１０の例では、水平方向に、２画素のデータが転送される度に１つのクロックがラッチ回路８１に入力されるので、例えば、Ｎ＝２で、各係数の値が１／２の場合、隣接する２個の画素の平均値が、図１０の黒い４角形で示すタイミングでラッチ回路８１にラッチされる。このように、ラッチ回路８１がラッチする画素の数は、間引きフィルタ５３に入力されたデータの画素の数の１／２となる。
【００６０】
ラッチ回路８１によりラッチされた値は、フィールドＦＩＦＯ８２および加算回路８３に供給される。フィールドＦＩＦＯ８２は、ラッチ回路８１から供給された水平方向に１／２に間引かれた第１フィールドの画素のデータを記憶して、１フィールド分遅延させ、加算回路８３に出力する。加算回路８３は、ラッチ回路８１およびフィールドＦＩＦＯ８２から供給されたデータを加算して、ラッチ回路８４に供給する。ラッチ回路８４は、イネーブル信号が入力されたとき、入力されたデータをラッチする。
【００６１】
垂直１／２回路６２の動作を図１１を参照して説明する。第１フィールドの任意の画素（図１１に示す第１フィールド上の黒い４角形の画素）のＹデータ、および第１フィールドの画素と画面の水平方向に同一の位置で、１つ下のラインの第２フィールドの画素（図１１に示す、第１フィールド上の黒い４角形の画素の右下に位置する第２フィールド上の黒い４角形の画素）のデータが、加算回路８３により加算された後、ラッチ回路８４に出力される。従って、ラッチ回路８４には、第１フィールドと第２フィールドの画素の平均値（図１１に白い４角形で示す画素に相当する）がラッチされる。
【００６２】
このように、ラッチ回路８４の出力は、ラッチ回路８１から出力された画素のデータに対して、第１フィールドおよび第２フィールドの間で、１／２に間引きされ、次に、第３フィールドおよび第４フィールドの間で、１／２に間引きされ、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式のＹデータとなる。
【００６３】
ＵデータおよびＶデータも、同様に水平方向と垂直方向に１／２に間引きされ、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式のフォーマットのデータとなる。
【００６４】
以上のように、間引きフィルタ５３から出力される画像のＹデータ、Ｕデータ、およびＶデータは、それぞれ間引きされた３０Ｈｚのフレーム周波数を有する、プログレッシブ方式のフォーマットのデータとなる。
【００６５】
次に、ＵＶ垂直１／２回路５５について説明する。図１２は、ＵＶ垂直１／２回路５５の構成を示すブロック図である。ＵＶ垂直１／２回路５５には、間引きフィルタ５３より、間引きされた３０Ｈｚのフレーム周波数を有する、プログレッシブ方式のＵデータおよびＶデータが入力される。入力されたデータは、ラインＦＩＦＯ９１−１乃至９１−６により、１ライン分ずつ、順次遅延され、後段に供給される。乗算回路９２−１は、入力されたデータに係数を乗じて、加算回路９３に出力する。乗算回路９２−２乃至９２−７は、それぞれラインＦＩＦＯ９１−２乃至９１−６より入力されたデータに、係数を乗算して加算回路９３に出力する。
【００６６】
加算回路９３は、乗算回路９２−１乃至９２−７から供給されたデータを加算して、ラッチ回路９４に供給する。ラッチ回路９４は、クロック信号が入力されたとき、入力されたデータをラッチする。
【００６７】
ＵＶ垂直１／２回路５５の動作を図１３を参照して説明する。連続する７本のライン上の、画面の水平方向に同一の位置の画素（図１３に白い４角形で示す画素）のデータが乗算回路９２−１乃至９２−７に入力される。乗算回路９２−１乃至９２−７は、入力されたデータに、それぞれ係数を乗算する。加算回路９３は乗算回路９２−１乃至９２−７の出力を加算して、出力する。ラッチ回路９４には、２ラインに１回のタイミング（図１３に黒い丸印で示すタイミング）で、ラッチ信号が入力される。このように、ＵＶ垂直１／２回路５５は、入力されたＵデータおよびＶデータのラインの本数を１／２に間引いて、出力する。
【００６８】
なお、ＵＶ垂直１／２回路５５は、Ｙデータを通過させる。
【００６９】
次に、符号化回路３５について説明する。図１４は、符号化回路３５の構成を示すブロック図である。コントロール回路４１から供給されるコントロール信号は、タイミング信号生成回路１０１に入力される。タイミング信号生成回路１０１は、入力されたコントロール信号を基に、タイミング信号を生成し、ブロックシャフル回路１０２、ＡＤＲＣ符号化回路１０３、およびセグメント間シャフル回路１０４に供給する。
【００７０】
フォーマット変換回路３４により、変換されたＹデータ、Ｕデータ、およびＶデータは、ブロックシャフル回路１０２に入力される。ブロックシャフル回路１０２は、供給されたＹデータ、Ｕデータ、およびＶデータを外部メモリ３６の所定の位置に一時的に記憶させる。ブロックシャフル回路１０２は、外部メモリ３６に記憶させたＹデータ、Ｕデータ、およびＶデータを、後述するＡＤＲＣブロックの形式に並び換え、後述するセグメントの範囲で、かつＡＤＲＣブロック単位でシャフルし、ＡＤＲＣ符号化回路１０３に供給する。
【００７１】
ＡＤＲＣ符号化回路１０３は、ブロックシャフル回路１０２から供給されたＹデータ、Ｕデータ、およびＶデータを、ＡＤＲＣ方式に基づき符号化し、セグメント間シャフル回路１０４に供給する。セグメント間シャフル回路１０４は、供給されたＡＤＲＣで符号化されたデータを外部メモリ４２の所定の位置に、一時的に記憶させる。
【００７２】
セグメント間シャフル回路１０４は、外部メモリ４２に記憶させたＡＤＲＣデータを、記憶と読み出しのアドレスを変えることで、シャフルする。セグメント間シャフル回路１０４におけるシャフルは、伝送路におけるデータの欠落が発生しても、受信装置２２が、ダイナミックレンジＤＲ、最小値ＭＩＮ、および動きフラグＭＦいずれかを受信できる可能性を高め、また、伝送路におけるデータの欠落が発生しても、受信装置２２が、各コードＱを分けて抽出しやすくすることを目的とする。
【００７３】
図１５を参照して、符号化回路３５およびパケット化回路３７の処理の単位を説明する。あるフレーム０と次のフレーム１から、後述する方式により、それぞれ画素を選択して、１３２０個の偶数セグメントのＡＤＲＣブロック（４×１６画素から成る）と１３２０個の奇数セグメントのＡＤＲＣブロック（４×１６画素から成る）が生成される。生成されたＡＤＲＣブロックから、ブロックシャフル回路１０２により、８８個ずつのＡＤＲＣブロックが選択される。ＡＤＲＣブロックは、選択された８８個を単位として、ＡＤＲＣ符号化回路１０３により、ＡＤＲＣで、固定長のデータ（ＦＬ）である、ダイナミックレンジＤＲ、最小値ＭＩＮ、動きフラグＭＦ、およびテーブルインデックスＴＩ並びに可変長のデータ（ＶＬ）であるコードＱに符号化される。
【００７４】
ＡＤＲＣ符号化回路１０３から出力された８８個のＡＤＲＣブロックに対応する符号化されたデータ（以下、バッファと称する）は、セグメント間シャフル回路１０４により、５個ずつにまとめられる（以下、セグメントと称する）。偶数セグメントに対応する３個のセグメント（図中、セグメント０、セグメント２、およびセグメント４と示す）は、セグメント間シャフル回路１０４により、セグメント間でシャフルされる。奇数セグメントに対応する３個のセグメント（図中、セグメント１、セグメント３、およびセグメント５と示す）は、セグメント間シャフル回路１０４により、セグメント間でシャフルされる。
【００７５】
セグメント間でシャフルされたセグメントは、セグメント０、セグメント１、セグメント２、セグメント３、セグメント４、およびセグメント５の順に並べられる。
【００７６】
パケット化回路３７は、セグメント０、セグメント１、セグメント２、セグメント３、セグメント４、およびセグメント５の順に並べられたセグメントに格納されている符号化されたデータを、８個のＡＤＲＣブロックに対応するデータ（ダイナミックレンジＤＲ、最小値ＭＩＮ、動きフラグＭＦ、テーブルインデックスＴＩ、およびコードＱ）毎にパケットに格納する。
【００７７】
図１６乃至図２３を参照して、ブロックシャフル回路１０２の動作を説明する。図１６は、ＡＤＲＣブロックを説明する図である。各フレームから水平８画素×垂直８画素の隣り合う６４画素のブロックを選び出し、ブロックの中で最も左で且つ最も上に位置する画素（図中に０−１または１−１と示された画素）、およびこれを基準とし、その画素から水平に２画素だけ移動した位置にある画素（図中に０−３または１−３と示された画素）、その画素から垂直に２画素だけ移動した位置にある画素（図中に０−１７または１−１７と示された画素）、またはその画素から水平に１画素かつ垂直に１画素だけ移動した位置にある画素（図中に０−１０または１−１０と示された画素）を偶数画素と称する。さらに、これらの画素を基準として、同様の選択を繰り返し、選択された画素を、偶数画素とする。
【００７８】
また、各フレームの残りの画素は、奇数画素とする。
【００７９】
図１６に示すように、偶数フレーム（フレーム０）の８×８画素のブロックｉ２含まれる偶数画素（４×８画素）と、奇数フレーム（フレーム１）の８×８画素のブロックに含まれる偶数画素（４×８画素）を集めたものが、偶数セグメントのＡＤＲＣブロックとされる。同時に、偶数フレーム（フレーム０）の８×８画素のブロックに含まれる奇数画素（４×８画素）と、奇数フレーム（フレーム１）の８×８画素のブロックに含まれる奇数画素（４×８画素）を集めたものが、奇数セグメントのＡＤＲＣブロックとされる。ＡＤＲＣブロックは、２つのフレームの、もとのフレーム上で１つおきの画素から構成される。偶数セグメントのＡＤＲＣブロックの画素の、もとのフレーム上で隣に位置する画素は、対応する奇数セグメントのＡＤＲＣブロックを構成する。
【００８０】
図１７乃至図１９は、フレーム内の画素とＡＤＲＣブロックとの関係を示す図である。図１７に示すように、フレーム０の画素は、水平８画素×垂直８画素の６４画素のブロック毎に分割される。同様に、図１８に示すように、フレーム１（フレーム０の次のフレーム）の画素は、水平８画素×垂直８画素の６４画素のブロック毎に分割される。フレーム０のブロックの中で最も左で且つ最も上に位置する６４画素のブロック（図１７においてＡ１と表示された６４画素のブロック）および、フレーム１のブロックの中で最も左で且つ最も上に位置する６４画素のブロック（図１８においてＡ１と表示された６４画素のブロック）の偶数画素により、構成された偶数セグメントのＡＤＲＣブロックは、図１９に示すように、セグメント０として、最も左、且つ最も上に配置される。
【００８１】
図１７のＡ１と表示された６４画素のブロック、および図１８のＡ１と表示された６４画素のブロックの奇数画素により構成された奇数セグメントのＡＤＲＣブロックは、図１９に示すように、セグメント３として、セグメント０の偶数セグメントのＡＤＲＣブロックの図中右隣に配置される。
【００８２】
図１７のＡ２と表示された６４画素のブロック、および図１８のＡ２と表示された６４画素のブロックの偶数画素より構成された偶数セグメントのＡＤＲＣブロックは、図１９に示すようにセグメント０として、図１７のＡ１と表示された６４画素のブロックおよび図１８のＡ１と表示された６４画素のブロックの奇数画素により構成された、セグメント３のＡＤＲＣブロックの図中右隣に配置される。図１７のＡ２と表示された６４画素のブロックおよび図１８のＡ２と表示された６４画素のブロックの奇数画素により構成された奇数セグメントのＡＤＲＣブロックは、図１９に示すように、セグメント３として、図１７のＡ２と表示された６４画素のブロックおよび図１８のＡ２と表示された６４画素のブロックの偶数画素により構成された、セグメント０のＡＤＲＣブロックの図中右隣に配置される。
【００８３】
図１７のＢ１と表示された６４画素のブロックおよび図１８のＢ１と表示された６４画素のブロックの偶数画素により構成された偶数セグメントのＡＤＲＣブロックは、図１９に示すように、セグメント４として、図１７のＡ１と表示された６４画素のブロックおよび図１８のＡ１と表示された６４画素のブロックの偶数画素により構成された、セグメント０のＡＤＲＣブロックの図中下側に配置される。図１７のＢ１と表示された６４画素のブロックおよび図１８のＢ１と表示された６４画素のブロックの奇数画素により構成された奇数セグメントのＡＤＲＣブロックは、図１９に示すように、セグメント１として、図１７のＡ１と表示された６４画素のブロックおよび図１８のＡ１と表示された６４画素のブロックの奇数画素により構成された、セグメント３のＡＤＲＣブロックの図中下側（セグメント４のＡＤＲＣブロックの右隣）に配置される。
【００８４】
図１７のＢ２と表示された６４画素のブロックおよび図１８のＢ２と表示された６４画素のブロックの偶数画素により構成された偶数セグメントのＡＤＲＣブロックは、図１８に示すようにセグメント４として、図１７のＢ１と表示された６４画素のブロックおよび図１８のＢ１と表示された６４画素のブロックの奇数画素により構成された、セグメント１のＡＤＲＣブロックの図中右隣に配置される。図１７のＢ２と表示された６４画素のブロックおよび図１８のＢ２と表示された６４画素のブロックの奇数画素により構成された奇数セグメントのＡＤＲＣブロックは、図１８に示すようにセグメント１として、図１７のＢ２と表示された６４画素のブロックおよび図１８のＢ２と表示された６４画素のブロックの偶数画素により構成された偶数セグメントのＡＤＲＣブロックの図中右隣に配置される。
【００８５】
図１７のＣ１と表示された６４画素のブロックおよび図１８のＣ１と表示された６４画素のブロックの偶数画素により構成された偶数セグメントのＡＤＲＣブロックは、図１９に示すようにセグメント２として、図１７のＢ１と表示された６４画素のブロックおよび図１８のＢ１と表示された６４画素のブロックの偶数画素により構成された、セグメント４のＡＤＲＣブロックの図中下側に配置される。図１７のＣ１と表示された６４画素のブロックおよび図１８のＣ１と表示された６４画素のブロックの奇数画素により構成された奇数セグメントのＡＤＲＣブロックは、図１９に示すようにセグメント５として、図１７のＢ１と表示された６４画素のブロックおよび図１８のＢ１と表示された６４画素のブロックの奇数画素により構成された、セグメント１のＡＤＲＣブロックの図中下側（セグメント２のＡＤＲＣブロックの右隣）に配置される。
【００８６】
図１７のＣ２と表示された６４画素のブロックおよび図１８のＣ２と表示された６４画素のブロックの偶数画素により構成された偶数セグメントのＡＤＲＣブロックは、図１９に示すようにセグメント２として、図１７のＣ１と表示された６４画素のブロックおよび図１８のＣ１と表示された６４画素のブロックの奇数画素により構成された、セグメント５のＡＤＲＣブロックの図中右隣に配置される。図１７のＣ２と表示された６４画素のブロックおよび図１８のＣ２と表示された６４画素のブロックの奇数画素により構成された奇数セグメントのＡＤＲＣブロックは、図１９に示すようにセグメント５として、図１７のＣ２と表示された６４画素のブロックおよび図１８のＣ２と表示された６４画素のブロックの偶数画素により構成された偶数セグメントのＡＤＲＣブロックの図中の右隣に配置される。
【００８７】
以上の手続きを、各フレームを構成する３３×１０個の各ブロック（２６４×２４０画素）について繰り返すことにより、２つのフレームのＹデータから、図２０（Ａ）に示すように、水平方向に６６個、垂直方向に３０個並べられたＡＤＲＣブロックの集合が生成される。図２０（Ｂ）に示すように、Ｙデータから生成されたＡＤＲＣブロックは、シャフルされて、セグメントを構成する。
【００８８】
８８×１２０画素のＵデータおよびＶデータについても同様の処理を行うことにより、図２１（Ａ）に示すように、水平方向に２２個、垂直方向に１５個並べられたＡＤＲＣブロックの集合が生成される。Ｙデータの場合と同様に、図２１（Ｂ）に示すように、ＵデータおよびＶデータから生成されたＡＤＲＣブロックは、ブロックシャフルされて、セグメントを構成する。
【００８９】
各ＡＤＲＣブロック内で、偶数フレームと奇数フレームの画面上で同一位置にある画素同士（例えば、図１６中の０−１と示された画素と１−１と示された画素等）で画素値の差分の絶対値をとり、その差分の絶対値のうち最大値が閾値Th1に満たない場合は、そのＡＤＲＣブロックは静止画とみなされる。
【００９０】
差分の絶対値のうち、最大の値が閾値Th2（Th1<Th2）を越えた場合には、そのＡＤＲＣブロックは動画とみなされる。
【００９１】
静止画のＡＤＲＣブロックでは、偶数フレームと奇数フレームの画面上で同一位置にある画素同士の画素値の平均をとり、その３２個の平均値を新たにＡＤＲＣブロックとして置き代え、そのＡＤＲＣブロックに付される動きフラグＭＦを０とする。
【００９２】
動画のＡＤＲＣブロックでは、偶数フレームと奇数フレームから集めた６４画素をそのままＡＤＲＣブロックとして、そのＡＤＲＣブロックに付される動きフラグＭＦを１とする。
【００９３】
次に、セグメント毎に、ＡＤＲＣブロック単位で行われるシャフルについて説明する。０の番号が付されたＹデータのＡＤＲＣブロックから構成されるセグメントにおいて、そのＡＤＲＣブロックに通し番号を付すると、図２２（Ａ）に示すように、ｙ０乃至ｙ３２９の番号が、ＡＤＲＣブロックに付される。ＡＤＲＣブロックをシャフルすると、ＹデータのＡＤＲＣブロックが、図２２（Ｂ）に示されるように配置される。
【００９４】
同様に、０の番号が付されたＵデータのＡＤＲＣブロックから構成されるセグメントにおいて、そのＡＤＲＣブロックに通し番号を付すると、図２２（Ｃ）に示すように、ｕ０乃至ｕ５４の番号が、ＡＤＲＣブロックに付される。ＵデータのＡＤＲＣブロックは、図２２（Ｄ）に示されるように、通し番号の逆の順に並び替えられる。
【００９５】
０の番号が付されたＶデータのＡＤＲＣブロックから構成されるセグメントにおいて、そのＡＤＲＣブロックに通し番号を付すると、図２２（Ｅ）に示すように、ｖ０乃至ｖ５４の番号が、ＡＤＲＣブロックに付される。ＶデータのＡＤＲＣブロックは、図２２（Ｆ）に示されるように、通し番号の逆の順に並び替えられる。
【００９６】
次に、図２３に示されるように、ＹデータのＡＤＲＣブロック、ＵデータのＡＤＲＣブロック、およびＶデータのＡＤＲＣブロックが、シャフルされる。３つのＹデータのＡＤＲＣブロックの後ろに、１つのＵデータのＡＤＲＣブロックが配置され、その後ろに、また、３つのＹデータのＡＤＲＣブロックが配置され、その後ろに、１つのＶデータのＡＤＲＣブロックが配置される。この配置が繰り返される。例えば、セグメント０には、ｙ０の通し番号が付されたＡＤＲＣブロック、ｙ２２１の通し番号が付されたＡＤＲＣブロック、ｙ１１２の通し番号が付されたＡＤＲＣブロック、ｕ５４の通し番号が付されたＡＤＲＣブロック、ｙ３の通し番号が付されたＡＤＲＣブロック、ｙ２２４の通し番号が付されたＡＤＲＣブロック、ｙ１１５の通し番号が付されたＡＤＲＣブロック、ｖ５４の通し番号が付されたＡＤＲＣブロック、およびｙ６の通し番号が付されたＡＤＲＣブロックなどの順にＡＤＲＣブロックが配置される。
【００９７】
セグメント１乃至セグメント５においても、同様に、ＡＤＲＣブロックがシャフルされる。
【００９８】
以上のように、画素のデータは、ブロックシャフル回路１０２により、ＡＤＲＣブロック毎にシャフルされ、シャフルされたＡＤＲＣブロックを基に、ＡＤＲＣ符号化回路１０３で符号化される。ＡＤＲＣブロックが適切にシャフルされることにより、通信エラーにより欠落した画素が分散され、再生される画像において欠落した画素を認識しにくくすることができる。
【００９９】
次に、図２４を参照して、ＡＤＲＣ符号化回路１０３の構成を説明する。ブロックシャフル回路１０２によりシャフルされた画像は、ＡＤＲＣブロックとして、遅延回路１６１、動き特徴量算出回路１６２、ＤＲ算出回路１６３、および遅延回路１６６に供給される。
【０１００】
遅延回路１６１は、２フレームブロック（４×１６画素から成るＡＤＲＣブロック）を動き特徴量算出回路１６２の処理時間に対応する時間だけ遅延させて、情報量制御回路１６４に出力する。動き特徴量算出回路１６２は、ＡＤＲＣブロック毎に、フレーム間差分の絶対値の最大値である動き特徴量を算出して、情報量制御回路１６４に供給する。ＤＲ算出回路１６３は、ＡＤＲＣブロック毎に、静止画とみなされた場合のダイナミックレンジＤＲおよび動画とみなされた場合のダイナミックレンジＤＲを算出して、情報量制御回路１６４に供給する。
【０１０１】
情報量制御回路１６４は、遅延回路１６１から供給された２フレームブロック、動き特徴量算出回路１６２から供給された動き特徴量、ＤＲ算出回路１６３から供給された静止画とみなされた場合のダイナミックレンジＤＲおよび動画とみなされた場合のダイナミックレンジＤＲ、並びに閾値テーブル１６５から供給された閾値Th1およびTh2並びに閾値T1およびT2のセットを基に、閾値Th1およびTh2から成るＭＦ選択閾値を選択して、静動判定回路１６９に出力する。
【０１０２】
情報量制御回路１６４は、２フレームブロック、動き特徴量、静止画とみなされた場合のダイナミックレンジＤＲおよび動画とみなされた場合のダイナミックレンジＤＲ、並びに閾値テーブル１６５から供給された閾値Th1およびTh2並びに閾値T1およびT2のセットを基に、Ｑビット選択閾値を選択して、ＡＤＲＣエンコーダ１７１に出力する。
【０１０３】
例えば、動き特徴量が４で、静止画とみなされた場合のダイナミックレンジＤＲが１４で、動画とみなされた場合のダイナミックレンジＤＲが１５である場合、テーブルインデックスが０の閾値T1が６で、閾値T2が１２で、閾値Th1が３で、閾値Th2が３で、テーブルインデックスが１の閾値T1が１３で、閾値T2が４０で、閾値Th1が５で、閾値Th2が５であるときについて説明する。
【０１０４】
情報量制御回路１６４は、テーブルインデックスが０の閾値のセットに対して、動き特徴量が閾値Th2より大きいので、動画と判定する。動画とみなされた場合のダイナミックレンジＤＲが閾値T2より大きいので、このＡＤＲＣブロックのｑは４となり、情報量制御回路１６４は、コードＱが（１６＊４）＊４より２５６ビットであることを求める。
【０１０５】
同様に、情報量制御回路１６４は、テーブルインデックスが１の閾値のセットに対して、動き特徴量が閾値Th1より小さいので、静止画と判定する。静止画とみなされた場合のダイナミックレンジＤＲが閾値T1より大きく、閾値T2より小さいので、このＡＤＲＣブロックのｑは３となり、情報量制御回路１６４は、コードＱが（８＊４）＊３より９６ビットであることを求める。
【０１０６】
このように、閾値のセットには、テーブルインデックスが大きくなると、情報量が減少するようにそれぞれの閾値が設定されている。情報量制御回路１６４は、１つのバッファに対して生成されるコードＱが、16,104ビット以下で、最も大きい情報量のテーブルインデックスをテーブルインデックスＴＩとして選択して、遅延回路１７３に出力する。
【０１０７】
情報量制御回路１６４は、テーブルインデックスに対応するコードＱのビット数を並列演算しても、テーブルインデックスの大きい（または小さい）側から逐次演算するようにしてもよい。
【０１０８】
図２５および図２６を参照して、情報量制御回路１６４の構成の例を説明する。図２５は、情報量制御回路１６４の前段部の構成を示す図であり、図２６は、情報量制御回路１６４の後段部の構成を示す図である。
【０１０９】
図２５に示すように、情報量制御回路１６４の前段部には、ダイナミックレンジＤＲの閾値の数に対応した数分の比較回路１８１−１および１８１−２と、加算器１８２−１および１８２−２と、レジスタ１８３−１および１８３−２とが設けられている。比較回路１８１−１および１８１−２のそれぞれの一方の入力端子に（０乃至２５５）までの数値を取りうるダイナミックレンジＤＲが供給される。
【０１１０】
また、図２５において、閾値テーブル１６５から、例えば、閾値Ｔ１および閾値Ｔ２が読み出され、比較回路１８１−１および１８１−２の他方の入力端子のそれぞれに供給される。具体的には、比較回路１８１−１の他方の入力端子に閾値Ｔ１が供給され、比較回路１８１−２の他方の入力端子には閾値Ｔ２が供給される。
【０１１１】
比較回路１８１−１および１８１−２のそれぞれには、入力端子５からのダイナミックレンジＤＲが各閾値以上の場合に、「１」の出力を発生する。比較回路１８１−１および１８１−２の比較出力がそれぞれに接続された加算器１８２−１または１８２−２のいずれかの一方の入力端子に供給される。加算器１８２−１または１８２−２の他方の入力端子には、レジスタ１８３−１および１８３−２を介して自らの加算出力が供給されるように構成されている。
【０１１２】
従って、加算器１８２−１によって（Ｔ１≦ＤＲ≦２５５）の度数の積算値が算出され、得られたデータがレジスタ１８３−１に保持される。また、加算器１８２−２によって（Ｔ２≦ＤＲ≦２５５）の度数の積算値が算出され、得られたデータがレジスタ１８３−２に保持される。
【０１１３】
レジスタ１８３−１および１８３−２のそれぞれに保持されている発生度数データのそれぞれが取り出され、図２６に示すように、加算器１９１に供給される。更に、加算器１９１には、予め情報量制御回路１６４に記憶されている度数データが供給される。加算器１９１において、（Ｔ１≦ＤＲ≦２５５）の発生度数データと、（Ｔ２≦ＤＲ≦２５５）の発生度数データと、予め記憶されている度数データが加算され、総量が算出される。
【０１１４】
（Ｔ１≦ＤＲ≦Ｔ２−１）の発生度数値を（Ｓ３）とし、（Ｔ２≦ＤＲ≦２５５）の発生度数値を（Ｓ４）とする。（Ｔ２≦ＤＲ≦２５５）の発生度数値は、（Ｓ４＋Ｓ３＋Ｓ２）（ｑが４ビットであるコードＱに対応する）となり、（Ｔ１≦ＤＲ≦２５５）の発生度数値は、（Ｓ３＋Ｓ２）（ｑが３ビットであるコードＱに対応する）となる。（Ｓ２）（ｑが２ビットであるコードＱに対応する）は、全てのＡＤＲＣブロックに対応して発生するので、予め、情報量制御回路１６４に記憶しておくことができる。これらを加算器１９１によって加算すると、（Ｓ３＋２＊Ｓ３＋３＊Ｓ２）の出力が得られる。この出力は、割り当てビットを乗算して全加算した場合と等しい総量である。
【０１１５】
加算器１９１において算出された総量がレジスタ１９２を介して比較回路１９３の一方の入力端子に供給される。比較回路１９３の他方の入力端子１２には、バッファ最大値が供給されており、総量がバッファ最大値と比較される。比較回路１９３の比較出力を基に、総量がバッファ最大値以下となるような閾値が決定される。つまり、閾値テーブル１６５には、予め発生データの総量が単純増加もしくは単純減少するように複数組の閾値が格納されており、総量が目標以内に収まるように閾値が選定される。
【０１１６】
情報量制御回路１６４は、比較回路１９３の比較出力を基に、ＭＦ選択閾値、Ｑビット選択閾値、およびテーブルインデックスＴＩを選択して、出力する。
【０１１７】
図２４に戻り、遅延回路１６６は、２フレームブロック（４×１６画素から成るＡＤＲＣブロック）を遅延回路１６１および情報量制御回路１６４の処理時間に対応する時間だけ遅延させて、静止ブロック生成回路１６７、遅延回路１６８および静動判定回路１６９に出力する。静止ブロック生成回路１６７は、２フレームブロック（４×１６画素から成るＡＤＲＣブロック）から、偶数フレームと奇数フレームの画面上で同一位置にある画素同士の画素値の平均をとり、その３２個の平均値を新たにＡＤＲＣブロックとして置き代え、１フレームブロック（４×８画素から成るＡＤＲＣブロック）として選択回路１７０に供給する。
【０１１８】
遅延回路１６８は、２フレームブロック（４×１６画素から成るＡＤＲＣブロック）を静止ブロック生成回路１６７の処理時間に対応する時間だけ遅延させて、選択回路１７０に供給する。
【０１１９】
静動判定回路１６９は、２フレームブロック（４×１６画素から成るＡＤＲＣブロック）並びに閾値Th1およびTh2から成るＭＦ選択閾値を基に、そのＡＤＲＣブロックに付される動きフラグＭＦを生成して、選択回路１７０および遅延回路１７２に供給する。
【０１２０】
選択回路１７０は、動きフラグＭＦが１のとき、すなわち、ＡＤＲＣブロックが動画に対応するとき、遅延回路１６８から供給された２フレームブロックをＡＤＲＣエンコーダ１７１に供給し、動きフラグＭＦが０のとき、すなわち、ＡＤＲＣブロックが静止画に対応するとき、静止ブロック生成回路１６７から供給された１フレームブロックをＡＤＲＣエンコーダ１７１に供給する。
【０１２１】
ＡＤＲＣエンコーダ１７１は、情報量制御回路１６４から供給されたＱビット選択閾値を基に、選択回路１７０から供給された２フレームブロックまたは１フレームブロックを符号化して、ダイナミックレンジＤＲ、最小値ＭＩＮ、ｑ、およびコードＱを出力する。
【０１２２】
遅延回路１７２は、選択回路１７０の処理時間およびＡＤＲＣエンコーダ１７１の処理時間に対応させて、静動判定回路１６９から供給された動きフラグＭＦを遅延して、出力する。
【０１２３】
遅延回路１７３は、遅延回路１６８の遅延時間、選択回路１７０の処理時間、およびＡＤＲＣエンコーダ１７１の処理時間に対応させて、情報量制御回路１６４から供給されたテーブルインデックスＴＩを遅延して、出力する。
【０１２４】
このように、ＡＤＲＣ符号化回路１０３は、ＡＤＲＣブロック毎に、ダイナミックレンジＤＲ、画素値の最小値ＭＩＮ、動きフラグＭＦ、およびコードＱを生成し、量子化テーブルのインデックスＴＩと共に、セグメント間シャフル回路１０４に供給する。
【０１２５】
図２７は、セグメント間シャフル回路１０４のシャフルの仕方を説明する図である。図２７に示すように、シャフルの仕方にはシャフル０乃至２の３通り存在し、シャフル０は、シャフルを行わないシャフルである。シャフル１は、セグメント０（セグメント１）のデータをセグメント４（セグメント５）に、セグメント２（セグメント３）のデータをセグメント０（セグメント１）に、セグメント４（セグメント５）のデータをセグメント２（セグメント３）に、それぞれシャフル（入れ替え）する。
【０１２６】
同様に、シャフル２は、セグメント０（セグメント１）のデータをセグメント２（セグメント３）に、セグメント２（セグメント３）のデータをセグメント４（セグメント５）に、セグメント４（セグメント５）のデータをセグメント０（セグメント１）に、それぞれシャフルする。
【０１２７】
図２８は、セグメント０、セグメント３、およびセグメント５において行われるダイナミックレンジＤＲのシャフルについて説明する図である。１セグメントは、５バッファから構成され、１バッファは８８個のＡＤＲＣブロックを含むため、１セグメントには、４４０個のＤＲが含まれる。各セグメント内に存在するＤＲに番号１乃至４４０を順次付し、図２８では、例えば、セグメント１の番号１のＤＲは、ＤＲ１−１というように記述してある。
【０１２８】
各セグメントの番号１のＤＲに対しては、シャフル０が用いられ（すなわち、入れ替えはされない）、番号２のＤＲに対しては、シャフル１が用いられ、番号３のＤＲに対しては、シャフル２が用いられ、番号４のＤＲに対しては、シャフル０が用いられるというように、シャフル０、シャフル１、シャフル２の順でシャフルが行われる。
【０１２９】
同様に、コードＱに対してもシャフルが行われる。また、画素値の最小値であるＭＩＮに対しては、図２９に示したように、シャフル１、シャフル２、シャフル０の順で行われシャフルが行われる。さらに、動きフラグであるＭＦに対しては、図３０に示すように、シャフル２、シャフル０、シャフル１の順で行われる。
【０１３０】
次に、量子化テーブルのインデックスＴＩのシャフルについて説明する。セグメント０に格納されているＴＩは、セグメント３にも格納され、セグメント３に格納されているＴＩは、セグメント０にも格納される。すなわち、セグメント０とセグメント３は、自己のＴＩと対となっている相手のＴＩとの両方を格納する。同様に、セグメント１とセグメント４、セグメント３とセグメント５は、それぞれ自己のＴＩと対となっている相手のＴＩとの両方を格納する。
【０１３１】
このように、ダイナミックレンジＤＲ、画素値の最小値ＭＩＮ、および動きフラグＭＦがシャフルされることにより、通信エラーが発生して、いずれかのデータを含んだパケットが欠落しても、受信装置２２は、所定のＡＤＲＣブロックを復号するとき、受信することができた他のデータを基に、欠落したデータをリカバリすることができる。また、コードＱがシャフルされることにより、通信エラーが発生して、コードＱを含んだパケットが欠落しても、欠落したコードＱに対応する画素が分散され、受信装置２２は、コードＱの切り出しがしやすくなり、また、所定のＡＤＲＣブロックを復号するとき、復号できた画素値を基に、欠落した画素値の創造が容易になる。
【０１３２】
このように、セグメントの間でデータをシャフルすることにより、通信装置２は、データのリカバリ、および欠落画素の創造が容易になり、伝送路においてパケットが欠落しても、再生する画像の質を維持することができる。
【０１３３】
符号化回路３５のセグメント間シャフル回路１０４から出力されたデータは、パケット化回路３７に入力され、パケットにされる。図３１に、パケットの構成を示す。図３１に示したパケット構成は、２０１バイトで構成され、その内、ＤＲがＡ×８Ｍビット、ＭＩＮがＢ×８Ｍビット、ＭＦがＣ×８Ｍビット、ＴＩがＤ×（８Ｍ／Ｄ）ビット、およびコードＱ（VL-Data）が８×Ｎビットで構成されている。このサイズの単位のパケットを複数用いてデータを格納する。
【０１３４】
このように、ダイナミックレンジＤＲ、画素値の最小値ＭＩＮ、動きフラグＭＦ、テーブルインデックスＴＩ、およびコードＱが８の倍数となるように構成することにより、上述したシャフリングを行うときに、各々のデータのビット数サイズによらず、統一のアーキテクチャで、かつ、バイト単位で扱うのに適する。
上述した説明、および後述する説明においては、図３１に示したパケット構成を用いた場合である。
【０１３５】
次に、送信装置２１の画像の送信の処理を図３２のフローチャートを参照して説明する。ステップＳ１１において、間引き部３３のＡ／Ｄ変換回路５２は、入力された６０Ｈｚのフィールド周波数を有するインターレース方式の画像信号を、所定のサンプリングレートでサンプリングして、所定のデータレートのＹデータ、Ｕデータ、およびＶデータとして出力する。ステップＳ１２において、間引きフィルタ５３は、Ｙデータ、Ｕデータ、およびＶデータをそれぞれ、水平方向と垂直方向に１／２に間引き、３０Ｈｚのフレーム周波数を有するプログレッシブ方式のデータに変換する。
【０１３６】
ステップＳ１３において、ＵＶ垂直１／２回路５５は、Ｕデータ、およびＶデータを、垂直方向に１／２に間引く。ステップＳ１４において、フォーマット変換回路３４は、Ｙデータ、Ｕデータ、およびＶデータを符号化回路３５に供給できる形式に変換する。
【０１３７】
ステップＳ１５において、符号化回路３５は、フォーマット変換回路３４から供給されたＹデータ、Ｕデータ、およびＶデータをシャフルして、符号化し、更にシャフルして、パケット化回路３７に出力する。ステップＳ１６において、パケット化回路３７は、符号化回路３５から供給されたデータを、パケット化し、送信回路３９に出力する。ステップＳ１９において、送信回路３９は、パケット化回路３７から供給されたパケットを所定の方式で送信し、処理は終了する。
【０１３８】
以上のように、送信装置２１は、入力された画像の信号を圧縮して、パケットとして出力する。
【０１３９】
次に、受信装置２２について説明する。図３３は、受信装置２２の構成を示すブロック図である。受信回路３０１が受信したパケットは、パケット解体回路３０２に供給される。受信回路３０１は、受信したパケットに欠落が生じたとき、欠落パケットのデータの各ビット単位で、欠落フラグをセットする。パケット解体回路３０２は、供給されたパケットを一時的に外部メモリ３０３に記憶させ、外部メモリ３０３に一時的に記憶されたパケットを解体して、パケットに含まれるデータを取り出し、欠落フラグと共に復号回路３０４に供給する。コードＱに、８ビット単位で欠落フラグを付け、ダイナミックレンジＤＲ、画素値の最小値ＭＩＮ、および動きフラグＭＦ毎に欠落フラグを付けるようにしても良い。
【０１４０】
復号回路３０４は、パケット解体回路３０２から供給されたデータを一時的に外部メモリ３０５に記憶させ、外部メモリ３０５に一時的に記憶されたＡＤＲＣ方式で符号化されているデータを復号し、フォーマット変換回路３０６に供給する。復号回路３０４は、復号に必要なダイナミックレンジＤＲまたは最小値ＭＩＮなどのデータが欠落している場合、欠落しているデータをリカバリして、復号し、復号に成功したとき、対応する欠落フラグをリセットする。
【０１４１】
フォーマット変換回路３０６は、復号回路３０４から供給されたデータを一時的に外部メモリ３０７に記憶させ、外部メモリ３０７に一時的に記憶されたデータに対し、フォーマット変換回路３４の処理とは逆の処理を実行して、欠落画素創造回路３０８に供給する。
【０１４２】
欠落画素創造回路３０８は、フォーマット変換回路３０６から供給されたデータを基に、クラス分類適応処理により、伝送中に欠落した画素のデータを、欠落した画素の周辺の画素の画素値から作り出し、そのデータをフォーマット変換回路３１０に供給する。イニシャライズ回路３０９は、受信装置２２の起動時などにおいて、欠落画素創造回路３０８に、係数セットなどを供給する。
【０１４３】
フォーマット変換回路３１０は、欠落画素創造回路３０８から供給されたデータを一時的に外部メモリ３１１に記憶させ、外部メモリ３１１に一時的に記憶されたデータを４倍密解像度創造回路３１２が処理できる、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式の３：０．５：０．５の画像データに変換し、変換したデータを４倍密解像度創造回路３１２に供給する。
【０１４４】
４倍密解像度創造回路３１２は、フォーマット変換回路３１０から供給された画像データを基に、供給された画像の４倍の密度の画像データを創造し、補間部３１４に供給する。イニシャライズ回路３１３は、４倍密解像度創造回路３１２に、係数セットなどを供給する。
【０１４５】
補間部３１４は、フォーマット変換回路３３１、外部メモリ３３２、ＵＶ垂直２倍回路３３３、外部メモリ３３４、Ｄ／Ａ変換回路３３５、および後置フィルタ３３６で構成されている。
【０１４６】
フォーマット変換回路３３１は、４倍密解像度創造回路３１２から供給されたデータを入力し、一時的に外部メモリ３３２に記憶させ、外部メモリ３３２に一時的に記憶されたデータをＵＶ垂直２倍回路３３３が処理できる、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式の３：０．５：０．５の画像データに変換し、変換されたデータをＵＶ垂直２倍回路３３３に出力する。
【０１４７】
ＵＶ垂直２倍回路３３３は、フォーマット変換回路３３１から供給されたデータを一時的に外部メモリ３３４に記憶させ、外部メモリ３３４に一時的に記憶されたデータのＵデータおよびＶデータを、それぞれ垂直方向に２倍に補間し、Ｙデータ、Ｕデータ、およびＶデータをＤ／Ａ変換回路３３５に供給する。
【０１４８】
Ｄ／Ａ変換回路３３５は、ＵＶ垂直２倍回路３３３から供給されたＹデータ、Ｕデータ、およびＶデータを、アナログのＹ信号、Ｕ信号、およびＶ信号に変換し、後置フィルタ３３６に出力する。後置フィルタ３３６は、Ｄ／Ａ変換回路３３５から出力されたアナログのＹ信号、Ｕ信号、およびＶ信号のうち、有効な成分のみを通過させるフィルタ（いわゆる、ｓｉｎＸ／Ｘフィルタ）である。後置フィルタ３３６を通過したＹ信号、Ｕ信号、およびＶ信号は、ＮＴＳＣエンコーダ３１５に供給され、あるいは、そのまま受信装置２２の出力として出力される。
【０１４９】
ＮＴＳＣエンコーダ３１５は、入力されたＹ信号、Ｕ信号、およびＶ信号を基に、コンポーネント信号（Ｙ／Ｃ信号）およびコンポジットビデオ信号を生成し、出力する。
【０１５０】
ＰＬＬ回路３１６は、各回路の処理の基準となる基準信号を生成し、コントロール回路３１７に供給する。コントロール回路３１７は、パケット解体回路３０２、復号回路３０４、フォーマット変換回路３０６、欠落画素創造回路３０８、フォーマット変換回路３１０、４倍密解像度創造回路３１２、補間部３１４、およびＮＴＳＣエンコーダ３１５に、生成したコントロール信号を供給し、受信装置２２全体の動作を制御する。
【０１５１】
図３４を参照して、インターレース方式で信号が出力される場合の受信装置２２で受信された画像のデータが伸張される過程を説明する。復号回路３０４で復号された画像のデータは、フォーマット変換回路３０６で、３０Ｈｚのフレーム周波数を有する、プログレッシブ方式の１フレーム当たり水平方向に２６４画素および垂直方向に２４０画素を有するＹデータ、並びに８８画素×１２０画素×２のＵデータおよびＶデータに変換される。
【０１５２】
フォーマット変換回路３０６から出力された１フレームを構成するＹデータ、Ｕデータ、およびＶデータは、欠落画素創造回路３０８で欠落画素が創造された後、４倍密解像度創造回路３１２により、６０Ｈｚのフィールド周波数を有する、インターレース方式の第１フィールドおよび第２フィールドに変換される。このとき、Ｙデータは、１つのフィールド当たり、水平方向に５２８画素および垂直方向に２４０画素を含むデータとなる。ＵデータおよびＶデータは、それぞれ１つのフィールド当たり、水平方向に１７６画素および垂直方向に１２０画素を含むデータとなる。
【０１５３】
４倍密解像度創造回路３１２から出力されたＹデータ、Ｕデータ、およびＶデータは、フォーマット変換回路３３１により、Ｙデータが、１つのフレーム当たり、水平方向に５２８画素および垂直方向に４８０画素を含むデータに変換され、ＵデータおよびＶデータは、それぞれ１つのフレーム当たり、水平方向に１７６画素および垂直方向に２４０画素を含むデータに変換される。
【０１５４】
更に、ＵデータおよびＶデータは、ＵＶ垂直２倍回路３３３により、１つのフレーム当たり、水平方向に１７６画素および垂直方向に４８０画素を含むデータに変換される。Ｄ／Ａ変換回路３３５は、デジタルアナログ変換を行い、ＹデータをアナログＹ信号に変換し、ＵデータおよびＶデータをアナログＵ信号およびアナログＶ信号にそれぞれ変換する。
【０１５５】
このように、補間部３１４で、間引き部３３に対応する処理を行うことで、実用的な値にまで低減されたビットレートで伝送されてきたデータから、充分な画質を有する元の画像を再現することができる。
【０１５６】
以上のように、受信装置２２は、受信した画像のデータを伸張して、インターレース方式のＹ信号、Ｕ信号、およびＶ信号として出力する。受信装置２２が出力する画像の信号の情報は、163Mbpsに相当し、送信装置２１に入力された画像の信号の情報と比較すると、９８％の情報量に相当する。
【０１５７】
次に、復号回路３０４について説明する。図３５は、復号回路３０４の構成を示すブロック図である。コントロール回路３１７から供給されたコントロール信号は、タイミング信号生成回路３５１に入力される。タイミング信号生成回路３５１は、コントロール信号を基に、タイミング信号を生成し、セグメント間デシャフル回路３５２、ｑビットＭＦリカバリ回路３５３、ＤＲＭＩＮリカバリ回路３５４、ＡＤＲＣ復号回路３５５、ブロックデシャフル回路３５６、およびリカバリエラー判定回路３５７に供給する。
【０１５８】
パケット解体回路３０２から供給されたデータは、セグメント間デシャフル回路３５２に入力される。セグメント間デシャフル回路３５２は、図１４に示す送信装置２１のセグメント間シャフル回路１０４と逆の動作を行い、シャフルされたデータを元の並びに戻す。デシャフルされたデータに欠落がないとき、セグメント間デシャフル回路３５２は、デシャフルされたデータをＡＤＲＣ復号回路３５５に供給する。デシャフルされたデータに欠落があるとき、セグメント間デシャフル回路３５２は、デシャフルされたデータをｑビットＭＦリカバリ回路３５３、およびＤＲＭＩＮリカバリ回路３５４に供給する。また、セグメント間に跨る複数のブロックのデータにエラーがあるとき、セグメント間デシャフル回路３５２は、連続エラー信号をブロックデシャフル回路３５６に出力する。
【０１５９】
ｑビットＭＦリカバリ回路３５３は、隣接する画素の相関が圧縮されたコードＱに残っていることを利用し、連続する３つのＡＤＲＣブロックの画素の画素値の相関を基に、その相関が最大となる、ｑおよび動きフラグＭＦの値の組み合わせを求め、ｑおよび動きフラグＭＦの正しい値として、ＤＲＭＩＮリカバリ回路３５４に出力する。ｑビットＭＦリカバリ回路３５３は、動きフラグＭＦが正しいか否かを判定するためのｅｍｉｎ１およびｅｍｉｎ２（隣接画素差分の最小値と２番目に小さい値）をリカバリエラー判定回路３５７に送信する。
【０１６０】
図３６は、ｑビットＭＦリカバリ回路３５３の構成を示すブロック図である。
セグメントデシャフル回路３５２から供給されたデシャフルされたデータは、ｑビットＭＦ取り出し回路３７１に供給される。
【０１６１】
ｑビットＭＦ取り出し回路３７１は、供給されたデータから、ｑおよび動きフラグＭＦを取り出し、３ブロック評価値算出回路３７２−１乃至３７２−６のそれぞれに供給する。エラーでｑおよび動きフラグＭＦが失われた場合、ｑビットＭＦ取り出し回路３７１は、ｑおよび動きフラグＭＦとして可能性のある組み合わせを、３ブロック評価値算出回路３７２−１乃至３７２−６のそれぞれに供給する。
【０１６２】
例えば、”２”が設定されたｑおよび”０”が設定された動きフラグＭＦは、３ブロック評価値算出回路３７２−１に供給され、”３”が設定されたｑおよび”０”が設定された動きフラグＭＦは、３ブロック評価値算出回路３７２−２に供給され、”４”が設定されたｑおよび”０”が設定された動きフラグＭＦは、３ブロック評価値算出回路３７２−３に供給される。また、例えば、”２”が設定されたｑおよび”１”が設定された動きフラグＭＦは、３ブロック評価値算出回路３７２−４に供給され、”３”が設定されたｑおよび”１”が設定された動きフラグＭＦは、３ブロック評価値算出回路３７２−５に供給され、”４”が設定されたｑおよび”１”が設定された動きフラグＭＦは、３ブロック評価値算出回路３７２−６に供給される。
【０１６３】
３ブロック評価値算出回路３７２−１乃至３７２−６は、ｑおよび動きフラグＭＦを基に、切り出されたコードＱより復号される画素値から、互いに隣接する画素の画素値の差分を基にした評価値（LE:Linear Error）を算出し、ｑおよび動きフラグＭＦと共に評価値をセレクタ３７３に供給する。以下、３ブロック評価値算出回路３７２−１乃至３７２−６を、個々に区別する必要がないときは、単に３ブロック評価値算出回路３７２と称する。
【０１６４】
評価値は、式（２）で算出される。評価値は、小さいほど画素の相関が高い。
【数１】
0004568939.tif 000003
Ｑi,jは、リカバリの対象となるＡＤＲＣブロックに含まれる欠落していないコードＱを示す。Ｑ’i,jは、Ｑi,jが含まれるＡＤＲＣブロックを構成する画素を含む図１７および図１８に示す６４画素のブロックの画素で構成される他のＡＤＲＣブロックに含まれるコードＱを示す。例えば、Ｑi,jが図２０の番号”０”の偶数セグメントのＡＤＲＣブロックに含まれるとき、Ｑ’i,jは、番号”３”の奇数セグメントのＡＤＲＣブロックに含まれる。Ｑi,jが図２０の番号”４”の偶数セグメントのＡＤＲＣブロックに含まれるとき、Ｑ’i,jは、番号”１”の奇数セグメントのＡＤＲＣブロックに含まれる。ｑi,jは、Ｑi,jを切り出すｑを示す。ｑ’i,jは、Ｑ’i,jを切り出すｑを示す。Njは、ＡＤＲＣブロック内欠落していないコードＱの数を示す。ｊは、評価値が算出される３つのＡＤＲＣブロックを識別する番号である。
【０１６５】
オフセットjは、３つのＡＤＲＣブロックの間のダイナミックレンジ、ｑの違いを吸収し、より正確な評価値を算出するために用いられ、式（３）、式（４）、および式（５）で算出される。
0004568939.tif 000004
【数２】
0004568939.tif 000005
【数３】
0004568939.tif 000006
【０１６６】
セレクタ３７３は、３ブロック評価値算出回路３７２−１乃至３７２−６のそれぞれから供給された評価値から、最小値を有する評価値、および最小値の次に大きい値を有する評価値を選択し、それぞれｅｍｉｎ１およびｅｍｉｎ２として、リカバリエラー判定回路３５７に供給する。
【０１６７】
セレクタ３７３は、３ブロック評価値算出回路３７２−１乃至３７２−６のうち、最小値を有する評価値を出力したものが出力するｑおよび動きフラグＭＦを選択して、ｑビットＭＦリカバリ回路３５３の出力として、ＤＲＭＩＮリカバリ回路３５４に供給する。
【０１６８】
ＤＲＭＩＮリカバリ回路３５４は、ｑビットＭＦリカバリ回路３５３から供給されたｑの正しい値および動きフラグＭＦの正しい値とセグメント間デシャフル回路３５２からの図１６で示した対応するＡＤＲＣブロックとを基に、ＡＤＲＣブロック毎のダイナミックレンジＤＲの正しい値およびＡＤＲＣブロック毎の画素値の最小値ＭＩＮを求め、ＡＤＲＣ復号回路３５５に出力する。
【０１６９】
以下、３ブロック評価値算出回路３７２−１乃至３７２−６を区別する必要がないとき、単に、３ブロック評価値算出回路３７２と称する。
【０１７０】
図３７乃至図３９を参照して、ＤＲＭＩＮリカバリ回路３５４のダイナミックレンジＤＲまたは画素値の最小値ＭＩＮのリカバリの処理を説明する。画素値Ｌは、ＡＤＲＣの方式により、コードＱから式（６）の処理により復号される。
L=DR/(2Q)*q+MIN                          （６）
【０１７１】
図３７に示すように、ｑと画素値Ｌとの関係は、傾きをＤＲ／（２Q）とし、接片を画素値の最小値ＭＩＮとする直線で表される。
【０１７２】
ＡＤＲＣブロック内の（ｑ，Ｌ）の組より、式（６）のＤＲ／（２Q）および画素値の最小値ＭＩＮを統計的に求める。図３８に示す、（ｑ，Ｌ）の回帰直線を、式（６）の直線に等しいとする。
【０１７３】
このとき、ｂが既知であるならば、ａは、式（７）で算出される。
a=(B-nb)/A                                    （７）
【０１７４】
また、ａが既知であるならば、ｂは、式（８）で算出される。
b=(B-Aa)/n                                    （８）
【０１７５】
ここで、ｎは、（ｑ，Ｌ）の点の個数であり、Ａは、Σｘであり、Ｂは、Σｙである。
【０１７６】
ダイナミックレンジＤＲは、式（９）で算出される。
0004568939.tif 000007
図３９（Ａ）に示すように、ダイナミックレンジＤＲまたは画素値の最小値ＭＩＮをリカバリしようとするブロックが隣接する欠落のないのブロックの数を、ｎｉとしたとき、Ｎは、Σｎｉである。図３９において、斜線が示された四角は、ダイナミックレンジＤＲまたは画素値の最小値ＭＩＮをリカバリしようとするブロックを示す。図３９において、斜線のない四角は、欠落のないのブロックを示す。ダイナミックレンジＤＲまたは画素値の最小値ＭＩＮをリカバリしようとするブロックのｑが欠落している時、図３９（Ｂ）に示す様に、ｎｉは０である。
【０１７７】
ＤＲ’は、リカバリしようとするブロックが隣接する、欠落のないのブロックのダイナミックレンジを示す。ＭＩＮ’は、リカバリしようとするブロックが隣接する、欠落のないのブロックの画素値の最小値を示す。Ｑ’は、リカバリしようとするブロックが隣接する、欠落のないのブロックのコードＱを示す。
【０１７８】
Ｘは、式（１０）で表される。
【数４】
0004568939.tif 000008
Ｙは、式（１１）で示される。
【数５】
0004568939.tif 000009
【０１７９】
画素値の最小値ＭＩＮは、式（１２）で算出される。
0004568939.tif 000010
【０１８０】
ＡＤＲＣ復号回路３５５は、デシャフルされたデータに欠落がないとき、セグメント間デシャフル回路３５２から供給されたデータを基に、コードＱを復号し、復号の結果得られたＹデータ、Ｕデータ、およびＶデータをブロックデシャフル回路３５６に供給する。
【０１８１】
ＡＤＲＣ復号回路３５５は、ｑまたは動きフラグＭＦに欠落があり、かつｑビットＭＦリカバリ回路３５３がｑの正しい値および動きフラグＭＦの正しい値を求めることができたとき、ＤＲＭＩＮリカバリ回路３５４を介して供給されたｑの正しい値、動きフラグＭＦの正しい値、ダイナミックレンジＤＲ、およびブロック毎の画素値の最小値ＭＩＮを基に、ＤＲＭＩＮリカバリ回路３５４から供給されたコードＱを復号し、復号の結果得られたＹデータ、Ｕデータ、およびＶデータを、Ｙデータ、Ｕデータ、およびＶデータに対応する、”０”を設定したエラーフラグと共に、ブロックデシャフル回路３５６に供給する。
【０１８２】
ＡＤＲＣ復号回路３５５は、ｑまたは動きフラグＭＦに欠落があり、かつｑビットＭＦリカバリ回路３５３がｑの正しい値および動きフラグＭＦの正しい値を求めることができないとき、コードＱに対応するＹデータ、Ｕデータ、およびＶデータのエラーフラグに”１”を設定して、ブロックデシャフル回路３５６に供給する。
【０１８３】
ＡＤＲＣ復号回路３５５は、ダイナミックレンジＤＲ、または画素値の最小値ＭＩＮに欠落があり、かつＤＲＭＩＮリカバリ回路３５４がダイナミックレンジＤＲの正しい値および画素値の最小値ＭＩＮの正しい値を求めることができたとき、ＤＲＭＩＮリカバリ回路３５４を介して供給されたｑ、動きフラグＭＦ、ダイナミックレンジＤＲの正しい値、および画素値の最小値ＭＩＮの正しい値を基に、ＤＲＭＩＮリカバリ回路３５４から供給されたコードＱを復号し、復号の結果得られたＹデータ、Ｕデータ、およびＶデータを、Ｙデータ、Ｕデータ、およびＶデータに対応する、”０”を設定したエラーフラグと共に、ブロックデシャフル回路３５６に供給する。
【０１８４】
ＡＤＲＣ復号回路３５５は、ダイナミックレンジＤＲ、または画素値の最小値ＭＩＮに欠落があり、かつかつＤＲＭＩＮリカバリ回路３５４がダイナミックレンジＤＲの正しい値および画素値の最小値ＭＩＮの正しい値を求めることができないとき、コードＱに対応するＹデータ、Ｕデータ、およびＶデータのエラーフラグに”１”を設定して、ブロックデシャフル回路３５６に供給する。
【０１８５】
リカバリエラー判定回路３５７は、ｑビットＭＦリカバリ回路３５３から供給されたｅｍｉｎ１およびｅｍｉｎ２を基に、リカバリエラー判定フラグＦｄをブロックデシャフル回路３５６に出力し、外部メモリ３０５が記憶している前のフレームの対応する画素のＹデータ、Ｕデータ、およびＶデータの更新を停止させる。
【０１８６】
ブロックデシャフル回路３５６は、ＡＤＲＣ復号回路３５５から”０”を設定したエラーフラグと共に、Ｙデータ、Ｕデータ、およびＶデータが供給されたとき、エラーフラグ、並びにＹデータ、Ｕデータ、およびＶデータを記憶する。ブロックデシャフル回路３５６は、ＡＤＲＣ復号回路３５５から”１”を設定したエラーフラグと共に、Ｙデータ、Ｕデータ、およびＶデータが供給されたとき、エラーフラグを記憶し、Ｙデータ、Ｕデータ、およびＶデータを記憶しない。また、ブロックデシャフル回路３５６は、リカバリエラー判定回路３５７またはセグメント間デシャフル回路３５２から連続エラー信号が供給された場合も、外部メモリ３０５が記憶している前のフレームの対応する画素のＹデータ、Ｕデータ、およびＶデータの更新を停止させる。
【０１８７】
ブロックデシャフル回路３５６は、Ｙデータ、Ｕデータ、およびＶデータを、図１４に示す送信装置２１のブロックシャフル回路１０２と逆の動作で、元の並びに戻し、元の並びに変換されたＹデータ、Ｕデータ、およびＶデータを出力する。
【０１８８】
以上のように、復号回路３０４は、復号に必要なデータであるｑ、動きフラグＭＦ、ダイナミックレンジＤＲ、または画素値の最小値ＭＩＮが失われても、ｑビットＭＦリカバリ回路３５３およびＤＲＭＩＮリカバリ回路３５４が失われたデータをリカバリするので、復号を実行することができる。
【０１８９】
リカバリにエラーがあるときは、外部メモリ３０５に記憶されている画素値を上書きしないで、４フレーム前の画素値を出力するので、動きが無いとき、違和感のない画素値を出力できる。
【０１９０】
図４０は、本発明に係る３ブロック評価値算出回路３７２の構成を示す図である。３ブロック評価値算出回路３７２の入力１から入力されるコードＱは、演算回路３８１、レジスタ３８２、演算回路３８７、および演算回路３８８に供給される。入力１から入力されるコードＱは、図４１（Ａ）に示すように、（ｑ０），（ｑ２），（ｑ５），（ｑ７），（ｑ８），（ｑａ）、（ｑｄ）、および（ｑｆ）の順に入力される。
【０１９１】
３ブロック評価値算出回路３７２の入力２から入力されるコードＱは、演算回路３８１、レジスタ３８３、演算回路３８６、および演算回路３８７に供給される。入力２から入力されるコードＱは、図４１（Ｂ）に示すように、（ｑ１），（ｑ３），（ｑ４），（ｑ６），（ｑ９），（ｑｂ），（ｑｃ）、および（ｑｅ）の順に３ブロック評価値算出回路３７２に入力される。
【０１９２】
演算回路３８１は、入力１から入力されたコードＱと、入力２から入力されたコードＱとの差を算出し、絶対値回路３８９に供給する。絶対値回路３８９は、演算回路３８１から入力されたコードＱの差の絶対値を算出し、加算器３９３に供給する。絶対値回路３８９の出力４０１は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より１つのコードＱのビット数が入力される時間遅れて）、式（１）の、｜（ｑ０）−（ｑ１）｜，｜（ｑ２）−（ｑ３）｜，｜（ｑ４）−（ｑ５）｜，｜（ｑ６）−（ｑ７）｜，｜（ｑ８）−（ｑ９）｜，｜（ｑａ）−（ｑｂ）｜，｜（ｑｃ）−（ｑｄ）｜，または｜（ｑｅ）−（ｑｆ）｜の各項に対応する値を取る。
【０１９３】
レジスタ３８２は、入力１から入力されたコードＱを、１つのコードＱのビット数が入力される時間だけ遅延し、レジスタ３８４および演算回路３８７に供給する。レジスタ３８２の出力４０２は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より１つのコードＱのビット数が入力される時間遅れて）出力される。
【０１９４】
レジスタ３８３は、入力２から入力されたコードＱを、１つのコードＱが入力される時間だけ遅延し、レジスタ３８５および演算回路３８７に供給する。レジスタ３８３の出力４０３は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より１つのコードＱのビット数が入力される時間遅れて）出力される。
【０１９５】
演算回路３８７は、入力１から入力されたコードＱ、入力２から入力されたコードＱ、レジスタ３８２で遅延されたコードＱ、およびレジスタ３８３で遅延されたコードＱを基に、夫々の入力の差を算出し、絶対値回路３９１に出力する。
絶対値回路３９１は、演算回路３８７から供給された差の絶対値、すなわち、式（１）の、｜（ｑ１）−（ｑ２）｜，｜（ｑ５）−（ｑ６）｜，｜（ｑ９）−（ｑａ）｜，または｜（ｑｄ）−（ｑｅ）｜の各項の値を算出し、加算器３９３に供給する。
【０１９６】
絶対値回路３９１の出力４０４−１は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より２つのコードＱのビット数が入力される時間遅れて）、入力１から入力されたコードＱ（ｑ２）とレジスタ３８３から出力されたコードＱ（ｑ１）との差の絶対値として算出され、出力される。絶対値回路３９１の出力４０４−２は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より４つのコードＱのビット数が入力される時間遅れて）、入力２から入力されたコードＱ（ｑ６）とレジスタ３８２から出力されたコードＱ（ｑ５）との差の絶対値として算出され、出力される。絶対値回路３９１の出力４０４−３は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より６つのコードＱのビット数が入力される時間遅れて）、入力１から入力されたコードＱ（ｑａ）とレジスタ３８３から出力されたコードＱ（ｑ９）との差の絶対値として算出され、出力される。絶対値回路３９１の出力４０４−４は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より８つのコードＱのビット数が入力される時間遅れて）、入力２から入力されたコードＱ（ｑｅ）とレジスタ３８２から出力されたコードＱ（ｑｄ）との差の絶対値として算出され、出力される。
【０１９７】
レジスタ３８４は、レジスタ３８２から入力されたデータを、１つのコードＱが入力される時間だけ遅延し、演算回路３８６に供給する。レジスタ３８４の出力４０５は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より２つのコードＱのビット数が入力される時間遅れて）出力される。
【０１９８】
レジスタ３８５は、レジスタ３８３から入力されたデータを、１つのコードＱが入力される時間だけ遅延し、演算回路３８８に供給する。レジスタ３８５の出力４０６は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より２つのコードＱのビット数が入力される時間遅れて）出力される。
【０１９９】
演算回路３８６は、レジスタ３８４から供給されたコードＱと入力２から入力されたコードＱとの差を算出し、絶対値回路３９０に出力する。絶対値回路３９０は、演算回路３８６から供給されたコードＱの差の絶対値、すなわち、式（１）の、｜（ｑ０）−（ｑ４）｜，｜（ｑ２）−（ｑ６）｜，｜（ｑ５）−（ｑ９）｜，｜（ｑ７）−（ｑｂ）｜，｜（ｑ８）−（ｑｃ）｜、または｜（ｑａ）−（ｑｅ）｜の各項に対応する値を求め、加算器３９３に供給する。絶対値回路３９０の出力４０７は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より３つのコードＱのビット数が入力される時間遅れて）出力される。
【０２００】
演算回路３８８は、レジスタ３８５から供給されたデータおよび入力１から入力されたコードＱとの差を算出し、絶対値回路３９２に出力する。絶対値回路３９２は、演算回路３８８から供給されたコードＱの差の絶対値、すなわち、式（１）の、｜（ｑ１）−（ｑ５）｜，｜（ｑ３）−（ｑ７）｜，｜（ｑ４）−（ｑ８）｜，｜（ｑ６）−（ｑａ）｜，｜（ｑ９）−（ｑｄ）｜、または｜（ｑｂ）−（ｑｆ）｜の各項に対応する値を求め、加算器３９３に供給する。絶対値回路３９２の出力４０８は、図４１（Ｃ）に示すタイミングで（入力１、入力２からの入力より３つのコードＱのビット数が入力される時間遅れて）出力される。
【０２０１】
加算器３９３は、絶対値回路３８９、絶対値回路３９０、絶対値回路３９１、および絶対値回路３９２から供給されたコードＱの差の絶対値を加算し、レジスタ３９４に出力する。レジスタ３９４は、加算器３９３から供給されたデータを、１つのコードＱが入力される時間だけ遅延し、加算器３９３に供給し、また評価値として、外部に出力する。
【０２０２】
加算器３９３およびレジスタ３９４は、絶対値回路３８９の出力４０１、絶対値回路３９０の出力４０７、絶対値回路３９１の出力４０４−１乃至４０４−４、および絶対値回路３９２の出力４０８を加算（累積）し、式（１）の評価値を算出して、出力する。
【０２０３】
図４０に示す構成の３ブロック評価値算出回路３７２は、図２に示す場合に比較し、１／４の時間で、評価値を算出する。
【０２０４】
図４２は、本発明に係る３ブロック評価値算出回路３７２の他の構成を示す図である。３ブロック評価値算出回路３７２に入力されたコードＱは、レジスタ４１１、演算回路４１２、および演算回路４１６に供給される。レジスタ４１１は、入力されたコードＱを、１つのコードＱのビット数が入力される時間だけ遅延し、演算回路４１２およびレジスタ４１３に供給する。
【０２０５】
演算回路４１２は、３ブロック評価値算出回路３７２に入力されたコードＱとレジスタ４１１から供給されたコードＱとの差を算出して、絶対値回路４１７に供給する。絶対値回路４１７は、演算回路４１２から供給されたコードＱの差の絶対値を算出し、加算器４１９に供給する。
【０２０６】
レジスタ４１３は、レジスタ４１１から供給されたコードＱを、１つのコードＱのビット数が入力される時間だけ遅延し、レジスタ４１４に供給する。レジスタ４１４は、レジスタ４１３から供給されたコードＱを、１つのコードＱのビット数が入力される時間だけ遅延し、レジスタ４１５に供給する。レジスタ４１５は、レジスタ４１４から供給されたコードＱを、１つのコードＱのビット数が入力される時間だけ遅延し、演算回路４１６に供給する。
【０２０７】
演算回路４１６は、３ブロック評価値算出回路３７２に入力されたコードＱとレジスタ４１５から供給されたコードＱとの差を算出して、絶対値回路４１８に供給する。絶対値回路４１８は、演算回路４１６から供給されたコードＱの差の絶対値を算出し、加算器４１９に供給する。
【０２０８】
加算器４１９は、絶対値回路４１７、絶対値回路４１８、およびレジスタ４２０から供給されたデータを加算し、レジスタ４２０に出力する。レジスタ４２０は、加算器４１９から供給されたデータを１つのコードＱが入力される時間だけ遅延し、加算器４１９に供給し、また評価値として出力する。
【０２０９】
図４３は、図４２に示す３ブロック評価値算出回路３７２に供給されるコードＱ、および３ブロック評価値算出回路３７２の処理の過程を説明する図である。
図４３（Ａ）は、３ブロック評価値算出回路３７２に供給される画素のブロックを説明する図である。３ブロック評価値算出回路３７２に供給される画素のブロックは、図１に示す場合と同様であり、その説明は省略する。
【０２１０】
コードＱは、図４３（Ｂ）に示すように、（ｑ０），（ｑ１），（ｑ２），（ｑ３），・・・，（ｑｆ）の順で、３ブロック評価値算出回路３７２に供給される。レジスタ４１１の出力４２１は、３ブロック評価値算出回路３７２の入力に対し１つのコードＱだけ遅延される。すなわち、例えば、３ブロック評価値算出回路３７２に（ｑ１）が入力されるとき、レジスタ４１１は（ｑ０）を出力し、３ブロック評価値算出回路３７２に（ｑ２）が入力されるとき、レジスタ４１１は（ｑ１）を出力する。
【０２１１】
演算回路４１２の出力４２２−１乃至４２２−４は、図４３（Ｂ）に示すタイミングで（レジスタ４１１への入力から２つのコードＱのビット数が入力される分遅れて）、３ブロック評価値算出回路３７２に供給されるコードＱおよびレジスタ４１１から供給されるコードＱを基に算出され、式（１）の前半の、｜（ｑ０）−（ｑ１）｜，｜（ｑ１）−（ｑ２）｜，｜（ｑ２）−（ｑ３）｜，｜（ｑ４）−（ｑ５）｜，｜（ｑ５）−（ｑ６）｜，｜（ｑ６）−（ｑ７）｜，｜（ｑ８）−（ｑ９）｜，｜（ｑ９）−（ｑａ）｜，｜（ｑａ）−（ｑｂ）｜，｜（ｑｃ）−（ｑｄ）｜，｜（ｑｄ）−（ｑｅ）｜、または｜（ｑｅ）−（ｑｆ）｜の各項に対応する値を取る。
【０２１２】
レジスタ４１３の出力４２３は、３ブロック評価値算出回路３７２の入力に対し２つのコードＱのビット数が入力される時間だけ遅延される。すなわち、例えば、３ブロック評価値算出回路３７２に（ｑ２）が入力されるとき、レジスタ４１３は（ｑ０）を出力し、３ブロック評価値算出回路３７２に（ｑ３）が入力されるとき、レジスタ４１３は（ｑ１）を出力する。
【０２１３】
レジスタ４１４の出力４２４は、３ブロック評価値算出回路３７２の入力に対し３つのコードＱのビット数が入力される時間だけ遅延される。すなわち、例えば、３ブロック評価値算出回路３７２に（ｑ３）が入力されるとき、レジスタ４１４は（ｑ０）を出力し、３ブロック評価値算出回路３７２に（ｑ４）が入力されるとき、レジスタ４１４は（ｑ１）を出力する。
【０２１４】
レジスタ４１５の出力４２５は、３ブロック評価値算出回路３７２の入力に対し４つのコードＱのビット数が入力される時間だけ遅延される。すなわち、例えば、３ブロック評価値算出回路３７２に（ｑ４）が入力されるとき、レジスタ４１５は（ｑ０）を出力し、３ブロック評価値算出回路３７２に（ｑ５）が入力されるとき、レジスタ４１５は（ｑ１）を出力する。
【０２１５】
演算回路４１６の出力４２６は、図４３（Ｂ）に示すタイミングで（レジスタ４１１への入力から５つのコードＱのビット数が入力される分遅れて）、３ブロック評価値算出回路３７２に供給されるコードＱおよびレジスタ４１５から供給されるデータを基に算出され、式（１）の後半の、｜（ｑ０）−（ｑ４）｜，｜（ｑ１）−（ｑ５）｜，｜（ｑ２）−（ｑ６）｜，｜（ｑ３）−（ｑ７）｜，｜（ｑ４）−（ｑ８）｜，｜（ｑ５）−（ｑ９）｜，｜（ｑ６）−（ｑａ）｜，｜（ｑ７）−（ｑｂ）｜，｜（ｑ８）−（ｑｃ）｜，｜（ｑ９）−（ｑｄ）｜，｜（ｑａ）−（ｑｅ）｜、または｜（ｑｂ）−（ｑｆ）｜の各項に対応する値を取る。
【０２１６】
従って、加算器４１９およびレジスタ４２０は、演算回路４１２の出力４２２−１乃至４２２−４の絶対値および演算回路４１６の出力４２６の絶対値を加算（累積）し、式（１）の評価値を算出し、出力する。
【０２１７】
このように、図４２の構成の３ブロック評価値算出回路３７２は、図４０の構成の場合に比較し、小さな回路構成で、迅速に、所定のブロックの評価値を算出することができる。
【０２１８】
次に、復号回路３０４の処理のタイミングを図４４および図４５のタイミングチャートを参照して説明する。図４４は、セグメント間デシャフル回路３５２から出力されるデータに欠落がない場合の、復号回路３０４の処理のタイミングの例を示す。セグメント間デシャフル回路３５２は、デシャフルの処理を行い、所定の時間経過後（図４４の例では、入力開始から３６２クロック後）、ＡＤＲＣ復号回路３５５にデシャフルされたデータを出力する。ＡＤＲＣ復号回路３５５は、セグメント間デシャフル回路３５２から供給されたデータを復号して出力する。
【０２１９】
図４５は、セグメント間デシャフル回路３５２から出力されるデータに欠落がある場合の、復号回路３０４の処理のタイミングの例を示す。セグメント間デシャフル回路３５２は、デシャフルの処理を行い、データに欠落がない場合に、ＡＤＲＣ復号回路３５５にデータを供給するタイミングより早く（図４５の例では、入力開始から１２３クロック後）、ｑビットＭＦリカバリ回路３５３にデシャフルされたデータを出力する。ｑビットＭＦリカバリ回路３５３は、所定のタイミングで、ｑおよび動きフラグＭＦを、ＤＲＭＩＮリカバリ回路３５４に供給する。
【０２２０】
ＤＲＭＩＮリカバリ回路３５４は、データに欠落がない場合にセグメント間デシャフル回路３５２がＡＤＲＣ復号回路３５５にデータを供給するタイミングと同じタイミングで、ダイナミックレンジおよび画素の最小値を、ＡＤＲＣ復号回路３５５に供給する。
【０２２１】
従って、復号回路３０４は、ｑ、動きフラグＭＦ、ダイナミックレンジＤＲ、および画素の最小値ＭＩＮをリカバリしても、セグメント間デシャフル回路３５２から出力されるデータに欠落がない場合と同じタイミングで、データを復号し、出力することができる。
【０２２２】
以上のように、復号回路３０４は、復号に必要な所定のデータが失われても、ｑビットＭＦリカバリ回路３５３およびＤＲＭＩＮリカバリ回路３５４が失われたデータをリカバリするので、復号を実行することができる。なお、復号回路３０４にエラー処理を行わないモード（ユーザセレクタブルなモード）を選択する信号が入力されているとき、ｑビットＭＦリカバリ回路３５３およびＤＲＭＩＮリカバリ回路３５４は、リカバリを実行しない。
【０２２３】
図４６および図４７を参照して、ブロックデシャフル回路３５６のデータの出力のタイミングについて説明する。
【０２２４】
従来は、２フレームの画像を記憶するメモリを２個設けて、図４６（Ａ）に示すように、一方のメモリにデータを書き込んでいるとき、他のメモリからデータを読み出して出力し、２フレームの画像について処理が終了したとき、図４６（Ｂ）に示すように、他方のメモリにデータを書き込んで、一方のメモリからデータを読み出して、出力していた。
【０２２５】
これに対して、外部メモリ３０５に、それぞれ２フレームの画像を記憶するバンクを２つ設けて（図中のバンク１およびバンク２）、ブロックデシャフル回路３５６は、図４７（Ａ）に示すように、３個のＡＤＲＣに対応する画像データがＡＤＲＣ復号回路３５５から供給されたとき、バンク１に書き込み、図４７（Ｂ）に示すように、ＡＤＲＣ復号回路３５５から画像データが供給されていないとき（例えば、図４５に示す、入力開始から３６４クロックまでの間）、アドレスを指定することにより、バンク２からブロックデシャフルされたデータを読み出す。次の２フレームにおいては、ブロックデシャフル回路３５６は、３個のＡＤＲＣに対応する画像データがＡＤＲＣ復号回路３５５から供給されたとき、バンク２に書き込み、ＡＤＲＣ復号回路３５５から画像データが供給されていないとき、バンク１からブロックデシャフルされたデータを読み出す。
【０２２６】
このようにすることで、ブロックデシャフル回路３５６に対し、１個の外部メモリ３０５で、画像データをブロックデシャフルして、出力することができる。
【０２２７】
図４８は、リカバリエラー判定回路３５７の構成を示すブロック図である。ｑビットＭＦリカバリ回路３５３から供給される最小値を有する評価値ｅｍｉｎ１、および２番目に小さい値を有する評価値ｅｍｉｎ２は、差分算出回路４３１に供給される。差分算出回路４３１は、入力されたｅｍｉｎ１とｅｍｉｎ２との差を算出し、遅延回路４３２に出力する。遅延回路４３２は、差分算出回路４３１から供給されたデータを所定の時間遅延し、加算器４３５および遅延回路４３３に出力する。
【０２２８】
遅延回路４３３は、遅延回路４３２から供給されたデータを所定の時間遅延し、加算器４３５および遅延回路４３４に出力する。
【０２２９】
遅延回路４３４は、遅延回路４３３から供給されたデータを所定の時間遅延し、加算器４３５および判定回路４３７に出力する。
【０２３０】
加算器４３５は、遅延回路４３２からから供給されたデータ、遅延回路４３３からから供給されたデータ、および遅延回路４３４からから供給されたデータを加算して、判定回路４３６に供給する。
【０２３１】
判定回路４３６は、加算器４３５から供給されたデータが予め定めた閾値Ｔｅ１以下であるか否かを判定し、加算器４３５から供給されたデータが閾値Ｔｅ１以下であると判定された場合、”１”をＡＮＤ回路４３８に出力し、加算器４３５から供給されたデータが閾値Ｔｅ１を越えると判定された場合、”０”をＡＮＤ回路４３８に出力する。
【０２３２】
判定回路４３７は、遅延回路４３４から供給されたデータが予め定めた閾値Ｔｅ２以下であるか否かを判定し、遅延回路４３４から供給されたデータが閾値Ｔｅ２以下であると判定された場合、”１”をＡＮＤ回路４３８に出力し、遅延回路４３４から供給されたデータが閾値Ｔｅ２を越えると判定された場合、”０”をＡＮＤ回路４３８に出力する。
【０２３３】
ＡＮＤ回路４３８は、判定回路４３６から供給されたデータが”１”、かつ、判定回路４３７から供給されたデータが”１”のとき、”１”をホールド回路４３９に出力する。ＡＮＤ回路４３８は、判定回路４３６から供給されたデータが”０”、または、判定回路４３７から供給されたデータが”０”のとき、”０”をホールド回路４３９に出力する。
【０２３４】
ホールド回路４３９は、入力されたデータをリセット信号が入力されるまで保持し、遅延回路４４０に出力する。遅延回路４４０は、ホールド回路４３９から出力されたデータを所定の時間遅延し、ホールド回路４３９に供給するとともに、リカバリ判定フラグＦｄとしてブロックデシャフル回路３５６に出力する。
【０２３５】
このように、リカバリエラー判定回路３５７は、３個のＡＤＲＣブロックに対する、評価値ｅｍｉｎ１と評価値ｅｍｉｎ２の差の積算値が閾値Ｔｅ１以下であり、かつ、そのＡＤＲＣブロックに対する評価値ｅｍｉｎ１と評価値ｅｍｉｎ２の差が閾値Ｔｅ２以下であるとき、すなわち、評価値ｅｍｉｎ１と評価値ｅｍｉｎ２の差が少なく、リカバリされたｑまたは動きフラグＭＦが正しくない可能性が高いとき、リカバリ判定フラグＦｄに１をセットする。
【０２３６】
次に、ＡＤＲＣ復号回路３５５で復号されたデータが一時的にブロックデシャフル回路３５６に記憶され、読み出される処理を説明する。セグメント間デシャフル回路３５２は、パケット解体回路３０２から供給されたデータに欠落があるとき、欠落するデータに対応するエラーフラグに”１”を設定し、データに欠落がないとき、データに対応するエラーフラグに”０”を設定し、ＡＤＲＣブロック単位のコードＱおよびエラーフラグをＡＤＲＣ復号回路３５５に出力する。ＡＤＲＣ復号回路３５５は、コードＱを復号し、Ｙデータ、Ｕデータ、およびＶデータ、並びにエラーフラグをブロックデシャフル回路３５６に出力する。
【０２３７】
ブロックデシャフル回路３５６は、対応するエラーフラグが”０”の場合、Ｙデータ、Ｕデータ、およびＶデータ、並びにエラーフラグを外部メモリ３０５に記憶し、対応するエラーフラグが”１”である場合、エラーフラグを外部メモリ３０５に記憶し、Ｙデータ、Ｕデータ、およびＶデータを外部メモリ３０５に記憶しない。
【０２３８】
外部メモリ３０５は、２つのバンクを有し、１つのバンクに２つのフレームのＹデータ、Ｕデータ、およびＶデータ、並びにエラーフラグを記憶する。外部メモリ３０５のバンクは、２つのフレーム毎に切り替えられる。従って、対応するエラーフラグが”１”である場合、外部メモリ３０５は、４フレーム前のＹデータ、Ｕデータ、およびＶデータを記憶している。
【０２３９】
図４９は、リカバリエラー判定回路３５７が、”１”が設定されたリカバリ判定フラグＦｄを出力した場合の、ブロックデシャフル回路３５６の処理を説明する図である。ｑビットＭＦリカバリ回路３５３から供給される最小値を有する評価値ｅｍｉｎ１、および２番目に小さい値を有する評価値ｅｍｉｎ２の差が所定の値以下であり、かつ、そのＡＤＲＣブロックを含めた連続する３つのＡＤＲＣブロックのｅｍｉｎ１、およびｅｍｉｎ２の差の和が所定の値以下であるとき、ｑビットＭＦリカバリ回路３５３は、ｑのリカバリに失敗したと判定し、このため、データの切り出しも失敗したと判定する。このとき、リカバリエラー判定回路３５７は、”１”が設定されたリカバリ判定フラグＦｄを出力する。
【０２４０】
リカバリエラー判定回路３５７が、”１”が設定されたリカバリ判定フラグＦｄを出力したとき、ブロックデシャフル回路３５６は、それ以降のバッファ（８８個のＡＤＲＣブロック）からのデータの切り出しに失敗したとみなし、それ以降に供給されるエラーフラグに”１”を設定し、そのエラーフラグを外部メモリ３０５に記憶する。ユーザセレクタブルなエスケープモードの場合には、データは外部メモリ３０５に記憶される。
【０２４１】
図５０は、セグメント間デシャフル回路３５３が、連続エラー信号を出力した場合の、ブロックデシャフル回路３５６の処理を説明する図である。セグメント間デシャフル回路３５３は、対応する偶数ＡＤＲＣブロックおよび奇数ＡＤＲＣブロックの両方の欠落を検出したとき、連続エラー信号を出力する。ｑビットＭＦリカバリ回路３５３のｑおよび動きフラグＭＦのリカバリの処理は、隣接する画素の画素値の相関を利用しているので、対応する偶数ＡＤＲＣブロックおよび奇数ＡＤＲＣブロックの両方が欠落しているとき、ｑビットＭＦリカバリ回路３５３は、リカバリの処理を実行することができない。連続エラー信号が供給されたとき、ブロックデシャフル回路３５６は、それ以降のバッファ（８８個のＡＤＲＣブロック）からのデータの切り出しに失敗したとみなし、それ以降に供給されるエラーフラグに”１”を設定し、そのエラーフラグを外部メモリ３０５に記憶し、それ以降に供給される復号されたデータを外部メモリ３０５に記憶しない。
【０２４２】
図５１は、ユーザセレクタブルなグレイモードの場合のブロックデシャフル回路３５６の処理を説明する図である。グレイモードの場合、ブロックデシャフル回路３５６は、対応するエラーフラグが”１”であるデータに、グレイ（Y,U,V全てを128にするのではなく、対応するデータのみ128にする）を設定して出力する。
【０２４３】
図５２および図５３は、ブロックデシャフル回路３５６のユーザセレクタブルなリカバリオフ入力（ユーザが図示せぬ所定のスイッチを操作したときに入力される信号）に対応した処理を説明する図である。”１”が設定されたリカバリオフ入力が供給された場合、ブロックデシャフル回路３５６は、外部メモリ３０５に、図５２に示すように、ｑビットＭＦリカバリ回路３５３を経由しないで、ＡＤＲＣ復号回路３５５でＹデータ、Ｕデータ、およびＶデータが復号されたとき、復号されたＹデータ、Ｕデータ、およびＶデータを記憶させる。図５３に示すように、ｑビットＭＦリカバリ回路３５３でｑおよび動きフラグがリカバリされたとき、ブロックデシャフル回路３５６は、外部メモリ３０５に、復号されたＹデータ、Ｕデータ、およびＶデータをメモリに記憶させず、対応するすべてのエラーフラグを”１”に設定する。リカバリオフ入力を変化させることで、ｑビットＭＦリカバリ回路３５３等のリカバリの効果が簡単に確認できる。
【０２４４】
図５４は、ブロックデシャフル回路３５６のエスケープ信号（ユーザが図示せぬ所定のスイッチを操作したときに入力される信号）に対応した処理を説明する図である。所定のエスケープ信号が供給された場合、ブロックデシャフル回路３５６は、図５４に示すように、リカバリ判定フラグＦｄが”１”に設定されても、それ以降に供給されるエラーフラグに強制的に”１”を設定しないでエラーフラグをメモリに記憶し、それ以降に供給される復号されたＹデータ、Ｕデータ、およびＶデータをメモリに記憶する。エスケープ信号を変化させることで、ブロックデシャフル回路３５６のコンシールの処理の効果が簡単に確認できる。
【０２４５】
図５５および図５６は、ブロックデシャフル回路３５６の復号したデータを出力する処理を説明するフローチャートである。ステップＳ３１において、セグメント間デシャフル回路３５２は、受信回路３０１が生成したエラーフラグを受信し、ＡＤＲＣ復号回路３５５に供給する。ＡＤＲＣ復号回路３５５は、セグメント間デシャフル回路３５２から供給されたエラーフラグをブロックデシャフル回路３５６に出力し、ブロックデシャフル回路３５６は、そのエラーフラグを受信する。
【０２４６】
ステップＳ３２において、ブロックデシャフル回路３５６は、ＡＤＲＣ復号回路３５５から供給された、バッファ（所定の８８個のＡＤＲＣブロック）に対応する、最初のエラーフラグを選択する。ステップＳ３３において、ブロックデシャフル回路３５６は、セグメント間デシャフル回路３５２から供給されている連続エラー信号が”０”であるか否かを判定し、連続エラー信号が”０”であると判定された場合、ステップＳ３４に進み、リカバリエラー判定回路３５７から供給されているリカバリ判定フラグＦｄが”０”であるか否かを判定する。ステップＳ３４において、リカバリ判定フラグＦｄが”０”であると判定された場合、ステップＳ３５に進み、ブロックデシャフル回路３５６は、外部メモリ３０５にエラーフラグを記憶させる。
【０２４７】
ステップＳ３３において、連続エラー信号が”１”であると判定された場合、およびステップＳ３４において、リカバリ判定フラグＦｄが”１”であると判定された場合、データの切り出しに失敗したので、ステップＳ４７に進み、ブロックデシャフル回路３５６は、エスケープ信号がオフであるか否かを判定し、エスケープ信号がオフであると判定された場合、ステップＳ４８に進み、ステップＳ３２で選択されたエラーフラグに”１”を設定し、ステップＳ３５に進み、ブロックデシャフル回路３５６は、外部メモリ３０５にエラーフラグを記憶させる。
【０２４８】
ステップＳ４７において、エスケープ信号がオンであると判定された場合、エラーフラグの設定を行わないので、手続きは、ステップＳ４８をスキップし、ステップＳ３５に進み、ブロックデシャフル回路３５６は、外部メモリ３０５にエラーフラグを記憶させる。
【０２４９】
ステップＳ３６において、ブロックデシャフル回路３５６は、バッファに対応する、すべてのエラーフラグを処理したか否かを判定し、すべてのエラーフラグを処理したと判定された場合、ステップＳ３７に進み、ブロックデシャフル回路３５６は、ＡＤＲＣ復号回路３５５から復号されたＹデータ、Ｕデータ、およびＶデータを受信する。
【０２５０】
ステップＳ３６において、バッファの全てのエラーフラグをまだ処理していないと判定された場合、ステップＳ４９に進み、ブロックデシャフル回路３５６は、次のエラーフラグを選択し、ステップＳ３３に戻り、エラーフラグの設定の処理を繰り返す。
【０２５１】
ステップＳ３８において、ブロックデシャフル回路３５６は、ＡＤＲＣ復号回路３５５から供給された、バッファの最初の復号されたデータを選択する。
【０２５２】
ステップＳ３９において、ブロックデシャフル回路３５６は、セグメント間デシャフル回路３５２から供給されている連続エラー信号が”０”であるか否かを判定し、連続エラー信号が”０”であると判定された場合、ステップＳ４０に進み、選択されている復号されたデータに対応するエラーフラグが”０”であるか否かを判定する。選択されている復号されたデータに対応するエラーフラグが”０”であると判定された場合、ステップＳ４１に進み、ブロックデシャフル回路３５６は、選択されている復号されたＹデータ、Ｕデータ、およびＶデータを外部メモリ３０５に記憶させる。手続きは、ステップＳ４２に進む。
【０２５３】
ステップＳ３９において、連続エラー信号が”１”であると判定された場合、および、ステップＳ４０において、選択されている復号されたデータに対応するエラーフラグが”１”であると判定された場合、データは欠落しているので、ステップＳ４１をスキップして、ステップＳ４２に進む。
【０２５４】
ステップＳ４２において、ブロックデシャフル回路３５６は、バッファの全ての復号されたデータを処理したか否かを判定し、バッファの全ての復号されたデータを処理したと判定された場合、ステップＳ４３に進む。
【０２５５】
ステップＳ４２において、バッファ（８８個のＡＤＲＣブロック）の全ての復号されたデータをまだ処理していないと判定された場合、ステップＳ５０に進み、ブロックデシャフル回路３５６は、次のデータを選択し、ステップＳ３９に戻り、復号したデータを記憶する処理を繰り返す。
【０２５６】
ステップＳ４３において、ブロックデシャフル回路３５６は、外部メモリ３０５に記憶されている最初のデータを選択する。ステップＳ４４において、ブロックデシャフル回路３５６は、エラーフラグが”１”で、かつ、グレイモードであるか否かを判定し、エラーフラグが”０”、または、グレイモードでないと判定された場合、ステップＳ４５に進み、選択されているデータをフォーマット変換回路３０６に出力する。
【０２５７】
ステップＳ４４において、エラーフラグが”１”で、かつ、グレイモードであると判定された場合、ステップＳ５１に進み、ブロックデシャフル回路３５６は、グレーデータをフォーマット変換回路３０６に出力し、ステップＳ４６に進む。
【０２５８】
ステップＳ４６において、ブロックデシャフル回路３５６は、外部メモリ３０５のバンクに記憶されている全てのデータを処理したか否かを判定し、外部メモリ３０５に記憶されている全てのデータを処理したと判定された場合、処理は終了する。
【０２５９】
ステップＳ４６において、外部メモリ３０５に記憶されている全てのデータを処理していないと判定された場合、ステップＳ５２に進み、ブロックデシャフル回路３５６は、外部メモリ３０５のバンクに記憶されている次のデータを選択し、ステップＳ４４に戻り、データを出力する処理を繰り返す。
【０２６０】
このように、ブロックデシャフル回路３５６は、コードＱが欠落していても、もっとも違和感の少ないデータを出力することができる。
【０２６１】
次に、図示せぬユーザセレクタブルなリカバリオフスイッチが”０”である場合のブロックデシャフル回路３５６のデータを出力する処理を図５７のフローチャートを参照して説明する。ステップＳ７１において、セグメント間デシャフル回路３５２は、受信回路３０１が生成したエラーフラグを受信し、ＡＤＲＣ復号回路３５５に供給する。ＡＤＲＣ復号回路３５５は、セグメント間デシャフル回路３５２から供給されたエラーフラグをブロックデシャフル回路３５６に出力し、ブロックデシャフル回路３５６は、そのエラーフラグを受信する。
【０２６２】
ステップＳ７２において、ブロックデシャフル回路３５６は、ｑおよび動きフラグ等がｑビットＭＦリカバリ回路３５３等において、リカバリされたか否かを判定し、ｑおよび動きフラグＭＦ等がリカバリされていないと判定された場合、ステップＳ７３に進み、外部メモリ３０５にエラーフラグを記憶させる。
【０２６３】
ステップＳ７２において、ｑおよび動きフラグ等がリカバリされていると判定された場合、ステップＳ７８に進み、ブロックデシャフル回路３５６は、受信したエラーフラグを全て”１”に設定し、ステップＳ７３に進む。
【０２６４】
ステップＳ７４において、ブロックデシャフル回路３５６は、ＡＤＲＣ復号回路３５５から復号されたＹデータ、Ｕデータ、およびＶデータを受信する。
【０２６５】
ステップＳ７５において、ブロックデシャフル回路３５６は、ｑおよび動きフラグ等がｑビットＭＦリカバリ回路３５３等において、リカバリされたか否かを判定し、ｑおよび動きフラグＭＦ等がリカバリされていないと判定された場合、ステップＳ７６に進み、ステップＳ７４で受信したＹデータ、Ｕデータ、およびＶデータを記憶する。
【０２６６】
ステップＳ７５において、ｑ、動きフラグＭＦ等がリカバリされていると判定された場合、ステップＳ７６をスキップし、Ｙデータ、Ｕデータ、およびＶデータを記憶させないで、ステップＳ７７に進む。
【０２６７】
ステップＳ７７において、ブロックデシャフル回路３５６は、外部メモリ３０５に記憶させたＹデータ、Ｕデータ、およびＶデータおよびエラーフラグをフォーマット変換回路３０６に出力し、処理を終了する。
【０２６８】
このように、リカバリオフ入力が”１”である場合、ブロックデシャフル回路３５６は、リカバリされたデータを出力しない。
【０２６９】
以上のように、復号回路３０４は、復号に必要な所定のデータが失われても、ｑビットＭＦリカバリ回路３５３およびＤＲＭＩＮリカバリ回路３５４が失われたデータをリカバリするので、復号を実行することができる。また、復号回路３０４は、復号ができなくても、もっとも違和感の少ないデータを出力することができる。また、リカバリオフ入力を”１”にすることで、リカバリの効果を簡単に確認することができる。
【０２７０】
次に、欠落画素創造回路３０８について説明する。欠落画素創造回路３０８は、プログレッシブ方式の画像を再生するとき、クラス分類適応処理により、図５８（Ａ）に示すように、創造の対象となる画素の同一のフレーム（フレームｔ）にある周辺の画素の画素値、並びにこれらの画素と水平方向および垂直方向に同一の位置の１つ前のフレーム（フレームｔ−１）にある画素の画素値を基に、欠落した画素の画素値などを創造する。また、欠落画素創造回路３０８は、クラス分類適応処理により、図５８（Ｂ）に示すように、創造の対象となる画素の同一のフィールド（フィールドｔ）にある周辺の画素の画素値、これらの画素と水平方向および垂直方向に同一の位置の１つ前のフィールド（フィールドｔ−１）、並びに創造の対象となる画素の周辺の画素と水平方向および垂直方向に同一の位置の２つ前のフィールド（フィールドｔ−２）にある画素の画素値を基に、欠落した画素の画素値などを創造する。
【０２７１】
図５９は、欠落画素創造回路３０８の構成を示すブロック図である。欠落画素創造回路３０８に入力されたデータである画素値および画素の欠落を示すエラーフラグは、前処理回路５０１およびタップ構築回路５０２−１に供給される。
【０２７２】
前処理回路５０１は、入力された画素値および画素の欠落を示すエラーフラグを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、タップ構築回路５０２−２乃至５０２−５に供給する。なお、画素値は、タップデータとも称する。
【０２７３】
前処理回路５０１の処理を図６０のフローチャートを参照して説明する。ステップＳ１３１において、前処理回路５０１は、エラーフラグを基に、対象となる画素が欠落しているか否かを判定し、対象となる画素が欠落していないと判定された場合、ステップＳ１３２に進み、対象となる画素の画素値を、対象となる画素に設定し、処理は終了する。
【０２７４】
ステップＳ１３１において、対象となる画素が欠落していると判定された場合、ステップＳ１３３に進み、前処理回路５０１は、エラーフラグを基に、対象となる画素の水平に隣接している画素のいずれかが欠落しているか否かを判定する。ステップＳ１３３において、対象となる画素の水平に隣接している画素のいずれも欠落していないと判定された場合、ステップＳ１３４に進み、前処理回路５０１は、対象となる画素の水平に隣接している２つの画素の画素値の平均値を対象となる画素の画素値に設定し、処理は終了する。
【０２７５】
ステップＳ１３３において、対象となる画素の水平に隣接している画素のいずれかが欠落していると判定された場合、ステップＳ１３５に進み、前処理回路５０１は、対象となる画素の水平に隣接している画素のいずれも欠落しているか否かを判定する。ステップＳ１３５において、対象となる画素の水平に隣接している画素のいずれかが欠落していないと判定された場合、ステップＳ１３６に進み、前処理回路５０１は、対象となる画素の水平に隣接している、欠落していない画素の画素値を対象となる画素の画素値に設定し、処理は終了する。
【０２７６】
ステップＳ１３５において、対象となる画素の水平に隣接している画素のいずれも欠落していると判定された場合、ステップＳ１３７に進み、前処理回路５０１は、エラーフラグを基に、対象となる画素の垂直に隣接している画素のいずれかが欠落しているか否かを判定する。ステップＳ１３７において、対象となる画素の垂直に隣接している画素のいずれも欠落していないと判定された場合、ステップＳ１３８に進み、前処理回路５０１は、対象となる画素の垂直に隣接している２つの画素の画素値の平均値を対象となる画素の画素値に設定し、処理は終了する。
【０２７７】
ステップＳ１３７において、対象となる画素の垂直に隣接している画素のいずれかが欠落していると判定された場合、ステップＳ１３９に進み、前処理回路５０１は、エラーフラグを基に、対象となる画素に隣接している全ての画素が欠落しているか否かを判定する。ステップＳ１３９において、対象となる画素に隣接しているいずれかの画素が欠落していないと判定された場合、ステップＳ１４０に進み、前処理回路５０１は、対象となる画素に隣接している、欠落していない画素の画素値を対象となる画素の画素値に設定し、処理は終了する。
【０２７８】
ステップＳ１３９において、対象となる画素に隣接している全ての画素が欠落していると判定された場合、ステップＳ１４１に進み、前処理回路５０１は、対象となる画素と同じ位置の過去のフレームの画素の画素値を、対象となる画素の画素値に設定し、処理は終了する。
【０２７９】
以上のように、前処理回路５０１は、対象となる画素の画素値を周辺の画素の画素値から線形に補間する。前処理回路５０１による補間処理により、これに続く処理で使用できるタップの範囲を広げることができる。
【０２８０】
タップ構築回路５０２−１乃至５０２−５は、それぞれ、タップデータ等を、所定のタイミングで、動きクラス生成回路５０３、ＤＲクラス生成回路５０４、空間クラス生成回路５０５、および欠落クラス生成回路５０６に供給する。
【０２８１】
動きクラス生成回路５０３は、イニシャライズ回路３０９から供給されたパラメータ、並びにタップ構築回路５０２−１から供給されたエラーフラグおよび選択されたタップを基に、動きクラスコードおよび静動フラグを生成し、タップ構築回路５０２−２乃至２０５−５およびクラス合成回路５０７に出力する。動きクラスコードは、動きの量を示す２ビットの情報を有し、静動フラグは、動きの有り無しを１ビットで示す。
【０２８２】
図６１（Ａ）は、動きクラス生成回路５０３による時間アクティビティの算出に使用される、創造の対象となる画素を中心とした３×３の画素の例を示す図である。図６１（Ａ）において、”エラー”は、欠落した画素を示す。図６１（Ｂ）は、図６１（Ａ）に示された画素に対応する、１つ前のフレームの３×３の画素の例を示す図である。図６１（Ａ）および図６１（Ｂ）に示されるＬ１乃至Ｌ３は、それぞれラインを示し、ラインの同一の番号は、垂直方向に同一の位置であることを示す。図６１（Ａ）および図６１（Ｂ）に示されるＨ１乃至Ｈ３は、それぞれ画素の水平方向の位置を示し、その同一の番号は、水平方向に同一の位置であることを示す。
【０２８３】
図６１（Ａ）および図６１（Ｂ）に示される場合において、時間アクティビティは、式（１３）で算出される。
0004568939.tif 000011
式（１３）において、（）は、画素の画素値を表し、｜｜は、絶対値を求める関数を表す。
【０２８４】
動きクラス生成回路５０３は、創造の対象となる画素を中心とした３×３の画素の最大値と最小値との差に１を加算した空間アクティビティを算出する。
【０２８５】
図６２は、動きクラス生成回路５０３による空間アクティビティの算出に使用される、創造の対象となる欠落した画素を中心とした３×３の画素の例を示す図である。このとき、空間アクティビティは、式（１３）で算出される。
【０２８６】
空間アクティビティ＝Ｍａｘ（ｑｉ）−Ｍｉｎ（ｑｉ）＋１      （１４）
式（１４）において、Ｍａｘ（ｑｉ）は、ｑ１乃至ｑ９の画素値の最大値を示す。Ｍｉｎ（ｑｉ）は、ｑ１乃至ｑ９の画素値の最小値を示す。
【０２８７】
動きクラス生成回路５０３は、空間アクティビティを基に、それぞれ異なる値を有する閾値を選択する。動きクラス生成回路５０３は、動き判定の閾値、および時間アクティビティを基に、動きクラスコードを設定する。
【０２８８】
図６３は、動き判定の閾値を説明する図である。動き判定の閾値は、空間アクティビティの値によって、異なる値が使用される。空間アクティビティが大きくなれば、大きな値の閾値が使用される。これは、空間アクティビティが大きい場合、動きが少なくとも、時間アクティビティが、大きな値となることを考慮したものである。
【０２８９】
なお、スタンダードデンシティのデータに対する処理においては、空間アクティビティとは無関係に固定された閾値を使用して動きクラスコードが設定される。
【０２９０】
次に、動きクラス生成回路５０３の動きクラスコードを設定する処理を、図６４のフローチャートを参照して説明する。ステップＳ１５１において、動きクラス生成回路５０３は、時間アクティビティが、閾値１以下であるか否かを判定し、時間アクティビティが閾値１以下であると判定された場合、ステップＳ１５２に進み、動きクラスコードを０に設定し、処理は終了する。
【０２９１】
ステップＳ１５１において、時間アクティビティが閾値１を越えると判定された場合、ステップＳ１５３に進み、動きクラス生成回路５０３は、時間アクティビティが、閾値２以下であるか否かを判定し、時間アクティビティが閾値２以下であると判定された場合、ステップＳ１５４に進み、動きクラスコードを１に設定し、処理は終了する。
【０２９２】
ステップＳ１５３において、時間アクティビティが閾値２を越えると判定された場合、ステップＳ１５５に進み、動きクラス生成回路５０３は、時間アクティビティが閾値３以下であるか否かを判定し、時間アクティビティが閾値３以下であると判定された場合、ステップＳ１５６に進み、動きクラスコードを２に設定し、処理は終了する。
【０２９３】
ステップＳ１５５において、時間アクティビティが閾値３を越えると判定された場合、ステップＳ１５７に進み、動きクラス生成回路５０３は、動きクラスコードを３に設定し、処理は終了する。
【０２９４】
以上のように、動きクラス生成回路５０３は、閾値および時間アクティビティを基に、動きクラスコードを設定する。
【０２９５】
動きクラス生成回路５０３は、複数の画素の動きクラスコードを基に、再度、動きフラグを設定する。例えば、図６５に示すように、創造の対象となる画素の周辺の画素の動きクラスコードを基に、動きクラス生成回路５０３は、対象となる画素の動きクラスコードを設定する。
【０２９６】
動きクラス生成回路５０３の動きクラスコードを設定する処理を図６６のフローチャートを参照して説明する。ステップＳ１７１において、動きクラス生成回路５０３は、７つの画素の動きクラスコードのうち、３の値が設定されている動きクラスコードの数が、閾値３より大きいか否かを判定し、３の値が設定されている動きクラスコードの数が、閾値３より大きいと判定された場合、ステップＳ１７２に進み、動きクラスコードに３を設定し、処理は終了する。
【０２９７】
ステップＳ１７１において、３の値が設定されている動きクラスコードの数が、閾値３以下であると判定された場合、ステップＳ１７３に進み、動きクラス生成回路５０３は、３の値が設定されている動きクラスコードの数と２の値が設定されている動きクラスコードの数を加えた値が、閾値２より大きいか否かを判定し、３の値が設定されている動きクラスコードの数と２の値が設定されている動きクラスコードの数を加えた値が、閾値２より大きいと判定された場合、ステップＳ１７４に進み、動きクラスコードに２を設定し、処理は終了する。
【０２９８】
ステップＳ１７３において、３の値が設定されている動きクラスコードの数と２の値が設定されている動きクラスコードの数を加えた値が、閾値２以下であると判定された場合、ステップＳ１７５に進み、動きクラス生成回路５０３は、３の値が設定されている動きクラスコードの数、２の値が設定されている動きクラスコードの数、および１の値が設定されている動きクラスコードの数を加えた値が、閾値１より大きいか否かを判定し、３の値が設定されている動きクラスコードの数、２の値が設定されている動きクラスコードの数、および１の値が設定されている動きクラスコードの数を加えた値が、閾値１より大きいと判定された場合、ステップＳ１７６に進み、動きクラスコードに１を設定し、処理は終了する。
【０２９９】
ステップＳ１７５において、３の値が設定されている動きクラスコードの数、２の値が設定されている動きクラスコードの数、および１の値が設定されている動きクラスコードの数を加えた値が、閾値１以下であると判定された場合、ステップＳ１７７に進み、動きクラス生成回路５０３は、動きクラスコードに０を設定し、処理は終了する。
【０３００】
このように、動きクラス生成回路５０３は、複数の画素の動きクラスコード、並びに予め記憶している閾値を基に、最終的な、動きクラスコードを設定する。
【０３０１】
以上のように、動きクラス生成回路５０３は、複数の画素の画素値から動きクラスコードを設定し、出力する。動きクラス生成回路５０３は、動きクラスコードを基に、静動フラグを設定し、出力する。例えば、動きクラスコードが０または１のとき、静動フラグは、０に設定され、動きクラスコードが２または３のとき、静動フラグは、１に設定される。
【０３０２】
タップ構築回路５０２−２は、動きクラス生成回路５０３から供給された動きクラスコードおよび静動フラグ、並びに欠落画素の位置を基に、全てのクラス構造を網羅した予測タップを選択して、可変タップ選択回路５０８に供給する。
【０３０３】
タップ構築回路５０２−３は、動きクラス生成回路５０３から供給された動きクラスコードおよび静動フラグを基に、タップおよびクラスタップを選択して、エラーフラグとともに、ＤＲクラス生成回路５０４に供給する。ＤＲクラス生成回路５０４は、タップ構築回路５０２−３から供給されたタップ、クラスタップ、エラーフラグを基に、ＤＲクラスコードを生成して、クラス合成回路５０７に出力する。
【０３０４】
タップ構築回路５０２−４は、動きクラス生成回路５０３から供給された動きクラスコードおよび静動フラグを基に、タップおよびクラスタップを選択して、エラーフラグとともに、空間クラス生成回路５０５に供給する。空間クラス生成回路５０５は、タップ構築回路５０２−４から供給されたタップ、クラスタップ、エラーフラグを基に、空間クラスコードを生成して、クラス合成回路５０７に出力する。
【０３０５】
タップ構築回路５０２−５は、動きクラス生成回路５０３から供給された動きクラスコードおよび静動フラグを基に、タップを選択して、エラーフラグとともに、欠落クラス生成回路５０６に供給する。欠落クラス生成回路５０６は、タップ構築回路５０２−５から供給されたタップ、エラーフラグを基に、欠落クラスコードを生成して、クラス合成回路５０７に出力する。
【０３０６】
クラス合成回路５０７は、動きクラスコード、静動フラグ、ＤＲクラスコード、空間クラスコード、および欠落クラスコードを基に、クラスコードを統合し、最終的なクラスコードを形成して、係数保持クラスコード選択回路５０９に出力する。
【０３０７】
係数保持クラスコード選択回路５０９は、イニシャライズ回路３０９から供給された係数セット、および予測構造、並びにクラス合成回路５０７から供給されたクラスコードを基に、可変タップ選択回路５０８に、可変タップを選択させるとともに、予測係数列を推定予測演算回路５１０に出力する。
【０３０８】
図６７乃至図７０を基に、可変タップ選択回路５０８が選択する予測タップデータ列を説明する。
【０３０９】
図６７は、動きクラスコードが０のとき、タップ構築回路５０２−２が可変タップ選択回路５０８に出力する予測タップ可変選択範囲と、可変タップ選択回路５０８が選択する予測タップデータ列の例を示す図である。図６７において、実線で囲んだタップは、タップ構築回路５０２−２が出力する予測タップ可変選択範囲を示し、点線で囲んだタップは、可変タップ選択回路５０８が選択する予測タップデータ列を示す。可変タップ選択回路５０８が選択する予測タップデータ列は、タップ構築回路５０２−２が出力する予測タップ可変選択範囲に含まれるタップから構成される。
【０３１０】
例えば、動きクラスコードが０のとき、タップ構築回路５０２−２は、隣接するタップを選択する。例えば、動きクラスコードが０のとき、可変タップ選択回路５０８は、隣接するタップを選択する。
【０３１１】
図６８は、動きクラスコードが１のとき、タップ構築回路５０２−２が出力する予測タップ可変選択範囲と、可変タップ選択回路５０８が選択する予測タップデータ列を示す図である。図６８において、実線で囲んだタップは、タップ構築回路５０２−２が出力する予測タップ可変選択範囲を示し、点線で囲んだタップは、可変タップ選択回路５０８が選択する予測タップデータ列を示す。可変タップ選択回路５０８が選択する予測タップデータ列は、タップ構築回路５０２−２が出力する予測タップ可変選択範囲に含まれるタップから構成される。
【０３１２】
例えば、動きクラスコードが１のとき、タップ構築回路５０２−２は、隣接するタップと、その隣接するタップとは隣接しないタップを選択する。例えば、動きクラスコードが０のとき、可変タップ選択回路５０８は、隣接する５個のタップと、その隣接する５個のタップとは離れた隣接する５個のタップを選択する。
【０３１３】
図６９は、欠落タップが存在して、動きクラスコードが０のとき、タップ構築回路５０２−２が出力する予測タップ可変選択範囲と、可変タップ選択回路５０８が選択する予測タップデータ列を示す図である。図中の黒丸は、欠落タップを示す。図６９において、実線で囲んだタップは、タップ構築回路５０２−２が出力する予測タップ可変選択範囲を示し、点線で囲んだタップは、可変タップ選択回路５０８が選択する予測タップデータ列を示す。可変タップ選択回路５０８が選択する予測タップデータ列は、タップ構築回路５０２−２が出力する予測タップ可変選択範囲に含まれるタップから構成される。
【０３１４】
例えば、欠落タップが存在して、動きクラスコードが０のとき、タップ構築回路５０２−２は、隣接するタップを選択する。例えば、欠落タップが存在して、動きクラスコードが０のとき、可変タップ選択回路５０８は、欠落タップが存在しないときと同じ数の、隣接するタップ（例えば、欠落タップの隣のタップまたは欠落タップと同じ並びのタップ）を選択する。
【０３１５】
図７０は、欠落タップが存在して、動きクラスコードが１のとき、タップ構築回路５０２−２が出力する予測タップ可変選択範囲と、可変タップ選択回路５０８が選択する予測タップデータ列を示す図である。図中の黒丸は、欠落タップを示す。図６９において、実線で囲んだタップは、タップ構築回路５０２−２が出力する予測タップ可変選択範囲を示し、点線で囲んだタップは、可変タップ選択回路５０８が選択する予測タップデータ列を示す。可変タップ選択回路５０８が選択する予測タップデータ列は、タップ構築回路５０２−２が出力する予測タップ可変選択範囲に含まれるタップから構成される。
【０３１６】
例えば、欠落タップが存在して、動きクラスコードが１のとき、タップ構築回路５０２−２は、隣接するタップと、その隣接するタップとは隣接しないタップを選択する。例えば、欠落タップが存在して、動きクラスコードが０のとき、可変タップ選択回路５０８は、欠落タップが存在しないときと同じ数の、隣接するタップ（例えば、欠落タップの隣のタップまたは欠落タップと同じ並びのタップ）と、その隣接するタップとは離れた、欠落タップが存在しないときと同じ数の、隣接するタップを選択する。
【０３１７】
推定予測演算回路５１０は、イニシャライズ回路３０９から設定された出力モードを基に、可変タップ選択回路５０８から供給された予測タップデータ列、および係数保持クラスコード選択回路５０９から供給された予測係数列を基に、線形推定式を用いて、欠落した画素の画素値を算出する。
【０３１８】
このように、欠落画素創造回路３０８は、ダイナミックレンジ、動き、欠落、および画素値の変化などによるクラス分類により、欠落した画素の周辺の画素値を基に、欠落した画素値を算出する。
【０３１９】
また、推定予測演算回路５１０は、入力された画像の画質をアップさせる（階調の増加（Ｙデータ、Ｕデータ、およびＶデータのビット数の増加）、ノイズの除去、量子化歪みの除去（時間方向の歪みの除去を含む）、４倍密度の解像度の創造など）ことができる。
【０３２０】
次に、４倍密解像度創造回路３１２について説明する。４倍密解像度創造回路３１２は、インターレース方式の画像を出力するとき、図７１（Ａ）および図７１（Ｂ）に示すように、クラス分類適応処理を利用し、２つのフィールドの所定の数の画素の画素値を基に、入力された２つのフィールドの間に２つの画素を創造する。
【０３２１】
４倍密解像度創造回路３１２は、プログレッシブ方式の画像を出力するとき、図７１（Ｃ）および図７１（Ｄ）に示すように、クラス分類適応処理を利用し、図７１に示すように、２つのフレームの所定の数の画素の画素値を基に、入力された２つのフレームの間に２つの画素を創造する。
【０３２２】
図７２は、４倍密解像度創造回路３１２の構成を示すブロック図である。フォーマット変換回路３１０から供給されるＹデータ、Ｕデータ、およびＶデータは、タップ選択回路６０１、タップ選択回路６０２、およびタップ選択回路６０３に供給される。タップ選択回路６０１は、レジスタ６０９に格納されているタップの位置情報に従って、密度を４倍にするために創造する画素の画素値を算出するのに使用する画素を選択する。タップ選択回路６０１により選択された画素は、推定予測演算回路６０７に供給される。
【０３２３】
タップ選択回路６０２は、レジスタ６１０に格納されているタップの位置情報に従って、創造する画素の近傍の画素の画素値のうち、空間クラス分類に使用する画素を選択する。タップ選択回路６０２により選択された画素は、空間クラス検出回路６０４に供給される。空間クラス検出回路６０４は、空間クラスを検出する。検出された空間クラスは、クラス合成回路６０６に供給される。
【０３２４】
タップ選択回路６０３は、レジスタ６１１に格納されているタップの位置情報に従って、創造する画素の近傍の画素に基づいて動きに対応するクラス分類に使用する画素を選択するものである。タップ選択回路６０３により選択された画素は、動きクラス検出回路６０５に供給される。動きクラス検出回路６０５は、動きクラスを検出する。検出された動きクラスは、クラス合成回路６０６およびレジスタ６１０に供給される。レジスタ６１０のタップの位置情報は、動きクラス検出回路６０５から供給された動きクラスによって切り換えられる。
【０３２５】
クラス合成回路６０６は、空間クラスおよび動きクラスを統合し、最終的なクラスコードを形成する。
【０３２６】
このクラスコードが係数メモリ６１２に対して、アドレスとして供給され、係数メモリ６１２からクラスコードに対応する係数セットが読み出される。係数セットは、推定予測演算回路６０７に供給される。推定予測演算回路６０７は、タップ選択回路６０１から供給された画素の画素値、および係数メモリ６１２から供給された係数セットを基に、線形推定式を用いて、創造する画素の画素値を算出する。推定予測演算回路６０７からの出力は、ラインデータＬ１およびラインデータＬ２として、線順次変換回路６１３に供給される。
【０３２７】
係数セットは、教師信号としての、１つのフィールド当たり、水平方向に５２８画素および垂直方向に２４０画素を含むＹデータ、それぞれ１つのフィールド当たり、水平方向に１７６画素および垂直方向に１２０画素を含むＵデータおよびＶデータを用いて、クラス毎の係数セットが予め生成されて、イニシャライズ回路３１３に記憶されている。
【０３２８】
線順次変換回路６１３は、ラインメモリを有し、推定予測演算回路６０７から出力されるラインデータＬ１およびラインデータＬ２をレジスタ６０８に格納されている出力タイミングのデータに基づき、線順次で出力する。線順次変換回路６１３から、供給された画像の４倍の密度の画像のデータが出力される。
【０３２９】
レジスタ６０８、レジスタ６０９、レジスタ６１０、レジスタ６１１、および係数メモリ６１２は、イニシャライズ回路３１３に初期化信号が供給されたとき、イニシャライズ回路３１３から供給された係数セット等を格納する。
【０３３０】
図７３は、４倍密解像度創造回路３１２がインターレース方式で４倍密解像度の画素を生成、出力する場合における、４倍密解像度創造回路３１２に入力される画素（図中、大きい円で示す）の位置、および４倍密解像度創造回路３１２が出力する画素（図中、小さい円で示す）の位置を示す図である。４倍密解像度創造回路３１２に入力されるフレームは、３０Ｈｚの周波数を有し、４倍密解像度創造回路３１２が出力するフィールドは、６０Ｈｚの周波数を有する。出力される第１のフィールドの画素は、入力された画素から、垂直方向に出力される画面のラインの１ライン分だけ上にずれて出力され、１ライン当たりの画素の数は、２倍になっている。出力される第２のフィールドの画素は、入力された画素から、垂直方向に出力される画面のラインの１ライン分だけ下にずれて出力され、１ライン当たりの画素の数は、２倍になっている。
【０３３１】
図７４は、４倍密解像度創造回路３１２がプログレッシブ方式で４倍密解像度の画素を生成して、出力するときの、４倍密解像度創造回路３１２に入力される画素（図中、大きい円で示す）の位置、および４倍密解像度創造回路３１２が出力する画素（図中、小さい円で示す）の位置を示す図である。４倍密解像度創造回路３１２に入力されるフレームは、３０Ｈｚの周波数を有し、４倍密解像度創造回路３１２が出力するフレームは、６０Ｈｚの周波数を有する。出力されるフレームの画素は、入力された画素と同じライン上に出力され、１ライン当たりの画素の数は、２倍になっている。
【０３３２】
以上のように、４倍密解像度創造回路３１２は、入力された画像を基に、２倍のフレーム周波数また２倍のフィールド周波数で、１ライン当たり２倍の画素の数を有する画像を創造して出力する。
【０３３３】
次に、ＵＶ垂直２倍回路３３３について説明する。図７５は、ＵＶ垂直２倍回路３３３の構成を示すブロック図である。ＵＶ垂直２倍回路３３３には、４倍密解像度創造回路３１２により、画素の数が増やされたＵデータおよびＶデータが入力される。入力されたデータは、ラインＦＩＦＯ７０１−１乃至７０１−６により、１ライン分ずつ遅延され、順次後段に出力される。
【０３３４】
乗算回路７０２−１は、入力されたデータに係数を乗じて、加算回路７０３に出力する。
【０３３５】
乗算回路７０２−２乃至７０２−７は、それぞれラインＦＩＦＯ７０１−１乃至７０１−６より、入力されたデータに係数を乗じて、加算回路７０３に出力する。
【０３３６】
加算回路７０３は、乗算回路７０２−１乃至７０２−７から供給されたデータを加算し、ラッチ回路７０４に供給する。ラッチ回路７０４は、クロック信号が入力されたとき、入力されたデータをラッチする。
【０３３７】
ＵＶ垂直２倍回路３３３の動作を図７６を参照して説明する。ラインＦＩＦＯ７０１−１乃至７０１−６は、入力されたラインに連続する６本のライン上の、画面の水平方向に同一の位置の画素（図７６に丸印で示す画素）のデータを出力する。乗算回路７０２−１乃至７０２−７は、入力されたデータに、それぞれ係数を乗じて、加算回路７０３に出力する。加算回路７０３は、出力されたデータを加算し、ラッチ回路７０４に出力する。ラッチ回路７０４には、ラインの本数が２倍となるタイミング（図７６に黒い３角形で示すタイミング）で、クロック信号が入力される。従って、ＵＶ垂直２倍回路３３３は、入力されたＵデータおよびＶデータのラインの本数を２倍に補間して、出力する。
【０３３８】
次に、受信装置２２の受信の処理を図７７のフローチャートを参照して説明する。ステップＳ２０１において、パケット解体回路３０２は、受信回路３０１が受信したパケットを解体し、復号回路３０４に供給する。ステップＳ２０２において、復号回路３０４は、パケット解体回路３０２から入力されたデータを、ＡＤＲＣ方式で復号する。伝送中にデータが欠落したとき、復号回路３０４の復号において、ｑ、動きフラグＭＦ、ダイナミックレンジＤＲ、または画素値の最小値ＭＩＮがリカバリされ、Ｙデータ、Ｕデータ、およびＶデータが復号される。
【０３３９】
ステップＳ２０３において、フォーマット変換回路３０６は、復号回路３０４から供給されたＹデータ、Ｕデータ、およびＶデータを、欠落画素創造回路３０８が処理できる所定のフォーマットに変換する。ステップＳ２０４において、欠落画素創造回路３０８は、欠落した画素のうち、復号回路３０４で復号できなかった画素を、クラス適応処理により、創造する。
【０３４０】
ステップＳ２０５において、フォーマット変換回路３１０は、欠落画素創造回路３０８から供給されたＹデータ、Ｕデータ、およびＶデータを、４倍密解像度創造回路３１２が処理できる所定のフォーマットに変換する。ステップＳ２０６において、４倍密解像度創造回路３１２は、入力されたＹデータ、Ｕデータ、およびＶデータを基に、クラス適応処理により画素を創造し、画素の密度を４倍にして、補間部３１４に出力する。
【０３４１】
ステップＳ２０７において、フォーマット変換回路３３１は、４倍密解像度創造回路３１２から供給されたＹデータ、Ｕデータ、およびＶデータを、所定の補間の処理ができるように、データ形式を変更する。ステップＳ２０８において、ＵＶ垂直２倍回路３３３は、ＵデータおよびＶデータを垂直方向に画素を補間して、ライン数が２倍になるようにする。ステップＳ２０９において、Ｄ／Ａ変換回路３３５は、所定のクロックレートでデジタルアナログ変換し、アナログＹ信号、アナログＵ信号、およびアナログＶ信号を出力し、処理は終了する。
【０３４２】
以上のように、受信装置２２は、伝送路でデータが欠落しても、復号することができ、また、欠落した画素を創造して、欠落した画素の影響をほとんど受けずに伸張し、画像の信号を出力することができる。
【０３４３】
なお、画像伝送システムは、画像を送受信するとして説明したが、画像に限らず、音声などのデータを伝送するようにしてもよい。
【０３４４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０３４５】
図７８は、記録媒体およびコンピュータの例を説明する図である。CPU（Central Processing Unit）８１１は、各種アプリケーションプログラムや、OS（Operating System)を実際に実行する。ROM（Read-only Memory）８１２は、一般的には、CPU８１１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。RAM（Random-Access Memory）８１３は、CPU８１１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはCPUバスなどから構成されるホストバス８１４により相互に接続されている。
【０３４６】
ホストバス８１４は、ブリッジ８１５を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス８１６に接続されている。
【０３４７】
キーボード８１８は、CPU８１１に各種の指令を入力するとき、使用者により操作される。マウス８１９は、ディスプレイ８２０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ８２０は、液晶表示装置またはCRT（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。HDD（Hard Disk Drive）８２１は、ハードディスクを駆動し、それらにCPU８１１によって実行するプログラムや情報を記録または再生させる。
【０３４８】
ドライブ８２２は、装着されている磁気ディスク８４１、光ディスク８４２、光磁気ディスク８４３、または半導体メモリ８４４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース８１７、外部バス８１６、ブリッジ８１５、およびホストバス８１４を介して接続されているRAM８１３に供給する。
【０３４９】
これらのキーボード８１８乃至ドライブ８２２は、インターフェース８１７に接続されており、インターフェース８１７は、外部バス８１６、ブリッジ８１５、およびホストバス８１４を介してCPU８１１に接続されている。
【０３５０】
記録媒体は、図７８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク８４１（フロッピディスクを含む）、光ディスク８４２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク８４３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ８４４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM８１２や、HDD８２１などで構成される。
【０３５１】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３５２】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０３５３】
【発明の効果】
請求項１に記載の情報処理装置および請求項２に記載の情報処理方法によれば、迅速に画素値を算出でき、画素値の記憶に要するメモリの記憶容量も少なくできる。
【図面の簡単な説明】
【図１】画素のブロックを説明する図である。
【図２】ブロックの評価値を算出する従来の評価値算出回路を示す図である。
【図３】図２に示す評価値算出回路に入力される画素値を示す図である。
【図４】ブロックの評価値を算出する従来の他の評価値算出回路を示す図である。
【図５】図４に示す評価値算出回路に入力される画素値を示す図である。
【図６】画像を送信する画像伝送システムを説明する図である。
【図７】本発明に係る送信装置２１の一実施の形態の構成を示すブロック図である。
【図８】送信装置２１に入力された画像信号が圧縮される過程を説明する図である。
【図９】間引きフィルタ５３の構成を示すブロック図である。
【図１０】ラッチ回路８１の出力を説明する図である。
【図１１】ラッチ回路８４の出力を説明する図である。
【図１２】ＵＶ垂直１／２回路５５の構成を示すブロック図である。
【図１３】ラッチ回路９４の出力を説明する図である。
【図１４】符号化回路３５の構成を示すブロック図である。
【図１５】処理の単位を説明する図である。
【図１６】ＡＤＲＣブロックを説明する図である。
【図１７】フレーム内の画素とＡＤＲＣブロックの関係を示す図である。
【図１８】フレーム内の画素とＡＤＲＣブロックの関係を示す図である。
【図１９】フレーム内の画素とＡＤＲＣブロックの関係を示す図である。
【図２０】ＹデータのＡＤＲＣブロックおよびセグメントを説明する図である。
【図２１】ＵデータまたはＶデータのＡＤＲＣブロックおよびセグメントを説明する図である。
【図２２】ＡＤＲＣブロック単位で行われるシャフルを説明する図である。
【図２３】セグメントを説明する図である。
【図２４】ＡＤＲＣ符号化回路１０３の構成を説明する図である。
【図２５】情報量制御回路１６４の構成を説明する図である。
【図２６】情報量制御回路１６４の構成を説明する図である。
【図２７】セグメント間シャフル回路１０４のシャフルの仕方を説明する図である。
【図２８】セグメント間シャフル回路１０４のシャフルの仕方を説明する図である。
【図２９】セグメント間シャフル回路１０４のシャフルの仕方を説明する図である。
【図３０】セグメント間シャフル回路１０４のシャフルの仕方を説明する図である。
【図３１】パケットの構成を示す図である。
【図３２】送信装置２１の画像の送信の処理を説明する図である。
【図３３】受信装置２２の構成を示すブロック図である。
【図３４】画像が伸張される過程を説明する図である。
【図３５】復号回路３０４のブロック図である。
【図３６】ｑビットＭＦリカバリ回路３５３の構成を示すブロック図である。
【図３７】ダイナミックレンジＤＲまたは画素値の最小値ＭＩＮのリカバリの処理を説明する図である。
【図３８】ダイナミックレンジＤＲまたは画素値の最小値ＭＩＮのリカバリの処理を説明する図である。
【図３９】ダイナミックレンジＤＲまたは画素値の最小値ＭＩＮのリカバリの処理を説明する図である。
【図４０】３ブロック評価値算出回路３７２の構成を示す図である。
【図４１】図４０に示す３ブロック評価値算出回路３７２に供給されるコードＱ、および処理の過程を説明する図である。
【図４２】３ブロック評価値算出回路３７２の他の構成を示す図である。
【図４３】図４２に示す３ブロック評価値算出回路３７２に供給されるコードＱ、およびの処理の過程を説明する図である。
【図４４】セグメント間デシャフル回路３５２から出力されるデータに欠落がない場合の、復号回路３０４の処理のタイミングの例を示す図である。
【図４５】セグメント間デシャフル回路３５２から出力されるデータに欠落がある場合の、復号回路３０４の処理のタイミングの例を示す図である。
【図４６】従来のデータの記憶の方法を示す図である。
【図４７】ブロックデシャフル回路３５６のデータの出力のタイミングを説明する図である。
【図４８】リカバリエラー判定回路３５７の構成を示すブロック図である。
【図４９】リカバリエラー判定回路３５７が、”１”が設定されたリカバリ判定フラグＦｄを出力するときの、ブロックデシャフル回路３５６の処理を説明する図である。
【図５０】セグメント間デシャフル回路３５３が、連続エラー信号を出力するときの、ブロックデシャフル回路３５６の処理を説明する図である。
【図５１】グレイモードにおけるブロックデシャフル回路３５６の処理を説明する図である。
【図５２】ブロックデシャフル回路３５６のリカバリオフ入力に対応した処理を説明する図である
【図５３】ブロックデシャフル回路３５６のリカバリオフ入力に対応した処理を説明する図である
【図５４】ブロックデシャフル回路３５６のエスケープ信号に対応した処理を説明する図である。
【図５５】ブロックデシャフル回路３５６の復号したデータを出力する処理を説明するフローチャートである。
【図５６】ブロックデシャフル回路３５６の復号したデータを出力する処理を説明するフローチャートである。
【図５７】リカバリオフ入力が”１”であるときのブロックデシャフル回路３５６のデータを出力する処理を説明するフローチャートである。
【図５８】欠落画素創造回路３０８の処理に使用される画素を説明する図である。
【図５９】欠落画素創造回路３０８の構成を示すブロック図である。
【図６０】前処理回路５０１の処理を説明するフローチャートである。
【図６１】時間アクティビティの算出に使用される画素の例を示す図である。
【図６２】空間アクティビティの算出に使用される画素の例を示す図である。
【図６３】動き判定の閾値を説明する図である。
【図６４】静動判定回路５２１の動きクラスコードを設定する処理を説明するフローチャートである。
【図６５】動きクラスコードの多数決判定に使用される画素の例を示す図である。
【図６６】動きクラス生成回路５０３の動きクラスコードを設定する処理を説明するフローチャートである。
【図６７】可変タップ選択回路５０８が選択する予測タップデータ列を説明する図である。
【図６８】可変タップ選択回路５０８が選択する予測タップデータ列を説明する図である。
【図６９】可変タップ選択回路５０８が選択する予測タップデータ列を説明する図である。
【図７０】可変タップ選択回路５０８が選択する予測タップデータ列を説明する図である。
【図７１】４倍密解像度創造回路３１２の処理に使用される画素の位置を説明する図である。
【図７２】４倍密解像度創造回路３１２の構成を示すブロック図である。
【図７３】４倍密解像度創造回路３１２がインターレース方式で出力する場合の４倍密解像度創造回路３１２に入力される画素の位置および４倍密解像度創造回路３１２が出力する画素の位置を示す図である。
【図７４】４倍密解像度創造回路３１２がプログレッシブ方式で出力する場合の４倍密解像度創造回路３１２に入力される画素の位置および４倍密解像度創造回路３１２が出力する画素の位置を示す図である。
【図７５】ＵＶ垂直２倍回路３３３の構成を示すブロック図である。
【図７６】ラッチ回路７０４の出力を説明する図である。
【図７７】受信装置２２の受信の処理を説明するフローチャートである。
【図７８】記録媒体およびコンピュータの例を説明する図である。
【符号の説明】
２１  送信装置，  ２２  受信装置，  ３３  間引き部，  ３５  符号化回路，  ３７  パケット化回路，  ５２  Ａ／Ｄ変換回路，  ５３  間引きフィルタ，  ５５  ＵＶ垂直１／２回路，  １０２  ブロックシャフル回路，  １０３  ＡＤＲＣ符号化回路，  １０４  セグメント間シャフル回路，  １６４  情報量制御回路，  １７１  ＡＤＲＣエンコーダ，  ３０２  パケット解体回路，  ３０４  復号回路，  ３０５  外部メモリ，  ３０８  欠落画素創造回路，  ３１２  ４倍密解像度創造回路，  ３３３  ＵＶ垂直２倍回路，  ３３５  Ｄ／Ａ変換回路，  ３５２  セグメント間デシャフル回路，  ３５３  ｑビットＭＦリカバリ回路，  ３５４  ＤＲＭＩＮリカバリ回路，  ３５５  ＡＤＲＣ復号回路，３５６  ブロックデシャフル回路，  ３５７  リカバリエラー判定回路，  ３８１  レジスタ，  ３８２  レジスタ，  ３８３  レジスタ，  ３８４  レジスタ，  ３８５  レジスタ，  ３８６  レジスタ，  ３８７  レジスタ，  ３８８レジスタ，  ３８９  絶対値回路，  ３９０  絶対値回路，  ３９１  絶対値回路，  ３９２  絶対値回路，  ３９３  加算器，  ３９４  レジスタ，  ４１１  レジスタ，  ４１２  レジスタ，  ４１３  レジスタ，  ４１４  レジスタ，  ４１５  レジスタ，  ４１６  レジスタ，  ４１７  絶対値回路，  ４１８絶対値回路，  ４１９  加算器，  ４２０  レジスタ，  ５０１  前処理回路，  ５０２−１乃至５０２−５  タップ構築回路，  ５０３  動きクラス生成回路，  ５０４  ＤＲクラス生成回路，  ５０５  空間クラス生成回路，  ５０６欠落クラス生成回路，  ５０７  クラス合成回路，  ５０８  可変タップ選択回路，  ５０９  係数保持クラスコード選択回路，  ５１０  推定予測演算回路
【図１】
0004568939.tif 000012
【図２】
0004568939.tif 000013
【図３】
0004568939.tif 000014
【図４】
0004568939.tif 000015
【図５】
0004568939.tif 000016
【図６】
0004568939.tif 000017
【図７】
0004568939.tif 000018
【図８】
0004568939.tif 000019
【図９】
0004568939.tif 000020
【図１０】
0004568939.tif 000021
【図１１】
0004568939.tif 000022
【図１２】
0004568939.tif 000023
【図１３】
0004568939.tif 000024
【図１４】
0004568939.tif 000025
【図１５】
0004568939.tif 000026
【図１６】
0004568939.tif 000027
【図１７】
0004568939.tif 000028
【図１８】
0004568939.tif 000029
【図１９】
0004568939.tif 000030
【図２０】
0004568939.tif 000031
【図２１】
0004568939.tif 000032
【図２２】
0004568939.tif 000033
【図２３】
0004568939.tif 000034
【図２４】
0004568939.tif 000035
【図２５】
0004568939.tif 000036
【図２６】
0004568939.tif 000037
【図２７】
0004568939.tif 000038
【図２８】
0004568939.tif 000039
【図２９】
0004568939.tif 000040
【図３０】
0004568939.tif 000041
【図３１】
0004568939.tif 000042
【図３２】
0004568939.tif 000043
【図３３】
0004568939.tif 000044
【図３４】
0004568939.tif 000045
【図３５】
0004568939.tif 000046
【図３６】
0004568939.tif 000047
【図３７】
0004568939.tif 000048
【図３８】
0004568939.tif 000049
【図３９】
0004568939.tif 000050
【図４０】
0004568939.tif 000051
【図４１】
0004568939.tif 000052
【図４２】
0004568939.tif 000053
【図４３】
0004568939.tif 000054
【図４４】
0004568939.tif 000055
【図４５】
0004568939.tif 000056
【図４６】
0004568939.tif 000057
【図４７】
0004568939.tif 000058
【図４８】
0004568939.tif 000059
【図４９】
0004568939.tif 000060
【図５０】
0004568939.tif 000061
【図５１】
0004568939.tif 000062
【図５２】
0004568939.tif 000063
【図５３】
0004568939.tif 000064
【図５４】
0004568939.tif 000065
【図５５】
0004568939.tif 000066
【図５６】
0004568939.tif 000067
【図５７】
0004568939.tif 000068
【図５８】
0004568939.tif 000069
【図５９】
0004568939.tif 000070
【図６０】
0004568939.tif 000071
【図６１】
0004568939.tif 000072
【図６２】
0004568939.tif 000073
【図６３】
0004568939.tif 000074
【図６４】
0004568939.tif 000075
【図６５】
0004568939.tif 000076
【図６６】
0004568939.tif 000077
【図６７】
0004568939.tif 000078
【図６８】
0004568939.tif 000079
【図６９】
0004568939.tif 000080
【図７０】
0004568939.tif 000081
【図７１】
0004568939.tif 000082
【図７２】
0004568939.tif 000083
【図７３】
0004568939.tif 000084
【図７４】
0004568939.tif 000085
【図７５】
0004568939.tif 000086
【図７６】
0004568939.tif 000087
【図７７】
0004568939.tif 000088
【図７８】
0004568939.tif 000089