(57)【特許請求の範囲】
【請求項１】
複数のコマンドからなるコマンド列を受信するコマンド列受信手段と、
複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信された前記コマンド列に応じて、信号処理の対象となる信号に前記複数の信号処理のうちのいずれかを施す信号処理手段と
を備え、
前記信号処理手段は、
前記コマンド列に含まれる第１のコマンドに応じて、内部構造を第１の信号処理を実行する状態に切り換え、前記第１の信号処理の対象となる第１の信号に対して前記第１の信号処理を施し、
前記コマンド列に含まれる第２のコマンドに応じて、内部構造を第２の信号処理を実行する状態に切り換え、前記第１の信号処理の処理結果である第２の信号に対して前記第２の信号処理を施し、
前記第１のコマンドに第１の条件を表す条件情報が含まれている場合、前記第１の条件を満たすまで、前記第１の信号に対して前記第１の信号処理を再帰的に施し、
前記第２のコマンドに第２の条件を表す条件情報が含まれている場合、前記第２の条件を満たすまで、前記第２の信号に対して前記第２の信号処理を再帰的に施す
信号処理装置。
【請求項２】
前記信号処理手段は、複数の回路ブロックにより構成される内部構造を有し、前記コマンド列に含まれるコマンドに応じて、前記回路ブロック間の接続状態を切り換えることで、実行する信号処理の内容を変更する
請求項１に記載の信号処理装置。
【請求項３】
前記信号処理手段は、第１の画像信号に対して前記第１および第２の信号処理を実行して、第２の画像信号を出力し、
前記第１または第２の信号処理のうちの一方は、前記第１の画像信号の空間解像度を向上させる信号処理であり、他方は、前記第１の画像信号からノイズを除去する信号処理である
請求項１に記載の信号処理装置。
【請求項４】
前記信号処理手段は、前記第２の画像信号のうちの注目している注目画像信号を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、前記注目画像信号に対して選択される前記第１の画像信号とを用いた演算により、前記注目画像信号を求める
請求項３に記載の信号処理装置。
【請求項５】
前記信号処理手段は、
前記注目画像信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第１の画像信号から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画像信号をクラス分類するクラス分類手段と、
前記注目画像信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第１の画像信号から選択する予測タップ選択手段と、
前記注目画像信号のクラスのタップ係数を出力するタップ係数出力手段と、
前記注目画像信号のクラスのタップ係数と、前記注目画像信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画像信号を求める演算手段と
を有する
請求項４に記載の信号処理装置。
【請求項６】
前記信号処理手段は、１チップのIC(Integrated Circuit)である
請求項１に記載の信号処理装置。
【請求項７】
前記第１の信号処理の処理結果である第２の信号を保持する保持手段をさらに備え、
前記信号処理手段は、前記保持手段に保持された前記第２の信号に対して、前記第２の信号処理を施す
請求項１に記載の信号処理装置。
【請求項８】
コマンド列受信手段と、信号処理手段とを備える信号処理装置の信号処理方法において、
前記コマンド列送信手段が、複数のコマンドからなるコマンド列を受信するコマンド列受信ステップと、
前記信号処理手段が、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信された前記コマンド列に応じて、信号処理の対象となる信号に前記複数の信号処理のうちのいずれかを施す信号処理ステップと
を含み、
前記信号処理ステップにおいて、前記信号処理手段は、
前記コマンド列に含まれる第１のコマンドに応じて、内部構造を第１の信号処理を実行する状態に切り換え、前記第１の信号処理の対象となる第１の信号に対して前記第１の信号処理を施し、
前記コマンド列に含まれる第２のコマンドに応じて、内部構造を第２の信号処理を実行する状態に切り換え、前記第１の信号処理の処理結果である第２の信号に対して前記第２の信号処理を施し、
前記第１のコマンドに第１の条件を表す条件情報が含まれている場合、前記第１の条件を満たすまで、前記第１の信号に対して前記第１の信号処理を再帰的に施し、
前記第２のコマンドに第２の条件を表す条件情報が含まれている場合、前記第２の条件を満たすまで、前記第２の信号に対して前記第２の信号処理を再帰的に施す
信号処理方法。
【請求項９】
複数の信号処理を切り換えて実行することが可能な内部構造を有し、
内部構造を第１の信号処理を実行する状態に切り換え、前記第１の信号処理の対象となる第１の信号に対して前記第１の信号処理を施し、
内部構造を第２の信号処理を実行する状態に切り換え、前記第１の信号処理の処理結果である第２の信号に対して前記第２の信号処理を施す
信号処理手段の内部構造を切り換えさせる複数のコマンドからなり、
前記複数のコマンドのうちの第１のコマンドは、前記信号処理手段が実行する前記第１の信号処理に対応し、
前記複数のコマンドのうちの第２のコマンドは、前記信号処理手段が前記第１の信号処理の実行後に実行する前記第２の信号処理に対応し、
前記第１のコマンドに第１の条件を表す条件情報が含まれている場合、前記第１の条件を満たすまで、前記第１の信号に対して前記第１の信号処理を再帰的に施させ、
前記第２のコマンドに第２の条件を表す条件情報が含まれている場合、前記第２の条件を満たすまで、前記第２の信号に対して前記第２の信号処理を再帰的に施させる
コマンド列のデータ構造が記録されている情報記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置および信号処理方法、並びに情報記録媒体に関し、特に、複数のコマンドに応じて、ハードウェアの内部構造を切り換えることにより、単一のハードウェアで、多くの機能を、容易に実現することができるようにする信号処理装置および信号処理方法、並びに情報記録媒体に関する。
【背景技術】
【０００２】
近年、コンピュータの高速化、低価格化に伴い、各種の機能のソフトウェア化が進んでいる。即ち、汎用のコンピュータのみならず、携帯電話機その他のPDA(Personal Digital Assistant)、テレビジョン受像機などのAV(Audio Visual)機器、電子炊飯器などの家電機器などにおいて、各種の処理は、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などのプロセッサが、ソフトウェア（プログラム）を実行することで行われるようになっている。
【０００３】
このような機能のソフトウェア化に伴い、ソフトウェアも複雑で膨大なものとなってきており、コンピュータ（CPUやDSPなど）の負担が大になっている。そこで、コンピュータシステムにかかる処理負担を低減する新規なプロセッサを有する装置が提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開2002-358294号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように、コンピュータにソフトウェアを実行させることで各種の処理を行う限り、今後、ますます複雑で膨大なソフトウェアの開発が必要となることが予想される。そして、かかるソフトウェアの開発には、多大な労力と時間を要することとなる。
【０００６】
特に、高速な処理が要求される場合には、例えば、複数のプロセッサによる並列処理が必要となる。並列処理のためのソフトウェアの製作にあたっては、複数のプロセッサの動作タイミングを考慮しながら、膨大なステップ数のプログラミングを行わなければならず、ソフトウェアの製作者（技術者）の負担は相当なものとなる。
【０００７】
一方、ある処理を行うだけであれば、その処理を行う専用のハードウェアとしての、例えば、IC(Integraged Circuit)(LSI(Large Scale Integration))などを開発する方法がある。
【０００８】
しかしながら、ある処理を行う専用のハードウェアでは、その処理しか行うことができず、汎用性にかけることになる。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、膨大なステップ数のプログラミングを行わずに、単一のハードウェアで、多くの機能を、容易に実現することができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の信号処理装置は、複数のコマンドからなるコマンド列を受信するコマンド列受信手段と、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信されたコマンド列に応じて、信号処理の対象となる信号に複数の信号処理のうちのいずれかを施す信号処理手段とを備え、信号処理手段は、コマンド列に含まれる第１のコマンドに応じて、内部構造を第１の信号処理を実行する状態に切り換え、第１の信号処理の対象となる第１の信号に対して第１の信号処理を施し、コマンド列に含まれる第２のコマンドに応じて、内部構造を第２の信号処理を実行する状態に切り換え、第１の信号処理の処理結果である第２の信号に対して第２の信号処理を施し、第１のコマンドに第１の条件を表す条件情報が含まれている場合、第１の条件を満たすまで、第１の信号に対して第１の信号処理を再帰的に施し、第２のコマンドに第２の条件を表す条件情報が含まれている場合、第２の条件を満たすまで、第２の信号に対して第２の信号処理を再帰的に施す。
【００１１】
本発明の信号処理方法は、コマンド列受信手段と、信号処理手段とを備える信号処理装置の信号処理方法であって、コマンド列送信手段が、複数のコマンドからなるコマンド列を受信するコマンド列受信ステップと、信号処理手段が、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信されたコマンド列に応じて、信号処理の対象となる信号に複数の信号処理のうちのいずれかを施す信号処理ステップとを含み、信号処理ステップにおいて、信号処理手段は、コマンド列に含まれる第１のコマンドに応じて、内部構造を第１の信号処理を実行する状態に切り換え、第１の信号処理の対象となる第１の信号に対して第１の信号処理を施し、コマンド列に含まれる第２のコマンドに応じて、内部構造を第２の信号処理を実行する状態に切り換え、第１の信号処理の処理結果である第２の信号に対して第２の信号処理を施し、第１のコマンドに第１の条件を表す条件情報が含まれている場合、第１の条件を満たすまで、第１の信号に対して第１の信号処理を再帰的に施し、第２のコマンドに第２の条件を表す条件情報が含まれている場合、第２の条件を満たすまで、第２の信号に対して第２の信号処理を再帰的に施す。
【００１４】
本発明の情報記録媒体に記録されているコマンド列のデータ構造は、複数の信号処理を切り換えて実行することが可能な内部構造を有し、内部構造を第１の信号処理を実行する状態に切り換え、第１の信号処理の対象となる第１の信号に対して第１の信号処理を施し、内部構造を第２の信号処理を実行する状態に切り換え、第１の信号処理の処理結果である第２の信号に対して第２の信号処理を施す信号処理手段の内部構造を切り換えさせる複数のコマンドからなり、複数のコマンドのうちの第１のコマンドは、信号処理手段が実行する第１の信号処理に対応し、複数のコマンドのうちの第２のコマンドは、信号処理手段が第１の信号処理の実行後に実行する第２の信号処理に対応し、第１のコマンドに第１の条件を表す条件情報が含まれている場合、第１の条件を満たすまで、第１の信号に対して第１の信号処理を再帰的に施させ、第２のコマンドに第２の条件を表す条件情報が含まれている場合、第２の条件を満たすまで、第２の信号に対して第２の信号処理を再帰的に施させる。
【００１５】
本発明の信号処理装置および信号処理方法においては、複数のコマンドからなるコマンド列が受信される。そして、そのコマンド列に含まれる第１のコマンドに応じて、内部構造が第１の信号処理を実行する状態に切り換えられ、第１の信号処理の対象となる第１の信号に対して第１の信号処理が施される。その後、さらに、コマンド列に含まれる第２のコマンドに応じて、内部構造が第２の信号処理を実行する状態に切り換えられ、第１の信号処理の処理結果である第２の信号に対して第２の信号処理が施される。そして、第１のコマンドに第１の条件を表す条件情報が含まれている場合、第１の条件を満たすまで、第１の信号に対して第１の信号処理が再帰的に施され、第２のコマンドに第２の条件を表す条件情報が含まれている場合、第２の条件を満たすまで、第２の信号に対して第２の信号処理が再帰的に施される。
【００１７】
本発明の情報記録媒体に記録されているコマンド列のデータ構造においては、複数のコマンドによって、信号処理を実行する信号処理手段の内部構造が切り換えられ、複数のコマンドのうちの第１のコマンドによって、信号処理手段による第１の信号処理が実行され、第１の信号処理の実行後に、複数のコマンドのうちの第２のコマンドによって、信号処理手段による第２の信号処理が実行される。そして、第１のコマンドに第１の条件を表す条件情報が含まれている場合、第１の条件を満たすまで、第１の信号に対して第１の信号処理が再帰的に施され、第２のコマンドに第２の条件を表す条件情報が含まれている場合、第２の条件を満たすまで、第２の信号に対して第２の信号処理が再帰的に施される。
【発明の効果】
【００１８】
本発明によれば、単一のハードウェアで、多くの機能を、容易に実現することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２０】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２１】
請求項１に記載の信号処理装置は、
複数のコマンドからなるコマンド列を受信するコマンド列受信手段（例えば、図５５の受信部６５０）と、
複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信された前記コマンド列に応じて、信号処理の対象となる信号に前記複数の信号処理のうちのいずれかを施す信号処理手段（例えば、図５７の信号処理回路６５６など）と
を備え、
前記信号処理手段は、
前記コマンド列に含まれる第１のコマンドに応じて、内部構造を前記第１の信号処理を実行する状態に切り換え、前記第１の信号処理の対象となる第１の信号に対して前記第１の信号処理を施し、
前記コマンド列に含まれる第２のコマンドに応じて、内部構造を前記第２の信号処理を実行する状態に切り換え、前記第１の信号処理の処理結果である第２の信号に対して前記第２の信号処理を施し、
前記第１のコマンドに第１の条件を表す条件情報が含まれている場合、前記第１の条件を満たすまで、前記第１の信号に対して前記第１の信号処理を再帰的に施し、
前記第２のコマンドに第２の条件を表す条件情報が含まれている場合、前記第２の条件を満たすまで、前記第２の信号に対して前記第２の信号処理を再帰的に施す。
【００２２】
請求項２に記載の信号処理装置は、
前記信号処理手段は、複数の回路ブロック（例えば、図５９のクラス分類回路５１１Ａ乃至予測演算回路５１６Ａ、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂ、ライン遅延回路５１７、積和演算回路５１８、切換回路５１９）により構成される内部構造を有し、前記コマンド列に含まれるコマンドに応じて、前記回路ブロック間の接続状態を切り換えることで、実行する信号処理の内容を変更する。
【００２３】
請求項５に記載の信号処理装置は、
前記信号処理手段は、
前記注目画像信号を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記第１の画像信号から選択するクラスタップ選択手段（例えば、図５９のクラス分類回路５１１Ａや５１１Ｂ）と、
前記クラスタップに基づいて、前記注目画像信号をクラス分類するクラス分類手段（例えば、図５９のクラス分類回路５１１Ａや５１１Ｂ）と、
前記注目画像信号を求めるときの前記タップ係数との演算に用いる予測タップを、前記第１の画像信号から選択する予測タップ選択手段（例えば、図５９の遅延選択回路５１２Ａや５１２Ｂ）と、
前記注目画像信号のクラスのタップ係数を出力するタップ係数出力手段（例えば、図５９の係数出力回路５１５Ａや５１５Ｂ）と、
前記注目画像信号のクラスのタップ係数と、前記注目画像信号に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画像信号を求める演算手段（例えば、図５９の予測演算回路５１６Ａや５１６Ｂ）と
を有する。
【００２４】
請求項８に記載の信号処理方法は、
コマンド列受信手段と、信号処理手段とを備える信号処理装置の信号処理方法において、
前記コマンド列送信手段が、複数のコマンドからなるコマンド列を受信するコマンド列受信ステップ（例えば、図５６のステップＳ６３１）と、
前記信号処理手段が、複数の信号処理を切り換えて実行することが可能な内部構造を有し、受信された前記コマンド列に応じて、信号処理の対象となる信号に前記複数の信号処理のうちのいずれかを施す信号処理ステップ（例えば、図５６のステップＳ６３８乃至Ｓ６５０）と
を含み、
前記信号処理ステップにおいて、前記信号処理手段は、
前記コマンド列に含まれる第１のコマンドに応じて、内部構造を前記第１の信号処理を実行する状態に切り換え、前記第１の信号処理の対象となる第１の信号に対して前記第１の信号処理を施し、
前記コマンド列に含まれる第２のコマンドに応じて、内部構造を前記第２の信号処理を実行する状態に切り換え、前記第１の信号処理の処理結果である第２の信号に対して前記第２の信号処理を施し、
前記第１のコマンドに第１の条件を表す条件情報が含まれている場合、前記第１の条件を満たすまで、前記第１の信号に対して前記第１の信号処理を再帰的に施し、
前記第２のコマンドに第２の条件を表す条件情報が含まれている場合、前記第２の条件を満たすまで、前記第２の信号に対して前記第２の信号処理を再帰的に施す。
【００３１】
以下、本発明を適用した各種の装置（システム）の実施の形態について説明するが、その前に、その各種の装置が行う信号処理に利用するクラス分類適応処理について説明する。なお、クラス分類適応処理は、各種の装置が行う信号処理に利用する処理の一例であり、各種の装置が行う信号処理は、クラス分類適応処理を利用しないものであってもかまわない。
【００３２】
また、ここでは、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。
【００３３】
第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
【００３４】
即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
【００３５】
また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第２の画像データを高Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
【００３６】
さらに、例えば、第１の画像データを所定の画素数（サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【００３７】
また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
【００３８】
さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
【００３９】
なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
【００４０】
以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
【００４１】
以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
【００４２】
即ち、図１は、クラス分類適応処理による画像変換処理を行う画像変換装置１の構成例を示している。
【００４３】
画像変換装置１では、そこに供給される画像データが、第１の画像データとして、タップ選択部１２および１３に供給される。
【００４４】
注目画素選択部１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
【００４５】
タップ選択部１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
【００４６】
具体的には、タップ選択部１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
【００４７】
タップ選択部１３は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。即ち、タップ選択部１３は、タップ選択部１２が予測タップを選択するのと同様にして、クラスタップを選択する。
【００４８】
なお、予測タップとクラスタップは、同一のタップ構造を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
【００４９】
タップ選択部１２で得られた予測タップは、予測演算部１６に供給され、タップ選択部１３で得られたクラスタップは、クラス分類部１４に供給される。
【００５０】
クラス分類部１４は、タップ選択部１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１５に供給する。
【００５１】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００５２】
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００５３】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
なお、クラス分類部１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００５５】
従って、クラス分類部１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【００５６】
係数出力部１５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１６に供給される。
【００５７】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【００５８】
予測演算部１６は、タップ選択部１２が出力する予測タップと、係数出力部１５が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値（の予測値）、即ち、第２の画像データを構成する画素の画素値を求めて出力する。
【００５９】
次に、図２のフローチャートを参照して、図１の画像変換装置１による画像変換処理について説明する。
【００６０】
ステップＳ１１において、注目画素選択部１１は、画像変換装置１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ１２に進む。即ち、注目画素選択部１１は、例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
【００６１】
ステップＳ１２において、タップ選択部１２と１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１２から予測演算部１６に供給され、クラスタップは、タップ選択部１３からクラス分類部１４に供給される。
【００６２】
クラス分類部１４は、タップ選択部１３から、注目画素についてのクラスタップを受信し、ステップＳ１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１５に出力し、ステップＳ１４に進む。
【００６３】
ステップＳ１４では、係数出力部１５が、クラス分類部１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して出力する。さらに、ステップＳ１４では、予測演算部１６が、係数出力部１５が出力するタップ係数を取得し、ステップＳ１５に進む。
【００６４】
ステップＳ１５では、予測演算部１６が、タップ選択部１２が出力する予測タップと、係数出力部１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１６は、注目画素の画素値を求めて出力し、ステップＳ１６に進む。
【００６５】
ステップＳ１６では、注目画素選択部１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１６において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
【００６６】
また、ステップＳ１６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
【００６７】
次に、図１の予測演算部１６における予測演算と、係数出力部１５に記憶されたタップ係数の学習について説明する。
【００６８】
いま、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００６９】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【００７０】
【数１】
0004674439.tif 000002
・・・（１）
【００７１】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【００７２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００７３】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【００７４】
【数２】
0004674439.tif 000003
・・・（２）
【００７５】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【００７６】
【数３】
0004674439.tif 000004
・・・（３）
【００７７】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【００７８】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００７９】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００８０】
【数４】
0004674439.tif 000005
・・・（４）
【００８１】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００８２】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００８３】
【数５】
0004674439.tif 000006
・・・（５）
【００８４】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【００８５】
【数６】
0004674439.tif 000007
・・・（６）
【００８６】
式（５）と（６）から、次式が得られる。
【００８７】
【数７】
0004674439.tif 000008
・・・（７）
【００８８】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【００８９】
【数８】
0004674439.tif 000009
・・・（８）
【００９０】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【００９１】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【００９２】
次に、図３は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置２１の構成例を示している。
【００９３】
学習用画像記憶部３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
【００９４】
教師データ生成部３２は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、教師データ生成部３２は、学習用画像データから、タップ係数の学習の教師（真値）、即ち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部３３に供給する。ここでは、教師データ生成部３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部３３に供給する。
【００９５】
教師データ記憶部３３は、教師データ生成部３２から供給される教師データとしての高画質画像データを記憶する。
【００９６】
生徒データ生成部３４は、学習用画像記憶部３１から学習用画像データを読み出す。さらに、生徒データ生成部３４は、学習用画像データから、タップ係数の学習の生徒、即ち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１７４に供給する。ここでは、生徒データ生成部３４は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部３５に供給する。
【００９７】
生徒データ記憶部３５は、生徒データ生成部３４から供給される生徒データを記憶する。
【００９８】
学習部３６は、教師データ記憶部３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図１のタップ選択部１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
【００９９】
即ち、図４は、図３の学習部３６の構成例を示している。
【０１００】
注目画素選択部４１は、教師データ記憶部３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
【０１０１】
タップ選択部４２は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１２が選択するの同一の画素を選択し、これにより、タップ選択部１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部４５に供給する。
【０１０２】
タップ選択部４３は、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図１のタップ選択部１３が選択するのと同一の画素を選択し、これにより、タップ選択部１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部４４に供給する。
【０１０３】
クラス分類部４４は、タップ選択部４３が出力するクラスタップに基づき、図１のクラス分類部１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力する。
【０１０４】
足し込み部４５は、教師データ記憶部３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部４４から供給されるクラスコードごとに行う。
【０１０５】
即ち、足し込み部４５には、教師データ記憶部３３に記憶された教師データｙk、タップ選択部４２が出力する予測タップｘn,k、クラス分類部４４が出力するクラスコードが供給される。
【０１０６】
そして、足し込み部４５は、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１０７】
さらに、足し込み部４５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１０８】
即ち、足し込み部４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１０９】
そして、足し込み部４５は、教師データ記憶部３３（図３）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【０１１０】
タップ係数算出部４６は、足し込み部４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１１１】
図１の画像変換装置１における係数出力部１５には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０１１２】
ここで、第１の画像データに対応する生徒データとする画像データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。
【０１１３】
即ち、上述のように、高画質画像データを、第２の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から１番目に示すように、低画質画像データ（ＳＤ(Standard Definition)画像）である第１の画像データを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０１１４】
なお、この場合、第１の画像データ（生徒データ）は、第２の画像データ（教師データ）と画素数が同一であっても良いし、少なくても良い。
【０１１５】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から２番目に示すように、低S/Nの画像データである第１の画像データを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０１１６】
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から３番目に示すように、画像データの一部である第１の画像データを、その第１の画像データを拡大した拡大画像データである第２の画像データに変換する拡大処理（リサイズ処理）としての画像変換処理を行うものを得ることができる。
【０１１７】
なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。
【０１１８】
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図５上から４番目（１番下）に示すように、所定のフレームレートの第１の画像データを、高フレームレートの第２の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０１１９】
次に、図６のフローチャートを参照して、図３の学習装置２１の処理（学習処理）について、説明する。
【０１２０】
まず最初に、ステップＳ２１において、教師データ生成部３２と生徒データ生成部３４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部３３と生徒データ生成部３４にそれぞれ供給して記憶させる。
【０１２１】
なお、教師データ生成部３２と生徒データ生成部３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。
【０１２２】
その後、ステップＳ２２に進み、学習部３６（図４）において、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ２３に進む。ステップＳ２３では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部４５に供給するとともに、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部４４に供給する。
【０１２３】
そして、ステップＳ２４に進み、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部４５に出力して、ステップＳ２５に進む。
【０１２４】
ステップＳ２５では、足し込み部４５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部４４から供給されるクラスコードごとに行い、ステップＳ２６に進む。
【０１２５】
ステップＳ２６では、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ２６において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、ステップＳ２２に戻り、以下、同様の処理が繰り返される。
【０１２６】
また、ステップＳ２６において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部４５は、いままでのステップＳ２２乃至Ｓ２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部４６に供給し、ステップＳ２７に進む。
【０１２７】
ステップＳ２７では、タップ係数算出部４６は、足し込み部４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１２８】
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部４６は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１２９】
次に、図７は、クラス分類適応処理による画像変換処理を行う他の画像変換装置である画像変換装置５１の構成例を示している。
【０１３０】
なお、図中、図１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換装置５１は、係数出力部１５に代えて、係数出力部５５が設けられている他は、図１の画像変換装置１と同様に構成されている。
【０１３１】
係数出力部５５には、クラス分類部１４からクラス（クラスコード）が供給される他、例えば、ユーザの操作に応じて外部から入力されるパラメータｚが供給されるようになっている。係数出力部５５は、後述するようにして、パラメータｚに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部１４からのクラスのタップ係数を、予測演算部１６に出力する。
【０１３２】
図８は、図７の係数出力部５５の構成例を示している。
【０１３３】
係数生成部６１は、係数種メモリ６２に記憶されている係数種データと、パラメータメモリ６３に記憶されたパラメータｚとに基づいて、クラスごとのタップ係数を生成し、係数メモリ６４に供給して上書きする形で記憶させる。
【０１３４】
係数種メモリ６２は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
【０１３５】
パラメータメモリ６３は、ユーザの操作等に応じて外部から入力されるパラメータｚを上書きする形で記憶する。
【０１３６】
係数メモリ６４は、係数生成部６１から供給されるクラスごとのタップ係数（パラメータｚに対応するクラスごとのタップ係数）を記憶する。そして、係数メモリ６４は、クラス分類部１４（図７）から供給されるクラスのタップ係数を読み出し、予測演算部１６（図７）に出力する。
【０１３７】
図７の画像変換装置５１では、外部から係数出力部５５に対して、パラメータｚが入力されると、係数出力部５５（図８）のパラメータメモリ６３において、そのパラメータｚが、上書きする形で記憶される。
【０１３８】
パラメータメモリ６３にパラメータｚが記憶されると（パラメータメモリ６３の記憶内容が更新されると）、係数生成部６１は、係数種メモリ６２からクラスごとの係数種データを読み出すとともに、パラメータメモリ６３からパラメータｚを読み出し、その係数種データとパラメータｚに基づいて、クラスごとのタップ係数を求める。そして、係数生成部６１は、そのクラスごとのタップ係数を、係数メモリ６４に供給し、上書きする形で記憶させる。
【０１３９】
画像変換装置５１では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部１５に代えて設けられている係数出力部５５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図１の画像変換装置１が行う図２のフローチャートにしたがった処理と同様の処理が行われる。
【０１４０】
次に、図７の予測演算部１６における予測演算、並びに図８の係数生成部６１におけるタップ係数の生成および係数種メモリ６２に記憶させる係数種データの学習について説明する。
【０１４１】
図１の実施の形態における場合のように、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
【０１４２】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１４３】
図８の実施の形態では、係数生成部６１において、タップ係数ｗnが、係数種メモリ６２に記憶された係数種データと、パラメータメモリ６３に記憶されたパラメータｚとから生成されるが、この係数生成部６１におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータｚを用いた次式によって行われることとする。
【０１４４】
【数９】
0004674439.tif 000010
・・・（９）
【０１４５】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，βM,nを用いて求められるようになっている。
【０１４６】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０１４７】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０１４８】
【数１０】
0004674439.tif 000011
・・・（１０）
【０１４９】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０１５０】
【数１１】
0004674439.tif 000012
・・・（１１）
【０１５１】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０１５２】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１５３】
【数１２】
0004674439.tif 000013
・・・（１２）
【０１５４】
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１５５】
【数１３】
0004674439.tif 000014
・・・（１３）
【０１５６】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１５７】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０１５８】
【数１４】
0004674439.tif 000015
・・・（１４）
【０１５９】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０１６０】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１６１】
【数１５】
0004674439.tif 000016
・・・（１５）
【０１６２】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１６３】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０１６４】
【数１６】
0004674439.tif 000017
・・・（１６）
【０１６５】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０１６６】
【数１７】
0004674439.tif 000018
・・・（１７）
【０１６７】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０１６８】
【数１８】
0004674439.tif 000019
・・・（１８）
【０１６９】
【数１９】
0004674439.tif 000020
・・・（１９）
【０１７０】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０１７１】
【数２０】
0004674439.tif 000021
・・・（２０）
【０１７２】
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０１７３】
図７の画像変換装置５１においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβm,nが、係数出力部５５（図８）の係数種メモリ６２に記憶されており、係数生成部６１では、その係数種データβm,nと、パラメータメモリ６３に記憶されたパラメータｚから、式（９）にしたがって、クラスごとのタップ係数ｗnが生成される。そして、予測演算部１６において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０１７４】
次に、図９は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβm,nを求める学習を行う学習装置７１の構成例を示している。
【０１７５】
なお、図中、図３の学習装置２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、学習装置７１は、生徒データ生成部３４と学習部３６に代えて、生徒データ生成部７４と学習部７６がそれぞれ設けられているとともに、パラメータ生成部８１が新たに設けられている他は、図３の学習装置２１と同様に構成されている。
【０１７６】
生徒データ生成部７４は、図３の生徒データ生成部３４と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部３５に供給して記憶させる。
【０１７７】
但し、生徒データ生成部７４には、学習用画像データの他、図８のパラメータメモリ６３に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部８１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部７４には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部８１から供給されるようになっている。
【０１７８】
生徒データ生成部７４は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
【０１７９】
従って、生徒データ生成部７４では、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。
【０１８０】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータｚに対応する低画質画像データほど、空間解像度が高い。
【０１８１】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部７４において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。
【０１８２】
学習部７６は、教師データ記憶部３３に記憶された教師データ、生徒データ記憶部３５に記憶された生徒データ、およびパラメータ生成部８１から供給されるパラメータｚを用いて、クラスごとの係数種データを求めて出力する。
【０１８３】
パラメータ生成部８１は、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部７４と学習部７６に供給する。
【０１８４】
次に、図１０は、図９の学習部７６の構成例を示している。なお、図中、図４の学習部３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１８５】
タップ選択部９２は、図４のタップ選択部４２と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１２が選択するのと同一のタップ構造の予測タップを選択し、足し込み部９５に供給する。
【０１８６】
タップ選択部９３も、図４のタップ選択部４３と同様に、注目画素について、生徒データ記憶部３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図７のタップ選択部１３が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部４４に供給する。
【０１８７】
但し、図１０では、タップ選択部４２と４３に、図９のパラメータ生成部８１が生成するパラメータｚが供給されるようになっており、タップ選択部４２と４３は、パラメータ生成部８１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）から、予測タップとクラスタップをそれぞれ選択する。
【０１８８】
足し込み部９５は、図９の教師データ記憶部３３から、注目画素を読み出し、その注目画素、タップ選択部４２から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに行う。
【０１８９】
即ち、足し込み部９５には、教師データ記憶部３３に記憶された注目画素としての教師データｙk、タップ選択部４２が出力する注目画素についての予測タップｘi,k（ｘj,k）、およびクラス分類部４４が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータｚが、パラメータ生成部８１から供給される。
【０１９０】
そして、足し込み部９５は、クラス分類部４４から供給されるクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０１９１】
さらに、足し込み部９５は、やはり、クラス分類部４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０１９２】
即ち、足し込み部９５は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０１９３】
そして、足し込み部９５は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部９６に供給する。
【０１９４】
係数種算出部９６は、足し込み部９５から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０１９５】
次に、図１１のフローチャートを参照して、図９の学習装置７１の処理（学習処理）について、説明する。
【０１９６】
まず最初に、ステップＳ３１において、教師データ生成部３２と生徒データ生成部７４が、学習用画像記憶部３１に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部３２は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部７４には、パラメータ生成部８１が生成するＺ＋１個の値のパラメータｚが供給される。生徒データ生成部７４は、例えば、学習用画像データを、パラメータ生成部８１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０１９７】
教師データ生成部３２が出力する教師データは、教師データ記憶部３３に供給されて記憶され、生徒データ生成部７４が出力する生徒データは、生徒データ記憶部３５に供給されて記憶される。
【０１９８】
その後、ステップＳ３２に進み、パラメータ生成部８１は、パラメータｚを、初期値としての、例えば０にセットし、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に供給して、ステップＳ３３に進む。ステップＳ３３では、注目画素選択部４１は、教師データ記憶部３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として、ステップＳ３４に進む。
【０１９９】
ステップＳ３４では、タップ選択部４２が、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データ（注目画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを選択し、足し込み部９５に供給する。さらに、ステップＳ３４では、タップ選択部４３が、やはり、注目画素について、生徒データ記憶部３５に記憶された、パラメータ生成部８１が出力するパラメータｚに対する生徒データからクラスタップを選択し、クラス分類部４４に供給する。
【０２００】
そして、ステップＳ３５に進み、クラス分類部４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部９５に出力して、ステップＳ３６に進む。
【０２０１】
ステップＳ３５では、足し込み部９５は、教師データ記憶部３３から注目画素を読み出し、その注目画素、タップ選択部４２から供給される予測タップ、パラメータ生成部８１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部９５は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部４４からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ３７に進む。
【０２０２】
ステップＳ３７では、パラメータ生成部８１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ３６において、パラメータ生成部８１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ３８に進み、パラメータ生成部８１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、学習部７６（図１０）のタップ選択部４２および４３、並びに足し込み部９５に出力する。そして、ステップＳ３４に戻り、以下、同様の処理が繰り返される。
【０２０３】
また、ステップＳ３７において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ３９に進み、注目画素選択部４１が、教師データ記憶部３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ３８において、注目画素としていない教師データが、まだ、教師データ記憶部３３に記憶されていると判定された場合、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０２０４】
また、ステップＳ３９において、注目画素としていない教師データが、教師データ記憶部３３に記憶されていないと判定された場合、足し込み部９５は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部９６に供給し、ステップＳ４０に進む。
【０２０５】
ステップＳ４０では、係数種算出部９６は、足し込み部９５から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０２０６】
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部９６は、例えば、デフォルトの係数種データを出力するようになっている。
【０２０７】
ところで、図９の学習装置７１では、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、パラメータｚに対応して劣化させた低画質画像データを生徒データとして、タップ係数ｗnおよび生徒データｘnから式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、次のようにして行うことが可能である。
【０２０８】
即ち、学習用画像データとしての高画質画像データを教師データとするとともに、その高画質画像データを、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像データを生徒データとして、まず最初に、タップ係数ｗnおよび生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnを、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求める。そして、そのパラメータｚの値ごとに求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,nおよび生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める。
【０２０９】
ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図３の学習装置２１における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０２１０】
ところで、タップ係数は、式（１１）に示したように、係数種データβm,nと、パラメータｚに対応する変数ｔmとから求められる。そして、いま、この式（１１）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０２１１】
【数２１】
0004674439.tif 000022
・・・（２１）
【０２１２】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０２１３】
【数２２】
0004674439.tif 000023
・・・（２２）
【０２１４】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２１５】
【数２３】
0004674439.tif 000024
・・・（２３）
【０２１６】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２１７】
【数２４】
0004674439.tif 000025
・・・（２４）
【０２１８】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０２１９】
【数２５】
0004674439.tif 000026
・・・（２５）
【０２２０】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０２２１】
【数２６】
0004674439.tif 000027
・・・（２６）
【０２２２】
【数２７】
0004674439.tif 000028
・・・（２７）
【０２２３】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０２２４】
【数２８】
0004674439.tif 000029
・・・（２８）
【０２２５】
式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０２２６】
次に、図１２は、式（２８）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置１０１の構成例を示している。
【０２２７】
なお、図中、図３の学習装置２１または図９の学習装置７１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、学習装置１０１は、学習部７６に代えて、学習部１０６が設けられている他は、図９の学習装置７１と同様に構成されている。
【０２２８】
図１３は、図１２の学習部１０６の構成例を示している。なお、図中、図４の学習部３６または図１０の学習部７６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２２９】
足し込み部１１５には、クラス分類部４４が出力する注目画素のクラスと、パラメータ生成部８１が出力するパラメータｚが供給されるようになっている。そして、足し込み部１１５は、教師データ記憶部３３から、注目画素を読み出し、その注目画素と、タップ選択部４２から供給される注目画素についての予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに行う。
【０２３０】
即ち、足し込み部１１５には、教師データ記憶部３３（図１２）に記憶された教師データｙk、タップ選択部４２が出力する予測タップｘn,k、クラス分類部４４が出力するクラス、およびパラメータ生成部８１（図１２）が出力する、予測タップｘn,kを構成する生徒データを生成したときのパラメータｚが供給される。
【０２３１】
そして、足し込み部１１５は、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２３２】
さらに、足し込み部１１５は、やはり、クラス分類部４４から供給されるクラスごとに、かつパラメータ生成部８１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２３３】
即ち、足し込み部１１５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２３４】
そして、足し込み部１１５は、教師データ記憶部３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部４６に供給する。
【０２３５】
従って、足し込み部１１５は、図４の足し込み部４５と同様に、各クラスについて、式（８）の正規方程式をたてる。但し、足し込み部１１５は、さらに、パラメータｚの各値ごとにも、式（８）の正規方程式をたてる点で、図４の足し込み部４５と異なる。
【０２３６】
タップ係数算出部４６は、足し込み部１１５から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部１２１に供給する。
【０２３７】
足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚ（に対応する変数ｔm）と、タップ係数算出部４６から供給される最適なタップ係数ｗnを対象とした足し込みを、クラスごとに行う。
【０２３８】
即ち、足し込み部１２１は、パラメータ生成部８１（図１２）から供給されるパラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２３９】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０２４０】
さらに、足し込み部１２１は、パラメータ生成部８１から供給されるパラメータｚから式（１０）によって求められる変数ｔiと、タップ係数算出部４６から供給される最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０２４１】
足し込み部１２１は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部１２２に供給する。
【０２４２】
係数種算出部１２２は、足し込み部１２１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２４３】
図８の係数出力部５５における係数種メモリ６２には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
【０２４４】
なお、係数種データの学習においても、図５で説明したタップ係数の学習における場合と同様に、第１の画像データに対応する生徒データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０２４５】
即ち、上述の場合には、学習用画像データを、そのまま第２の画像データに対応する教師データとするとともに、その学習用画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像データを、その空間解像度を向上させた第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
【０２４６】
この場合、図７の画像変換装置５１では、画像データの水平解像度および垂直解像度を、パラメータｚに対応する解像度に向上させることができる。
【０２４７】
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、パラメータｚに対応するレベルのノイズを重畳した画像データを生徒データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そこに含まれるノイズを除去（低減）した第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するS/Nの画像データを得ることができる。
【０２４８】
また、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータｚに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行うことにより、係数種データとしては、第１の画像データを、そのサイズを拡大または縮小した第２の画像データに変換するリサイズ処理としての画像変換処理を行うものを得ることができる。この場合、図７の画像変換装置５１では、パラメータｚに対応するサイズに拡大または縮小した画像データを得ることができる。
【０２４９】
なお、上述の場合には、タップ係数ｗnを、式（９）に示したように、β1,nｚ0＋β2,nｚ1＋・・・＋βM,nｚM-1で定義し、この式（９）によって、水平および垂直方向の空間解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗnを求めるようにしたが、タップ係数ｗnとしては、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０２５０】
即ち、タップ係数ｗnを、式（９）に代えて、例えば、３次式β1,nｚx0ｚy0＋β2,nｚx1ｚy0＋β3,nｚx2ｚy0＋β4,nｚx3ｚy0＋β5,nｚx0ｚy1＋β6,nｚx0ｚy2＋β7,nｚx0ｚy3＋β8,nｚx1ｚy1＋β9,nｚx2ｚy1＋β10,nｚx1ｚy2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、例えば、ｔ1＝ｚx0ｚy0，ｔ2＝ｚx1ｚy0，ｔ3＝ｚx2ｚy0，ｔ4＝ｚx3ｚy0，ｔ5＝ｚx0ｚy1，ｔ6＝ｚx0ｚy2，ｔ7＝ｚx0ｚy3，ｔ8＝ｚx1ｚy1，ｔ9＝ｚx2ｚy1，ｔ10＝ｚx1ｚy2で定義する。この場合も、タップ係数ｗnは、最終的には、式（１１）で表すことができ、従って、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚxとｚyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることができる。
【０２５１】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚxとｚyに加えて、さらに、時間方向の解像度に対応するパラメータｚtを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚx，ｚy，ｚtに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることが可能となる。
【０２５２】
また、リサイズ処理についても、空間解像度創造処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗnの他、水平と垂直方向を、それぞれパラメータｚxとｚyに対応する拡大率で、独立にリサイズするタップ係数ｗnを求めることが可能である。
【０２５３】
さらに、図９の学習装置７１や、図１２の学習装置１０１において、パラメータｚxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚyに対応して教師データにノイズを付加した画像データを、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータｚxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚyに対応してノイズ除去を行うタップ係数ｗnを求めることができる。
【０２５４】
次に、本発明の第１実施の形態について説明する。
【０２５５】
図１４は、本発明の第１実施の形態としてのAVシステムの構成例を示している。
【０２５６】
図１４において、AVシステムは、本体２００とリモコン（リモートコマンダ）２０１とから構成されている。
【０２５７】
本体２００は、制御装置２０２、DVD(Digital Versatile Disc)レコーダ部２０３、HDD(Hard Disk Drive)レコーダ部２０４、およびテレビジョン受像機部２０５から構成されている。
【０２５８】
リモコン２０１は、操作部２０１Ａおよび送信部２０１Ｂを有している。
【０２５９】
操作部２０１Ａは、本体２００に対する各種の指令を入力するときに、ユーザによって操作される。送信部２０１Ｂは、操作部２０１Ａの操作に対応する操作信号を、例えば、赤外線により射出する。なお、送信部２０１Ｂでは、その他、例えば、Bluetooth（商標）の規格等にしたがった無線により操作信号を送信することもできる。
【０２６０】
制御装置２０２は、送受信部２０２Ａと制御部２０２Ｂから構成されている。
【０２６１】
送受信部２０２Ａは、リモコン２０１から赤外線で送信されてくる操作信号を受光（受信）し、制御部２０２Ｂに供給する。また、送受信部２０２Ａは、制御部２０２Ｂから供給される１以上のコマンドのシーケンスであるコマンド列を、無線または有線で送信（放送）する。なお、ここでは、送受信部２０２Ａは、コマンド列を無線で送信するものとする。
【０２６２】
制御部２０２Ｂは、送受信部２０２Ａから供給される操作信号に対応して、DVDレコーダ部２０３、HDDレコーダ部２０４、またはテレビジョン受像機部２０５に対する１以上のコマンドからなるコマンド列を生成し、送受信部２０２Ａに供給する。
【０２６３】
DVDレコーダ部２０３は、受信部２１１、R-IC(Reconfigurable-IC)２１２、記録部２１３、DVD２１４、および再生部２１５から構成され、図示せぬチューナで受信されたテレビジョン放送番組の画像データや、図示せぬ外部端子を介して入力される画像データなどの外部から供給される画像データに対し、必要に応じて信号処理を施し、後段のHDDレコーダ部２０４に供給、またはDVD２１４に記録する。また、DVDレコーダ部２０３は、DVD２１４から画像データを再生し、必要に応じて信号処理を施し、後段のHDDレコーダ部２０４に供給する。
【０２６４】
即ち、DVDレコーダ部２０３において、受信部２１１は、制御装置２０２の送受信部２０２Ａから無線で送信されてくるコマンド列を受信し、R-IC２１２に供給する。
【０２６５】
R-IC２１２は、その内部構造がリコンフィギュラブル(reconfigurable)な（再構成可能な）１チップのICで、受信部２１１から供給されるコマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、外部から供給される画像データ、または再生部２１５から供給される画像データを、必要に応じて信号処理（データ処理）して、HDDレコーダ部２０４または記録部２１３に供給する。
【０２６６】
なお、受信部２１１とR-IC２１２の全体を、１チップのICとして構成することも可能である。後述する受信部２２１とR-IC２２２の全体、および受信部２３１とR-IC２３２の全体についても同様である。
【０２６７】
記録部２１３は、R-IC２１２から供給される画像データに対して、MPEG符号化等の必要な処理を施することにより、その画像データをDVDの規格に準拠した記録データに変換し、DVD２１４に記録する。なお、DVD２１４は、DVDレコーダ部２０３に対して、容易に着脱可能となっている。
【０２６８】
再生部２１５は、DVD２１４から記録データを読み出し、画像データに復号して（画像データを再生して）、R-IC２１２に供給する。
【０２６９】
HDDレコーダ部２０４は、受信部２２１、R-IC２２２、記録部２２３、HD２２４、および再生部２２５から構成され、前段のDVDレコーダ部２０３から供給される画像データに対し、必要に応じて信号処理を施し、後段のテレビジョン受像機部２０５に供給、またはHD２２４に記録する。また、HDDレコーダ部２０４は、HD２２４から画像データを再生し、必要に応じて信号処理を施し、後段のテレビジョン受像機部２０５に供給する。
【０２７０】
即ち、HDDレコーダ部２０４において、受信部２２１は、制御装置２０２の送受信部２０２Ａから無線で送信されてくるコマンド列を受信し、R-IC２２２に供給する。
【０２７１】
R-IC２２２は、R-IC２１２と同様に、その内部構造がリコンフィギュラブルな１チップのICで、受信部２２１から供給されるコマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、前段のDVDレコーダ部２０３から供給される画像データ、または再生部２２５から供給される画像データを、必要に応じて信号処理して、テレビジョン受像機部２０５または記録部２２３に供給する。
【０２７２】
記録部２２３は、R-IC２２２から供給される画像データに対して必要な処理を施し、HD２２４に記録する。
【０２７３】
再生部２２５は、HD２２４から記録データを読み出し（再生し）、R-IC２２２に供給する。
【０２７４】
テレビジョン受像機部２０５は、受信部２３１、R-IC２３２、ディスプレイ２３３から構成され、前段のHDレコーダ部２０４から供給される画像データに対し、必要に応じて信号処理を施し、ディスプレイ２３３に供給して表示させる。
【０２７５】
即ち、テレビジョン受像機部２０５において、受信部２３１は、制御装置２０２の送受信部２０２Ａから無線で送信されてくるコマンド列を受信し、R-IC２３２に供給する。
【０２７６】
R-IC２３２は、R-IC２１２と同様に、その内部構造がリコンフィギュラブルな１チップのICで、受信部２３１から供給されるコマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、前段のHDレコーダ部２０４から供給される画像データを必要に応じて信号処理し、ディスプレイ２３３に供給する。
【０２７７】
ディスプレイ２３３は、R-IC２３２から供給される画像データを表示する。
【０２７８】
なお、図１４では、DVDレコーダ部２０３、HDDレコーダ部２０４、およびテレビジョン受像機部２０５が、本体２００としての１つの筐体に収納されているものとしてあるが、DVDレコーダ部２０３、HDDレコーダ部２０４、テレビジョン受像機部２０５は、それぞれ単独の筐体に収納されている独立した装置であっても良い。この場合、DVDレコーダ部２０３、HDDレコーダ部２０４、テレビジョン受像機部２０５それぞれどうしでは、有線または無線で、必要なデータ（信号）のやりとりを行うことができる。
【０２７９】
また、図１４では、制御装置２０２が、リモコン２０１からの操作信号に応じたコマンド列を生成し、DVDレコーダ部２０３、HDDレコーダ部２０４、およびテレビジョン受像機部２０５に、無線で送信することとしたが、その他、例えば、リモコン２０１において、操作信号に応じたコマンド列を生成し、DVDレコーダ部２０３、HDDレコーダ部２０４、およびテレビジョン受像機部２０５に、無線で送信するようにすることも可能である。
【０２８０】
次に、図１５乃至図２６を参照して、図１４のAVシステムの本体２００の動作について説明する。
【０２８１】
ユーザがリモコン２０１の操作部２０１Ａを操作すると、送信部２０１Ｂは、その操作に対応した操作信号を送信する。
【０２８２】
そして、制御装置２０２では、その送受信部２０２Ａが、リモコン２０１の送信部２０１Ｂからの操作信号を受信し、制御部２０２Ｂに供給する。
【０２８３】
制御部２０２Ｂは、送受信部２０２Ａからの操作信号を受信し、ステップＳ２０１において、その操作信号が、外部からの画像データの、DVD２１４への記録を指令するものであるかどうかを判定する。
【０２８４】
ステップＳ２０１において、操作信号が、外部からの画像データの、DVD２１４への記録を指令するものであると判定された場合、ステップＳ２０２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。
【０２８５】
ここで、図１６は、制御部２０２Ｂが、図１５のステップＳ２０２で生成するコマンド列の例を示している。
【０２８６】
図１６のコマンド列は、１つのノイズ除去処理コマンドと２つのNullコマンドとから構成されている。
【０２８７】
図１６のコマンド列のうちの、先頭（１番目）のノイズ除去処理コマンドは、DVDレコーダ部２０３（のR-IC２１２）に対し、信号処理として、ノイズを除去（低減）するノイズ除去処理を要求するものである。また、先頭から２番目のNullコマンドは、HDDレコーダ部２０４（のR-IC２２２）に対し、信号処理として、何もしないことを要求するものである。さらに、先頭から３番目のNullコマンドは、テレビジョン受像機部２０５（のR-IC２３２）に対し、信号処理として、何もしないことを要求するものである。
【０２８８】
なお、Nullコマンドは、なくてもよく、この場合、図１６のコマンド列は、DVDレコーダ部２０３に対する１つのノイズ除去処理コマンドから構成されることになる。
【０２８９】
図１５に戻り、ステップＳ２０２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２０３に進む。ステップＳ２０３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２０４に進む。
【０２９０】
ステップＳ２０４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２０３で送信したコマンド列を受信する。さらに、ステップＳ２０４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２０５に進む。
【０２９１】
ステップＳ２０５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２０６に進む。
【０２９２】
即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図１６のコマンド列のうちの先頭のノイズ除去処理コマンドに応じて、ノイズ除去処理を行うように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１とテレビジョン受像機部２０５のR-IC２３１は、図１６のコマンド列のうちの２番目と３番目のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。
【０２９３】
ステップＳ２０６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２０５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。
【０２９４】
即ち、いまの場合、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、ノイズ除去処理を施し、記録部２１３に供給する。記録部２１３は、R-IC２１２からの画像データをMPEG符号化等し、DVD２１４に記録する。即ち、DVD２１４には、外部から入力される画像データに対して、R-IC２１２がノイズ除去処理を施すことによって得られる画像データが記録される。
【０２９５】
従って、この場合、R-IC２１２，２２２，２３２のうちの、唯一、信号処理を行うR-IC２１２は、ノイズ除去処理を行う装置として機能することになる。
【０２９６】
一方、制御部２０２Ｂは、ステップＳ２０１において、操作信号が、外部からの画像データの、DVD２１４への記録を指令するものでないと判定した場合、図１７のステップＳ２１１に進み、操作信号が、DVD２１４に記録された画像データの再生を指令するものであるかどうかを判定する。
【０２９７】
ステップＳ２１１において、操作信号が、DVD２１４に記録された画像データの再生を指令するものであると判定された場合、ステップＳ２１２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。
【０２９８】
ここで、図１８は、制御部２０２Ｂが、図１７のステップＳ２１２で生成するコマンド列の例を示している。
【０２９９】
図１８のコマンド列は、１つの歪み除去処理コマンド、１つの時間解像度創造処理コマンド、および１つの空間解像度創造処理コマンドから構成されている。
【０３００】
図１８のコマンド列のうちの、先頭の歪み除去処理コマンドは、DVDレコーダ部２０３のR-IC２１２に対し、信号処理として、MPEG符号化／復号により生じるブロック歪み等を除去する歪み除去処理を要求するものである。また、先頭から２番目の時間解像度創造処理コマンドは、HDDレコーダ部２０４のR-IC２２２に対し、信号処理として、画像データの時間解像度を向上させる時間解像度創造処理を要求するものである。さらに、先頭から３番目の空間解像度創造処理コマンドは、テレビジョン受像機部２０５のR-IC２３２に対し、信号処理として、画像データの空間解像度を向上させる空間解像度創造処理を要求するものである。
【０３０１】
図１７に戻り、ステップＳ２１２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２１３に進む。ステップＳ２１３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２１４に進む。
【０３０２】
ステップＳ２１４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２１３で送信したコマンド列を受信する。さらに、ステップＳ２１４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２１５に進む。
【０３０３】
ステップＳ２１５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２１６に進む。
【０３０４】
即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図１８のコマンド列のうちの先頭の歪み除去処理コマンドに応じて、歪み除去処理を行うように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１は、図１８のコマンド列のうちの先頭から２番目の時間解像度創造処理コマンドに応じて、時間解像度創造処理を行うように、その内部構造を切り換える。さらに、テレビジョン受像機部２０５のR-IC２３１は、図１８のコマンド列のうちの先頭から３番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。
【０３０５】
ステップＳ２１６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２１５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。
【０３０６】
即ち、いまの場合、DVDレコーダ部２０３において、再生部２１５が、DVD２１４から画像データを読み出し、MPEG復号して、R-IC２１２に供給する。R-IC２１２は、ステップＳ２１６1において、再生部２１５から供給される画像データ、即ち、MPEG符号化／復号によってブロック歪み等が生じている画像データに対して、歪み除去処理を施し、HDDレコーダ２０４部に出力する。
【０３０７】
HDDレコーダ部２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、ステップＳ２１６2において、R-IC２１２からの画像データに対して、時間解像度創造処理を施し、テレビジョン受像機部２０５に出力する。
【０３０８】
テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、ステップＳ２１６3において、R-IC２２２からの画像データに対して、空間解像度創造処理を施し、ディスプレイ２３３に供給する。
【０３０９】
従って、いまの場合、R-IC２１２は、歪み除去処理を行う装置(IC)として、R-IC２２２は、時間解像度創造処理を行う装置として、R-IC２３２は、空間解像度創造処理を行う装置として、それぞれ機能することになる。
【０３１０】
以上のように、DVD２１４から再生された画像データを対象に、R-IC２１２で歪み除去処理が行われ、その処理結果を対象に、R-IC２２２で時間解像度創造処理が行われ、さらに、その処理結果を対象に、R-IC２３２で空間解像度創造処理が行われることにより、ディスプレイ２３３には、ブロック歪み等が除去（低減）され、時間解像度および空間解像度が高い画像が表示されることになる。
【０３１１】
ここで、DVD２１４に、例えば、映画の画像データが記録されているものとすると、映画を、テレビジョン方式の画像データに変換するときには、いわゆる２−３プルダウンが行われるため、DVD２１４に記録されている画像データは、その２−３プルダウンによって時間解像度が劣化したものとなっている。
【０３１２】
そこで、R-IC２２２において、上述のように、時間解像度創造処理を行うことにより、２−３プルダウンによって劣化した画像データの時間解像度を回復（時間解像度の劣化の程度を低減）することができる。
【０３１３】
一方、制御部２０２Ｂは、ステップＳ２１１において、操作信号が、DVD２１４に記録された画像データの再生を指令するものでないと判定した場合、図１９のステップＳ２２１に進み、操作信号が、外部からの画像データの、HD２２４への記録を指令するものであるかどうかを判定する。
【０３１４】
ステップＳ２２１において、操作信号が、外部からの画像データの、HD２２４への記録を指令するものであると判定された場合、ステップＳ２２２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。
【０３１５】
ここで、図２０は、制御部２０２Ｂが、図１９のステップＳ２２２で生成するコマンド列の例を示している。
【０３１６】
図２０のコマンド列は、１つのノイズ除去処理コマンド、１つの空間解像度創造処理コマンド、および１つのNullコマンドから構成されている。
【０３１７】
図２０のコマンド列のうちの、先頭の歪み除去処理コマンドは、DVDレコーダ部２０３のR-IC２１２に対し、信号処理として、ノイズ除去処理を要求するものである。また、先頭から２番目の空間解像度創造処理コマンドは、HDDレコーダ部２０４のR-IC２２２に対し、信号処理として、空間解像度創造処理を要求するものである。さらに、先頭から３番目のNullコマンドは、テレビジョン受像機部２０５のR-IC２３２に対し、信号処理として、何もしないことを要求するものである。
【０３１８】
図１９に戻り、ステップＳ２２２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２２３に進む。ステップＳ２２３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２２４に進む。
【０３１９】
ステップＳ２２４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２２３で送信したコマンド列を受信する。さらに、ステップＳ２２４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２２５に進む。
【０３２０】
ステップＳ２２５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２２６に進む。
【０３２１】
即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２０のコマンド列のうちの先頭のノイズ除去処理コマンドに応じて、ノイズ除去処理を行うように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１は、図２０のコマンド列のうちの先頭から２番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。さらに、テレビジョン受像機部２０５のR-IC２３１は、図２０のコマンド列のうちの先頭から３番目のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。
【０３２２】
ステップＳ２２６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２２５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。
【０３２３】
即ち、いまの場合、DVDレコーダ部２０３では、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、ノイズ除去処理を施し、HDDレコーダ２０４に出力する。
【０３２４】
HDDレコーダ部２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、R-IC２１２からの画像データに対して、空間解像度創造処理を施し、記録部２２３に供給する。記録部２２３は、R-IC２２２からの画像データをMPEG符号化等し、HD２２４に記録する。即ち、HD２２４には、外部から入力される画像データに対して、R-IC２１２がノイズ除去処理を施し、さらに、その後、R-IC２２２が空間解像度創造処理を施すことによって得られる画像データが記録される。
【０３２５】
従って、この場合、R-IC２１２は、歪み除去処理を行う装置として、R-IC２２２は、空間解像度創造処理を行う装置として、それぞれ機能することになる。
【０３２６】
一方、制御部２０２Ｂは、ステップＳ２２１において、操作信号が、外部からの画像データの、HD２２４への記録を指令するものでないと判定した場合、図２１のステップＳ２３１に進み、操作信号が、HD２２４に記録された画像データの再生を指令するものであるかどうかを判定する。
【０３２７】
ステップＳ２３１において、操作信号が、HD２２４に記録された画像データの再生を指令するものであると判定された場合、ステップＳ２３２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。
【０３２８】
ここで、図２２は、制御部２０２Ｂが、図２１のステップＳ２３２で生成するコマンド列の例を示している。
【０３２９】
図２２のコマンド列は、１つのNullコマンド、１つの歪み除去処理コマンド、および１つの空間解像度創造処理コマンドから構成されている。
【０３３０】
図２２のコマンド列のうちの、先頭のNullコマンドは、DVDレコーダ部２０３のR-IC２１２に対し、信号処理として、何もしないことを要求するものである。また、先頭から２番目の歪み除去処理コマンドは、HDDレコーダ部２０４のR-IC２２２に対し、信号処理として、歪み除去処理を要求するものである。さらに、先頭から３番目の空間解像度創造処理コマンドは、テレビジョン受像機部２０５のR-IC２３２に対し、信号処理として、空間解像度創造処理を要求するものである。
【０３３１】
図２１に戻り、ステップＳ２３２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２３３に進む。ステップＳ２３３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２３４に進む。
【０３３２】
ステップＳ２３４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２３３で送信したコマンド列を受信する。さらに、ステップＳ２３４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２３５に進む。
【０３３３】
ステップＳ２３５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２３６に進む。
【０３３４】
即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２２のコマンド列のうちの先頭のNullコマンドに応じて、信号処理を行わないように、その内部構造を切り換える。また、HDDレコーダ部２０４のR-IC２２１は、図２２のコマンド列のうちの先頭から２番目の歪み除去処理コマンドに応じて、歪み除去処理を行うように、その内部構造を切り換える。さらに、テレビジョン受像機部２０５のR-IC２３１は、図２２のコマンド列のうちの先頭から３番目の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。
【０３３５】
ステップＳ２３６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２３５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。
【０３３６】
即ち、いまの場合、HDDレコーダ部２０４において、再生部２２５が、HD２２４から画像データを読み出し、MPEG復号して、R-IC２２２に供給する。R-IC２２２は、再生部２２５から供給される画像データ、即ち、MPEG符号化／復号によってブロック歪み等が生じている画像データに対して、歪み除去処理を施し、テレビジョン受像機部２０５に出力する。
【０３３７】
テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、R-IC２２２からの画像データに対して、空間解像度創造処理を施し、ディスプレイ２３３に供給する。
【０３３８】
従って、いまの場合、R-IC２２２は、歪み除去処理を行う装置として、R-IC２３２は、空間解像度創造処理を行う装置として、それぞれ機能することになる。
【０３３９】
以上のように、HD２２４から再生された画像データを対象に、R-IC２２２で歪み除去処理が行われ、その処理結果を対象に、R-IC２３２で空間解像度創造処理が行われることにより、ディスプレイ２３３には、ブロック歪み等が除去（低減）され、空間解像度が高い画像が表示されることになる。
【０３４０】
一方、制御部２０２Ｂは、ステップＳ２３１において、操作信号が、HDD２２４に記録された画像データの再生を指令するものでないと判定した場合、図２３のステップＳ２４１に進み、操作信号が、外部からの画像データの拡大（ズーム）表示を指令するものであるかどうかを判定する。
【０３４１】
ステップＳ２４１において、操作信号が、外部からの画像データの拡大表示を指令するものであると判定された場合、ステップＳ２４２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。
【０３４２】
ここで、図２４は、制御部２０２Ｂが、図２３のステップＳ２４２で生成するコマンド列の例を示している。
【０３４３】
図２４のコマンド列は、３つの空間解像度創造処理コマンドから構成されている。
【０３４４】
図２４のコマンド列のうちの、先頭、２番目、３番目の空間解像度創造処理コマンドは、DVDレコーダ部２０３のR-IC２１２、HDDレコーダ部２０４のR-IC２２２、テレビジョン受像機部２０５のR-IC２３２に対し、それぞれ、信号処理として、空間解像度創造処理を要求するものである。
【０３４５】
図２３に戻り、ステップＳ２４２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２４３に進む。ステップＳ２４３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２４４に進む。
【０３４６】
ステップＳ２４４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２４３で送信したコマンド列を受信する。さらに、ステップＳ２４４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２４５に進む。
【０３４７】
ステップＳ２４５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２４６に進む。
【０３４８】
即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２４のコマンド列のうちの先頭の空間解像度創造処理コマンドに応じて、空間解像度創造処理を行うように、その内部構造を切り換える。同様に、HDDレコーダ部２０４のR-IC２２１とテレビジョン受像機部２０５のR-IC２３１も、図２４のコマンド列のうちの先頭から２番目と３番目の空間解像度創造処理コマンドにそれぞれ応じて、空間解像度創造処理を行うように、それぞれの内部構造を切り換える。
【０３４９】
ステップＳ２４６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２４５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。
【０３５０】
即ち、いまの場合、DVDレコーダ部２０３では、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、空間解像度創造処理を施し、HDDレコーダ２０４に出力する。
【０３５１】
HDDレコーダ２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、R-IC２１２からの画像データに対して、空間解像度創造処理を施し、テレビジョン受像機部２０５に出力する。
【０３５２】
テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、R-IC２２２からの画像データに対して、空間解像度創造処理を施し、ディスプレイ２３３に供給する。
【０３５３】
従って、いまの場合、R-IC２１２，２２２，２３２は、いずれも、空間解像度創造処理を行う装置として機能することになる。
【０３５４】
いま、R-IC２１２，２２２，２３２それぞれで行われる空間解像度創造処理としての画像変換処理が、第１の画像データを、その第１の画像データよりも画素数が多い第２の画像データに変換するものでもあるとすると、即ち、R-IC２１２，２２２，２３２それぞれで行われる空間解像度創造処理がリサイズ処理でもあるとすると、R-IC２１２では、外部からの画像データを対象に、リサイズ処理でもある空間解像度創造処理が行われる。そして、R-IC２２２では、その空間解像度創造処理の結果を対象に、やはり、リサイズ処理でもある空間解像度創造処理が行われ、さらに、R-IC２３２でも、その空間解像度創造処理の結果を対象に、やはり、リサイズ処理でもある空間解像度創造処理が行われる。
【０３５５】
これにより、ディスプレイ２３３には、外部からの画像データが拡大された画像が表示されることになる。
【０３５６】
一方、制御部２０２Ｂは、ステップＳ２４１において、操作信号が、外部からの画像データの拡大表示を指令するものでないと判定した場合、図２５のステップＳ２５１に進み、操作信号が、外部からの画像データのスローモーションでの表示を指令するものであるかどうかを判定する。
【０３５７】
ステップＳ２５１において、操作信号が、外部からの画像データのスローモーションでの表示を指令するものであると判定された場合、ステップＳ２５２に進み、制御部２０２Ｂは、その操作信号に応じたコマンド列を生成する。
【０３５８】
ここで、図２６は、制御部２０２Ｂが、図２５のステップＳ２５２で生成するコマンド列の例を示している。
【０３５９】
図２６のコマンド列は、３つの時間解像度創造処理コマンドから構成されている。
【０３６０】
図２６のコマンド列のうちの、先頭、２番目、３番目の時間解像度創造処理コマンドは、DVDレコーダ部２０３のR-IC２１２、HDDレコーダ部２０４のR-IC２２２、テレビジョン受像機部２０５のR-IC２３２に対し、それぞれ、信号処理として、時間解像度創造処理を要求するものである。
【０３６１】
図２５に戻り、ステップＳ２５２において、制御部２０２Ｂは、コマンド列を生成すると、そのコマンド列を、送受信部２０２Ａに供給し、ステップＳ２５３に進む。ステップＳ２５３では、送受信部２０２Ａは、制御部２０２Ｂからのコマンド列を送信（放送）し、ステップＳ２５４に進む。
【０３６２】
ステップＳ２５４では、DVDレコーダ部２０３の受信部２１１、HDDレコーダ部２０４の受信部２２１、およびテレビジョン受像機部２０５の受信部２３１が、送受信部２０２ＡがステップＳ２５３で送信したコマンド列を受信する。さらに、ステップＳ２５４では、受信部２１１，２２１，２３１それぞれが、送受信部２０２Ａから受信したコマンド列を、R-IC２１２，２２２，２３２にそれぞれ供給し、ステップＳ２５５に進む。
【０３６３】
ステップＳ２５５では、R-IC２１２，２２２，２３２それぞれが、受信部２１１，２２１，２３１から供給されたコマンド列のうちの、例えば、自身に対するコマンドに応じて、その内部構造を切り換え、ステップＳ２５６に進む。
【０３６４】
即ち、いまの場合、DVDレコーダ部２０３のR-IC２１２は、図２６のコマンド列のうちの先頭の時間解像度創造処理コマンドに応じて、時間解像度創造処理を行うように、その内部構造を切り換える。同様に、HDDレコーダ部２０４のR-IC２２１とテレビジョン受像機部２０５のR-IC２３１も、図２６のコマンド列のうちの先頭から２番目と３番目の時間解像度創造処理コマンドにそれぞれ応じて、時間解像度創造処理を行うように、それぞれの内部構造を切り換える。
【０３６５】
ステップＳ２５６では、R-IC２１２，２２２，２３２それぞれが、ステップＳ２５５で切り換えた内部構造によって行われるべき信号処理を行い、処理を終了する。
【０３６６】
即ち、いまの場合、DVDレコーダ部２０３では、R-IC２１２は、DVDレコーダ部２０３の外部から入力される画像データに対して、時間解像度創造処理を施し、HDDレコーダ２０４に出力する。
【０３６７】
HDDレコーダ２０４では、DVDレコーダ部２０３のR-IC２１２からの画像データが、R-IC２２２に供給される。R-IC２２２は、R-IC２１２からの画像データに対して、時間解像度創造処理を施し、テレビジョン受像機部２０５に出力する。
【０３６８】
テレビジョン受像機部２０５では、HDDレコーダ部２０４のR-IC２２２からの画像データが、R-IC２３２に供給される。R-IC２３２は、R-IC２２２からの画像データに対して、時間解像度創造処理を施し、ディスプレイ２３３に供給する。
【０３６９】
従って、いまの場合、R-IC２１２，２２２，２３２は、いずれも、時間解像度創造処理を行う装置として機能することになる。
【０３７０】
いま、R-IC２１２，２２２，２３２それぞれで行われる時間解像度創造処理としての画像変換処理が、第１の画像データを、その第１の画像データよりもフレーム（またはフィールド）数が多い第２の画像データに変換するものでもあるとすると、R-IC２１２では、外部からの画像データを対象に、時間解像度創造処理が行われ、フレーム数が増加した画像データが得られる。そして、R-IC２２２では、R-IC２１２で得られたフレーム数が増加した画像データを対象に、やはり、時間解像度創造処理が行われ、フレーム数がさらに増加した画像データが得られる。その後、R-IC２３２でも、R-IC２２２で得られたフレーム数が増加した画像データを対象に、時間解像度創造処理が行われ、フレーム数がより増加した画像データが得られる。
【０３７１】
このように、フレーム数が増加した画像データがディスプレイ２３３に供給され、外部からの画像データを表示するときと同一のフレーム（フィールド）レートで表示されることにより、ディスプレイ２３３では、画像がスローモーションで表示されることになる。
【０３７２】
なお、図１５、図１７、図１９、図２１、図２３、および図２５のフローチャートで説明した各ステップの処理は、ハードウェアであるR-IC２１２，２２２、および２３２などにより行われる処理である。但し、図１５のステップＳ２０１乃至Ｓ２０３の処理、図１７のステップＳ２１１乃至Ｓ２１３の処理、図１９のステップＳ２２１乃至Ｓ２２３の処理、図２１のステップＳ２３１乃至Ｓ２３３の処理、図２３のステップＳ２４１乃至Ｓ２４３の処理、および図２５のステップＳ２５１乃至Ｓ２５３の処理は、マイクロコンピュータ等のコンピュータに、プログラムを実行させることで行うことも可能である。
【０３７３】
次に、図２７は、図１４のR-IC２１２の構成例を示している。なお、他のR-IC２２２および２３２も同様に構成される。
【０３７４】
R-IC２１２は、受信部２１１（図１４）から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した各種の信号処理を行う。
【０３７５】
即ち、R-IC２１２は、注目画素選択部２５１、タップ選択部２５２，２５３、クラス分類部２５４、係数出力部２５５、および予測演算部２５６で構成されている。これらの注目画素選択部２５１、タップ選択部２５２，２５３、クラス分類部２５４、係数出力部２５５、予測演算部２５６は、図１の注目画素選択部１１、タップ選択部１２，１３、クラス分類部１４、係数出力部１５、予測演算部１６にそれぞれ対応するものである。
【０３７６】
従って、R-IC２１２では、そこに供給される第１の画像データが、第２の画像データに変換されて出力される。
【０３７７】
なお、係数出力部２５５には、受信部２１１（図１４）で受信されたコマンド列のうちの、R-IC２１２（DVDレコーダ部２０３）に対するコマンドが供給されるようになっている。
【０３７８】
図２８は、図２７の係数出力部２５５の構成例を示している。
【０３７９】
図２８では、係数出力部２５５は、係数メモリ２６１1，２６１2，２６１3、および２６１4、並びに選択部２６２で構成されている。
【０３８０】
係数メモリ２６１1，２６１2，２６１3、２６１4には、あらかじめ行われた学習により求められたノイズ除去処理用のタップ係数、歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、空間解像度創造処理用のタップ係数が、それぞれ記憶されている。
【０３８１】
そして、係数メモリ２６１1乃至２６１4には、図２７のクラス分類部２５４が出力するクラス（クラスコード）が供給される。係数メモリ２６１1乃至２６１4それぞれは、クラス分類部２５４からのクラスのタップ係数を読み出し、選択部２６２に出力する。
【０３８２】
選択部２６２には、上述したように、係数メモリ２６１1乃至２６１4それぞれから読み出されたタップ係数が供給される他、受信部２１１（図１４）で受信されたコマンド列のうちの、R-IC２１２に対するコマンドが供給される。選択部２６２は、受信部２１１から供給されるコマンドに応じて、係数メモリ２６１1乃至２６１4のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部２５６（図２７）の入力端に接続することで、R-IC２１２の内部構造を切り換える。
【０３８３】
ここで、選択部２６２が、係数メモリ２６１1乃至２６１4のうちの、例えば、係数メモリ２６１1の出力端を選択し、その選択した出力端を、予測演算部２５６の入力端に接続した場合、予測演算部２５６には、係数メモリ２６１1から読み出されるノイズ除去処理用のタップ係数が供給されることとなり、その結果、R-IC２１２は、ノイズ除去処理を行う装置として機能することになる。
【０３８４】
同様に、選択部２６２が、係数メモリ２６１1乃至２６１4のうちの、係数メモリ２６１2，２６１3，２６１4の出力端を選択し、その選択した出力端を、予測演算部２５６の入力端に接続した場合、予測演算部２５６には、係数メモリ２６１2，２６１3，２６１4から読み出される歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、空間解像度創造処理用のタップ係数が、それぞれ供給される。その結果、選択部２６２が、係数メモリ２６１1乃至２６１4のうちの、係数メモリ２６１2，２６１3，２６１4の出力端を選択した場合には、R-IC２１２は、歪み除去処理を行う装置、時間解像度創造処理を行う装置、空間解像度創造処理を行う装置として、それぞれ機能することになる。
【０３８５】
次に、図２９のフローチャートを参照して、図２７のR-IC２１２の処理について説明する。
【０３８６】
図１４の受信部２１１からR-IC２１２に、R-IC２１２に対するコマンドが供給されると、R-IC２１２は、ステップＳ２６１において、そのコマンドに応じて、内部構造を切り換える。
【０３８７】
即ち、受信部２１１からのコマンドは、係数出力部２５５に供給される。係数出力部２５５（図２８）では、選択部２６２が、受信部２１１からのコマンドに応じて、係数メモリ２６１1乃至２６１4のうちの、受信部２１１からのコマンドに対応する信号処理用のタップ係数が記憶されているものの出力端を選択し、その選択した出力端を、予測演算部２５６（図２７）の入力端に接続することで、R-IC２１２の内部構造を切り換える。
【０３８８】
その後、ステップＳ２６２に進み、以下、ステップＳ２６２乃至Ｓ２６７において、図２のステップＳ１１乃至Ｓ１６における場合とそれぞれ同様の処理が行われる。
【０３８９】
即ち、ステップＳ２６２において、注目画素選択部２５１は、R-IC２１２に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ２６３に進む。
【０３９０】
ステップＳ２６３において、タップ選択部２５２と２５３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部２５２から予測演算部２５６に供給され、クラスタップは、タップ選択部２５３からクラス分類部２５４に供給される。
【０３９１】
クラス分類部２５４は、タップ選択部２５３から、注目画素についてのクラスタップを受信し、ステップＳ２６４において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部２５４は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部２５５に出力し、ステップＳ２６５に進む。
【０３９２】
ステップＳ２６５では、係数出力部２５５が、クラス分類部２５４から供給されるクラスのタップ係数を出力する。即ち、係数出力部２５５（図２８）は、係数メモリ２６１1乃至２６１4のうちの、選択部２６２が出力端を選択しているものから、クラス分類部２５４から供給されるクラスのタップ係数を読み出し、予測演算部２５６に出力する。そして、ステップＳ２６５では、予測演算部２５６が、係数出力部２５５が出力するタップ係数を取得し、ステップＳ２６６に進む。
【０３９３】
ステップＳ２６６では、予測演算部２５６が、タップ選択部２５２が出力する予測タップと、係数出力部２５５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部２５６は、注目画素の画素値を求めて出力し、ステップＳ２６７に進む。
【０３９４】
ステップＳ２６７では、注目画素選択部２５１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ２６７において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ２６２に戻り、以下、同様の処理が繰り返される。
【０３９５】
また、ステップＳ２６７において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
【０３９６】
次に、図３０は、図１４のR-IC２１２の他の構成例を示している。なお、図中、図２７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３０のR-IC２１２は、係数出力部２５５に代えて、係数出力部２７５が設けられている他は、図２７における場合と同様に構成されている。
【０３９７】
ここで、他のR-IC２２２および２３２も、図３０に示すR-IC２１２と同様に構成することができる。
【０３９８】
図３０のR-IC２１２も、図２７における場合と同様に、受信部２１１（図１４）から供給されるコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した各種の信号処理を行う。即ち、図３０のR-IC２１２も、そこに供給される第１の画像データを、第２の画像データに変換して出力する。
【０３９９】
なお、受信部２１１（図１４）からのコマンドは、係数出力部２７５に供給されるようになっている。さらに、係数出力部２７５には、R-IC２１２の外部からパラメータｚが供給されるようになっている。
【０４００】
ここで、パラメータｚは、例えば、ユーザがリモコン２０１（図１４）の操作部２０１Ａを操作することによって与えることができる。
【０４０１】
即ち、ユーザは、リモコン２０１を操作することにより、本体２００に対して、上述したように、DVD２１４やHD２２４に対する画像データの記録または再生、ディスプレイ２３３への画像の拡大表示、スローモーション表示などを指令することができる。そして、R-IC２１２では、その指令に応じて、そこに入力される第１の画像データを対象に、ノイズ除去処理、歪み除去処理、時間解像度創造処理、または空間解像度創造処理が行われ、その処理の結果得られる第２の画像データが出力される。
【０４０２】
図２７に示した構成のR-IC２１２では、係数出力部２５５に固定のタップ係数が記憶されているため、例えば、ノイズ除去処理によるノイズ除去の程度（ノイズ除去処理により向上するS/Nの程度）や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度も固定となるが、これらの程度の好みは、一般に、ユーザごとに異なる。
【０４０３】
さらに、上述したように、画像のスローモーション表示は、時間解像度創造処理によって行われ、画像の拡大表示は、空間解像度創造処理によって行われるが、スローモーション表示を行うときの表示レート（フレームレート）や、拡大表示を行うときの拡大率を、ユーザが指定したいことがある。
【０４０４】
そこで、図３０の実施の形態では、ユーザが、リモコン２０１（図１４）を操作して、DVD２１４やHD２２４に対する画像データの記録または再生、ディスプレイ２３３への画像の拡大表示、スローモーション表示などを指令するのとは別に、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度、スローモーション表示を行うときの表示レート、拡大表示を行うときの拡大率を指定することができるようになっている。
【０４０５】
この指定は、例えば、ユーザがリモコン２０１の操作部２０１Ａを操作することにより行うことができる。即ち、ユーザがリモコン２０１の操作部２０１Ａを操作することにより、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度、スローモーション表示を行うときの表示レート、拡大表示を行うときの拡大率などの値を指定すると、送信部２０１Ｂは、その指定された値に対応するパラメータｚを送信する。このパラメータｚは、制御装置２０２を介して、受信部２１１，２２１，２３１でそれぞれ受信され、R-IC２１２，２２２，２３２に供給される。
【０４０６】
そして、図３０のR-IC２１２では、受信部２１１からのパラメータｚが、係数出力部２７５に供給される。
【０４０７】
図３１は、図３０の係数出力部２７５の構成例を示している。
【０４０８】
係数出力部２７５は、係数生成部２８１、係数種出力部２８２、パラメータメモリ２８３、および係数メモリ２８４から構成される。これらの係数生成部２８１、係数種出力部２８２、パラメータメモリ２８３、係数メモリ２８４は、図８の係数出力部５５を構成する係数生成部６１、係数種メモリ６２、パラメータメモリ６３、係数メモリ６４にそれぞれ対応する。
【０４０９】
図３１の係数出力部２７５においては、受信部２１１（図１４）からのパラメータｚがパラメータメモリ２８３に供給されて記憶される。さらに、受信部２１１で受信されたコマンド列のうちの、R-IC２１２に対するコマンドが、係数種出力部２８２に供給される。また、クラス分類部２５４（図３０）が出力するクラスが、係数メモリ２８４に供給される。
【０４１０】
係数種出力部２８２は、係数種メモリ２９１1，２９１2，２９１3、および２９１4、並びに選択部２９２で構成されている。
【０４１１】
係数種メモリ２９１1，２９１2，２９１3、２９１4には、あらかじめ行われた学習により求められたノイズ除去処理用の係数種データ、歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、空間解像度創造処理用の係数種データが、それぞれ記憶されている。
【０４１２】
そして、係数種メモリ２９１1乃至２９１4は、それぞれが記憶しているクラスごとの係数種データを読み出し、選択部２９２に出力する。
【０４１３】
選択部２９２には、上述したように、係数種メモリ２９１1乃至２９１4それぞれから読み出された係数種データが供給される他、受信部２１１（図１４）で受信されたコマンド列のうちの、R-IC２１２に対するコマンドが供給される。選択部２９２は、受信部２１１から供給されるコマンドに応じて、係数種メモリ２９１1乃至２９１4のうちのいずれかの出力端を選択し、その選択した出力端を、係数生成部２８１の入力端に接続することで、R-IC２１２の内部構造を切り換える。
【０４１４】
ここで、選択部２９２が、係数種メモリ２９１1乃至２９１4のうちの、例えば、係数種メモリ２９１1の出力端を選択し、その選択した出力端を、係数生成部２８１の入力端に接続した場合、係数生成部２８１には、係数種メモリ２９１1から読み出されるノイズ除去処理用の係数種データが供給される。
【０４１５】
同様に、選択部２９２が、係数種メモリ２９１1乃至２９１4のうちの、係数種メモリ２９１2，２９１3，２９１4の出力端を選択し、その選択した出力端を、係数生成部２８１の入力端に接続した場合、係数生成部２８１には、係数種メモリ２９１2，２９１3，２９１4から読み出される歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、空間解像度創造処理用の係数種データが、それぞれ供給される。
【０４１６】
係数生成部２８１は、係数種出力部２８２から供給される係数種データと、パラメータメモリ２８３に記憶されたパラメータｚとに基づいて、式（９）を演算することにより、パラメータｚに対応するタップ係数をクラスごとに生成し、係数メモリ２８４に供給して上書きする形で記憶させる。
【０４１７】
そして、係数メモリ２８４では、クラス分類部２５４（図３０）からクラスが供給されると、そこに記憶している、パラメータｚに対応するタップ係数のうちの、クラス分類部２５４からのクラスのタップ係数を読み出し、予測演算部２５６（図３０）に出力する。
【０４１８】
以上のような係数出力部２７５を有する図３０のR-IC２１２では、固定のタップ係数を記憶しており、そのタップ係数を出力する図２７の係数出力部２５５に代えて設けられている係数出力部２７５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図２７における場合と同様の処理が行われる。
【０４１９】
従って、係数出力部２７５（図３１）において、選択部２９２が、係数種メモリ２９１1乃至２９１4のうちの、例えば、係数種メモリ２９１1の出力端を選択し、これにより、係数生成部２８１に、係数種メモリ２９１1から読み出されたノイズ除去処理用の係数種データが供給された場合、係数生成部２８１では、その係数種データと、パラメータメモリ２８３に記憶されたパラメータｚとから、そのパラメータｚに対応するノイズ除去処理用のタップ係数が生成され、係数メモリ２８４に記憶される。従って、この場合、係数出力部２７５から予測演算部２５６には、ノイズ除去処理用のタップ係数が供給されることとなり、その結果、R-IC２１２は、ノイズ除去処理を行う装置として機能することになる。
【０４２０】
同様に、選択部２９２が、係数種メモリ２９１1乃至２９１4のうちの、係数種メモリ２９１2，２９１3、または２９１4の出力端を選択し、これにより、係数生成部２８１に、係数種メモリ２９１2，２９１3，または２９１4から読み出された歪み除去処理用の係数種データ、時間解像度創造処理用の係数種データ、または空間解像度創造処理用の係数種データが供給された場合、係数生成部２８１では、その係数種データと、パラメータメモリ２８３に記憶されたパラメータｚとから、そのパラメータｚに対応する歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、または空間解像度創造処理用のタップ係数が生成され、係数メモリ２８４に記憶される。従って、選択部２９２が、係数種メモリ２９１1乃至２９１4のうちの、係数種メモリ２９１2，２９１3、または２９１4の出力端を選択した場合には、係数出力部２７５から予測演算部２５６には、歪み除去処理用のタップ係数、時間解像度創造処理用のタップ係数、または空間解像度創造処理用のタップ係数が供給されることとなり、その結果、R-IC２１２は、ノイズ除去処理を行う装置、時間解像度創造処理を行う装置、空間解像度創造処理を行う装置として、それぞれ機能することになる。
【０４２１】
さらに、図３０のR-IC２１２では、係数出力部２７５（図３１）の係数メモリ２８４に、パラメータｚに対応するタップ係数が記憶されるので、ユーザは、リモコン２０１（図１４）を操作することにより、ノイズ除去処理によるノイズ除去の程度や、歪み除去処理による歪み除去の程度、時間解像度創造処理および空間解像度創造処理により高周波数成分が増加する程度を、好みの程度とすることができる。また、スローモーション表示を行うときの表示レートや、拡大表示を行うときの拡大率を指定することができる。
【０４２２】
以上のように、R-IC２１２，２２２，２３２それぞれでは、コマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、そこに入力される画像データを信号処理して、その信号処理結果としての画像データを出力するので、単一のハードウェアで、複数の機能を、容易に実現することができる。
【０４２３】
さらに、R-IC２２２では、R-IC２１２の信号処理結果を信号処理し、R-IC２３２では、R-IC２２２の信号処理結果を信号処理するので、R-IC２１２，２２２，２３２全体としては、より多くの機能を、容易に実現することができる。
【０４２４】
なお、図１４のAVシステムには、３つのR-IC２１２，２２２，２３２を設けるようにしたが、AVシステムは、その他、１つや２つ、あるいは４以上のR-ICを設けて構成することが可能である。
【０４２５】
次に、本発明の第２実施の形態について説明する。
【０４２６】
図３２は、本発明の第２実施の形態としてのテレビジョン受像機３０１の構成例を示している。
【０４２７】
テレビジョン受像機３０１には、アンテナ３０２が接続されている。アンテナ３０２は、図示せぬ放送局から送信されてくる放送波（電波）としてのテレビジョン放送番組の伝送信号を受信し、テレビジョン受像機３０１に供給する。テレビジョン受像機３０１は、アンテナ３０１からの伝送信号を受信し、その伝送信号に含まれる所定のチャンネルのテレビジョン放送番組（の信号）を、リモコン（リモートコマンダ）３０３からの操作信号にしたがって選局して、そのテレビジョン放送番組としての画像を表示するとともに、音声を出力する。
【０４２８】
即ち、テレビジョン受像機３０１は、チューナ部３１１を有しており、アンテナ３０２からの伝送信号は、チューナ部３１１に供給される。チューナ部３１１は、アンテナ３０２からの伝送信号を受信し、システムコントローラ３１８の制御にしたがって、アンテナ３０２から受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像（データ）および音声（データ）を選局することにより取得する。
【０４２９】
さらに、チューナ部３１１は、選局したチャンネルの音声を、増幅回路３１２に供給するとともに、画像のR(Red)信号、G(Green)信号、B(Blue)信号を、信号処理部３１４，３１５，３１６に、それぞれ供給する。
【０４３０】
増幅回路３１２は、チューナ部３１１からの音声を増幅し、スピーカ３１３に供給して出力させる。
【０４３１】
信号処理部３１４乃至３１６は、システムコントローラ３１８からの制御にしたがい、チューナ部３１１からの画像のR信号、G信号、B信号を、それぞれ信号処理し、ディスプレイ３１７に供給して、対応する画像を表示させる。
【０４３２】
システムコントローラ３１８は、リモコン受信部３１９から供給される操作信号にしたがって、チューナ部３１１および信号処理部３１４乃至３１６に制御信号を供給することにより、チューナ部３１１および信号処理部３１４乃至３１６を制御する。
【０４３３】
リモコン受信部３１９は、ユーザがリモコン３０３を操作することにより、リモコン３０３から送信されてくる操作信号としての、例えば、赤外線その他の無線信号を受信し、システムコントローラ３１８に供給する。
【０４３４】
以上のように構成されるテレビジョン受像機３０１では、チューナ部３１１は、アンテナ３０２からの伝送信号を受信し、システムコントローラ３１８の制御にしたがって、アンテナ３０２から受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像および音声を選局する。そして、チューナ部３１１は、選局したチャンネルの音声を、増幅回路３１２に供給するとともに、画像のR信号、G信号、B信号（画像データ）を、信号処理部３１４乃至３１６に、それぞれ供給する。
【０４３５】
増幅回路３１２では、チューナ部３１１からの音声が増幅され、スピーカ３１３に供給されて出力される。
【０４３６】
一方、信号処理部３１４乃至３１６では、システムコントローラ３１８からの制御にしたがい、チューナ部３１１からの画像のR信号、G信号、B信号（画像データ）が、それぞれ信号処理される。そして、信号処理部３１４乃至３１６では、それぞれの信号処理の結果得られる画像データが、ディスプレイ３１７に供給され、ディスプレイ３１７において、対応する画像が表示される。
【０４３７】
なお、テレビジョン受像機３０１において受信する放送は、特に限定されるものではない。即ち、テレビジョン受像機３０１では、例えば、衛星放送、地上波放送、アナログ放送、ディジタル放送、その他の任意の放送を受信することができる。
【０４３８】
また、以下においては、音声に関する説明は、特に必要がない限り省略する。
【０４３９】
次に、図３２のシステムコントローラ３１８によるチューナ部３１１および信号処理部３１４乃至３１６の制御について説明する。
【０４４０】
ここで、信号処理部３１４乃至３１６では、それぞれで処理される信号が、R信号、G信号、Ｂ信号であることを除いて同一の処理が行われるため、以下では、信号処理部３１４乃至３１６のうちの、信号処理部３１４についてだけ説明する。
【０４４１】
また、以下においては、チューナ部３１１が出力する画像がプログレッシブ画像（ノンインタレース方式の画像）であるとして説明を行う。但し、チューナ部３１１が出力する画像は、インタレース方式の画像であっても良く、この場合、以下の第２実施の形態の説明における「フレーム」は、「フィールド」とすることができる。
【０４４２】
システムコントローラ３１８は、リモコン３０３からリモコン受信部３１９を介して供給される操作信号にしたがい、テレビジョン受像機３０１の動作モードを、マルチ画面モードまたは通常画面モードに切り換える制御を行う。即ち、システムコントローラ３１８は、ユーザによるリモコン３０３の操作に応じて、テレビジョン受像機３０１の動作モードを、マルチ画面モードまたは通常画面モードに切り換え、その動作モードの処理を行うように、チューナ部３１１および信号処理部３１４乃至３１６を制御する。
【０４４３】
そして、チューナ部３１１および信号処理部３１４乃至３１６は、システムコントローラ３１８の制御にしたがい、マルチ画面モードの処理、または通常画面モードの処理を行う。
【０４４４】
ここで、チューナ部３１１から信号処理部３１４に供給（入力）される画像データを、入力画像データというとともに、信号処理部３１４における信号処理の結果得られる画像データを、出力画像データというものとすると、マルチ画面モードとは、例えば、複数チャンネルの入力画像データそれぞれの同一フレームが、いわゆるマルチ画面表示された出力画像データを得て、ディスプレイ３１７に表示するモードであり、通常画面モードとは、１チャンネルの入力画像データに対応する出力画像データを得て、ディスプレイ３１７に表示するモードである。
【０４４５】
マルチ画面モードにおいては、複数チャンネルの画像が、マルチ画面で表示されるので、ユーザは、そのマルチ画面の画像を見ることにより、所望の番組を放送しているチャンネルを、容易に選択することが可能となる。
【０４４６】
なお、マルチ画面モードにおいては、マルチ画面で表示されている複数チャンネルの画像のうちの任意のチャンネルの画像を指定するカーソル（例えば、枠）を表示し、そのカーソルを、ユーザによるリモコン３０３の操作に応じて移動させることができる。この場合、スピーカ３１３からは、カーソルによって指定されている画像のチャンネルの音声を出力するようにすることができる。
【０４４７】
図３３は、図３２のシステムコントローラ３１８によるチューナ部３１１の制御を説明するための図である。なお、図３３では、縦軸が、画像の垂直方向を表し、横軸が時間（の経過）を表す。
【０４４８】
動作モードが通常画面モードの場合、システムコントローラ３１８は、ユーザによるリモコン３０３の操作に対応したチャンネルを選局するように、チューナ部３１１を制御する。
【０４４９】
従って、例えば、いま、ユーザが、リモコン３０３を操作することにより、チャンネルCH1を選択しているものとすると、チューナ部３１１は、アンテナ３０２からの伝送信号から、チャンネルCH1を選局し続け、これにより、図３３上側に示すように、フレーム周期で、チャンネルCH1の画像（データ）を、信号処理部３１４に供給する。
【０４５０】
一方、動作モードがマルチ画面モードの場合、システムコントローラ３１８は、例えば、フレーム周期で、選局するチャンネルを順次変更するように、チューナ部３１１を制御する。
【０４５１】
従って、選局の変更対象のチャンネル数が、例えば、チャンネルCH1,CH2,CH3,CH4の４チャンネルであるとすると、チューナ部３１１は、例えば、図３３下側に示すように、最初のフレームのタイミングで、チャンネルCH1を選局し、次のフレームのタイミングで、チャンネルCH2を選局し、以下、同様にして、チャンネルCH3，CH4を順次選局する。その後、チューナ部３１１は、再び、チャンネルCH１を選局し、以下、同様にして、チャンネルCH1乃至CH4それぞれを順次選局する。その結果、フレーム周期をT1で表すこととすると、チューナ部３１１から信号処理部３１４に対しては、チャンネルCH1の画像が、フレーム周期T1の４倍の周期で供給される。即ち、チューナ部３１１からは、フレーム周期T1の４倍の周期で、３フレームずつのコマ落ちが生じたチャンネルCH1の画像が出力される。他のチャンネルCH2乃至CH4それぞれの画像も、同様である。
【０４５２】
ここで、選局の変更対象のチャンネル数は、４チャンネルに限定されるものではない。選局の変更対象のチャンネル数をNで表すこととすると、マルチ画面モードでは、選局の変更対象のある１チャンネルの画像が、チューナ部３１１から信号処理部３１４に供給される周期は、フレーム周期T1のN倍になる。
【０４５３】
また、マルチ画面モードでは、例えば、テレビジョン受像機３０１で受信可能なすべてのチャンネルを、選局の変更対象のチャンネルとすることもできるし、ユーザが選んだ複数のチャンネルを、選局の変更対象のチャンネルとすることもできる。さらに、マルチ画面モードにおいて、選局の変更対象のチャンネル数、即ち、１フレームに表示される画像のチャンネル数が所定の閾値より多い場合には、画像をスクロールして表示するようにすることが可能である。
【０４５４】
ここで、以下においては、説明を簡単にするために、マルチ画面モードにおけるチューナ部３１１の選局の変更対象のチャンネルが、上述したチャンネルCH1乃至CH4に固定されているものとする。
【０４５５】
次に、図３４は、通常画面モードにおいてチューナ部３１１で得られた１つのチャンネルCH1の画像を単に表示した場合と、マルチ画面モードにおいてチューナ部３１１で得られた４チャンネルCH1乃至CH4の画像を、そのチャンネル数と等しい分割数のマルチ画面、即ち、４分割のマルチ画面で単に表示した場合とを示している。
【０４５６】
なお、マルチ画面モードでは、１フレームが、例えば、２×２の４つの小画面に等分割されて、４チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。即ち、ここでは、４分割のマルチ画面のうちの、左上、右上、左下、右下の小画面に、チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。
【０４５７】
通常画面モードでは、チューナ部３１１において、図３３で説明したように、１チャンネルCH1の画像が、フレーム周期T1で得られる。従って、チューナ部３１１で得られた１つのチャンネルCH1の画像を単に表示した場合は、図３４上側に示すように、フレーム周期T1で、チャンネルCH1の画像が表示される。
【０４５８】
一方、マルチ画面モードでは、チューナ部３１１において、図３３で説明したように、４チャンネルCH1乃至CH4それぞれの画像が、フレーム周期T1の４倍の周期4T1で得られる。従って、チューナ部３１１で得られた４チャンネルCH1乃至CH4それぞれの画像を、４分割のマルチ画面で単に表示した場合には、図３４下側に示すように、最初のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部３１１で得られたチャンネルCH1の画像の最初のフレームが表示され、２番目のフレームのタイミングで、マルチ画面の右上の小画面に、チューナ部３１１で得られたチャンネルCH2の画像の２番目のフレームが表示される。さらに、３番目のフレームのタイミングで、マルチ画面の左下の小画面に、チューナ部３１１で得られたチャンネルCH3の画像の３番目のフレームが表示され、４番目のフレームのタイミングで、マルチ画面の右下の小画面に、チューナ部３１１で得られたチャンネルCH4の画像の４番目のフレームが表示される。その後、５番目のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部３１１で得られたチャンネルCH1の画像の５番目のフレームが表示され、以下、同様にして、チューナ部３１１において、周期4T1で得られるチャンネルCH1乃至CH4それぞれの画像が、マルチ画面の対応する小画面に表示される。
【０４５９】
マルチ画面モードにおいて、チューナ部３１１であるチャンネルを選局された後、次にそのチャンネルが選局されるまでの間、そのチャンネルの画像を表示する小画面を、例えば、フリーズしておくものとすると、チューナ部３１１では、４チャンネルCH1乃至CH4それぞれが、時分割で、周期4T1で選局されるために、マルチ画面に表示される４チャンネルCH1乃至CH4の画像は、動きの粗い、見にくいものとなる。
【０４６０】
図３２のテレビジョン受像機３０１では、そのようなマルチ画面の表示を行うことも可能であるが、後述するように、信号処理部３１４において、動きの滑らかなマルチ画面を表示する出力画像を生成して表示することができるようになっている。
【０４６１】
即ち、図３５は、図３２の信号処理部３１４の構成例を示している。
【０４６２】
信号処理部３１４は、コマンド列生成部３３０、信号処理チップ３３１および３３２、メモリ部３３３、並びに信号処理チップ３３４で構成されている。
【０４６３】
ここで、コマンド列生成部３３０、信号処理チップ３３１，３３２、メモリ部３３３、信号処理チップ３３４は、それぞれ、例えば、１チップのICで構成されている。なお、信号処理部３１４全体を、１チップのICで構成することも可能であるし、コマンド列生成部３３０、信号処理チップ３３１および３３２、メモリ部３３３、並びに信号処理チップ３３４のうちの２以上を１チップのICとすることも可能である。
【０４６４】
コマンド列生成部３３０には、システムコントローラ３１８（図３２）からの制御信号が供給される。コマンド列生成部３３０は、システムコントローラ３１８からの制御信号に応じて、複数のコマンドからなるコマンド列を生成し、例えば無線により、信号処理チップ３３１，３３２、メモリ部３３３、信号処理チップ３３４に送信する。
【０４６５】
信号処理チップ３３１には、図３２のチューナ部３１１が出力する画像としての入力画像データが供給される。また、信号処理チップ３３１には、信号処理チップ３３４の信号処理結果としての動きベクトルが供給される。
【０４６６】
信号処理チップ３３１は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。さらに、信号処理チップ３３１は、チューナ部３１１からの入力画像データを、クラス分類適応処理における第１の画像データとして信号処理し、その結果得られる画像データ（クラス分類適応処理における第２の画像データ）を、信号処理チップ３３２に出力する。
【０４６７】
なお、信号処理チップ３３１では、信号処理チップ３３４から供給される動きベクトルを用いて、チューナ部３１１からの入力画像データが信号処理される。
【０４６８】
また、信号処理チップ３３１は、その内部構造を切り換えることにより、信号処理として、例えば、画像の空間解像度を向上させる空間解像度創造処理、または画像をリサイズして縮小画像を生成するリサイズ処理（以下、縮小画像生成処理ともいう）を行う。
【０４６９】
信号処理チップ３３２には、上述したように、信号処理チップ３３１の信号処理結果としての画像データが供給される他、信号処理チップ３３４の信号処理結果としての動きベクトルが供給される。
【０４７０】
信号処理チップ３３２は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。さらに、信号処理チップ３３２は、信号処理チップ３３１が出力する画像データを、クラス分類適応処理における第１の画像データとして信号処理し、その結果得られる画像データ（クラス分類適応処理における第２の画像データ）を、メモリ部３３３に出力する。
【０４７１】
なお、信号処理チップ３３２でも、信号処理チップ３３４から供給される動きベクトルを用いて、信号処理チップ３３１からの画像データが信号処理される。
【０４７２】
また、信号処理チップ３３２は、その内部構造を切り換えることにより、信号処理として、例えば、画像のノイズを除去するノイズ除去処理、または画像の時間解像度を向上させる時間解像度創造処理を行う。
【０４７３】
メモリ部３３３は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドにしたがい、信号処理チップ３３２が出力する画像データを、その内蔵するメモリ（図示せず）に書き込むことにより記憶するとともに、メモリに記憶された画像データを読み出し、出力画像データとして、ディスプレイ３１７（図３２）に供給する。
【０４７４】
信号処理チップ３３４には、信号処理チップ３３１における場合と同様に、図３２のチューナ部３１１が出力する画像としての入力画像データが供給される。
【０４７５】
信号処理チップ３３４は、コマンド列生成部３３０から送信されてくるコマンド列を受信し、そのコマンド列を構成するコマンドに応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。さらに、信号処理チップ３３４は、チューナ部３１１からの入力画像データを信号処理することで、動きベクトルを検出し、その動きベクトルを、信号処理チップ３３１および３３２に供給する。
【０４７６】
なお、信号処理チップ３３４は、その内部構造を切り換えることにより、信号処理として、例えば、後述する通常画面用の動きベクトルを検出する動きベクトル処理、または後述するマルチ画面用の動きベクトルを検出する動きベクトル処理を行う。
【０４７７】
次に、図３６を参照して、図３５のコマンド列生成部３３０が生成するコマンド列について説明する。
【０４７８】
即ち、図３６は、コマンド列生成部３３０が生成するコマンド列の例を示している。
【０４７９】
システムコントローラ３１８（図３２）からコマンド列生成部３３０に対しては、通常画面モードの処理、またはマルチ画面モードの処理を行うことを指令する制御信号が供給される。
【０４８０】
コマンド列生成部３３０は、システムコントローラ３１８から供給された制御信号が、通常画面モードの処理を行うことを指令するものである場合、図３６上に示すコマンド列（以下、適宜、通常モードコマンド列という）を生成する。また、コマンド列生成部３３０は、システムコントローラ３１８から供給された制御信号が、マルチ画面モードの処理を行うことを指令するものである場合、図３６下に示すコマンド列（以下、適宜、マルチ画面モードコマンド列）を生成する。
【０４８１】
図３６上に示す通常画面モードコマンド列は、その先頭から、通常画面用動きベクトル検出コマンド、空間解像度創造コマンド、ノイズ除去コマンド、および通常画面用メモリ制御コマンドが順次配置されて構成されている。また、図３６下に示すマルチ画面モードコマンド列は、その先頭から、マルチ画面用動きベクトル検出コマンド、縮小画像生成コマンド、時間解像度創造コマンド、およびマルチ画面用メモリ制御コマンドが順次配置されて構成されている。
【０４８２】
通常画面用動きベクトル検出コマンドは、画像から、通常画面用の動きベクトルを検出する動きベクトル検出処理の実行を要求するコマンドであり、空間解像度創造コマンドまたはノイズ除去コマンドは、それぞれ、上述したクラス分類適応処理による空間解像度創造処理またはノイズ除去処理の実行を要求するコマンドである。
【０４８３】
通常画面用メモリ制御コマンドは、１チャンネルの画像データを、ディスプレイ３１７の画面全体に表示するための、その１チャンネルの画像データのメモリへの読み書き処理の実行を要求するコマンドである。
【０４８４】
マルチ画面用動きベクトル検出コマンドは、画像から、マルチ画面用の動きベクトルを検出する動きベクトル検出処理の実行を要求するコマンドであり、縮小画像生成コマンド、または時間解像度創造コマンドは、それぞれ、上述したクラス分類適応処理によるリサイズ処理としての縮小画像生成処理、または時間解像度創造処理の実行を要求するコマンドである。
【０４８５】
マルチ画面用メモリ制御コマンドは、複数チャンネルの画像データを、ディスプレイ３１７でマルチ画面表示するための、その複数チャンネルの画像データのメモリへの読み書き処理の実行を要求するコマンドである。
【０４８６】
ここで、図３６のコマンド列は、単に、１以上のコマンドが、順次配置されて構成されているが、コマンド列を構成する各コマンドには、そのコマンドに対応する処理を実行すべきIC、即ち、図３５の実施の形態では、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４のうちのいずれかを特定するIC情報を付加することが可能である。この場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４それぞれは、コマンド列生成部３３０から受信したコマンド列のうちの、自身を表すIC情報が付加されているコマンドに対応する処理を実行する。
【０４８７】
なお、第２実施の形態では、コマンド列は、図３６に示したように、単に、１以上のコマンドが、順次配置されて構成されるものとする。この場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４それぞれは、コマンド列生成部３３０から受信したコマンド列のうちの、例えば、自身が実行可能なコマンドに対応する処理を実行する。
【０４８８】
即ち、図３６上の通常画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４は、それぞれ、その通常画面モードコマンド列を受信し、その通常画面モードコマンド列のうちの、自身が実行可能なコマンドに対応する処理を実行する。
【０４８９】
この場合、信号処理チップ３３４は、通常画面モードコマンド列のうちの、例えば、通常画面用動きベクトル検出コマンドに応じて、その内部構造を、信号処理として、通常画面モード用の動きベクトルを検出する動きベクトル検出処理を行うように切り換える。
【０４９０】
そして、信号処理チップ３３４は、通常画面モード時にチューナ部３１１から供給される１チャンネルの画像データとしての、例えばチャンネルCH1の画像データから、通常画面モード用の動きベクトルを検出して、信号処理チップ３３１および３３２に供給する。
【０４９１】
信号処理チップ３３１は、図３６上の通常画面モードコマンド列のうちの、例えば、空間解像度創造コマンドに応じて、その内部構造を、信号処理として、空間解像度創造処理を行うように切り換える。
【０４９２】
そして、信号処理チップ３３１は、信号処理チップ３３４から供給される動きベクトルを用い、チューナ部３１１から供給されるチャンネルCH1の画像データに対して、空間解像度創造処理を施し、その結果得られる画像データを、信号処理チップ３３２に出力する。
【０４９３】
ここで、図３７は、空間解像度創造処理を行う信号処理チップ３３１において入出力される画像データを示している。
【０４９４】
なお、図３７では、i番目のフレーム（の画像）を、tiと表してある。
【０４９５】
コマンド列生成部３３０（図３５）が、図３６上の通常画面モードコマンド列を送信するのは、動作モードとして、通常画面モードが選択されたときである。そして、通常画面モードでは、チューナ部３１１（図３２）が、所定のチャンネルとしての、例えば、チャンネルCH1を選局し、これにより、信号処理チップ３３１には、図３７上側に示すように、チャンネルCH1の入力画像データのフレームtiがフレーム周期T1で順次入力される。
【０４９６】
信号処理チップ３３１は、そこに入力されるチャンネルCH1の入力画像データのフレームtiに対して、空間解像度創造処理を施し、図３７下側に示すように、その空間解像度創造処理によって空間解像度が向上したチャンネルCH1の画像データのフレームtiをフレーム周期T1で順次出力する。
【０４９７】
この空間解像度が向上したチャンネルCH1の画像のフレームtiは、順次、信号処理チップ３３２に供給される。
【０４９８】
信号処理チップ３３２は、図３６上の通常画面モードコマンド列のうちの、例えば、ノイズ除去コマンドに応じて、その内部構造を、信号処理として、ノイズ除去処理を行うように切り換える。
【０４９９】
そして、信号処理チップ３３２は、信号処理チップ３３４から供給される動きベクトルを用い、信号処理チップ３３１から供給されるチャンネルCH1の画像データに対して、ノイズ除去処理を施し、その結果得られる画像データを、メモリ部３３３に出力する。
【０５００】
ここで、図３８は、ノイズ除去処理を行う信号処理チップ３３２において入出力される画像データを示している。
【０５０１】
なお、図３８では、i番目のフレーム（の画像）を、tiと表してある。
【０５０２】
信号処理チップ３３１から３３２に対しては、図３８上側に示すように、空間解像度が向上したチャンネルCH1の画像データのフレームtiがフレーム周期T1で順次入力される。
【０５０３】
信号処理チップ３３２は、そこに入力されるチャンネルCH1の画像データのフレームtiに対して、ノイズ除去処理を施し、図３８下側に示すように、そのノイズ除去処理によってS/Nが向上したチャンネルCH1の画像データのフレームtiをフレーム周期T1で順次出力する。
【０５０４】
このS/Nが向上したチャンネルCH1の画像のフレームtiは、順次、メモリ部３３３に供給される。
【０５０５】
メモリ部３３３は、図３６上の通常画面モードコマンド列のうちの、例えば、通常画面用メモリ制御コマンドにしたがい、信号処理チップ３３２が出力する画像データの各フレームを、そのまま、その内蔵するメモリに書き込むことにより一時記憶し、そのメモリに記憶された画像データのフレームを、出力画像データのフレームとして読み出して、ディスプレイ３１７（図３２）に供給する。
【０５０６】
従って、図３６上の通常画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合には、ディスプレイ３１７において、チューナ部３１１（図３２）で受信されたCH1の画像データの空間解像度およびS/Nを向上させた画像が表示される。
【０５０７】
一方、図３６下のマルチ画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合、信号処理チップ３３１，３３２、メモリ部３３３、または信号処理チップ３３４は、それぞれ、そのマルチ画面モードコマンド列を受信し、そのマルチ画面モードコマンド列のうちの、自身が実行可能なコマンドに対応する処理を実行する。
【０５０８】
この場合、信号処理チップ３３４は、マルチ画面モードコマンド列のうちの、例えば、マルチ画面用動きベクトル検出コマンドに応じて、その内部構造を、信号処理として、マルチ画面モード用の動きベクトルを検出する動きベクトル検出処理を行うように切り換える。
【０５０９】
そして、信号処理チップ３３４は、マルチ画面モード時にチューナ部３１１から時分割で供給される複数チャンネルの画像データとしての、例えばチャンネルCH1乃至CH4の画像データから、マルチ画面モード用の動きベクトルを検出して、信号処理チップ３３１および３３２に供給する。
【０５１０】
信号処理チップ３３１は、図３６下のマルチ画面モードコマンド列のうちの、例えば、縮小画像生成コマンドに応じて、その内部構造を、信号処理として、縮小画像生成処理（サイズを縮小するリサイズを行うリサイズ処理）を行うように切り換える。
【０５１１】
そして、信号処理チップ３３１は、信号処理チップ３３４から供給される動きベクトルを用い、チューナ部３１１から時分割で供給されるチャンネルCH1乃至CH4の画像データに対して、縮小画像生成処理を施し、その結果得られるCH1乃至CH4の縮小画像データを、信号処理チップ３３２に出力する。
【０５１２】
ここで、図３９は、縮小画像生成処理を行う信号処理チップ３３１において入出力される画像データを示している。
【０５１３】
なお、図３９では、i番目のフレーム（の画像）を、tiと表してある。
【０５１４】
コマンド列生成部３３０（図３５）が、図３６下のマルチ画面モードコマンド列を送信するのは、動作モードとして、マルチ画面モードが選択されたときである。そして、マルチ画面モードでは、チューナ部３１１（図３２）が、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ３３１には、図３９上側に示すように、チャンネルCH1乃至CH4の画像データのフレームtiが、時分割で入力される。
【０５１５】
即ち、動作モードがマルチ画面モードの場合、チューナ部３１１は、上述したように、周期4T1で、３フレームずつのコマ落ちが生じた４チャンネルCH1乃至CH4の画像データを、信号処理部３１４（図３５）に供給する。従って、信号処理部３１４の信号処理チップ３３１に供給される、４チャンネルCH1乃至CH4の画像データには、それぞれ、周期4T1で、３フレームずつのコマ落ちが生じている。
【０５１６】
ここで、このようにコマ落ちが生じているフレーム、即ち、チューナ部３１１で受信されていないフレームを、以下、適宜、欠損フレームという。また、欠損フレームに対して、チューナ部３１１で受信されたフレームを、以下、適宜、非欠損フレームという。
【０５１７】
信号処理チップ３３１は、そこに供給されるチャンネルCH1乃至CH4の画像データのフレームtiに対して、縮小画像生成処理を施し、図３９下側に示すように、その縮小画像生成処理によって得られた、チャンネルCH1乃至CH4の画像データを縮小した縮小画像データを出力する。
【０５１８】
なお、信号処理チップ３３１が出力する縮小画像データの周期は、フレーム周期T1であるが、チャンネルCH1乃至CH4のうちのある１チャンネルの縮小画像データが出力される周期は、4T1である。即ち、チャンネルCH1乃至CH4の各チャンネルの縮小画像データには、欠損フレームが存在する。つまり、チャンネルCH1乃至CH4のあるチャンネルの縮小画像データに注目すると、ある非欠損フレームと、その次の非欠損フレームとの間には、３フレームの欠損フレームが存在する。
【０５１９】
チャンネルCH1乃至CH4の縮小画像データは、信号処理チップ３３１から信号処理チップ３３２に供給される。
【０５２０】
信号処理チップ３３２は、図３６下の通常画面モードコマンド列のうちの、例えば、時間解像度創造コマンドに応じて、その内部構造を、信号処理として、時間解像度創造処理を行うように切り換える。
【０５２１】
そして、信号処理チップ３３２は、信号処理チップ３３４から供給される動きベクトルを用い、信号処理チップ３３１から供給されるチャンネルCH1乃至CH４の縮小画像データに対して、時間解像度創造処理を施し、その結果得られる画像データを、メモリ部３３３に出力する。
【０５２２】
ここで、図４０は、時間解像度創造処理を行う信号処理チップ３３２において入出力される画像データを示している。
【０５２３】
なお、図４０では、チャンネルCH#kのi番目のフレームを、CH#k(ti)と表してある。
【０５２４】
マルチ画面モードにおいては、チューナ部３１１が、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ３３１から３３２には、図４０一番上に示すように、チャンネルCH1乃至CH4の縮小画像データのフレームそれぞれが、周期4T1で順次入力される。
【０５２５】
即ち、図４０では、フレームt1のタイミングで、チャンネルCH1の1番目のフレームであるフレームCH1(t1)が、フレームt2のタイミングで、チャンネルCH2の2番目のフレームであるフレームCH2(t2)が、フレームt3のタイミングで、チャンネルCH3の3番目のフレームであるフレームCH3(t3)が、フレームt4のタイミングで、チャンネルCH4の4番目のフレームであるフレームCH4(t4)が、フレームt5のタイミングで、チャンネルCH1の5番目のフレームであるフレームCH1(t5)が、信号処理チップ３３２に入力され、以下同様にして、チャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
【０５２６】
信号処理チップ３３２は、欠損フレームがあるチャンネルCH1乃至CH4それぞれの縮小画像データに対して、時間解像度創造処理を施すことにより、欠損フレームがないチャンネルCH1乃至CH4それぞれの縮小画像データを生成する。
【０５２７】
即ち、信号処理チップ３３２では、図４０上から２番目に示すように、チャンネルCH1の欠損フレームとなっているフレーム（の画像）CH1(t2),CH1(t3),CH1(t4),CH1(t6),・・・が存在するチャンネルCH１の縮小画像データが生成され、さらに、チャンネルCH2の欠損フレームとなっているフレームCH2(t1),CH2(t3),CH2(t4),CH2(t5),・・・が存在するチャンネルCH２の縮小画像データが生成される。また、信号処理チップ３３２では、チャンネルCH3の欠損フレームとなっているフレームCH3(t1),CH3(t2),CH3(t4),CH3(t5),・・・が存在するチャンネルCH3の縮小画像データが生成され、さらに、チャンネルCH4の欠損フレームとなっているフレームCH4(t1),CH4(t2),CH4(t3),CH4(t5),・・・が存在するチャンネルCH4の縮小画像データが生成される。
【０５２８】
このようにして、信号処理チップ３３２は、４チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像データを得て出力する。
【０５２９】
この欠損フレームがないチャンネルCH1乃至CH4の縮小画像データのフレームtiは、順次、メモリ部３３３に供給される。
【０５３０】
メモリ部３３３は、図３６下のマルチ画面モードコマンド列のうちの、例えば、マルチ画面用メモリ制御コマンドにしたがい、信号処理チップ３３２が出力するチャンネルCH1乃至CH4の縮小画像データを、その内蔵するメモリに書き込んで読み出すことにより、そのチャンネルCH1乃至CH4の縮小画像データの同一フレームを合成し、これにより、チャンネルCH1乃至CH4の縮小画像データそれぞれの同一フレームをマルチ画面表示する出力画像データのフレームを生成して、ディスプレイ３１７に供給する。
【０５３１】
即ち、メモリ部３３３は、図４０一番下に示すように、マルチ画面用メモリ制御コマンドにしたがって、信号処理チップ３３２からのチャンネルCH1乃至CH4の同一フレームの縮小画像データを、マルチ画面の左上、右上、左下、右下の小画面に対応するメモリの記憶領域に書き込むことにより、チャンネルCH1乃至CH4の縮小画像データそれぞれの同一フレームをマルチ画面表示する出力画像データのフレームを生成（記憶）する。
【０５３２】
さらに、メモリ部３３３は、マルチ画面用メモリ制御コマンドにしたがって、メモリに記憶した出力画像データのフレームを読み出し、ディスプレイ３１７に供給する。
【０５３３】
従って、図３６下のマルチ画面モードコマンド列が、コマンド列生成部３３０（図３５）によって送信された場合には、ディスプレイ３１７において、欠損フレームがないチャンネルCH1乃至CH4の画像の動きを滑らかに表示するマルチ画面が表示される。
【０５３４】
次に、図４１のフローチャートを参照して、図３５の信号処理部３１４の処理について説明する。
【０５３５】
システムコントローラ３１８（図３２）から、信号処理部３１４（乃至３１６）に対して制御信号が送信されてくると、信号処理部３１４では、ステップＳ３０１において、コマンド列生成部３３０が、その制御信号を受信し、ステップＳ３０２に進む。
【０５３６】
ステップＳ３０２では、コマンド列生成部３３０が、システムコントローラ３１８から受信した制御信号に応じた１以上のコマンドからなるコマンド列を生成し、無線によって送信して、ステップＳ３０３に進む。
【０５３７】
ステップＳ３０３では、信号処理部３１４を構成する各ブロック、即ち、信号処理チップ３３１，３３２、メモリ部３３３、および信号処理チップ３３４が、コマンド列生成部３３０から送信されてくるコマンド列を受信する。さらに、ステップＳ３０３では、信号処理チップ３３１，３３２，３３４それぞれが、コマンド列生成部３３０から受信したコマンド列の中のコマンドから、自身が実行可能なコマンドを認識し、そのコマンドに対応する処理（信号処理）を行うことを決定する。即ち、信号処理チップ３３１，３３２，３３４それぞれは、自身が実行可能なコマンドに応じて、自身の内部構造を切り換え、そのコマンドに対応する信号処理を行う状態となる。
【０５３８】
そして、ステップＳ３０３からＳ３０４に進み、信号処理チップ３３４が、チューナ部３１１（図３２）から供給される画像データを対象に、ステップＳ３０３で決定した信号処理を実行し、その信号処理結果を、信号処理チップ３３１および３３２に供給して、ステップＳ３０５に進む。
【０５３９】
ステップＳ３０５では、信号処理チップ３３１が、チューナ部３１１（図３２）から供給される画像データを対象に、ステップＳ３０３で決定した信号処理を実行し、その信号処理結果としての画像データを、信号処理チップ３３２に供給して、ステップＳ３０６に進む。
【０５４０】
ステップＳ３０６では、信号処理チップ３３２が、信号処理チップ３３１から供給される画像データを対象に、ステップＳ３０３で決定した信号処理を実行し、その信号処理結果としての画像データを、メモリ部３３３に供給して、ステップＳ３０７に進む。
【０５４１】
ここで、信号処理チップ３３１と３３２とでは、信号処理チップ３３４の信号処理結果を用いて、信号処理が行われる。
【０５４２】
ステップＳ３０７では、メモリ部３３３が、ステップＳ３０３でコマンド列生成部３３０から受信したコマンド列の中のコマンドのうちの自身が実行可能なコマンドにしたがって、信号処理チップ３３２から供給される画像データをメモリに書き込むとともに、その書き込んだ画像データを読み出し、ディスプレイ３１７（図３２）に出力して、処理を終了する。
【０５４３】
なお、図４１のステップＳ３０１乃至Ｓ３０７の処理それぞれは、ハードウェアとしての信号処理チップ３３１，３３２、メモリ部３３３、および信号処理チップ３３４などにより行われる処理である。但し、ステップＳ３０１乃至Ｓ３０３の処理は、マイクロコンピュータ等のコンピュータに、プログラムを実行させることで行うことも可能である。
【０５４４】
次に、図４２は、図３５の信号処理チップ３３４の構成例を示すブロック図である。
【０５４５】
チューナ部３１１（図３２）が出力する画像（入力画像）データは、フレームメモリ３４１および動き検出回路３４４に供給される。
【０５４６】
受信部３４０は、コマンド列生成部３３０が送信してくるコマンド列を受信する。さらに、受信部３４０は、コマンド列生成部３３０から受信したコマンド列から、信号処理チップ３３４が実行可能なコマンドを認識し、そのコマンドを、セレクタ３４３および選択部３４５に供給する。
【０５４７】
フレームメモリ３４１は、そこに供給される入力画像データのフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路３４２およびセレクタ３４３に供給する。従って、動き検出回路３４４に、第ｎ＋４フレームの入力画像データが供給されるとき、フレームメモリ３４１から遅延回路３４２およびセレクタ３４３には、その１フレーム前の第ｎ＋３フレームの入力画像データが供給される。
【０５４８】
遅延回路３４２は、フレームメモリ３４１から供給される入力画像データのフレームを、３フレーム分だけ遅延して、セレクタ３４３に供給する。従って、チューナ部３１１から信号処理チップ３３４に供給される入力画像データのフレームは、フレームメモリ３４１および遅延回路３４２で、合計４フレーム分だけ遅延され、セレクタ３４３に供給されるから、動き検出回路３４４に、第ｎ＋４フレームの入力画像が供給されるとき、遅延回路３４２からセレクタ３４３には、その４フレーム前の第ｎフレームの入力画像データが供給される。
【０５４９】
セレクタ３４３には、上述したように、フレームメモリ３４１から第ｎ＋３フレームの入力画像が供給されるとともに、遅延回路３４２から第ｎフレームの入力画像が供給される。セレクタ３４３は、受信部３４０から供給されるコマンドに応じて、フレームメモリ３４１の出力または遅延回路３４２の出力のうちのいずれか一方を、動き検出回路３４４への入力とするように、信号処理チップ３３４の内部構造を切り換える。
【０５５０】
これにより、動き検出回路３４４には、フレームメモリ３４１が出力する第ｎ＋３フレームの入力画像データ、または遅延回路３４２が出力する第ｎフレームの入力画像データのうちの一方が、セレクタ３４３を介して供給される。
【０５５１】
動き検出回路３４４は、セレクタ３４３を介して供給される入力画像データのフレームの各画素の動きベクトルを、チューナ部３１１（図３２）から供給される入力画像データを参照することにより検出し、選択部３４５に供給する。
【０５５２】
選択部３４５は、受信部３４０から供給されるコマンドに応じて、動き検出回路３４４から供給される動きベクトルをそのまま、またはその大きさを１／２に縮小し、信号処理チップ３３１および３３２（図３５）に供給する。
【０５５３】
次に、図４３のフローチャートを参照して、図４２の信号処理チップ３３４の処理について説明する。
【０５５４】
信号処理チップ３３４では、コマンド列生成部３３０（図３５）からコマンド列が送信されてくると、ステップＳ３１１において、受信部３４０が、そのコマンド列を受信する。さらに、受信部３４０は、コマンド列生成部３３０から受信したコマンド列から、信号処理チップ３３４が実行可能なコマンドを認識し、そのコマンドを、セレクタ３４３および選択部３４５に供給して、ステップＳ３１１からＳ３１２に進む。
【０５５５】
ここで、第２実施の形態では、信号処理チップ３３４が実行可能なコマンドとしては、例えば、上述したように、図３６上の通常画面モードコマンド列の中の通常画面用動きベクトル検出コマンドと、図３６下のマルチ画面モードコマンド列の中のマルチ画面用動きベクトル検出コマンドとがある。
【０５５６】
従って、受信部３４０は、図３６上の通常画面モードコマンド列を受信した場合、その中の通常画面用動きベクトル検出コマンドを、セレクタ３４３および選択部３４５に供給する。また、受信部３４０は、図３６下のマルチ画面モードコマンド列を受信した場合、その中のマルチ画面用動きベクトル検出コマンドを、セレクタ３４３および選択部３４５に供給する。
【０５５７】
ステップＳ３１２では、セレクタ３４３は、受信部３４０から供給されたコマンドに応じて、フレームメモリ３４１の出力または遅延回路３４２の出力のうちのいずれか一方を、動き検出回路３４４への入力とするように、信号処理チップ３３４の内部構造を切り換える。さらに、ステップＳ３１２では、選択部３４５は、受信部３４０から供給されたコマンドに応じて、動き検出回路３４４から供給される動きベクトルをそのまま出力するように、またはその大きさを１／２に縮小するように、自身を設定し（自身の内部構造を切り換え）、ステップＳ３１３に進む。
【０５５８】
即ち、受信部３４０からセレクタ３４３および選択部３４５に供給されたコマンドが、通常画面用動きベクトル検出コマンドである場合、セレクタ３４３は、フレームメモリ３４１の出力を、動き検出回路３４４への入力とするようにし、これにより、信号処理チップ３３４の内部構造を、信号処理として、通常画面モード用の動きベクトルを検出する処理を行うように切り換える。さらに、選択部３４５は、動き検出回路３４４から供給される動きベクトルをそのまま出力するように、自身を設定する。
【０５５９】
一方、受信部３４０からセレクタ３４３および選択部３４５に供給されたコマンドが、マルチ画面用動きベクトル検出コマンドである場合、セレクタ３４３は、遅延回路３４２の出力を、動き検出回路３４４への入力とするようにし、これにより、信号処理チップ３３４の内部構造を、信号処理として、マルチ画面モード用の動きベクトルを検出する処理を行うように切り換える。さらに、選択部３４５は、動き検出回路３４４から供給される動きベクトルを、その大きさを１／２に縮小するように、自身を設定する。
【０５６０】
ステップＳ３１３では、信号処理チップ３３４は、チューナ部３１１（図３２）から供給される入力画像データを対象として、ステップＳ３１２で切り換えた内部構造によって行われるべき信号処理、即ち、ここでは、通常画面用の動きベクトルを検出する処理、またはマルチ画面用の動きベクトルを検出する処理を行い、ステップＳ３１４に進む。
【０５６１】
ここで、コマンド列生成部３３０が図３６上の通常画面モードコマンド列を送信する通常画面モードでは、入力画像データとしての、例えばチャンネルCH1の画像データに欠損フレームが存在しないことから、そのチャンネルCH1の画像データにおいて注目しているフレームが第nフレームであるとすると、その第nフレームの動きベクトルは、例えば、その次の第n+1フレームを参照することにより検出することができる。
【０５６２】
一方、コマンド列生成部３３０が図３６下のマルチ画面モードコマンド列を送信するマルチ画面モードでは、入力画像データとしての、例えばチャンネルCH1乃至ＣＨ４の画像データそれぞれには、４フレームに対して３フレームの欠損フレームが存在することから、そのチャンネルCH1乃至ＣＨ４の画像データにおいて注目している非欠損フレームが第nフレームであるとすると、第nフレームの動きベクトルは、例えば、その次の非欠損フレームである第n+4フレームを参照することにより検出する必要がある。
【０５６３】
そこで、信号処理チップ３３４では、通常画面モードにおいては、通常画面モード用の動きベクトルの検出処理、即ち、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理が行われ、マルチ画面モードにおいては、マルチ画面モード用の動きベクトルの検出処理、即ち、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理が行われる。
【０５６４】
即ち、動作モードが通常画面モードの場合、信号処理チップ３３４には、図３２のチューナ部３１１が出力する、例えば、チャンネルCH１の画像データが供給され、このチャンネルCH１の画像データは、フレームメモリ３４１および動きベクトル検出回路３４４に供給される。
【０５６５】
フレームメモリ３４１は、そこに供給されるチャンネルCH１の画像データのフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路３４２およびセレクタ３４３に供給する。通常画面モードにおいては、セレクタ３４３は、通常画面用動きベクトル検出コマンドに応じて、フレームメモリ３４１の出力を、動き検出回路３４４への入力とするようにしているので、フレームメモリ３４１からのチャンネルCH１の画像データのフレームは、セレクタ３４３を介して、動き検出回路３４４に供給される。
【０５６６】
ここで、上述したことから、動き検出回路３４４に、第ｎ＋４フレームのチャンネルCH１の画像データが供給されるとき、フレームメモリ３４１からセレクタ３４３には、その１フレーム前の第ｎ＋３フレームのチャンネルCH1の画像データが供給される。そして、いまの場合、セレクタ３４３は、フレームメモリ３４１からのチャンネルCH１の画像データのフレームを、動き検出回路３４４に供給するから、第ｎ＋３フレームと第ｎ＋４フレームのチャンネルCH１の画像データ、即ち、チャンネルCH１の画像データのあるフレームを注目フレームとすると、注目フレームと、その注目フレームの次のフレームが、動き検出回路３４４に供給される。
【０５６７】
動き検出回路３４４は、注目フレームのチャンネルCH１の画像データの各画素の動きベクトルを、その注目フレームの次のフレームのチャンネルCH１の画像データを参照することにより検出し、選択部３４５に供給する。
【０５６８】
通常画面モードにおいては、選択部３４５は、通常画面用動きベクトル検出コマンドに応じて、動き検出回路３４４から供給される動きベクトルをそのまま出力するように、自身を設定しているので、動き検出回路３４４から供給される動きベクトルを、そのまま、通常画面モード用の動きベクトルとして出力する。
【０５６９】
一方、動作モードがマルチ画面モードの場合、信号処理チップ３３４には、図３２のチューナ部３１１が出力する、例えば、チャンネルCH１乃至CH4それぞれの、欠損フレームがある画像データ（以下、適宜、欠損フレームあり画像データという）が供給され、このチャンネルCH１乃至CH4の欠損フレームあり画像データは、フレームメモリ３４１および動きベクトル検出回路３４４に供給される。
【０５７０】
フレームメモリ３４１は、そこに供給されるチャンネルCH１乃至CH4の欠損フレームあり画像データのフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路３４２およびセレクタ３４３に供給する。遅延回路３４２は、フレームメモリ３４１から供給されるチャンネルCH１乃至CH4の欠損フレームあり画像データのフレームを、さらに、３フレーム分だけ遅延し、セレクタ３４３に供給する。
【０５７１】
マルチ画面モードにおいては、セレクタ３４３は、マルチ画面用動きベクトル検出コマンドに応じて、遅延回路３４２の出力を、動き検出回路３４４への入力とするようにしているので、遅延回路３４２からのチャンネルCH１乃至CH4の欠損フレームあり画像データのフレームは、セレクタ３４３を介して、動き検出回路３４４に供給される。
【０５７２】
ここで、上述したことから、動き検出回路３４４に、第ｎ＋４フレームの画像が供給されるとき、遅延回路３４２からセレクタ３４３には、その４フレーム前の第ｎフレームの画像が供給される。そして、いまの場合、セレクタ３４３は、遅延回路３４２からの第ｎフレームを、動き検出回路３４４に供給するから、動き検出回路３４４には、第ｎフレームと第ｎ＋４フレームの画像データが供給される。
【０５７３】
また、マルチ画面モードにおいては、チューナ部３１１から信号処理チップ３３４には、上述したように、チャンネルCH１乃至CH4の欠損フレームあり画像データが供給される。このチャンネルCH１乃至CH4の欠損フレームあり画像は、あるチャンネルに注目すれば、非欠損フレームが４フレームごとに存在する画像であるから、動き検出回路３４４には、チャンネルCH１乃至CH4のうちのあるチャンネルの非欠損フレームを注目フレームとすると、そのチャンネルについて、非欠損フレームである注目フレームと、その注目フレームの次の非欠損フレーム（注目フレームの４フレーム後のフレーム）が、動き検出回路３４４に供給される。
【０５７４】
動き検出回路３４４は、注目フレームの各画素の動きベクトルを、その注目フレームのチャンネルにおける次の非欠損フレームを参照することにより検出し、選択部３４５に供給する。
【０５７５】
マルチ画面モードにおいては、選択部３４５は、マルチ画面用動きベクトル検出コマンドに応じて、動き検出回路３４４から供給される動きベクトルを、１／２の大きさに縮小するように、自身を設定しているので、動き検出回路３４４から供給される動きベクトルを、１／２の大きさに縮小し、その縮小後の動きベクトルを、マルチ画面モード用の動きベクトルとして出力する。
【０５７６】
なお、動作モードがマルチ画面モードの場合に、選択部３４５において、非欠損フレームの画素について検出した動きベクトルを、１／２の大きさにするのは、次のような理由による。
【０５７７】
即ち、マルチ画面モードでは、コマンド列生成部３３０は、図３６下のマルチ画面モードコマンド列を送信する。この場合、信号処理チップ３３１では、上述したように、マルチ画面モードコマンド列のうちの縮小画像生成コマンドに応じた縮小画像生成処理が、チャンネルCH1乃至CH4の欠損フレームあり画像データを対象に行われ、その欠損フレームあり画像データのサイズを、上述の小画面のサイズ（１フレームを２×２に等分割したサイズ）に縮小したチャンネルCH1乃至CH4の縮小画像データが得られる。
【０５７８】
なお、このチャンネルCH1乃至CH4の縮小画像データには、縮小画像生成処理が行われる前のチャンネルCH1乃至CH4の欠損フレームあり画像データと同様に欠損フレームが存在する。欠損フレームがある縮小画像データを、以下、適宜、欠損フレームあり縮小画像データという。
【０５７９】
信号処理チップ３３１において、上述したようにして得られたチャンネルCH1乃至CH4の欠損フレームあり縮小画像データは、信号処理チップ３３２に供給される。そして、マルチ画面モードでは、信号処理チップ３３２においては、信号処理チップ３３１から供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像データを対象に、マルチ画面モードコマンド列（図３６下）のうちの時間解像度創造コマンドに応じた時間解像度創造処理が行われ、チャンネルCH1乃至CH4の、欠損フレームがない縮小画像データ（以下、適宜、欠損フレームなし縮小画像データという）が得られる。
【０５８０】
以上のように、マルチ画面モードにおいては、信号処理チップ３３１および３３２において、小画面のサイズの縮小画像データ、即ち、１フレームの画像データの横と縦の画素数を、それぞれ１／２に縮小した（間引いた）サイズの縮小画像データを扱う信号処理が行われる。
【０５８１】
一方、信号処理チップ３３４では、チューナ部３１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）データを対象として動きベクトルが検出されるため、その動きベクトルの大きさは、理論的には、縮小画像データを対象として動きベクトルを検出した場合の大きさの２倍となる。このため、マルチ画面モードにおいては、信号処理チップ３３４の選択部３４５は、チャンネルCH1乃至CH4の画像（縮小されていない画像）データを対象に検出した動きベクトルを、縮小画像データを対象として検出した動きベクトルに対応させるために、１／２の大きさに縮小して、信号処理チップ３３１および３３２に供給する。
【０５８２】
ステップＳ３１４では、信号処理チップ３３４で信号処理の対象とすべき画像データが存在するかどうかが判定される。ステップＳ３１４において、信号処理チップ３３４で信号処理の対象とすべき画像データが存在すると判定された場合、即ち、チューナ部３１１から信号処理チップ３３４に対して入力画像データが供給されている場合、ステップＳ３１３に戻り、通常画面用の動きベクトルまたはマルチ画面用の動きベクトルを検出する処理が続行される。
【０５８３】
また、ステップＳ３１４において、信号処理チップ３３４で信号処理の対象とすべき画像データが存在しないと判定された場合、即ち、チューナ部３１１から信号処理チップ３３４に対して入力画像データが供給されなくなった場合、処理を終了する。
【０５８４】
なお、信号処理チップ３３４は、その他、例えば、コマンド列生成部３３０から、新たなコマンド列が送信されてきた場合も、図４３のフローチャートにしたがった処理を一旦終了し、再度、ステップＳ３１１から処理を開始する。
【０５８５】
ここで、動きベクトル検出回路３４４における動きベクトルの検出方法としては、例えば、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。
【０５８６】
また、上述の場合には、動きベクトルを、画素単位で検出することで、各画素に対する動きベクトルを得るようにしたが、動きベクトルの検出は、その他、例えば、所定の画素数おきや、所定の画素で構成されるブロック単位等で行うことができる。この場合、任意の画素に対する動きベクトルは、その近くにある他の画素に対して検出された動きベクトルや、その画素を含むブロックに対して検出された動きベクトルで代用することが可能である。
【０５８７】
次に、図４４は、図３５の信号処理チップ３３１の構成例を示している。
【０５８８】
信号処理チップ３３１は、コマンド列生成部３３０（図３５）から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用した空間解像度創造処理または縮小画像生成処理（リサイズ処理としての縮小画像生成処理）を行う。
【０５８９】
即ち、信号処理チップ３３１は、注目画素選択部３５１、タップ選択部３５２，３５３、クラス分類部３５４、係数出力部３５５、予測演算部３５６、受信部３５７、動き判定部３５８で構成されている。これらのうちの注目画素選択部３５１、タップ選択部３５２，３５３、クラス分類部３５４、係数出力部３５５、予測演算部３５６は、図１の注目画素選択部１１、タップ選択部１２，１３、クラス分類部１４、係数出力部１５、予測演算部１６にそれぞれ対応するものである。
【０５９０】
従って、信号処理チップ３３１では、チューナ部３１１（図３２）から供給される入力画像データとしてのクラス分類適応処理の第１の画像データが、クラス分類適応処理の第２の画像データに変換されて出力される。
【０５９１】
但し、図４４において、係数出力部３５５は、係数メモリ３６１1および３６１2並びに選択部３６２で構成されている。
【０５９２】
係数メモリ３６１1，３６１2には、あらかじめ行われた学習により求められた空間解像度創造処理用のタップ係数、リサイズ処理としての縮小画像生成処理用のタップ係数が、それぞれ記憶されている。ここで、縮小画像生成処理用のタップ係数は、チューナ部３１１（図３２）が出力する画像データのサイズを、小画面のサイズ（１フレームを２×２に等分割したサイズ）に縮小するものである。
【０５９３】
係数メモリ３６１1と３６１2には、クラス分類部３５４が出力するクラス（クラスコード）が供給される。係数メモリ３６１1と３６１2それぞれは、クラス分類部３５４からのクラスのタップ係数を読み出し、選択部３６２に出力する。
【０５９４】
選択部３６２には、上述したように、係数メモリ３６１1と３６１2それぞれから読み出されたタップ係数が供給される他、受信部３５７からコマンドが供給される。選択部３６２は、受信部３５７から供給されるコマンドに応じて、係数メモリ３６１1または３６１2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３５６の入力端に接続することで、信号処理チップ３３１の内部構造を切り換える。
【０５９５】
ここで、選択部３６２が、係数メモリ３６１1または３６１2のうちの、例えば、係数メモリ３６１1の出力端を選択し、その選択した出力端を、予測演算部３５６の入力端に接続した場合、予測演算部３５６には、係数メモリ３６１1から読み出される空間解像度創造処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３１は、空間解像度創造処理を行うICとして機能することになる。
【０５９６】
一方、選択部３６２が、係数メモリ３６１1または３６１2のうちの、係数メモリ３６１2の出力端を選択し、その選択した出力端を、予測演算部３５６の入力端に接続した場合、予測演算部３５６には、係数メモリ３６１2から読み出される縮小画像生成処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３１は、縮小画像生成処理を行うICとして機能することになる。
【０５９７】
また、図４４では、クラス分類部３５４には、タップ選択部３５３からクラスタップが供給される他、動き判定部３５８から後述する動き判定情報が供給されるようになっている。クラス分類部３５４は、注目画素について選択されたクラスタップに基づいてクラス分類を行うことにより得られるクラスコードの上位ビットまたは下位ビットとして、動き判定部３５８からの動き判定情報を表すビットを付加し、その結果得られるビット列を、最終的なクラスコードとして、係数出力部３５５に供給する。
【０５９８】
さらに、図４４において、受信部３５７は、コマンド列生成部３３０（図３５）から無線で送信されてくるコマンド列を受信し、コマンド列生成部３３０から受信したコマンド列の中から、信号処理チップ３３１が実行することができる信号処理のコマンドを認識して、選択部３６２に供給する。
【０５９９】
即ち、受信部３５７は、図３６上に示す通常画面モードコマンド列を受信した場合、その中の空間解像度創造コマンドを、信号処理チップ３３１が実行することができる信号処理のコマンドとして認識し、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１1の出力端を選択し、予測演算部３５６の入力端に接続する。
【０６００】
一方、受信部３５７は、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の縮小画像生成コマンドを、信号処理チップ３３１が実行することができる信号処理のコマンドとして認識し、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１2の出力端を選択し、予測演算部３５６の入力端に接続する。
【０６０１】
また、図４４において、動き判定部３５８には、チューナ部３１１（図３２）から供給される入力画像データとしての第１の画像データを構成する各画素の動きベクトルが、信号処理チップ３３４（図３５）から供給されるようになっている。動き判定部３５８は、信号処理チップ３３４からの、第１の画像データを構成する各画素の動きベクトルのうちの、注目画素に対応する第１の画像データの画素（例えば、注目画素のフレームにおける注目画素の時空間的位置に最も近い位置にある第１の画像データの画素）の動きベクトルの大きさまたは方向を判定し、その大きさや方向を表す１ビットまたは数ビットを、動き判定情報としてクラス分類部３５４に供給する。
【０６０２】
次に、図４５のフローチャートを参照して、図４４の信号処理チップ３３１の処理について説明する。
【０６０３】
図３５のコマンド列生成部３３０からコマンド列が送信されてくると、ステップＳ３２１において、受信部３５７は、そのコマンド列を受信する。さらに、受信部３５７は、そのコマンド列の中から、信号処理チップ３３１が実行可能な信号処理のコマンドを認識し、そのコマンドを選択部３６２に供給して、ステップＳ３２２に進む。
【０６０４】
ステップＳ３２２では、選択部３６２は、受信部３５７からのコマンドに応じて、信号処理チップ３３１の内部構造を切り換える。
【０６０５】
即ち、選択部３６２は、受信部３５７からのコマンドに応じて、係数メモリ３６１1または３６１2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３５６（図４４）の入力端に接続することで、信号処理チップ３３１の内部構造を切り換える。
【０６０６】
その後、ステップＳ３２３に進み、以下、ステップＳ３２３乃至Ｓ３２８において、図２のステップＳ１１乃至Ｓ１６における場合とそれぞれ同様の処理が行われる。
【０６０７】
即ち、ステップＳ３２３において、注目画素選択部３５１は、信号処理チップ３３１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ３２４に進む。
【０６０８】
ステップＳ３２４において、タップ選択部３５２と３５３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部３５２から予測演算部３５６に供給され、クラスタップは、タップ選択部３５３からクラス分類部３５４に供給される。
【０６０９】
さらに、ステップＳ３２４では、動き判定部３５８が、信号処理チップ３３４からの、第１の画像データを構成する各画素の動きベクトルのうちの、注目画素に対応する第１の画像データの画素の動きベクトルの大きさまたは方向を判定し、その大きさや方向を表す１ビットまたは数ビットを、注目画素についての動き判定情報としてクラス分類部３５４に供給する。
【０６１０】
クラス分類部３５４は、タップ選択部３５３から、注目画素についてのクラスタップを受信するとともに、動き判定部３５８から、注目画素についての動き判定情報を受信し、ステップＳ３２５において、そのクラスタップと動き判定情報に基づき、注目画素をクラス分類する。さらに、クラス分類部３５４は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部３５５に出力し、ステップＳ３２６に進む。
【０６１１】
ステップＳ３２６では、係数出力部３５５が、クラス分類部３５４から供給されるクラスのタップ係数を出力する。即ち、係数出力部３５５は、係数メモリ３６１1または３６１2のうちの、選択部３６２が出力端を選択しているものから、クラス分類部３５４から供給されるクラスのタップ係数を読み出し、予測演算部３５６に出力する。そして、ステップＳ３２６では、予測演算部３５６が、係数出力部３５５が出力するタップ係数を取得し、ステップＳ３２７に進む。
【０６１２】
ステップＳ３２７では、予測演算部３５６が、タップ選択部３５２が出力する予測タップと、係数出力部３５５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部３５６は、注目画素の画素値を求めて出力し、ステップＳ３２８に進む。
【０６１３】
ステップＳ３２８では、注目画素選択部３５１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ３２８において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ３２３に戻り、以下、同様の処理が繰り返される。
【０６１４】
また、ステップＳ３２８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
【０６１５】
なお、受信部３５７は、コマンド列生成部３３０から、図３６上に示す通常画面モードコマンド列を受信した場合、その中の空間解像度創造コマンドを、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１1の出力端を選択するから、その係数メモリ３６１1に記憶されている空間解像度創造処理用のタップ係数が、予測演算部３５６に供給される。
【０６１６】
また、コマンド列生成部３３０が、図３６上に示す通常画面モードコマンド列を送信する場合というのは、動作モードが通常画面モードである場合であり、この場合、チューナ部３１１（図３２）は、所定のチャンネルとしての、例えば、チャンネルCH1を選局し、これにより、信号処理チップ３３１には、チャンネルCH1の欠損フレームがない画像データが供給される。
【０６１７】
従って、この場合、信号処理チップ３３１は、そこに供給されるチャンネルCH1の欠損フレームがない画像データを、第１の画像データとして、空間解像度創造処理を実行し、その空間解像度創造処理によって空間解像度が向上したチャンネルCH1の欠損フレームがない画像データ（以下、適宜、高解像度画像データともいう）を、第２の画像データとして、後段の信号処理チップ３３２（図３５）に出力する。
【０６１８】
一方、受信部３５７は、コマンド列生成部３３０から、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の縮小画像生成コマンドを、選択部３６２に供給する。この場合、選択部３６２は、係数メモリ３６１2の出力端を選択するから、その係数メモリ３６１2に記憶されている縮小画像生成処理用のタップ係数が、予測演算部３５６に供給される。
【０６１９】
また、コマンド列生成部３３０が、図３６下に示すマルチ画面モードコマンド列を送信する場合というのは、動作モードがマルチ画面モードである場合であり、この場合、チューナ部３１１（図３２）は、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局し、これにより、信号処理チップ３３１には、チャンネルCH1乃至CH4の欠損フレームあり画像データが供給される。
【０６２０】
従って、この場合、信号処理チップ３３１は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり画像データを、第１の画像データとして、縮小画像生成処理を実行し、その縮小画像生成処理によってサイズが縮小された（画素数が少なくされた）チャンネルCH1乃至CH4の欠損フレームあり縮小画像データを、第２の画像データとして、後段の信号処理チップ３３２（図３５）に出力する。
【０６２１】
次に、図４６は、図３５の信号処理チップ３３２の構成例を示している。
【０６２２】
信号処理チップ３３２は、コマンド列生成部３３０（図３５）から供給されるコマンド列を構成するコマンドに応じて、その内部構造を切り換え、上述したクラス分類適応処理を利用したノイズ除去処理または時間解像度創造処理を行う。
【０６２３】
即ち、信号処理チップ３３２は、メモリ３７０、注目画素選択部３７１、タップ選択部３７２，３７３、クラス分類部３７４、係数出力部３７５、予測演算部３７６、受信部３７７、タップ決定部３７８および３７９で構成されている。これらのうちの注目画素選択部３７１、タップ選択部３７２，３７３、クラス分類部３７４、係数出力部３７５、予測演算部３７６は、図１の注目画素選択部１１、タップ選択部１２，１３、クラス分類部１４、係数出力部１５、予測演算部１６にそれぞれ対応するものである。
【０６２４】
従って、信号処理チップ３３２では、信号処理チップ３３１（図３５）から供給される、クラス分類適応処理の第１の画像データとしてのチャンネルCH1の欠損フレームがない高解像度画像データ、またはチャンネルCH1乃至CH4の欠損フレームあり縮小画像データが、クラス分類適応処理の第２の画像データに変換されて出力される。
【０６２５】
但し、図４６において、係数出力部３７５は、係数メモリ３８１1および３８１2並びに選択部３８２で構成されている。
【０６２６】
係数メモリ３８１1，３８１2には、あらかじめ行われた学習により求められたノイズ除去処理用のタップ係数、時間解像度創造処理用のタップ係数が、それぞれ記憶されている。ここで、時間解像度創造処理用のタップ係数は、信号処理チップ３３１から供給されるチャンネルCH1乃至CH4それぞれの欠損フレームあり縮小画像データを、欠損フレームがない縮小画像データとするものである。
【０６２７】
係数メモリ３８１1と３８１2には、クラス分類部３７４が出力するクラス（クラスコード）が供給される。係数メモリ３８１1と３８１2それぞれは、クラス分類部３７４からのクラスのタップ係数を読み出し、選択部３８２に出力する。
【０６２８】
選択部３８２には、上述したように、係数メモリ３８１1と３８１2それぞれから読み出されたタップ係数が供給される他、受信部３７７からコマンドが供給される。選択部３８２は、受信部３７７から供給されるコマンドに応じて、係数メモリ３８１1または３８１2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３７６の入力端に接続することで、信号処理チップ３３２の内部構造を切り換える。
【０６２９】
ここで、選択部３８２が、係数メモリ３８１1または３８１2のうちの、例えば、係数メモリ３８１1の出力端を選択し、その選択した出力端を、予測演算部３７６の入力端に接続した場合、予測演算部３７６には、係数メモリ３８１1から読み出されるノイズ除去処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３２は、ノイズ除去処理を行うICとして機能することになる。
【０６３０】
一方、選択部３８２が、係数メモリ３８１1または３８１2のうちの、係数メモリ３８１2の出力端を選択し、その選択した出力端を、予測演算部３７６の入力端に接続した場合、予測演算部３７６には、係数メモリ３８１2から読み出される時間解像度創造処理用のタップ係数が供給されることとなり、その結果、信号処理チップ３３２は、時間解像度創造処理を行うICとして機能することになる。
【０６３１】
また、図４６において、受信部３７７は、コマンド列生成部３３０（図３５）から無線で送信されてくるコマンド列を受信し、コマンド列生成部３３０から受信したコマンド列の中から、信号処理チップ３３２が実行することができる信号処理のコマンドを認識して、選択部３８２に供給する。
【０６３２】
即ち、受信部３７７は、図３６上に示す通常画面モードコマンド列を受信した場合、その中のノイズ除去コマンドを、信号処理チップ３３２が実行することができる信号処理のコマンドとして認識し、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１1の出力端を選択し、予測演算部３７６の入力端に接続する。
【０６３３】
一方、受信部３７７は、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の時間解像度創造コマンドを、信号処理チップ３３２が実行することができる信号処理のコマンドとして認識し、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１2の出力端を選択し、予測演算部３７６の入力端に接続する。
【０６３４】
さらに、図４６において、タップ決定部３７８および３７９には、信号処理チップ３３４（図３５）から、チューナ部３１１（図３２）が信号処理部３１４に供給する入力画像データを構成する各画素の動きベクトルが供給されるようになっている。
【０６３５】
タップ決定部３７８または３７９は、それぞれ、注目画素についての予測タップまたはクラスタップとする画素を、信号処理チップ３３４から供給される動きベクトルに基づいて決定する。
【０６３６】
即ち、注目画素についての予測タップやクラスタップ（以下、適宜、両方まとめて、単に、タップという）を、クラス分類適応処理の第１の画像データから、どのような画素を選択して構成するかは、特に限定されるものではない。
【０６３７】
但し、図４６の信号処理チップ３３２では、欠損フレームあり縮小画像データを第１の画像データとして、時間解像度創造処理用のタップ係数を用いたクラス分類適応処理を行うことにより、欠損フレームのない縮小画像データを、第２の画像データとして得る時間解像度創造処理が行われることがある。
【０６３８】
時間解像度創造処理では、４つのチャンネルCH1乃至CH4それぞれについて、フレーム周期Ｔ1の各フレームの縮小画像データが予測（生成）されるが、その予測には、ある１フレームの非欠損フレームの画素だけを用いるよりも、複数フレームの非欠損フレーム、即ち、例えば、注目画素（予測によって生成する画素）のフレームにより近い２つの非欠損フレーム、つまり、注目画素のフレームの直前の非欠損フレーム（但し、注目画素のフレームが非欠損フレームである場合は、その非欠損フレーム）と、直後の非欠損フレームの画素を用いるのが望ましい。さらに、時間解消度創造処理における注目画素の予測には、画像（被写体）の動きを考慮するのが望ましい。
【０６３９】
そこで、タップ決定部３７８は、例えば、注目画素のフレームの直前の非欠損フレーム（以下、適宜、直前非欠損フレームという）の縮小画像データを構成する画素のうちの、注目画素に対応する画素の動きベクトルに基づき、直前非欠損フレームの縮小画像データを構成する画素と、注目画素のフレームの直後の非欠損フレーム（以下、適宜、直後非欠損フレームという）の縮小画像データを構成する画素とから、注目画素についての予測タップとなる画素を決定する。
【０６４０】
即ち、タップ決定部３７８は、直前非欠損フレーム、注目画素のフレーム、直後非欠損フレームを時系列に並べ、注目画素に対応する直前非欠損フレームの画素の動きベクトルを、注目画素を通るように補正した場合に、その補正後の動きベクトルの始点を中心とする直前非欠損フレームの幾つかの画素と、補正後の動きベクトルの終点を中心とする直後非欠損フレームの幾つかの画素とを、注目画素についての予測タップとなる画素として決定する。
【０６４１】
ここで、信号処理チップ３３２において時間解像度創造処理が行われるときに信号処理チップ３３４から供給される動きベクトルは、直前非欠損フレームや直後非欠損フレームの縮小画像データの各画素の動きベクトルではなく、その縮小画像データに縮小される前の画像データ（以下、適宜、縮小前画像データという）の動きベクトル（の大きさを１／２にしたもの）である。このため、タップ決定部３７８は、縮小画像データの画素に対応する縮小前画像データの画素の動きベクトルを、その縮小画像データの画素（縮小画像データの画素の画枠における位置と同一の位置関係の、縮小前画像データの画枠の位置にある画素）の動きベクトルとして用いる。
【０６４２】
タップ決定部３７８は、注目画素についての予測タップとなる画素を決定した後、その画素を表す情報（以下、適宜、予測タップ情報という）を、タップ選択部３７２に供給する。そして、タップ選択部３７２は、タップ決定部３７８からの予測タップ情報にしたがって、メモリ３７０に記憶された画像データから予測タップとなる画素を選択する。
【０６４３】
タップ決定部３７９も、タップ決定部３７８と同様にして、注目画素についてのクラスタップとなる画素を決定し、その画素を表す情報（以下、適宜、クラスタップ情報という）を、タップ選択部３７３に供給する。そして、タップ選択部３７３は、タップ決定部３７９からのクラスタップ情報にしたがって、メモリ３７０に記憶された画像データからクラスタップとなる画素を選択する。
【０６４４】
ここで、図４６の信号処理チップ３３２では、上述したことから、信号処理チップ３３１から供給される画像データの２フレームから、タップが選択される。このため、図４６の信号処理チップ３３２には、信号処理チップ３３１から供給される画像データのフレームを一時記憶しておくメモリ３７０が設けられている。
【０６４５】
さらに、図４６の信号処理チップ３３２では、時間解像度創造処理が、４つのチャンネルCH1乃至CH4それぞれについて行われる。この場合、チャンネルCH1乃至CH4のうちのいずれか１つのチャンネルについて時間解像度創造処理が行われている間、他の３つのチャンネルの画像データを保持しておく必要がある。メモリ３７０が設けられているのは、この画像データの保持のためでもある。
【０６４６】
なお、図４６の信号処理チップ３３２では、時間解像度創造処理の他、上述したように、ノイズ除去処理も行われる。ノイズ除去処理が行われる場合も、タップ決定部３７８および３７９は、時間解像度創造処理が行われる場合と同様に、タップとなる画素を決定する。
【０６４７】
但し、ノイズ除去処理は、チャンネルCH1の欠損フレームがない高解像度画像データを対象として行われるため、上述の直前非欠損フレームは、注目画素のフレームとなり、直後非欠損フレームは、注目画素のフレームの次のフレームとなる。
【０６４８】
次に、図４７のフローチャートを参照して、図４６の信号処理チップ３３２の処理について説明する。
【０６４９】
図３５のコマンド列生成部３３０からコマンド列が送信されてくると、ステップＳ３３１において、受信部３７７は、そのコマンド列を受信する。さらに、受信部３７７は、そのコマンド列の中から、信号処理チップ３３２が実行可能な信号処理のコマンドを認識し、そのコマンドを選択部３８２に供給して、ステップＳ３３２に進む。
【０６５０】
ステップＳ３３２では、選択部３８２は、受信部３７７からのコマンドに応じて、信号処理チップ３３２の内部構造を切り換える。
【０６５１】
即ち、選択部３８２は、受信部３７７からのコマンドに応じて、係数メモリ３８１1または３８１2のうちのいずれかの出力端を選択し、その選択した出力端を、予測演算部３７６（図４６）の入力端に接続することで、信号処理チップ３３２の内部構造を切り換える。
【０６５２】
その後、ステップＳ３３３に進み、以下、ステップＳ３３３乃至Ｓ３３８において、図２のステップＳ１１乃至Ｓ１６における場合とそれぞれ同様の処理が行われる。
【０６５３】
即ち、信号処理チップ３３１から信号処理チップ３３２に入力されるチャンネルCH1の欠損フレームがない高解像度画像データ、またはCH1乃至CH4の欠損フレームあり縮小画像データは、クラス分類適応処理の第１の画像データとして、メモリ３７０に順次供給されて記憶される。
【０６５４】
そして、ステップＳ３３３において、注目画素選択部３７１は、クラス分類適応処理の第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ３３４に進む。
【０６５５】
ステップＳ３３４において、タップ決定部３７８または３７９が、信号処理チップ３３４（図３５）から供給される動きベクトルに基づいて、予測タップまたはクラスタップとする第１の画像データの画素を決定し、その画素を表す予測タップ情報またはクラスタップ情報を、タップ選択部３７２または３７３に、それぞれ供給する。
【０６５６】
さらに、ステップＳ３３４では、タップ選択部３７２と３７３が、タップ決定部３７８と３７９から供給される予測タップ情報とクラスタップ情報にしたがい、メモリ３７０に記憶された第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部３７２から予測演算部３７６に供給され、クラスタップは、タップ選択部３７３からクラス分類部３７４に供給される。
【０６５７】
クラス分類部３７４は、タップ選択部３７３から、注目画素についてのクラスタップを受信し、ステップＳ３３５において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部３７４は、そのクラス分類の結果得られる注目画素のクラスを、係数出力部３７５に出力し、ステップＳ３３６に進む。
【０６５８】
ステップＳ３３６では、係数出力部３７５が、クラス分類部３７４から供給されるクラスのタップ係数を出力する。即ち、係数出力部３７５は、係数メモリ３８１1または３８１2のうちの、選択部３８２が出力端を選択しているものから、クラス分類部３７４から供給されるクラスのタップ係数を読み出し、予測演算部３７６に出力する。そして、ステップＳ３３６では、予測演算部３７６が、係数出力部３７５が出力するタップ係数を取得し、ステップＳ３３７に進む。
【０６５９】
ステップＳ３３７では、予測演算部３７６が、タップ選択部３７２が出力する予測タップと、係数出力部３７５から取得したタップ係数とを用いて、式（１）の予測演算を行う。これにより、予測演算部３７６は、注目画素の画素値を求めて出力し、ステップＳ３３８に進む。
【０６６０】
ステップＳ３３８では、注目画素選択部３７１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ３３８において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ３３３に戻り、以下、同様の処理が繰り返される。
【０６６１】
また、ステップＳ３３８において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
【０６６２】
なお、受信部３７７は、コマンド列生成部３３０から、図３６上に示す通常画面モードコマンド列を受信した場合、その中のノイズ除去コマンドを、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１1の出力端を選択するから、その係数メモリ３８１1に記憶されているノイズ除去処理用のタップ係数が、予測演算部３７６に供給される。
【０６６３】
また、コマンド列生成部３３０が、図３６上に示す通常画面モードコマンド列を送信する場合というのは、動作モードが通常画面モードである場合であり、この場合、チューナ部３１１（図３２）は、所定のチャンネルとしての、例えば、チャンネルCH1を選局する。そして、信号処理チップ３３１（図３５）において、そのチャンネルCH1の画像データが、高解像度画像データに変換され、これにより、信号処理チップ３３２には、チャンネルCH1の高解像度画像データが供給される。
【０６６４】
従って、この場合、信号処理チップ３３２は、そこに供給されるチャンネルCH1の高解像度画像データを、第１の画像データとして、ノイズ除去処理を実行し、そのノイズ除去処理によってS/Nが向上したチャンネルCH1の高解像度画像データを、第２の画像データとして、後段のメモリ部３３３（図３５）に出力する。
【０６６５】
一方、受信部３７７は、コマンド列生成部３３０から、図３６下に示すマルチ画面モードコマンド列を受信した場合、その中の時間解像度創造コマンドを、選択部３８２に供給する。この場合、選択部３８２は、係数メモリ３８１2の出力端を選択するから、その係数メモリ３８１2に記憶されている時間解像度創造処理用のタップ係数が、予測演算部３７６に供給される。
【０６６６】
また、コマンド列生成部３３０が、図３６下に示すマルチ画面モードコマンド列を送信する場合というのは、動作モードがマルチ画面モードである場合であり、この場合、チューナ部３１１（図３２）は、複数のチャンネルとしての、例えば、チャンネルCH1乃至CH4を時分割で選局する。そして、信号処理チップ３３１（図３５）において、そのチャンネルCH1乃至CH4の欠損フレームあり画像データが、欠損フレームあり縮小画像データに変換され、これにより、信号処理チップ３３２には、チャンネルCH1乃至CH4の欠損フレームあり縮小画像データが供給される。
【０６６７】
従って、この場合、信号処理チップ３３２は、そこに供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像データを、第１の画像データとして、時間解像度創造処理を実行し、その時間解像度創造処理によって欠損フレームがないチャンネルCH1乃至CH4の縮小画像データを、第２の画像データとして得て、後段のメモリ部３３３（図３５）に出力する。
【０６６８】
以上のように、図３５の信号処理チップ３３１，３３２，３３４それぞれでは、コマンド列のうちの、少なくとも１つのコマンドに応じて、内部構造を切り換え、そこに入力される画像データを信号処理して、その信号処理結果としての画像データを出力するので、単一のハードウェアで、複数の機能を、容易に実現することができる。
【０６６９】
さらに、信号処理チップ３３２では、信号処理チップ３３１の信号処理結果を信号処理するので、信号処理部３１４（図３５）全体としては、より多くの機能を、容易に実現することができる。
【０６７０】
なお、信号処理部３１４は、信号処理チップ３３１や３３２と同様の信号処理チップを任意の個数だけ設けて構成することができる。
【０６７１】
また、上述の場合には、信号処理チップ３３１（図４４）の係数出力部３５５に、タップ係数を記憶させておくようにしたが、タップ係数に代えて、係数種データを記憶させておき、その係数種データからタップ係数を生成するようにすることが可能である。信号処理チップ３３２についても、同様である。
【０６７２】
次に、本発明の第３実施の形態について説明する。
【０６７３】
図４８は、本発明の第３実施の形態としてのテレビジョン受像機の構成例を示している。
【０６７４】
チューナ６０１には、図示せぬアンテナが受信したディジタル放送の放送信号（伝送信号）が供給される。このディジタル放送の放送信号は、MPEG(Moving Picture Experts Group)-2等により規定されるディジタルデータであり、複数のTS（Transport Stream:トランスポートストリーム）パケットで構成されるトランスポートストリームとして送信されてくる。チューナ６０１は、コントローラ６１３の制御に基づいて、アンテナから供給される複数のチャンネルの放送信号の中から、所定のチャンネル（周波数）の放送信号を選択（選局）し、その選択したチャンネルの放送信号を復調部６０２に供給する。
【０６７５】
復調部６０２は、コントローラ６１３の制御に基づいて、チューナ６０１から供給される所定のチャンネルの放送信号のトランスポートストリームを、例えば、QPSK(Quadrature Phase Shift Keying)復調等で復調し、それにより得られたトランスポートストリームをエラー訂正部６０３に供給する。
【０６７６】
エラー訂正部６０３では、コントローラ６１３の制御に基づいて、復調部６０２から供給されたトランスポートストリームについて、エラーが検出、訂正される。そして、訂正処理後のトランスポートストリームが、デマルチプレクサ(DEM)６０４に供給される。
【０６７７】
デマルチプレクサ６０４は、コントローラ６１３の制御に基づいて、エラー訂正部６０３から供給されるトランスポートストリームを、必要に応じて、デスクランブル処理する。また、デマルチプレクサ６０４は、コントローラ６１３の制御に基づいて、ＴＳパケットのPID（Packet Identifier）を参照することにより、エラー訂正部６０３から供給されるトランスポートストリームから、所定の番組のＴＳパケットを抽出し、ビデオデータのTSパケットをビデオデコーダ６０５に、オーディオデータのTSパケットをオーディオデコーダ６１０に、それぞれ供給する。
【０６７８】
ビデオデコーダ６０５は、デマルチプレクサ６０４から供給されるビデオデータ（のTSパケット）をMPEG-2方式でデコードし、LSI６０６または合成部６０７に供給する。
【０６７９】
LSI６０６は、コントローラ６１３から供給されるコマンド列を受信し、そのコマンド列に応じて、第１実施の形態のR-IC２１２等と同様に、リコンフィギュラブルに内部構造を切り換える。そして、LSI６０６は、ビデオデコーダ６０５が出力する画像データ（ビデオデータ）を信号処理し、その信号処理によって得られる画像データを、合成部６０７に供給（出力）する。
【０６８０】
合成部６０７は、LSI６０６から画像データが供給される場合は、その画像データを選択する。一方、LSI６０６から画像データが供給されない場合は、合成部６０７は、ビデオデコーダ６０５から供給される画像データを選択する。また、合成部６０７は、ビデオデコーダ６０５またはLSI６０６から供給される画像データのうちの選択した方にOSD(On Screen Display)部６０８から供給される画像データを重畳して、LCD(Liquid Crystal Display)６０９に供給して、表示させる。
【０６８１】
なお、OSD部６０８から画像データが供給されない場合には、合成部６０７は、ビデオデコーダ６０５またはLSI６０６から供給された画像データのうちの選択した方をそのままLCD６０９に供給する。
【０６８２】
ここで、OSD部６０８は、コントローラ６１３の制御に基づいて、例えば、現在選択されているチャンネルの番号や音量などの画像データを生成し、合成部６０７に供給する。
【０６８３】
一方、オーディオデコーダ６１０は、デマルチプレクサ６０４から供給されるオーディオデータ（のTSパケット）をMPEG-2方式でデコードし、図示せぬ出力端子に供給し、また、スピーカ６１１に供給して出力させる。
【０６８４】
なお、コントローラ６１３は、チューナ６０１、復調部６０２、エラー訂正部６０３、デマルチプレクサ６０４、ビデオデコーダ６０５、オーディオデコーダ６１０、OSD部６０８を制御する。また、コントローラ６１３は、キー入力部６１４やリモコンI/F６１７から供給される、ユーザの操作に対応する操作信号に基づいて、各種の処理を実行する。
【０６８５】
例えば、コントローラ６１３は、リモコンI/F６１７から供給される、ユーザの操作に対応する操作信号に応じて、１以上のコマンドからなるコマンド列を生成し、LSI６０６に送信（供給）する。
【０６８６】
キー入力部６１４は、例えば、スイッチボタンなどで構成され、ユーザが所望のチャンネルを選択する際の操作などを受け付け、そのユーザの操作に対応する操作信号をコントローラ６１３に供給する。表示部６１５は、コントローラ６１３から供給される制御信号に基づいて、例えば、チューナ６０１において選択されているチャンネルなどを表示する。
【０６８７】
リモコンI/F（InterFace）６１７は、受光部６１６から供給される、ユーザの操作に対応する操作信号をコントローラ６１３に供給する。受光部６１６は、リモコン（リモートコマンダ６１８から送信されるユーザの操作に対応する操作信号を受信（受光）し、リモコンI/F６１７に供給する。
【０６８８】
次に、図４９は、図４８のリモコン６１８の構成例を示す平面図である。
【０６８９】
リモコン６１８には、ユーザインタフェース部６２１とLCDパネル６２２とが設けられている。
【０６９０】
ユーザインタフェース部６２１としては、図４８のテレビジョン受像機の電源をオン／オフするときに操作される電源ボタン６１２Ａ、テレビジョン受像機への入力をテレビジョン放送や外部入力に切り換えるときに操作される入力ボタン６２１Ｂ、チャンネルを選択するときに操作されるチャンネルボタン６２１Ｃ、テレビジョン受像機（のLSI６０６）に対して所定の機能を要求するときに操作される機能ボタン６２１Ｄが設けられている。
【０６９１】
なお、図４９では、機能ボタン６２１Ｄとして、機能Ａ，Ｂ，Ｃ，Ｄの４つのボタンが設けられている。
【０６９２】
LCDパネル６２２は、所定の情報、例えば、直前に操作されたユーザインタフェース部６２１のボタンを表す情報などが表示される。
【０６９３】
次に、図５０は、図４９のリモコン６１８の電気的構成例を示している。
【０６９４】
リモコン６１８は、ユーザインタフェース部６２１，LCDパネル６２２、制御部６３２、記憶部６３３、および送信部６３４が、バス６３１を介して相互に接続されて構成されている。
【０６９５】
制御部６３２は、例えば、CPUなどで構成され、記憶部６３３に記憶されているプログラムを実行することにより、リモコン６１８を構成する各ブロックを制御する。記憶部６３３は、制御部６３２が実行するプログラムや必要なデータを記憶している。また、記憶部６３３は、制御部６３２等が処理を行う上で必要なデータを記憶する。
【０６９６】
送信部６３４は、ユーザが、ユーザインタフェース部６２１を操作した場合に、その操作に対応する操作信号を、赤外線や電波で送信する。送信部６３４が送信する操作信号が、受光部６１６（図４８）で受信される。
【０６９７】
次に、図５１のフローチャートを参照して、図４８のコントローラ６１３の処理について概説する。
【０６９８】
コントローラ６１３は、ステップＳ６０１において、リモコン６１８のユーザインタフェース部６２１（図４９）がユーザによって操作されたか否かを判定する。ステップＳ６０１において、ユーザインタフェース部６２１が操作されていないと判定された場合、ステップＳ６０１に戻る。
【０６９９】
また、ステップＳ６０１において、ユーザインタフェース部６２１が操作されたと判定された場合、即ち、ユーザが、ユーザインタフェース部６２１を操作し、その操作に対応する操作信号が、受光部６１６およびリモコンI/F６１７を介して、コントローラ６１３に供給された場合、ステップＳ６０２に進み、コントローラ６１３は、その操作信号に基づき、電源ボタン６２１Ａ（図４９）が操作されたか否かを判定する。
【０７００】
ステップＳ６０２において、電源ボタン６２１Ａが操作されたと判定された場合、即ち、ユーザが、電源ボタン６２１Ａを操作し、その操作に対応する操作信号が、受光部６１６およびリモコンI/F６１７を介して、コントローラ６１３に供給された場合、ステップＳ６０３に進み、コントローラ６１３は、図４８のテレビジョン受像機の電源をオンまたはオフとする電源処理を行い、ステップＳ６０１に戻る。
【０７０１】
また、ステップＳ６０２において、電源ボタン６２１Ａが操作されていないと判定された場合、即ち、電源ボタン６２１Ａ以外のボタンが操作された場合、ステップＳ６０４に進み、コントローラ６１３は、その操作されたボタンに対応する処理を行い、ステップＳ６０１に戻る。
【０７０２】
ここで、リモコン６１８（図４９）の機能ボタン６２１Ｄが操作され、コントローラ６１３が、その機能ボタン６２１Ｄの操作に対応した操作信号を、受光部６１６およびリモコンI/F６１７を介して受信した場合、コントローラ６１３は、その操作信号（操作された機能ボタン６２１Ｄ）に応じて、コマンド列を生成し、LSI６０６に送信する。
【０７０３】
図５２は、コントローラ６１３が生成するコマンド列のフォーマットを示している。
【０７０４】
コマンド列は、例えば、ヘッダ、１以上のコマンド、EOC(End Of Command)コードが順次配置されて構成される。
【０７０５】
次に、図５３のフローチャートを参照して、コントローラ６１３による図５１のステップＳ６０４の処理についてさらに説明する。
【０７０６】
コントローラ６１３は、ステップＳ６１１において、機能ボタン６２１Ｄ（図４９）のうちの機能Ａのボタン（以下、適宜、Ａボタンという）が操作されたかどうかを判定する。ステップＳ６１１において、Ａボタンが操作されたと判定された場合、ステップＳ６１２に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、１次元空間解像度創造コマンドまたは２次元空間解像度創造コマンドを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。
【０７０７】
また、ステップＳ６１１において、Ａボタンが操作されていないと判定された場合、ステップＳ６１３に進み、コントローラ６１３は、機能ボタン６２１Ｄ（図４９）のうちの機能Ｂのボタン（以下、適宜、Ｂボタンという）が操作されたかどうかを判定する。
【０７０８】
ステップＳ６１３において、Ｂボタンが操作されたと判定された場合、ステップＳ６１４に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、ノイズ除去コマンドを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。
【０７０９】
また、ステップＳ６１３において、Ｂボタンが操作されていないと判定された場合、ステップＳ６１５に進み、コントローラ６１３は、機能ボタン６２１Ｄ（図４９）のうちの機能Ｃのボタン（以下、適宜、Ｃボタンという）が操作されたかどうかを判定する。
【０７１０】
ステップＳ６１５において、Ｃボタンが操作されたと判定された場合、ステップＳ６１６に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、１次元空間解像度創造コマンドと、ノイズ除去コマンドとを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。
【０７１１】
また、ステップＳ６１５において、Ｃボタンが操作されていないと判定された場合、ステップＳ６１７に進み、コントローラ６１３は、機能ボタン６２１Ｄ（図４９）のうちの機能Ｄのボタン（以下、適宜、Ｄボタンという）が操作されたかどうかを判定する。
【０７１２】
ステップＳ６１７において、Ｄボタンが操作されたと判定された場合、ステップＳ６１８に進み、コントローラ６１３は、図５２に示したコマンド列における１以上のコマンドとして、２次元空間解像度創造コマンドと、ノイズ除去コマンドとを配置したコマンド列を生成し、LSI６０６に送信して、リターンする。
【０７１３】
また、ステップＳ６１７において、Ｄボタンが操作されていないと判定された場合、即ち、電源ボタン６２１Ａおよび機能ボタン６２１Ｄ以外のボタンが操作された場合、ステップＳ６１９に進み、コントローラ６１３は、その操作されたボタンに対応する処理を行い、リターンする。
【０７１４】
次に、図５４は、コントローラ６１３が、機能ボタン６２１Ｄの操作に応じて生成し、LSI６０６に送信するコマンド列を示している。
【０７１５】
Ａボタンが操作された場合、コントローラ６１３は、図５４左側の上から１番目または２番目に示すように、１つのコマンドである１次元空間解像度創造コマンドまたは２次元空間解像度創造コマンドを配置したコマンド列であるＡボタンコマンド列６４１または６４２を生成し、LSI６０６に送信する。
【０７１６】
また、Ｂボタンが操作された場合、コントローラ６１３は、図５４左側の上から３番目に示すように、１つのコマンドであるノイズ除去コマンドを配置したコマンド列であるＢボタンコマンド列６４３を生成し、LSI６０６に送信する。
【０７１７】
さらに、Ｃボタンが操作された場合、コントローラ６１３は、図５４右側の上から１番目に示すように、２つのコマンドである１次元空間解像度創造コマンドとノイズ除去コマンドとを配置したコマンド列であるＣボタンコマンド列６４４を生成し、LSI６０６に送信する。
【０７１８】
また、Ｄボタンが操作された場合、コントローラ６１３は、図５４右側の上から２番目に示すように、２つのコマンドである２次元空間解像度創造コマンドとノイズ除去コマンドとを配置したコマンド列であるＤボタンコマンド列６４５を生成し、LSI６０６に送信する。
【０７１９】
次に、図５５は、図４８のLSI６０６の構成例を示している。
【０７２０】
受信部６５０は、コントローラ６１３（図４８）から送信されてくるコマンド列を受信し、SW（スイッチ）回路６５４および６５５、並びに信号処理回路６５６に供給する。
【０７２１】
フレームメモリ６５１は、ビデオデコーダ６０５（図４８）から供給される画像データ（画像入力信号）を、例えば、１フレーム単位で記憶し、SW回路６５４の入力端子６５４Ａに供給する。
【０７２２】
フレームメモリ６５２は、信号処理回路６５６からSW回路６５５の出力端子６５５Ａを介して供給される画像データ（画像出力信号）を、例えば、１フレーム単位で記憶し、合成部６０７（図４８）に供給する。
【０７２３】
フレームメモリ６５３は、SW回路６５５の出力端子６５５Ｂから供給される画像データを、例えば、１フレーム単位で記憶し、SW回路６５４の入力端子６５４Ｂに供給する。
【０７２４】
SW回路６５４は、２つの入力端子６５４Ａおよび６５４Ｂを有しており、入力端子６５４Ａには、フレームメモリ６５１に記憶された画像データが供給され、入力端子６５４Ｂには、フレームメモリ６５３に記憶された画像データが供給されるようになっている。SW回路６５４は、例えば、受信部６５０から供給されるコマンド列等に応じて、入力端子６５４Ａまたは６５４Ｂのうちの一方を選択し、その選択した方の入力端子から供給される画像データを、信号処理回路６５６に供給する。
【０７２５】
SW回路６５５は、２つの出力端子６５５Ａおよび６５５Ｂを有しており、出力端子６５５Ａは、フレームメモリ６５２に、出力端子６５５Ｂは、フレームメモリ６５３に、それぞれ接続されている。SW回路６５５には、信号処理回路６５６から、信号処理後の画像データが供給されるようになっており、SW回路６５５は、例えば、受信部６５０から供給されるコマンド列等に応じて、出力端子６５５Ａまたは６５５Ｂのうちの一方を選択し、その選択した方の出力端子に、信号処理回路６５６からの画像データを出力する。
【０７２６】
信号処理回路６５６は、受信部６５０からのコマンド列に応じて、その内部構造を、リコンフィギュラブルに切り換え、SW回路６５４から供給される画像データを信号処理し、その信号処理によって得られる画像データを、SW回路６５５に供給する。
【０７２７】
次に、図５６のフローチャートを参照して、図５５のLSI６０６の処理について説明する。
【０７２８】
コントローラ６１３（図４８）からLSI６０６に対して、コマンド列が送信されてくると、受信部６５０は、ステップＳ６３１において、そのコマンド列を受信し、SW回路６５４および６５５、並びに信号処理回路６５６に供給して、ステップＳ６３２に進む。
【０７２９】
ここで、受信部６５０が受信したコマンド列は、Ｎ個のコマンドで構成されるものとする。但し、Ｎは、１以上の整数とする。
【０７３０】
ステップＳ６３２では、フレームメモリ６５１が、ビデオデコーダ６０５（図４８）から供給される１フレーム（フィールド）の画像データを記憶し、ステップＳ６３３に進む。
【０７３１】
ステップＳ６３３では、SW回路６５４および６５５が、受信部６５０から供給されたコマンド列を構成するコマンドが１つであるか、または複数であるかを判定する。
【０７３２】
ステップＳ６３３において、コマンド列を構成するコマンドが１つであると判定された場合、ステップＳ６３４に進み、SW回路６５４が入力端子６５４Ａを選択するとともに、SW回路６５５が出力端子６５５Ａを選択し、ステップＳ６３５に進む。
【０７３３】
ステップＳ６３５では、信号処理回路６５６が、受信部６５０からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを選択する。ここで、いまの場合、コマンド列を構成するコマンドは１つであるので、その１つのコマンドが、注目コマンドとして選択される。
【０７３４】
さらに、ステップＳ６３５では、信号処理回路６５６が、注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップＳ６３６に進む。
【０７３５】
ステップＳ６３６では、信号処理回路６５６は、SW回路６５４が選択している入力端子６５４Ａを介して、フレームメモリ６５１から１フレームの画像データを読み出し、その１フレームの画像データを対象に、注目コマンドに対応した信号処理を行う。
【０７３６】
ここで、ステップＳ６３６では、信号処理回路６５６は、受信部６５０から供給されたコマンド列を構成するコマンドの数Ｎに等しいＮ倍速で、信号処理を行う。いまの場合、コマンド列は、１つのコマンドで構成されるので、信号処理回路６５６は、１倍速、即ち、フレームレート（またはフィールドレート）に対応する処理速度（フレーム周期に等しい時間内に、１フレームの画像データの信号処理を終了する処理速度）で、１フレームの画像データを信号処理する。
【０７３７】
ステップＳ６３６において信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６３７に進む。
【０７３８】
ここで、SW回路６５５は、ステップＳ６３４で、出力端子６５５Ａを選択しているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ａからフレームメモリ６５２に供給される。
【０７３９】
ステップＳ６３７では、フレームメモリ６５２が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶し、その記憶した画像データを、合成回路６０７（図４８）に出力して、ステップＳ６５０に進む。
【０７４０】
一方、ステップＳ６３３において、コマンド列を構成するコマンドが複数であると判定された場合、ステップＳ６３８に進み、SW回路６５４が入力端子６５４Ａを選択するとともに、SW回路６５５が出力端子６５５Ｂを選択し、ステップＳ６３９に進む。
【０７４１】
ステップＳ６３９では、信号処理回路６５６が、受信部６５０からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを選択する。即ち、信号処理回路６５６は、例えば、コマンド列を構成する複数のコマンドのうちの、まだ注目コマンドとしていない最も先頭寄りのコマンドを、注目コマンドとして選択する。
【０７４２】
さらに、ステップＳ６３９では、信号処理回路６５６が、注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップＳ６４０に進む。
【０７４３】
ステップＳ６４０では、信号処理回路６５６は、SW回路６５４が選択している端子６５４Ａを介して、フレームメモリ６５１から１フレームの画像データを読み出し、その１フレームの画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Ｎに等しいＮ倍速で行う。
【０７４４】
ステップＳ６４０において、信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６４１に進む。
【０７４５】
ここで、SW回路６５５は、ステップＳ６３８で、出力端子６５５Ｂを選択しているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ｂからフレームメモリ６５３に供給される。
【０７４６】
ステップＳ６４１では、フレームメモリ６５３が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶し、ステップＳ６４２に進む。
【０７４７】
ステップＳ６４２では、SW回路６５４が、入力端子６５４Ａから６５４Ｂに選択を切り換えて、ステップＳ６４３に進む。
【０７４８】
ステップＳ６４３では、信号処理回路６５６が、ステップＳ６３９における場合と同様にして、受信部６５０からのコマンド列を構成するコマンドから、注目コマンドとするコマンドを、新たに選択する。
【０７４９】
さらに、ステップＳ６４３では、信号処理回路６５６が、新たな注目コマンドに応じて、内部構造を切り換え、これにより、その注目コマンドに対応した信号処理を実行することが可能な状態となって、ステップＳ６４４に進む。
【０７５０】
ステップＳ６４４では、信号処理回路６５６が、注目コマンドが、コマンド列を構成する最後のコマンドであるかどうかを判定する。
【０７５１】
ステップＳ６４４において、注目コマンドが、コマンド列を構成する最後のコマンドでないと判定された場合、即ち、コマンド列の中に、まだ注目コマンドとしていないコマンドが存在する場合、ステップＳ６４５に進み、信号処理回路６５６は、SW回路６５４が選択している入力端子６５４Ｂを介して、フレームメモリ６５３から画像データを読み出し、即ち、信号処理回路６５６による前回の信号処理によって得られた画像データを読み出し、その画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Ｎに等しいＮ倍速で行う。
【０７５２】
ステップＳ６４５において、信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６４６に進む。
【０７５３】
ここで、SW回路６５５は、ステップＳ６３８で、出力端子６５５Ｂを選択したままとなっているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ｂからフレームメモリ６５３に供給される。
【０７５４】
ステップＳ６４６では、フレームメモリ６５３が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶する（上書きする）。そして、ステップＳ６４３に戻り、以下、同様の処理が繰り返される。
【０７５５】
また、ステップＳ６４４において、注目コマンドが、コマンド列を構成する最後のコマンドであると判定された場合、ステップＳ６４７に進み、SW回路６５５が、出力端子６５５Ｂから６５５Ａに選択を切り換えて、ステップＳ６４８に進む。
【０７５６】
ステップＳ６４８では、信号処理回路６５６は、SW回路６５４が選択している端子６５４Ｂを介して、フレームメモリ６５３から画像データを読み出し、即ち、信号処理回路６５６による前回の信号処理によって得られた画像データを読み出し、その画像データを対象に、注目コマンドに対応した信号処理を、コマンド列を構成するコマンドの数Ｎに等しいＮ倍速で行う。
【０７５７】
ステップＳ６４８において、信号処理回路６５６が信号処理を行うことにより得られた画像データは、SW回路６５５に供給され、ステップＳ６４９に進む。
【０７５８】
ここで、SW回路６５５は、ステップＳ６４７で、出力端子６５５Ａを選択しているので、信号処理回路６５６がSW回路６５５に供給した画像データは、出力端子６５５Ａからフレームメモリ６５２に供給される。
【０７５９】
ステップＳ６４９では、フレームメモリ６５２が、信号処理回路６５６から、SW回路６５５を介して供給される画像データを記憶し、その記憶した画像データを、合成回路６０７（図４８）に出力して、ステップＳ６５０に進む。
【０７６０】
ステップＳ６５０では、次のフレームの画像データがフレームメモリ６５１に供給されたかどうかが判定される。ステップＳ６５０において、次のフレームの画像データがフレームメモリ６５１に供給されたと判定された場合、ステップＳ６３２に戻り、フレームメモリ６５１が、その画像データを記憶して、以下、同様の処理が繰り返される。なお、このとき、コマンド列を構成するコマンドは、すべて、まだ注目コマンドとされてないものとされる。
【０７６１】
一方、ステップＳ６５０において、次のフレームの画像データがフレームメモリ６５１に供給されていないと判定された場合、処理を終了する。
【０７６２】
以上のように、LSI６０６は、コマンド列が複数のコマンドから構成される場合、注目コマンドに応じて、内部構造を切り換え、その注目コマンドに対応した信号処理を、画像データを対象に実行し、その後、さらに、新たな注目コマンドに応じて、内部構造を切り換え、その新たな注目コマンドに対応した信号処理を、前回の信号処理によって得られた画像データを対象に実行する。従って、単一のハードウェアで、複数の機能を、容易に実現することができる。
【０７６３】
次に、図５７は、図５５の信号処理回路６５６の構成例を示している。
【０７６４】
走査線変換回路５２１Ａには、SW回路６５４（図５５）から画像データが供給される。走査線変換回路５２１Ｂは、そこに供給される画像データの走査方向を変換し、切換回路６６２に供給する。
【０７６５】
走査線変換回路５２１Ｂには、切換回路６６４から、信号処理回路６６１による信号処理後の画像データが供給される。走査線変換回路５２１Ｂは、そこに供給される画像データの走査方向を変換し、切換回路６６３に供給する。
【０７６６】
フレームメモリ５２３には、SW回路６５４（図５５）から画像データが供給される。フレームメモリ５２３は、そこに供給される画像データを記憶することにより、１フレーム分の時間だけ遅延して、信号処理回路６６１の端子io2'に供給する。
【０７６７】
信号処理回路６６１は、端子io1，io2，io2'，io3，io4，io5を有している。端子io1には、切換回路６６２から画像データが供給され、端子io2には、切換回路６６３から画像データが供給される。端子io2'には、フレームメモリ５２３から画像データが供給される。端子io3またはio4からは、信号処理回路６６１で信号処理が行われることにより得られた画像データが出力され、この画像データは、切換回路６６４または６６５にそれぞれ供給される。端子io5には、受信部６５０（図５５）からコマンド列が供給される。
【０７６８】
信号処理回路６６１は、端子io５に供給されるコマンド列に応じて、その内部構造を切り換え、端子io1，io2、またはio2'に供給される画像データを信号処理し、その結果得られる画像データを、端子io3またはio4から出力する。
【０７６９】
切換回路６６２には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６２には、SW回路６５４（図５５）と走査線変換回路５２１Ａから画像データが供給される。切換回路６６２は、受信部６５０からのコマンド列に応じて、SW回路６５４からの画像データ、または走査線変換回路５２１Ａからの画像データを選択し、信号処理回路６６１の端子io1に供給する。
【０７７０】
切換回路６６３には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６３には、SW回路６５４（図５５）と走査線変換回路５２１Ｂから画像データが供給される。切換回路６６３は、受信部６５０からのコマンド列に応じて、SW回路６５４からの画像データ、または走査線変換回路５２１Ｂからの画像データを選択し、信号処理回路６６１の端子io2に供給する。
【０７７１】
切換回路６６４には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６４には、信号処理回路６６１の端子io3から、画像データが供給される。切換回路６６４は、受信部６５０からのコマンド列に応じて、切換回路６６５または走査線変換回路５２１Ｂを選択し、選択した方の回路に、端子io3からの画像データを供給する。
【０７７２】
切換回路６６５には、受信部６５０（図５５）からコマンド列が供給される。また、切換回路６６５には、切換回路６６４と信号処理回路６６１の端子io4から画像データが供給される。切換回路６６５は、受信部６５０からのコマンド列に応じて、切換回路６６４からの画像データ、または信号処理回路６６１の端子io4からの画像データを選択し、SW回路６５５（図５５）に供給する。
【０７７３】
図５８は、図５７の信号処理回路６６１の構成例を示している。
【０７７４】
なお、信号処理回路６６１には、端子io1，io2，io2'，io3，io4，io5が設けられている他、図示しないが、電源端子等も設けられている。
【０７７５】
図５８において、信号処理回路６６１は、複数の回路群としての演算回路群４１１Ａおよび４１１Ｂ、メモリ４１２Ａおよび４１２Ｂ、積和演算回路群４１３Ａおよび４１３Ｂ、アダー４１４Ａおよび４１４Ｂ、乗算器４１５Ａおよび４１５Ｂ、並びにレジスタ群４１６Ａおよび４１６Ｂで構成されている。
【０７７６】
そして、これらの回路群あるいは回路に対して、入力／出力あるいは相互間（回路群あるいは回路間の相互接続、および回路群の内部における回路間の相互接続の両者を意味する）の接続状態を切り換えるための切換回路が、信号処理回路６６１内に設けられている。
【０７７７】
換言すると、信号処理回路６６１内のディジタル信号の流れと、各回路群の機能とが制御信号により制御可能となっている。すなわち、演算回路群４１１Ａまたは４１１Ｂと関連して切換回路４２１Ａまたは４２１Ｂがそれぞれ設けられている。また、メモリ４１２Ａまたは４１２Ｂと関連して切換回路４２２Ａまたは４２２Ｂがそれぞれ設けられている。さらに、積和演算回路群４１３Ａまたは４１３Ｂと関連して切換回路４２３Ａまたは４２３Ｂがそれぞれ設けられている。また、アダー４１４Ａおよび４１４Ｂ、乗算器４１５Ａおよび４１５Ｂ、並びにレジスタ群４１６Ａおよび４１６Ｂと関連して切換回路４２４が設けられている。
【０７７８】
切換回路４２１Ａ，４２１Ｂ，４２２Ａ，４２２Ｂ，４２３Ａ，４２３Ｂおよび４２４に対しては、端子io5からコマンド列comが供給される。切換回路４２１Ａ，４２１Ｂ，４２２Ａ，４２２Ｂ，４２３Ａ，４２３Ｂおよび４２４は、コマンド列comに応じて、演算回路群４１１Ａおよび４１１Ｂ、メモリ４１２Ａおよび４１２Ｂ、積和演算回路群４１３Ａおよび４１３Ｂ、アダー４１４Ａおよび４１４Ｂ、乗算器４１５Ａおよび４１５Ｂ、並びにレジスタ群４１６Ａおよび４１６Ｂどうしの接続状態を切り換え、これにより、信号処理回路６６１の内部構造を切り換える。
【０７７９】
図５９は、図５７の信号処理回路６６１の他の構成例を示している。
【０７８０】
端子io1からの画像データが、クラス分類回路５１１Ａ、遅延選択回路５１２Ａおよびライン遅延回路５１７に供給される。
【０７８１】
クラス分類回路５１１Ａは、図１のタップ選択部１３およびクラス分類部１４に対応する。クラス分類回路５１１Ａは、端子io1からの画像データ、またはライン遅延回路５１７からの画像データから、幾つかの画素（の画素値）を選択し、その画素をクラスタップとして、クラス分類を行い、その結果得られるクラスコードを、切換回路５１３Ａに供給する。
【０７８２】
但し、クラス分類回路５１１Ａは、クラスタップとして、１次元の配列の複数の画素を選択することと、２次元の配列の複数の画素を選択することが可能になっている。ここで、１次元の配列の複数の画素としては、例えば、水平方向に並ぶ幾つかの画素や、垂直方向に並ぶ幾つかの画素がある。また、２次元の配列の複数の画素としては、例えば、ある画素を中心とする、水平方向にＸ個、垂直方向にＹ個の画素でなる長方形の領域内にある画素がある。
【０７８３】
従って、クラス分類回路５１１Ａで行われるクラス分類には、１次元の配列の複数の画素をクラスタップとして行われるものと、２次元の配列の複数の画素をクラスタップとして行われるものがある。１次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、１次元クラス分類という。また、２次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、２次元クラス分類という。
【０７８４】
なお、クラスタップは、３次元の配列の複数の画素で構成することも可能である。３次元の配列の複数の画素としては、例えば、ある画素を中心とする、水平方向にＸ個、垂直方向にＹ個、時間方向にＴ個の画素でなる直方体の領域内にある画素がある。３次元の配列の複数の画素をクラスタップとして行われるクラス分類を、以下、適宜、３次元クラス分類という。
【０７８５】
クラス分類回路５１１Ａは、１次元クラス分類と２次元クラス分類を行い、その１次元クラス分類と２次元クラス分類により得られる２つのクラスコードを、切換回路５１３Ａに供給する。
【０７８６】
遅延選択回路５１２Ａは、図１のタップ選択部１２に対応する。遅延選択回路５１２Ａは、端子io1からの画像データ、またはライン遅延回路５１７からの画像データから、幾つかの画素（の画素値）を選択し、その画素を予測タップとして、切換回路５１４Ａに供給する。
【０７８７】
但し、遅延選択回路５１２Ａは、予測タップとして、１次元の配列の複数の画素を選択することと、２次元の配列の複数の画素を選択することが可能になっている。１次元の配列の複数の画素で構成される予測タップを、以下、適宜、１次元予測タップといい、２次元の配列の複数の画素で構成される予測タップを、以下、適宜、２次元予測タップという。
【０７８８】
なお、予測タップは、３次元の配列の複数の画素で構成することも可能であり、３次元の配列の複数の画素で構成される予測タップを、以下、適宜、３次元予測タップという。
【０７８９】
遅延選択回路５１２Ａは、１次元予測タップと２次元予測タップを得て、切換回路５１４Ａに供給する。
【０７９０】
なお、遅延選択回路５１２Ａは、予測演算回路５１６Ａで演算されるべき予測タップとタップ係数とが、予測演算回路５１６Ａに供給されるタイミングを調整する等のために、１次元予測タップと２次元予測タップとを、所定の時間だけ遅延して出力する。
【０７９１】
切換回路５１３Ａは、端子io5からのコマンド列に応じて、クラス分類回路５１１Ａが２つのクラスコードを出力する２つの出力端のうちの一方を選択し、係数出力回路５１５Ａに接続する。その結果、クラス分類回路５１１Ａから係数出力回路５１５Ａに対しては、切換回路５１３Ａを介して、１次元クラス分類の結果としてのクラスコードまたは２次元クラス分類の結果としてのクラスコードのうちの一方が供給される。
【０７９２】
切換回路５１４Ａは、端子io5からのコマンド列に応じて、遅延選択回路５１２Ａが２つの予測タップを出力する２つの出力端のうちの一方を選択し、予測演算回路５１６Ａに接続する。その結果、遅延選択回路５１２Ａから予測演算回路５１６Ａに対しては、切換回路５１４Ａを介して、１次元予測タップまたは２次元予測タップのうちの一方が供給される。
【０７９３】
係数出力回路５１５Ａは、図１の係数出力部１５に対応し、あらかじめ行われた学習によって得られた、幾つかの異なる種類のタップ係数を記憶している。係数出力回路５１５Ａは、端子io5からのコマンド列に応じた種類のタップ係数を選択し、さらに、そのタップ係数の中から、クラス分類回路５１１Ａから切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。
【０７９４】
なお、係数出力回路５１５Ａは、各種類のタップ係数として、予測タップが１次元予測タップである場合に用いられるべきものと、２次元予測タップである場合に用いられるべきものを記憶しており、さらに、それぞれのタップ係数として、クラス分類として１次元クラス分類が行われる場合に用いられるべきものと、２次元クラス分類が行われる場合に用いられるべきものを記憶している。このように、ある種類のタップ係数としては、複数パターンのタップ係数が存在することがあるが、以下では、この点の説明は省略する。
【０７９５】
予測演算回路５１６Ａは、図１の予測演算部１６に対応する。予想演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される予測タップと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）の演算を行い、その演算結果を、注目画素（の画素値）として、積和演算回路５１８および切換回路５１９に供給する。
【０７９６】
ここで、式（１）にしたがった予測タップとタップ係数との演算は、FIR(Finite Impulse Response)フィルタによる演算（フィルタリング）に等価である。そこで、１次元予測タップ、２次元予測タップ、または３次元予測タップを用いて行われる式（１）の演算を、以下、適宜、１次元フィルタ演算、２次元フィルタ演算、または３次元フィルタ演算と、それぞれいう。
【０７９７】
クラス分類回路５１１Ｂ、遅延選択回路５１２Ｂ、切換回路５１３Ｂ，５１４Ｂ、係数出力回路５１５Ｂ、予測演算回路５１６Ｂは、上述のクラス分類回路５１１Ａ、遅延選択回路５１２Ａ、切換回路５１３Ａ，５１４Ａ、係数出力回路５１５Ａ、予測演算回路５１６Ａとそれぞれ同様に構成される。そして、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂは、クラス分類回路５１１Ａ乃至予測演算回路５１６Ａと同様の接続関係を有する。
【０７９８】
但し、クラス分類回路５１１Ｂおよび遅延選択回路５１２Ｂには、端子io2からの画像データ、端子io2'からの画像データ、およびライン遅延回路５１７からの画像データが供給されるようになっている。
【０７９９】
クラス分類回路５１１Ｂは、そこに供給される画像データから画素を選択することで、クラスタップを構成し、そのクラスタップに基づいて、１次元クラス分類、２次元クラス分類、３次元クラス分類を行う。さらに、クラス分類回路５１１Ｂは、その３つのクラス分類によって得られる３つのクラスコードを、切換回路５１３Ｂに供給する。
【０８００】
なお、クラス分類回路５１１Ｂは、端子io2またはio2'から供給される画像データの動きも検出し、その動きを表す動き情報を、積和演算回路５１８に供給する。
【０８０１】
遅延選択回路５１２Ｂは、そこに供給される画像データから画素を選択することで、１次元予測タップ、２次元予測タップ、３次元予測タップを構成し、切換回路５１４Ｂに供給する。
【０８０２】
切換回路５１３Ｂは、端子io5からのコマンド列に応じて、クラス分類回路５１１Ｂからの３つのクラスコードのうちのいずれかを選択し、係数出力回路５１５Ｂに供給する。
【０８０３】
切換回路５１４Ｂは、端子io5からのコマンド列に応じて、遅延選択回路５１２Ｂからの３つの予測タップのうちのいずれかを選択し、予測演算回路５１６Ｂに供給する。
【０８０４】
係数出力回路５１５Ｂは、係数出力回路５１５Ａと同様に、幾つかの異なる種類のタップ係数を記憶している。係数出力回路５１５Ｂは、端子io5からのコマンド列に応じた種類のタップ係数を選択し、さらに、そのタップ係数の中から、クラス分類回路５１１Ｂから切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂに供給する。
【０８０５】
予測演算回路５１６Ａは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される予測タップと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）の演算を行い、その演算結果を、注目画素（の画素値）として、端子io4と、積和演算回路５１８に供給する。
【０８０６】
ライン遅延回路５１７は、メモリで構成された１乃至数ライン分の遅延を生じさせる回路で、端子io1からの画像データを１乃至数ライン分だけ遅延して、クラス分類回路５１１Ａおよび５１１Ｂ、並びに遅延選択回路５１２Ａおよび５１２Ｂに供給する。
【０８０７】
積和演算回路５１８は、予測演算回路５１６Ａと５１６Ｂの出力どうしの重み付け加算を、クラス分類回路５１１Ｂから供給される動き情報を重みとして行い、その加算結果を、切換回路５１９に供給する。
【０８０８】
切換回路５１９は、端子io5からのコマンド列に応じて、予測演算回路５１６Ａの出力または積和演算回路５１８の出力のうちの一方を選択し、端子io3に供給する。
【０８０９】
上述したように、図５９において、クラス分類回路５１１Ａと５１１Ｂは、図１のタップ選択部１３およびクラス分類部１４に対応し、遅延選択回路５１２Ａと５１２Ｂは、図１のタップ選択部１２に対応する。また、係数出力回路５１５Ａと５１５Ｂは、図１の係数出力部１５に対応し、予測演算回路５１６Ａと５１６Ｂは、図１の予測演算部１６に対応する。
【０８１０】
従って、クラス分類回路５１１Ａ乃至予測演算回路５１６Ａでは、端子io1から供給される画像データおよびライン遅延回路５１７から供給される画像データを、第１の画像データとして、クラス分類適応処理（としての画像変換処理）を行うことができ、予測演算回路５１６Ａから出力される画像データが、そのクラス分類適応処理の結果としての第２の画像データである。
【０８１１】
また、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂでも、端子io2から供給される画像データ、端子io2'から供給される画像データ、およびライン遅延回路５１７から供給される画像データを、第１の画像データとして、クラス分類適応処理（としての画像変換処理）を行うことができ、予測演算回路５１６Ｂから出力される画像データが、そのクラス分類適応処理の結果としての第２の画像データである。
【０８１２】
次に、図６０のフローチャートを参照して、クラス分類回路５１１Ａ乃至予測演算回路５１６Ａと、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂとで行われるクラス分類適応処理としての画像変換処理について説明する。
【０８１３】
なお、以下、適宜、クラス分類回路５１１Ａと５１１Ｂをクラス分類回路５１１と、遅延選択回路５１２Ａと５１２Ｂを遅延選択回路５１２と、切換回路５１３Ａと５１３Ｂを切換回路５１３と、切換回路５１４Ａと５１４Ｂを切換回路５１４と、係数出力回路５１５Ａと５１５Ｂを係数出力回路５１５と、予測演算回路５１６Ａと５１６Ｂを予測演算回路５１６と、それぞれ記載する。
【０８１４】
ステップＳ６６１において、クラス分類回路５１１および遅延選択回路５１２に対し、画像データが入力される。なお、クラス分類回路５１１および遅延選択回路５１２に入力された画像データが、クラス分類適応処理の第１の画像データであり、クラス分類適応処理では、その第１の画像データが、第２の画像データに変換される。
【０８１５】
その後、第２の画像データのうちの、まだ注目画素としていない画素が、注目画素として選択され、ステップＳ６６２に進み、クラス分類回路５１１は、注目画素についてのクラスタップとなる画素を、第１の画像データから選択（抽出）して、ステップＳ６６３に進む。ステップＳ６６３では、クラス分類回路５１１が、クラスタップに基づいて、クラス分類を行い、その結果得られるクラスコードを、切換回路５１３を介して、係数出力回路５１５に出力する。
【０８１６】
そして、ステップＳ６６４に進み、遅延選択回路５１２が、注目画素についての予測タップとなる画素を、第１の画像データから選択（抽出）し、予測演算回路５１６に供給して、ステップＳ６６５に進む。
【０８１７】
ステップＳ６６５では、係数出力回路５１５が、ステップＳ６６３でクラス分類回路５１１が出力したクラスコードに対応するクラスタップ係数を、予測演算回路５１６に出力し、ステップＳ６６６に進む。
【０８１８】
ステップＳ６６６では、予測演算回路５１６が、遅延選択回路５１２からの予測タップと、係数出力回路５１５からのタップ係数とを用いて式（１）の演算（フィルタ演算）を行い、その演算結果を、注目画素（の画素値）として出力し、処理を終了する。
【０８１９】
なお、図６０のステップＳ６６２乃至Ｓ６６６の処理は、第２の画像データの画素すべてを注目画素として行われる。
【０８２０】
次に、図５９に示した構成の信号処理回路６６１を有する図５７の信号処理回路６５６の処理について説明する。
【０８２１】
まず、リモコン６１８（図４９）のＡボタンが操作され、これにより、図５４に示した１つのコマンドである１次元空間解像度創造コマンドが配置されたＡボタンコマンド列６４１が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。
【０８２２】
信号処理回路６５６（図５７）に供給されたＡボタンコマンド列６４１は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。
【０８２３】
切換回路６６２は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。
【０８２４】
さらに、切換回路６６４は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。
【０８２５】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、信号線の選択状態（各ブロックの接続状態）を、１次元空間解像度創造処理を行うように切り換える。
【０８２６】
ここで、１次元空間解像度創造処理とは、予測タップとして１次元予測タップを用いる空間解像度創造処理を意味する。
【０８２７】
図６１は、信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む図５７の信号処理回路６５６を示している。
【０８２８】
図６１において、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６１に実線で示すように切り換え、これにより、信号処理として、１次元空間解像度創造処理が行われる。
【０８２９】
なお、図６１において、点線で示す信号線は、配線されているが、現在の信号処理回路６６１による信号処理に関係のない信号線を意味している。
【０８３０】
また、図６１では、図５７におけるフレームメモリ５２３、切換回路６６２乃至６６５の図示を省略してある。
【０８３１】
図６１の信号処理回路６５６では、例えば、そこに入力される、クラス分類適応処理の第１の画像データとしての標準解像度の画像データ（以下、適宜、ＳＤ画像データと称する）を、その水平方向と垂直方向の画素数をいずれも２倍にした、クラス分類適応処理の第２の画像データとしての高解像度の画像データ（以下、適宜、ＨＤ画像データと称する）に変換する空間解像度創造処理（１次元空間解像度創造処理）が行われる。
【０８３２】
なお、ここでは、例えば、最初に、ＳＤ画像データ（第１の画像データ）の垂直方向の画素数を２倍とし、その後に水平方向の画素数を２倍とすることで、画素数が４倍のＨＤ画像データ（第２の画像データ）を得るものとする。
【０８３３】
図６１において、走査線変換回路５２１Ａには、ＳＤ画像データが供給される。走査線変換回路５２１Ａは、そこに供給されるＳＤ画像データを対象に、水平走査（テレビジョンラスタの走査順序）から垂直走査への変換を行う。
【０８３４】
走査線変換５２１Ａで走査方向が変換されたＳＤ画像データは、信号処理回路６６１の端子io1に供給される。
【０８３５】
端子io1に供給されたＳＤ画像データは、クラス分類回路５１１Ａと遅延選択回路５１２Ａに供給される。
【０８３６】
クラス分類回路５１１Ａは、端子io1からのＳＤ画像データからクラスタップを選択し、そのクラスタップに基づいて、１次元クラス分類を行う。そして、クラス分類回路５１１Ａは、１次元クラス分類によって得られるクラスコードを、切換回路５１３Ａを介して、係数出力回路５１５Ａに供給する。
【０８３７】
係数出力回路５１５Ａは、少なくとも１次元空間解像度創造処理用のタップ係数を含む複数種類のタップ係数を記憶しており、端子io5から供給されるＡボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、１次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ａは、クラス分類回路５１１Ａから、切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。
【０８３８】
一方、遅延選択回路５１２Ａは、端子io1からのＳＤ画像データから１次元予測タップを選択し、切換回路５１４Ａを介して、予測演算回路５１６Ａに供給する。
【０８３９】
予測演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される１次元予測タップとしてのＳＤ画像データの複数の画素データと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（１次元フィルタ演算）を行い、これにより、垂直方向の画素数が元のＳＤ画像データの２倍となった画像データ（画素の画素値）を得て出力する。
【０８４０】
予測演算回路５１６Ａが出力する画像データは、切換回路１１９を介して、端子io3から出力され、さらに、切換回路６６４（図５７）を介して、走査線変換回路５２１Ｂに供給される。
【０８４１】
走査線変換回路５２１Ｂは、そこに供給される画像データを対象に、垂直走査から水平走査への変換を行う。そして、走査線変換回路５２１Ｂは、その変換によって、テレビジョンラスタと同様の走査の信号となった画像データを、端子io2に供給する。
【０８４２】
端子io2に供給された画像データは、クラス分類回路５１１Ｂと遅延選択回路５１２Ｂに供給される。
【０８４３】
クラス分類回路５１１Ｂは、端子io2からの画像データからクラスタップを選択し、そのクラスタップに基づいて、１次元クラス分類を行う。そして、クラス分類回路５１１Ｂは、１次元クラス分類によって得られるクラスコードを、切換回路５１３Ｂを介して、係数出力回路５１５Ｂに供給する。
【０８４４】
係数出力回路５１５Ｂは、少なくとも１次元空間解像度創造処理用のタップ係数を含む複数種類のタップ係数を記憶しており、端子io5から供給されるＡボタンコマンド列６４１の中の１次元空間解像度創造コマンドに応じて、１次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ｂは、クラス分類回路５１１Ｂから、切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂに供給する。
【０８４５】
一方、遅延選択回路５１２Ｂは、端子io2からの画像データから１次元予測タップを選択し、切換回路５１４Ｂを介して、予測演算回路５１６Ｂに供給する。
【０８４６】
予測演算回路５１６Ｂは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される１次元予測タップとしての画像データの複数の画素データと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（１次元フィルタ演算）を行い、これにより、垂直方向と水平方向の画素数がいずれも元の画像データの２倍となったＨＤ画像データ（画素の画素値）を得て出力する。
【０８４７】
予測演算回路５１６Ｂが出力する画像データは、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０８４８】
次に、リモコン６１８（図４９）のＡボタンが操作され、これにより、図５４に示した１つのコマンドである２次元空間解像度創造コマンドが配置されたＡボタンコマンド列６４２が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。
【０８４９】
信号処理回路６５６（図５７）に供給されたＡボタンコマンド列６４２は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。
【０８５０】
切換回路６６２は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。
【０８５１】
さらに、切換回路６６４は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。
【０８５２】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換える。
【０８５３】
ここで、２次元空間解像度創造処理とは、予測タップとして２次元予測タップを用いる空間解像度創造処理を意味する。
【０８５４】
図６２は、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む図５７の信号処理回路６５６を示している。
【０８５５】
図６２において、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ａボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６２に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理が行われる。
【０８５６】
なお、図６２において、点線で示す信号線は、配線されているが、現在の信号処理回路６６１による信号処理に関係のない信号線を意味している。
【０８５７】
また、図６２では、図５７におけるフレームメモリ５２３、切換回路６６２乃至６６５の図示を省略してある。
【０８５８】
図６２の信号処理回路６５６では、例えば、図６１における場合と同様に、そこに入力される、クラス分類適応処理の第１の画像データとしてのＳＤ画像データを、その水平方向と垂直方向の画素数をいずれも２倍にした、クラス分類適応処理の第２の画像データとしてのＨＤ画像データに変換する空間解像度創造処理が行われる。但し、図６２では、クラス分類として、２次元クラス分類が採用されるとともに、予測タップとして、２次元予測タップが採用される。
【０８５９】
なお、ここでも、例えば、最初に、ＳＤ画像データ（第１の画像データ）の垂直方向の画素数を２倍とし、その後に水平方向の画素数を２倍とすることで、画素数が４倍のＨＤ画像データ（第２の画像データ）を得るものとする。
【０８６０】
図６２において、走査線変換回路５２１Ａには、ＳＤ画像データが供給される。走査線変換回路５２１Ａは、そこに供給されるＳＤ画像データの走査方向を、水平走査から垂直走査に変換し、信号処理回路６６１の端子io1に供給する。
【０８６１】
端子io1に供給されたＳＤ画像データは、クラス分類回路５１１Ａ、遅延選択回路５１２Ａ、およびライン遅延回路５１７に供給される。
【０８６２】
ライン遅延回路５１７は、そこに供給されるＳＤ画像データを、１乃至数ライン分だけ遅延して、クラス分類回路５１１Ａおよび５１１Ｂ、並びに遅延選択回路５１２Ａおよび５１２Ｂに供給する。
【０８６３】
クラス分類回路５１１Ａは、端子io1からのＳＤ画像データと、ライン遅延回路５１７ＡからのＳＤ画像データとからクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路５１１Ａは、２次元クラス分類によって得られるクラスコードを、切換回路５１３Ａを介して、係数出力回路５１５Ａに供給する。
【０８６４】
係数出力回路５１５Ａが記憶している複数種類のタップ係数には、２次元空間解像度創造処理用のタップ係数が含まれており、係数出力回路５１５Ａは、端子io5から供給されるＡボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、２次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ａは、クラス分類回路５１１Ａから、切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。
【０８６５】
一方、遅延選択回路５１２Ａは、端子io1からのＳＤ画像データと、ライン遅延回路５１７ＡからのＳＤ画像データとから２次元予測タップを選択し、切換回路５１４Ａを介して、予測演算回路５１６Ａに供給する。
【０８６６】
予測演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される２次元予測タップとしてのＳＤ画像データの複数の画素データと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、垂直方向の画素数が元のＳＤ画像データの２倍となった画像データ（画素の画素値）を得て出力する。
【０８６７】
予測演算回路５１６Ａが出力する画像データは、切換回路１１９を介して、端子io3から出力され、さらに、切換回路６６４（図５７）を介して、走査線変換回路５２１Ｂに供給される。
【０８６８】
走査線変換回路５２１Ｂは、そこに供給される画像データの走査方向を、垂直走査から水平走査に変換し、テレビジョンラスタと同様の走査の信号となった画像データを、端子io2に供給する。
【０８６９】
端子io2に供給された画像データは、クラス分類回路５１１Ｂと遅延選択回路５１２Ｂに供給される。
【０８７０】
クラス分類回路５１１Ｂは、端子io2からの画像データと、ライン遅延回路５１７からの画像データとからクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路５１１Ｂは、２次元クラス分類によって得られるクラスコードを、切換回路５１３Ｂを介して、係数出力回路５１５Ｂに供給する。
【０８７１】
係数出力回路５１５Ｂが記憶している複数種類のタップ係数には、２次元空間解像度創造処理用のタップ係数が含まれており、係数出力回路５１５Ｂは、端子io5から供給されるＡボタンコマンド列６４２の中の２次元空間解像度創造コマンドに応じて、２次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路５１５Ｂは、クラス分類回路５１１Ｂから、切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂ供給する。
【０８７２】
一方、遅延選択回路５１２Ｂは、端子io2からの画像データと、ライン遅延回路５１７からの画像データとから２次元予測タップを選択し、切換回路５１４Ｂを介して、予測演算回路５１６Ｂに供給する。
【０８７３】
予測演算回路５１６Ｂは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される２次元予測タップとしての画像データの複数の画素データと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、垂直方向と水平方向の画素数がいずれも元の画像データの２倍となったＨＤ画像データ（画素の画素値）を得て出力する。
【０８７４】
予測演算回路５１６Ｂが出力する画像データは、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０８７５】
次に、リモコン６１８（図４９）のＢボタンが操作され、これにより、図５４に示した１つのコマンドであるノイズ除去コマンドが配置されたＢボタンコマンド列６４３が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。
【０８７６】
信号処理回路６５６に供給されたＢボタンコマンド列６４３は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。
【０８７７】
切換回路６６２は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３も、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io2に接続する。
【０８７８】
さらに、切換回路６６４は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、切換回路６６５への入力を選択して、信号処理回路６６１の端子io3を、切換回路６６５に接続する。また、切換回路６６５は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、切換回路６６４の出力を選択して、SW回路６５５（図５５）に接続する。
【０８７９】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。
【０８８０】
ここで、信号処理回路６６１でのノイズ除去処理は、２次元ノイズ除去処理の処理結果と、３次元ノイズ除去処理の処理結果とを、画像の動きに応じて加算することによって行われる。なお、２次元ノイズ除去処理または３次元ノイズ除去処理とは、予測タップとして２次元予測タップまたは３次元予測タップを用いるノイズ除去処理を、それぞれ意味する。画像に動きがある場合には、２次元ノイズ除去処理が有効であり、画像に動きがない（動きが小さい）場合には、３次元ノイズ除去処理が有効である。
【０８８１】
図６３は、信号線の選択状態を、ノイズ除去処理を行うように切り換えた信号処理回路６６１を含む図５７の信号処理回路６５６を示している。
【０８８２】
図６３において、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｂボタンコマンド列６４３の中のノイズ除去コマンドに応じて、信号線の選択状態を、図６３に実線で示すように切り換え、これにより、信号処理として、ノイズ除去処理が行われる。
【０８８３】
なお、図６３において、点線で示す信号線は、配線されているが、現在の信号処理回路６６１による信号処理に関係のない信号線を意味している。
【０８８４】
また、図６３では、図５７における走査線変換回路５２１Ａおよび５２１Ｂ、並びに切換回路６６２乃至６６５の図示を省略してある。
【０８８５】
図６３の信号処理回路６５６では、そこに入力される、クラス分類適応処理の第１の画像データを、そのS/Nの向上した、クラス分類適応処理の第２の画像データに変換する２次元ノイズ除去処理と３次元ノイズ除去処理が行われ、さらに、その２次元ノイズ除去処理の処理結果と、３次元ノイズ除去処理の処理結果とを、画像の動きに応じて加算することにより、最終的な信号処理結果としての高S/Nの画像データを得るノイズ除去処理が行われる。
【０８８６】
図６３において、信号処理回路６５６に入力された画像データは、フレームメモリ５２３、並びに信号処理回路６６１の端子io1およびio2に供給される。
【０８８７】
フレームメモリ５２３は、そこに供給される画像データを記憶することにより、１フレーム（またはフィールド）分だけ遅延して、信号処理回路６６１の端子io2'に供給する。
【０８８８】
ここで、端子io1およびio2に供給される画像データのフレームを、以下、適宜、現フレームという。また、フレームメモリ５２３から端子io2'に供給される、現フレームの１フレーム前のフレームを、前フレームという。
【０８８９】
端子io1に供給された現フレームの画像データは、クラス分類回路５１１Ａ、遅延選択回路５１２Ａ、およびライン遅延回路５１７に供給される。また、端子io2に供給された現フレームの画像データは、クラス分類回路５１１Ｂおよび遅延選択回路５１２Ｂに供給される。さらに、端子io2'に供給された前フレームの画像データも、クラス分類回路５１１Ｂおよび遅延選択回路５１２Ｂに供給される。
【０８９０】
ライン遅延回路５１７は、そこに供給される現フレームの画像データを、１乃至数ライン分だけ遅延して、クラス分類回路５１１Ａおよび５１１Ｂ、並びに遅延選択回路５１２Ａおよび５１２Ｂに供給する。
【０８９１】
クラス分類回路５１１Ａは、端子io1からの現フレームの画像データと、ライン遅延回路５１７Ａからの現フレームの画像データとからクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路５１１Ａは、２次元クラス分類によって得られるクラスコードを、切換回路５１３Ａを介して、係数出力回路５１５Ａに供給する。
【０８９２】
係数出力回路５１５Ａが記憶している複数種類のタップ係数には、２次元ノイズ除去処理用のタップ係数も含まれており、係数出力回路５１５Ａは、端子io5から供給されるＢボタンコマンド列６４３の中のノイズ除去コマンドに応じて、２次元ノイズ除去処理用のタップ係数を選択している。そして、係数出力回路５１５Ａは、クラス分類回路５１１Ａから、切換回路５１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ａに供給する。
【０８９３】
また、遅延選択回路５１２Ａは、端子io1からの現フレームの画像データと、ライン遅延回路５１７Ａからの現フレームの画像データとから２次元予測タップを選択し、切換回路５１４Ａを介して、予測演算回路５１６Ａに供給する。
【０８９４】
予測演算回路５１６Ａは、遅延選択回路５１２Ａから切換回路５１４Ａを介して供給される２次元予測タップとしての現フレームの画像データの複数の画素データと、係数出力回路５１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、２次元ノイズ除去処理が施された現フレームの画像データ（画素の画素値）を得て、積和演算回路５１８に出力する。
【０８９５】
一方、クラス分類回路５１１Ｂは、端子io2からの現フレームの画像データ、ライン遅延回路５１７からの現フレームの画像データ、および端子io2'からの前フレームの画像データからクラスタップを選択し、そのクラスタップに基づいて、３次元クラス分類を行う。そして、クラス分類回路５１１Ｂは、３次元クラス分類によって得られるクラスコードを、切換回路５１３Ｂを介して、係数出力回路５１５Ｂに供給する。
【０８９６】
さらに、クラス分類回路５１１Ｂは、端子io2からの現フレームの画像データ、ライン遅延回路５１７からの現フレームの画像データ、および端子io2'からの前フレームの画像データから、現フレームの画像データの動きを検出し、その動きを表す動き情報Ｋを、積和演算回路１１８に供給する。
【０８９７】
ここで、クラス分類回路５１１Ｂでの動きの検出方法としては、例えば、グラジェント法と称されるものを採用できる。グラジェント法は、動き領域中の画素についてのフレーム差と傾き情報（水平方向では、サンプリング差、垂直方向ではライン差）を用いて動き量を求めるものである。
【０８９８】
即ち、グラジェント法によれば、フレーム差ΔＦ（現フレームの画素値から前フレームの対応画素値を減算したもの）と、サンプリング差ΔＥ（現フレームのある画素の値から、その左隣の画素の値を減算したもの）Ｅが求められる。そして、フレーム差ΔＦの絶対値｜ΔＦ｜の動き領域中の積算値Σ｜ΔＦ｜と、サンプリング差ΔＥの絶対値｜ΔＥ｜の動き領域中の積算値Σ｜ΔＥ｜とから、動きの水平方向成分ｖ１の大きさ｜ｖ１｜が、式｜ｖ１｜＝Σ｜ΔＦ｜／Σ｜ΔＥ｜によって求められる。なお、動きの水平方向成分ｖ１の方向（右または左）は、フレーム差ΔＦの極性とサンプリング差ΔＥの極性との関係から求められる。動きの垂直方向成分ｖ２についても同様して求めることができる。
【０８９９】
クラス分類回路５１１Ｂは、動きの水平方向成分ｖ１と垂直方向成分ｖ２とから、画像の動きを求め、例えば、その動きの大きさを、所定ビット数で表した情報を、動き情報Ｋとして、積和演算回路１１８に供給する。
【０９００】
なお、クラス分類回路５１１Ｂでは、上述したように、３次元クラス分類を行う他、動きの水平方向成分ｖ１と垂直方向成分ｖ２とを用いたクラス分類を行うことも可能である。
【０９０１】
係数出力回路５１５Ｂが記憶している複数種類のタップ係数には、３次元ノイズ除去処理用のタップ係数も含まれており、係数出力回路５１５Ｂは、端子io5から供給されるＢボタンコマンド列６４３の中のノイズ除去コマンドに応じて、３次元ノイズ除去処理用のタップ係数を選択している。そして、係数出力回路５１５Ｂは、クラス分類回路５１１Ｂから、切換回路５１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出し、予測演算回路５１６Ｂ供給する。
【０９０２】
また、遅延選択回路５１２Ｂは、端子io2からの現フレームの画像データ、ライン遅延回路５１７からの現フレームの画像データ、および端子io2'からの前フレームの画像データから３次元予測タップを選択し、切換回路５１４Ｂを介して、予測演算回路５１６Ｂに供給する。
【０９０３】
予測演算回路５１６Ｂは、遅延選択回路５１２Ｂから切換回路５１４Ｂを介して供給される３次元予測タップとしての画像データの複数の画素データと、係数出力回路５１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（３次元フィルタ演算）を行い、これにより、３次元ノイズ除去処理が施された現フレームの画像データ（画素の画素値）を得て、積和演算回路５１８に出力する。
【０９０４】
積和演算回路５１８は、予測演算回路５１６Ａからの２次元ノイズ除去処理が施された現フレームの画像データと、予測演算回路５１６Ｂからの３次元ノイズ除去処理が施された現フレームの画像データとの重み付け加算を、クラス分類回路５１１Ｂから供給される動き情報Ｋを重み係数として行う。
【０９０５】
即ち、２次元ノイズ除去処理または３次元ノイズ除去処理が施された現フレームの画像データを、それぞれP2またはP3とするとともに、動き情報Ｋが０乃至１の範囲の値をとするものとすると、積和演算回路５１８は、式P=Ｋ×P2＋（１−Ｋ）×P3にしたがって、最終的なノイズ除去処理結果としての画像データPを求める。
【０９０６】
積和演算回路５１８が出力する画像データは、切換回路５１９を介して、端子io3から出力され、さらに、切換回路６６４および６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０９０７】
次に、リモコン６１８（図４９）のＣボタンが操作され、これにより、図５４に示した１次元空間解像度創造コマンドおよびノイズ除去コマンドが配置されたＣボタンコマンド列６４４が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。
【０９０８】
信号処理回路６５６（図５７）に供給されたＣボタンコマンド列６４４は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。
【０９０９】
切換回路６６２は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。
【０９１０】
さらに、切換回路６６４は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。
【０９１１】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中の１番目の１次元空間解像度創造コマンドに応じて、信号線の選択状態を、１次元空間解像度創造処理を行うように切り換える。
【０９１２】
即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中の１次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６１に実線で示したように切り換える。
【０９１３】
従って、信号処理回路６５６では、図６１で説明したように、そこに入力される画像データを対象として、１次元解像度創造処理が行われ、その画像データの空間解像度を向上させた画像データが、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０９１４】
図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｃボタンコマンド列６４４の１番目の１次元空間解像度創造コマンドに対応する信号処理である１次元空間解像度創造処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５３に供給して記憶させる。さらに、SW回路６５４は、フレームメモリ６５４に記憶された画像データを、信号処理回路６５６に供給する。
【０９１５】
従って、信号処理回路６５６（図５５）において１次元解像度創造処理が行われることにより得られた画像データは、切換回路６６５、フレームメモリ６５３、およびSW回路６５４を介して、信号処理回路６５６に再入力する。
【０９１６】
その後、信号処理回路６５６（図５７）において、切換回路６６２は、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３も、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io2に接続する。
【０９１７】
さらに、切換回路６６４も、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６５への入力を選択して、信号処理回路６６１の端子io3を、切換回路６６５に接続する。また、切換回路６６５も、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６４の出力を選択して、SW回路６５５（図５５）に接続する。
【０９１８】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。
【０９１９】
即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｃボタンコマンド列６４４の中のノイズ除去コマンドに応じて、信号線の選択状態を、図６３に実線で示したように切り換える。
【０９２０】
従って、信号処理回路６５６では、図６３で説明したように、そこに再入力される、１次元空間解像度創造処理によって空間解像度が向上した画像データを対象として、ノイズ除去処理が行われ、その画像データのS/Nを向上させた画像データが、端子io3から出力され、さらに、切換回路６６４および６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０９２１】
図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｃボタンコマンド列６４４の２番目、即ち、最後のノイズ除去コマンドに対応する信号処理であるノイズ除去処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５２を介して、合成部６０７（図４８）に供給する。
【０９２２】
従って、合成部６０７には、１次元空間解像度創造処理によって空間解像度が向上し、かつノイズ除去処理によってS/Nが向上した画像データが供給されることになる。
【０９２３】
次に、リモコン６１８（図４９）のＤボタンが操作され、これにより、図５４に示した２次元空間解像度創造コマンドおよびノイズ除去コマンドが配置されたＤボタンコマンド列６４４が、図５５の受信部６５０で受信され、図５７の信号処理回路６５６に供給された場合の処理について説明する。
【０９２４】
信号処理回路６５６（図５７）に供給されたＤボタンコマンド列６４４は、切換回路６６２乃至６６５、および信号処理回路６６１の端子io5に供給される。
【０９２５】
切換回路６６２は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ａの出力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂの出力を選択して、信号処理回路６６１の端子io2に接続する。
【０９２６】
さらに、切換回路６６４は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、走査線変換回路５１２Ｂへの入力を選択して、信号処理回路６６１の端子io3を、走査線変換回路５１２Ｂに接続する。また、切換回路６６５は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、信号処理回路６６１の端子io4を選択して、SW回路６５５（図５５）に接続する。
【０９２７】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中の１番目の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換える。
【０９２８】
即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中の２次元空間解像度創造コマンドに応じて、信号線の選択状態を、図６２に実線で示したように切り換える。
【０９２９】
従って、信号処理回路６５６では、図６２で説明したように、そこに入力される画像データを対象として、２次元解像度創造処理が行われ、その画像データの空間解像度を向上させた画像データが、端子io4から出力され、さらに、切換回路６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０９３０】
図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｄボタンコマンド列６４４の１番目の２次元空間解像度創造コマンドに対応する信号処理である２次元空間解像度創造処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５３に供給して記憶させる。さらに、SW回路６５４は、フレームメモリ６５４に記憶された画像データを、信号処理回路６５６に供給する。
【０９３１】
従って、信号処理回路６５６（図５５）において２次元解像度創造処理が行われることにより得られた画像データは、切換回路６６５、フレームメモリ６５３、およびSW回路６５４を介して、信号処理回路６５６に再入力する。
【０９３２】
その後、信号処理回路６５６（図５７）において、切換回路６６２は、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io1に接続する。また、切換回路６６３も、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号処理回路６５６への入力を選択して、信号処理回路６６１の端子io2に接続する。
【０９３３】
さらに、切換回路６６４も、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６５への入力を選択して、信号処理回路６６１の端子io3を、切換回路６６５に接続する。また、切換回路６６５も、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、切換回路６６４の出力を選択して、SW回路６５５（図５５）に接続する。
【０９３４】
さらに、信号処理回路６６１（図５９）の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中の２番目のノイズ除去コマンドに応じて、信号線の選択状態を、ノイズ除去処理を行うように切り換える。
【０９３５】
即ち、信号処理回路６６１の切換回路５１３Ａおよび５１３Ｂ、切換回路５１４Ａおよび５１４Ｂ、並びに切換回路５１９は、Ｄボタンコマンド列６４４の中のノイズ除去コマンドに応じて、信号線の選択状態を、図６３に実線で示したように切り換える。
【０９３６】
従って、信号処理回路６５６では、図６３で説明したように、そこに再入力される、２次元空間解像度創造処理によって空間解像度が向上した画像データを対象として、ノイズ除去処理が行われ、その画像データのS/Nを向上させた画像データが、端子io3から出力され、さらに、切換回路６６４および６６５（図５７）を介して、SW回路６５５（図５５）に供給される。
【０９３７】
図５６のフローチャートで説明したことから、図５５のLSI６０６において、Ｄボタンコマンド列６４４の２番目、即ち、最後のノイズ除去コマンドに対応する信号処理であるノイズ除去処理が行われたとき、SW回路６５５は、信号処理回路６５６から供給される画像データを、フレームメモリ６５２を介して、合成部６０７（図４８）に供給する。
【０９３８】
従って、合成部６０７には、２次元空間解像度創造処理によって空間解像度が向上し、かつノイズ除去処理によってS/Nが向上した画像データが供給されることになる。
【０９３９】
以上のように、LSI６０６では、コマンド列が複数のコマンドを有している場合に、そのコマンド列の複数のコマンドとしての、例えば、第１および第２のコマンドのうちの第１のコマンドに応じて、内部構造を第１のコマンドに対応する第１の信号処理を実行する状態に切り換え、第１の信号処理を実行し、その後、さらに、コマンド列の複数のコマンドのうちの第２のコマンドに応じて、内部構造を第２のコマンドに対応する第２の信号処理を実行する状態に切り換え、第２の信号処理を実行する。従って、LSI６０６によれば、単一のハードウェアで、複数の機能を、容易に実現することができる。
【０９４０】
次に、本発明の第４実施の形態について説明する。
【０９４１】
図６４は、本発明の第４実施の形態としてのIC７００の構成例を示している。
【０９４２】
なお、図６４のIC７００は、例えば、図４８のテレビジョン受像機において、LSI６０６に代えて用いることができる。
【０９４３】
IC７００は、外部（例えば、図４８のコントローラ６１３など）から供給される、１以上のコマンドからなるコマンド列を受信し、そのコマンド列の１以上のコマンドそれぞれに応じて、内部構造をリコンフィギュラブルに切り換える。
【０９４４】
そして、コマンド列が、例えば、複数のコマンドからなる場合は、IC７００は、そのコマンド列の第１のコマンドに対応する第１の信号処理を実行し、その後、さらに、コマンド列の第２のコマンドに対応する第２の信号処理を実行する。
【０９４５】
即ち、図６４において、クラス分類回路７１１Ａ、遅延選択回路７１２Ａ、切換回路７１３Ａ，７１４Ａ、係数出力回路７１５Ａ、または予測演算回路７１６Ａは、図５９のクラス分類回路５１１Ａ、遅延選択回路５１２Ａ、切換回路５１３Ａ，５１４Ａ、係数出力回路５１５Ａ、または予測演算回路５１６Ａとそれぞれ同様に構成される。
【０９４６】
また、図６４において、クラス分類回路７１１Ｂ、遅延選択回路７１２Ｂ、切換回路７１３Ｂ，７１４Ｂ、係数出力回路７１５Ｂ、または予測演算回路７１６Ｂは、図５９のクラス分類回路５１１Ｂ、遅延選択回路５１２Ｂ、切換回路５１３Ｂ，５１４Ｂ、係数出力回路５１５Ｂ、または予測演算回路５１６Ｂとそれぞれ同様に構成される。
【０９４７】
さらに、図６４において、ライン遅延回路７１７、積和演算回路７１８、または切換回路７１９も、図５９のライン遅延回路５１７、積和演算回路５１８、または切換回路５１９とそれぞれ同様に構成される。
【０９４８】
但し、図５９のクラス分類回路５１１Ｂは、１次元クラス分類、２次元クラス分類、および３次元クラス分類を行い、切換回路５１３Ｂは、その３つのクラス分類によって得られるクラスコードのうちのいずれかを選択して、係数出力回路５１５Ｂに出力するようになっていたが、図６４では、クラス分類回路７１１Ｂは、２次元クラス分類と３次元クラス分類を行い、切換回路７１３Ｂは、その２つのクラス分類によって得られるクラスコードのうちのいずれかを選択して、係数出力回路７１５Ｂに出力するようになっている。
【０９４９】
また、図５９の遅延選択回路５１２Ｂは、１次元予測タップ、２次元予測タップ、および３次元予測タップを構成し、切換回路５１４Ｂは、その３つの予測タップのうちのいずれかを選択して、予測演算回路５１６Ｂに供給するようになっていたが、図６４では、遅延選択回路７１２Ｂは、２次元予測タップと３次元予測タップを構成し、切換回路７１４Ｂは、その２つの予測タップのうちのいずれかを選択して、予測演算回路７１６Ｂに供給するようになっている。
【０９５０】
受信部７２０は、外部（例えば、図４８のコントローラ６１３など）から供給される、１以上のコマンドからなるコマンド列を受信し、IC７００を構成するブロックのうちの必要なものに供給する。
【０９５１】
フレームメモリ７２１には、IC７００に入力される画像データが供給される。フレームメモリ７２１は、そこに供給される画像データを記憶することにより、例えば、１フレーム分だけ遅延し、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給する。
【０９５２】
なお、IC７００に入力される画像データ（以下、適宜、入力画像データという）は、フレームメモリ７２１の他、クラス分類回路７１１Ａ、遅延選択回路７１２Ａ、および切換回路７２４にも供給されるようになっている。
【０９５３】
ブロック化回路７２２には、切換回路７２４から画像データが供給されるようになっている。ブロック化回路７２２は、そこに供給される画像データから、所定の点（画素）を中心（重心）とする長方形状のブロックを切り出し（抽出し）、切換回路７２６に出力する。
【０９５４】
判定回路７２３には、予測演算回路７１６Ｂから、式（１）の予測演算を行うことにより得られる画像データが供給されるようになっている。判定回路７２３は、予測演算回路７１６Ｂから供給される画像データについて、後述する判定処理を行い、その判定処理の結果に応じて、予測演算回路７１６Ｂからの画像データを、切換回路７２７に出力し、またはIC７００における処理結果として、外部に出力する。
【０９５５】
切換回路７２４には、入力画像データと、切換回路７２５が出力する画像データとが供給されるようになっている。切換回路７２４は、受信部７２０から供給されるコマンド列に応じて、入力画像データ、または切換回路７２５が出力する画像データを選択し、ブロック化回路７２２に出力する。
【０９５６】
また、切換回路７２４は、受信部７２０から供給されるコマンド列に応じて、そこに供給される入力画像データを、切換回路７２５に出力する。
【０９５７】
切換回路７２５には、上述したように、切換回路７２４が出力する画像データが供給される他、切換回路７１９が出力する画像データも供給されるようになっている。切換回路７２５は、受信部７２０から供給されるコマンド列に応じて、切換回路７２４が出力する画像データを、切換回路７２６に供給する。
【０９５８】
また、切換回路７２５は、受信部７２０から供給されるコマンド列に応じて、切換回路７２４または７２６のうちのいずれかを選択し、選択した方に対して、切換回路７１９から供給される画像データを出力する。
【０９５９】
切換回路７２６は、受信部７２０から供給されるコマンド列に応じて、ブロック化回路７２２から供給される画像データ、または切換回路７２５から供給される画像データのうちのいずれかを選択し、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給する。
【０９６０】
切換回路７２７には、ライン遅延回路７１７が出力する画像データと、判定回路７２３が出力する画像データとが供給されるようになっている。切換回路７２７は、受信部７２０から供給されるコマンド列に応じて、ライン遅延回路７１７からの画像データ、または判定回路７２３からの画像データのうちのいずれかを選択し、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに出力する。
【０９６１】
次に、図６５は、図６４の受信部７２０が外部から受信し、IC７００の必要なブロックに供給するコマンド列を構成するコマンドの例を示している。
【０９６２】
第４実施の形態では、コマンドとして、例えば、図６５上側に示すような、「Kaizodo 1dimentional」、「Kaizodo 2dimentional」、「Kaizodo 3dimentional」、「Zoom ver1」、「Zoom ver2」などが用意されている。
【０９６３】
コマンド「Kaizodo 1dimentional」、「Kaizodo 2dimentional」、または「Kaizodo 3dimentional」は、それぞれ、１次元空間解像度創造処理、２次元空間解像度創造処理、または３次元空間解像度創造処理、即ち、１次元予測タップ、２次元予測タップ、または３次元予測タップを用いた空間解像度創造処理を要求するコマンドである。
【０９６４】
また、コマンド「Zoom ver1」は、ある一定倍率の拡大を行うリサイズ処理を繰り返し行う（再帰的に行う）ことで、所望の倍率に拡大した画像データを得る拡大処理を要求するコマンドである。さらに、コマンド「Zoom ver2」は、所望の倍率の拡大を行うリサイズ処理を１回だけ行うことで、その所望の倍率に拡大した画像データを得る拡大処理を要求するコマンドである。
【０９６５】
ここで、コマンド「Zoom ver1」に対応する拡大処理を、以下、適宜、再帰的拡大処理という。また、コマンド「Zoom ver2」に対応する拡大処理を、以下、適宜、１回拡大処理という。
【０９６６】
受信部７２０は、以上のようなコマンドの１以上からなるコマンド列を、外部から受信し、IC７００の必要なブロックに供給する。
【０９６７】
即ち、受信部７２０は、例えば、図６５下側の左に示すように、１つのコマンド「Kaizodo 2dimentional」からなるコマンド列を、外部から受信し、IC７００の必要なブロックに供給する。
【０９６８】
また、受信部７２０は、例えば、図６５下側の右に示すように、２つのコマンド「Kaizodo 2dimentional」と「Zoom ver1」からなるコマンド列を、外部から受信し、IC７００の必要なブロックに供給する。
【０９６９】
次に、図６６は、図６４の係数出力部７１５Ａの構成例を示している。
【０９７０】
図６６では、係数出力部７１５Ａは、係数メモリ群７３１と選択部７３２で構成されている。
【０９７１】
係数メモリ群７３１は、複数の係数メモリで構成され、各係数メモリには、あらかじめ行われた学習により求められた１次元空間解像度創造処理用のタップ係数、２次元空間解像度創造処理用のタップ係数、３次元空間解像度創造処理用のタップ係数、画像のサイズを各種の倍率にリサイズするリサイズ処理用のタップ係数が記憶されている。
【０９７２】
そして、係数メモリ群７３１の各係数メモリには、図６４のクラス分類回路７１１Ａから切換回路７１３Ａを介してクラスコードが供給される。各係数メモリは、そこに供給されるクラスコードに対応するクラスのタップ係数を読み出し、選択部７３２に出力する。
【０９７３】
選択部７３２には、上述したように、係数メモリ群７３１の各係数メモリから読み出されたタップ係数が供給される他、受信部７２０からのコマンド列も供給される。選択部７３２は、受信部２１１から供給されるコマンド列に応じて、係数メモリ群７３１の各係数メモリから供給されるタップ係数のうちのいずれかを選択し、予測演算回路７１６Ａに供給する。
【０９７４】
なお、図６４の係数出力部７１５Ｂも、図６６の係数出力回路７１５Ａと同様に構成される。但し、係数出力部７１５Ａと７１５Ｂを構成する係数メモリ群７３１の係数メモリは、同一である必要はない。即ち、係数出力部７１５Ａと７１５Ｂには、一部異なる、またはすべて異なる種類のタップ係数を記憶させておくことができる。
【０９７５】
次に、図６７のフローチャートを参照して、外部から、１つのコマンド「Kaizodo 1dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【０９７６】
まず、ステップＳ７０１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７０２に進む。
【０９７７】
ステップＳ７０２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７０３に進む。
【０９７８】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 1dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 1dimentional」に対応する１次元空間解像度創造処理を行うように切り換える。
【０９７９】
図６８は、信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えたIC７００を示している。
【０９８０】
図６８において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 1dimentional」に応じて、信号線の選択状態を、図６８に実線で示すように切り換え、これにより、信号処理として、１次元空間解像度創造処理が行われる。
【０９８１】
なお、図６８において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【０９８２】
図６８のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る１次元空間解像度創造処理が行われる。
【０９８３】
以下、図６７のフローチャートのステップＳ７０３以降の処理は、図６８に示したように内部構造が切り換えられたIC７００において行われる。
【０９８４】
即ち、ステップＳ７０３では、クラス分類適応処理の第２の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７０４に進む。
【０９８５】
ステップＳ７０４では、クラス分類回路７１１Ａは、クラス分類適応処理の第１の画像データとしての入力画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、１次元クラス分類を行う。そして、クラス分類回路７１１Ａは、１次元クラス分類によって得られるクラスコードを、切換回路７１３Ａを介して、係数出力回路７１５Ａに供給し、ステップＳ７０４からＳ７０５に進む。
【０９８６】
係数出力回路７１５Ａは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Kaizodo 1dimentional」に応じて、図６６で説明した複数種類のタップ係数のうちの、１次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路７１５Ａは、ステップＳ７０５において、その選択しているタップ係数のうちの、クラス分類回路７１１Ａから切換回路７１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路７１６Ａに供給して、ステップＳ７０６に進む。
【０９８７】
ステップＳ７０６では、遅延選択回路７１２Ａは、クラス分類適応処理の第１の画像データとしての入力画像データから、注目画素についての１次元予測タップを選択し、切換回路７１４Ａを介して、予測演算回路７１６Ａに供給して、ステップＳ７０７に進む。
【０９８８】
ステップＳ７０７では、予測演算回路７１６Ａは、遅延選択回路７１２Ａから切換回路７１４Ａを介して供給される１次元予測タップと、係数出力回路７１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（１次元フィルタ演算）を行い、これにより、第１の画像データよりも空間解像度を向上させた第２の画像データの注目画素（の画素値）を得て出力する。
【０９８９】
従って、この場合、IC７００は、１次元のタップ（予測タップ）を対象としてフィルタリングを行う１次元ディジタルフィルタとして機能することになる。
【０９９０】
予測演算回路７１６Ａが出力する画像データは、切換回路７１９を介して、IC７００の外部に出力される。
【０９９１】
そして、ステップＳ７０８に進み、注目画素のフレーム（以下、適宜、注目フレームという）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７０８において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７０３に戻り、以下、同様の処理が繰り返される。
【０９９２】
また、ステップＳ７０８において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。
【０９９３】
なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７０３乃至Ｓ７０８の処理が繰り返される。
【０９９４】
次に、図６９のフローチャートを参照して、外部から、１つのコマンド「Kaizodo 2dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【０９９５】
まず、ステップＳ７１１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７１２に進む。
【０９９６】
ステップＳ７１２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７１３に進む。
【０９９７】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 2dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理を行うように切り換える。
【０９９８】
図７０は、信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えたIC７００を示している。
【０９９９】
図７０において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 2dimentional」に応じて、信号線の選択状態を、図７０に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理が行われる。
【１０００】
なお、図７０において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１００１】
図７０のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理が行われる。
【１００２】
以下、図６９のフローチャートのステップＳ７１３以降の処理は、図７０に示したように内部構造が切り換えられたIC７００において行われる。
【１００３】
即ち、ステップＳ７１３では、クラス分類適応処理の第２の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７１４に進む。
【１００４】
ステップＳ７１４では、クラス分類回路７１１Ａは、クラス分類適応処理の第１の画像データとしての入力画像データと、ライン遅延回路７１７がその入力画像データを遅延して出力する画像データとから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。そして、クラス分類回路７１１Ａは、２次元クラス分類によって得られるクラスコードを、切換回路７１３Ａを介して、係数出力回路７１５Ａに供給し、ステップＳ７１４からＳ７１５に進む。
【１００５】
係数出力回路７１５Ａは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Kaizodo 2dimentional」に応じて、図６６で説明した複数種類のタップ係数のうちの、２次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路７１５Ａは、ステップＳ７１５において、その選択しているタップ係数のうちの、クラス分類回路７１１Ａから切換回路７１３Ａを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路７１６Ａに供給して、ステップＳ７１６に進む。
【１００６】
ステップＳ７１６では、遅延選択回路７１２Ａは、クラス分類適応処理の第１の画像データとしての入力画像データと、ライン遅延回路７１７がその入力画像データを遅延して出力する画像データとから、注目画素についての２次元予測タップを選択し、切換回路７１４Ａを介して、予測演算回路７１６Ａに供給して、ステップＳ７１７に進む。
【１００７】
ステップＳ７１７では、予測演算回路７１６Ａは、遅延選択回路７１２Ａから切換回路７１４Ａを介して供給される２次元予測タップと、係数出力回路７１５Ａから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、第１の画像データよりも空間解像度を向上させた第２の画像データの注目画素（の画素値）を得て出力する。
【１００８】
予測演算回路７１６Ａが出力する画像データは、切換回路７１９を介して、IC７００の外部に出力される。
【１００９】
従って、この場合、IC７００は、２次元のタップ（予測タップ）を対象としてフィルタリングを行う２次元ディジタルフィルタとして機能することになる。
【１０１０】
そして、ステップＳ７１８に進み、注目画素のフレーム（注目フレーム）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７１８において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７１３に戻り、以下、同様の処理が繰り返される。
【１０１１】
また、ステップＳ７１８において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。
【１０１２】
なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７１３乃至Ｓ７１８の処理が繰り返される。
【１０１３】
次に、図７１のフローチャートを参照して、外部から、１つのコマンド「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【１０１４】
まず、ステップＳ７２１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７２２に進む。
【１０１５】
ステップＳ７２２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７２３に進む。
【１０１６】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 3dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 3dimentional」に対応する３次元空間解像度創造処理を行うように切り換える。
【１０１７】
図７２は、信号線の選択状態を、３次元空間解像度創造処理を行うように切り換えたIC７００を示している。
【１０１８】
図７２において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Kaizodo 3dimentional」に応じて、信号線の選択状態を、図７２に実線で示すように切り換え、これにより、信号処理として、３次元空間解像度創造処理が行われる。
【１０１９】
なお、図７２において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１０２０】
図７２のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る３次元空間解像度創造処理が行われる。
【１０２１】
以下、図７１のフローチャートのステップＳ７２３以降の処理は、図７２に示したように内部構造が切り換えられたIC７００において行われる。
【１０２２】
即ち、ステップＳ７２３では、クラス分類適応処理の第２の画像データとしての高解像度の画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７２４に進む。
【１０２３】
ステップＳ７２４では、クラス分類回路７１１Ｂは、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、３次元クラス分類を行う。
【１０２４】
ここで、図７２では、クラス分類回路７１１Ｂには、クラス分類適応処理の第１の画像データとしての入力画像データが、切換回路７２４，７２５、および７２６を介して供給される。さらに、クラス分類回路７１１Ｂには、入力画像データがライン遅延回路７１７で１乃至数ライン分だけ遅延され、切換回路７２７を介して供給される。また、クラス分類回路７１１Ｂには、入力画像データがフレームメモリ７２１で１フレーム分だけ遅延されて供給される。
【１０２５】
クラス分類回路７１１Ｂは、これらの画像データから、クラスタップを選択し、そのクラスタップに基づいて、３次元クラス分類を行う。
【１０２６】
そして、クラス分類回路７１１Ｂは、３次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給し、ステップＳ７２４からＳ７２５に進む。
【１０２７】
係数出力回路７１５Ｂは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Kaizodo 3dimentional」に応じて、図６６で説明した複数種類のタップ係数のうちの、３次元空間解像度創造処理用のタップ係数を選択している。そして、係数出力回路７１５Ｂは、ステップＳ７２５において、その選択しているタップ係数のうちの、クラス分類回路７１１Ｂから切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７２６に進む。
【１０２８】
ステップＳ７２６では、遅延選択回路７１２Ｂは、注目画素についての３次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７２７に進む。
【１０２９】
ここで、図７２では、遅延選択回路７１２Ｂには、クラス分類適応処理の第１の画像データとしての入力画像データが、切換回路７２４，７２５、および７２６を介して供給される。さらに、遅延選択回路７１２Ｂには、入力画像データがライン遅延回路７１７で１乃至数ライン分だけ遅延され、切換回路７２７を介して供給される。また、遅延選択回路７１２Ｂには、入力画像データがフレームメモリ７２１で１フレーム分だけ遅延されて供給される。
【１０３０】
遅延選択回路７１２Ｂは、これらの画像データから、３次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給する。
【１０３１】
ステップＳ７２７では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される３次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（３次元フィルタ演算）を行い、これにより、第１の画像データよりも空間解像度を向上させた第２の画像データの注目画素（の画素値）を得て出力する。
【１０３２】
予測演算回路７１６Ｂが出力する画像データは、積和演算回路７１８および切換回路７１９を介して（バイパスして）、IC７００の外部に出力される。
【１０３３】
従って、この場合、IC７００は、３次元のタップ（予測タップ）を対象としてフィルタリングを行う３次元ディジタルフィルタとして機能することになる。
【１０３４】
そして、ステップＳ７２８に進み、注目画素のフレーム（注目フレーム）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７２８において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７２３に戻り、以下、同様の処理が繰り返される。
【１０３５】
また、ステップＳ７２８において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。
【１０３６】
なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７２３乃至Ｓ７２８の処理が繰り返される。
【１０３７】
次に、図７３のフローチャートを参照して、外部から、２つのコマンド「Kaizodo 2dimentional」および「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【１０３８】
まず、ステップＳ７３１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７３２に進む。
【１０３９】
ステップＳ７３２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７３３に進む。
【１０４０】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」と「Kaizodo 3dimentional」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理を行うとともに、コマンド「Kaizodo 3dimentional」に対応する３次元空間解像度創造処理を行い、２次元空間解像度創造処理の結果得られる画像データと、３次元空間解像度創造処理の結果得られる画像データとを、動きに応じた重みで重み付け加算する処理（以下、適宜、適応的空間解像度創造処理という）を行うように切り換える。
【１０４１】
図７４は、信号線の選択状態を、適応的空間解像度創造処理を行うように切り換えたIC７００を示している。
【１０４２】
図７４において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」と「Kaizodo 3dimentional」に応じて、信号線の選択状態を、図７４に実線で示すように切り換え、これにより、信号処理として、適応的空間解像度創造処理が行われる。
【１０４３】
なお、図７４において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１０４４】
図７４のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理と３次元空間解像度創造処理とが同時に行われる。そして、２次元空間解像度創造処理の結果得られる画像データと、３次元空間解像度創造処理の結果得られる画像データとが、画像の動きに応じた重みで重み付け加算される。
【１０４５】
以下、図７３のフローチャートのステップＳ７３３以降の処理は、図７４に示したように内部構造が切り換えられたIC７００において行われる。
【１０４６】
即ち、ステップＳ７３３では、注目画素が選択され、ステップＳ７３４に進む。
【１０４７】
ステップＳ７３４では、注目画素について、図６９および図７０で説明した２次元空間解像度創造処理と、図７１および図７２で説明した３次元空間解像度創造処理が行われる。そして、２次元空間解像度創造処理により得られる注目画素の画素値が、予測演算回路７１６Ａから積和演算回路７１８に供給されるとともに、３次元空間解像度創造処理により得られる注目画素の画素値が、予測演算回路７１６Ｂから積和演算回路７１８に供給される。
【１０４８】
また、ステップＳ７３４では、クラス分類回路７１１Ｂが、第３実施の形態で説明した図５９のクラス分類回路５１１Ｂにおける場合と同様にして、入力画像データの動きを検出し、その動きを表す動き情報Ｋを、積和演算回路７１８に供給する。
【１０４９】
その後、ステップＳ７３４からＳ７３５に進み、積和演算回路７１８は、予測演算回路７１６Ａからの２次元空間解像度創造処理によって得られた注目画素の画素値と、予測演算回路７１６Ｂからの３次元空間解像度創造処理によって得られた注目画素の画素値との重み付け加算を、クラス分類回路７１１Ｂから供給される、注目画素に対応する入力画像データの画素の動き情報Ｋを重み係数として行う。
【１０５０】
即ち、２次元空間解像度創造処理または３次元空間解像度創造処理によって得られた画素値を、それぞれP2またはP3とするとともに、動き情報Ｋが０乃至１の範囲の値をとするものとすると、積和演算回路７１８は、式P=Ｋ×P2＋（１−Ｋ）×P3にしたがって、適応的空間解像度創造処理の結果としての画素値（注目画素の画素値）Pを求める。
【１０５１】
積和演算回路７１８で求められた画素値は、切換回路７１９を介して、IC７００の外部に出力される。
【１０５２】
そして、ステップＳ７３５からＳ７３６に進み、注目画素のフレーム（注目フレーム）を構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７３６において、注目フレームを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７３３に戻り、以下、同様の処理が繰り返される。
【１０５３】
また、ステップＳ７３６において、注目フレームを構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。
【１０５４】
なお、IC７００に対して、注目フレームの次のフレームの入力画像データが供給されている場合は、そのフレームを、新たに、注目フレームとして、ステップＳ７３３乃至Ｓ７３６の処理が繰り返される。
【１０５５】
次に、図７５のフローチャートを参照して、外部から、１つのコマンド「Zoom ver1」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【１０５６】
まず、ステップＳ７４１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７４２に進む。
【１０５７】
ステップＳ７４２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７４３に進む。
【１０５８】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver1」に応じて、信号線の選択状態を、コマンド「Zoom ver1」に対応する再帰的拡大処理を行うように切り換える。
【１０５９】
図７６は、信号線の選択状態を、再帰的拡大処理を行うように切り換えたIC７００を示している。
【１０６０】
図７６において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver1」に応じて、信号線の選択状態を、図７６に実線で示すように切り換え、これにより、信号処理として、再帰的拡大処理が行われる。
【１０６１】
なお、図７６において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１０６２】
図７６のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その一部のブロックを、ユーザが要求する所望の（要求倍率）で倍率にリサイズした、クラス分類適応処理の第２の画像データとしてのサイズが拡大された画像データを得る再帰的拡大処理が行われる。
【１０６３】
なお、所望の倍率は、例えば、コマンド「Zoom ver1」のパラメータｐ１として、コマンド列に含まれるものとする。さらに、コマンド列には、入力画像データを拡大するときに、その拡大の中心となる位置も、コマンド「Zoom ver1」のパラメータｐ２として含まれるものとする。
【１０６４】
以下、図７５のフローチャートのステップＳ７４３以降の処理は、図７６に示したように内部構造が切り換えられたIC７００において行われる。
【１０６５】
即ち、ステップＳ７４３では、ブロック化回路７２２が、切換回路７２４を介して供給される入力画像データの拡大の対象となるブロックを抽出する。
【１０６６】
即ち、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver1」のパラメータｐ１が表す倍率と、入力画像データのサイズとから、パラメータｐ１が表す倍率だけ拡大することによって、入力画像データのサイズとなるブロックのサイズ（以下、適宜、抽出サイズという）を認識する。さらに、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver1」のパラメータｐ２が表す位置を中心（重心）として、抽出サイズのブロックの画像データを、入力画像データから抽出する。なお、ここでは、例えば、ブロックの水平および垂直方向の両方を、パラメータｐ１が表す倍率で拡大するものとする。
【１０６７】
抽出サイズのブロックの画像データは、ブロック化回路７２２から、切換回路７２６を介して、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給される。
【１０６８】
その後、ステップＳ７４３からＳ７４４に進み、抽出サイズのブロックの画像データを拡大することにより得られる、クラス分類適応処理の第２の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７４５に進む。
【１０６９】
ステップＳ７４５では、クラス分類回路７１１Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。
【１０７０】
そして、クラス分類回路７１１Ｂは、２次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給し、ステップＳ７４５からＳ７４６に進む。
【１０７１】
係数出力回路７１５Ｂは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Zoom ver1」に応じて、図６６で説明した複数種類のタップ係数のうちの、リサイズ処理用のタップ係数を選択している。
【１０７２】
なお、係数出力回路７１５Ｂが、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Zoom ver1」に応じて選択するリサイズ処理用のタップ係数は、画像を、あらかじめ定められた倍率（例えば、１．１倍などの比較的低い倍率）に拡大するものである。従って、係数出力回路７１５Ｂが、コマンド「Zoom ver1」に応じて選択するリサイズ処理用のタップ係数は、画像を、パラメータｐ１が表す倍率に拡大するものであるとは限らない。
【１０７３】
但し、係数出力回路７１５Ｂにおいては、複数の倍率それぞれの拡大を行うリサイズ処理用の複数セットのタップ係数を用意しておき、その複数セットのタップ係数の中から、コマンド「Zoom ver1」に応じて、１セットのタップ係数（例えば、パラメータｐ１が表す倍率に最も近い倍率の拡大を行うものなど）を選択するようにしてもよい。
【１０７４】
係数出力回路７１５Ｂは、ステップＳ７４６において、クラス分類回路７１１Ｂから切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver1」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７４７に進む。
【１０７５】
ステップＳ７４７では、遅延選択回路７１２Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についての２次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７４８に進む。
【１０７６】
ステップＳ７４８では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される２次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、拡大画像データの注目画素（の画素値）を得て出力する。
【１０７７】
予測演算回路７１６Ｂが出力する拡大画像データは、判定回路７２３に供給される。
【１０７８】
そして、ステップＳ７４９に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７４９において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７４４に戻り、以下、同様の処理が繰り返される。
【１０７９】
また、ステップＳ７４９において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、ステップＳ７５０に進み、判定回路７２３は、予測演算回路７１６Ｂから供給された拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっているかどうかを判定する。
【１０８０】
ステップＳ７５０において、予測演算回路７１６Ｂからの拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっていないと判定された場合、即ち、予測演算回路７１６Ｂからの拡大画像データのサイズが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズよりも小さい場合、ステップＳ７５１に進み、判定回路７２３は、予測演算回路７１６Ｂからの拡大画像データを、切換回路７２７を介して、クラス分類回路７１１Ｂおよび選択遅延回路７１２Ｂにフィードバック（供給）し、ステップＳ７４４に戻る。
【１０８１】
そして、判定回路７２３から、クラス分類回路７１１Ｂおよび選択遅延回路７１２Ｂに対してフィードバックされた拡大画像データ（以下、適宜、フィードバック画像データという）を対象として、ステップＳ７４４以降の処理が繰り返される。
【１０８２】
即ち、この場合、ステップＳ７４４において、フィードバック画像データを、パラメータｐ１が表す倍率だけ拡大することにより得られる、クラス分類適応処理の第２の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７４５に進む。
【１０８３】
ステップＳ７４５では、クラス分類回路７１１Ｂは、判定回路７２３からのフィードバック画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行い、その２次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給して、ステップＳ７４５からＳ７４６に進む。
【１０８４】
係数出力回路７１５Ｂは、ステップＳ７４６において、クラス分類回路７１１Ｂから、切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver1」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７４７に進む。
【１０８５】
ステップＳ７４７では、遅延選択回路７１２Ｂは、判定回路７２３からのフィードバック画像データから、注目画素についての２次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７４８に進む。
【１０８６】
ステップＳ７４８では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される２次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、拡大画像データの注目画素（の画素値）を得て、判定回路７２３に出力する。
【１０８７】
そして、ステップＳ７４９に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７４９において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７４４に戻り、以下、同様の処理が繰り返される。
【１０８８】
また、ステップＳ７４９において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、ステップＳ７５０に進み、上述したように、判定回路７２３において、予測演算回路７１６Ｂから供給された拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっているかどうかが判定される。
【１０８９】
そして、ステップＳ７５０において、予測演算回路７１６Ｂからの拡大画像データが、抽出サイズのブロックの画像データを、パラメータｐ１が表す倍率に拡大したサイズになっていると判定された場合、判定回路７２３は、予測演算回路７１６Ｂからの拡大画像データを、ＩＣ７００の外部に出力し、処理を終了する。
【１０９０】
従って、この場合、IC７００は、画像の拡大を行う拡大装置として機能することになる。
【１０９１】
なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７４３乃至Ｓ７５１の処理が繰り返される。
【１０９２】
次に、図７７のフローチャートを参照して、外部から、１つのコマンド「Zoom ver2」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【１０９３】
まず、ステップＳ７６１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７６２に進む。
【１０９４】
ステップＳ７６２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７６３に進む。
【１０９５】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver2」に応じて、信号線の選択状態を、コマンド「Zoom ver2」に対応する１回拡大処理を行うように切り換える。
【１０９６】
図７８は、信号線の選択状態を、１回拡大処理を行うように切り換えたIC７００を示している。
【１０９７】
図７８において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する１つのコマンド「Zoom ver2」に応じて、信号線の選択状態を、図７８に実線で示すように切り換え、これにより、信号処理として、１回拡大処理を行う。
【１０９８】
なお、図７８において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１０９９】
図７８のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その一部のブロックを、ユーザが要求する所望の倍率（要求倍率）でリサイズした、クラス分類適応処理の第２の画像データとしてのサイズが拡大された画像データを得る１回拡大処理が行われる。
【１１００】
なお、所望の倍率は、例えば、コマンド「Zoom ver2」のパラメータｐ１として、コマンド列に含まれるものとする。さらに、コマンド列には、入力画像データを拡大するときに、その拡大の中心となる位置も、コマンド「Zoom ver2」のパラメータｐ２として含まれるものとする。
【１１０１】
以下、図７７のフローチャートのステップＳ７６３以降の処理は、図７８に示したように内部構造が切り換えられたIC７００において行われる。
【１１０２】
即ち、ステップＳ７６３では、ブロック化回路７２２が、図７５のステップＳ７４３における場合と同様に、切換回路７２４を介して供給される入力画像データの拡大の対象となるブロックを抽出する。
【１１０３】
即ち、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver2」のパラメータｐ１が表す倍率と、入力画像データのサイズとから、パラメータｐ１が表す倍率だけ拡大することによって、入力画像データのサイズとなるブロックのサイズ（抽出サイズ）を認識する。さらに、ブロック化回路７２２は、受信部７２０から供給されるコマンド列に含まれるコマンド「Zoom ver2」のパラメータｐ２が表す位置を中心（重心）として、抽出サイズのブロックの画像データを、入力画像データから抽出する。
【１１０４】
抽出サイズのブロックの画像データは、ブロック化回路７２２から、切換回路７２６を介して、クラス分類回路７１１Ｂおよび遅延選択回路７１２Ｂに供給される。
【１１０５】
その後、ステップＳ７６３からＳ７６４に進み、抽出サイズのブロックの画像データを拡大することにより得られる、クラス分類適応処理の第２の画像データとしての拡大画像データを構成する画素のうち、まだ注目画素としていないものの１つが、注目画素として選択され、ステップＳ７６５に進む。
【１１０６】
ステップＳ７６５では、クラス分類回路７１１Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についてのクラスタップを選択し、そのクラスタップに基づいて、２次元クラス分類を行う。
【１１０７】
そして、クラス分類回路７１１Ｂは、２次元クラス分類によって得られるクラスコードを、切換回路７１３Ｂを介して、係数出力回路７１５Ｂに供給し、ステップＳ７６５からＳ７６６に進む。
【１１０８】
係数出力回路７１５Ｂは、受信部７２０から供給されるコマンド列を構成する１つのコマンド「Zoom ver2」に応じて、図６６で説明した複数種類のタップ係数のうちの、画像をパラメータｐ１が表す倍率に拡大するリサイズ処理用のタップ係数を選択している。
【１１０９】
係数出力回路７１５Ｂは、ステップＳ７６６において、クラス分類回路７１１Ｂから、切換回路７１３Ｂを介して供給されるクラスコードに対応するクラスのタップ係数を、コマンド「Zoom ver2」に応じて選択しているリサイズ処理用のタップ係数の中から読み出すことにより取得し、予測演算回路７１６Ｂに供給して、ステップＳ７６７に進む。
【１１１０】
ステップＳ７６７では、遅延選択回路７１２Ｂは、ブロック化回路７２２から切換回路７２６を介して供給される抽出サイズのブロックの画像データから、注目画素についての２次元予測タップを選択し、切換回路７１４Ｂを介して、予測演算回路７１６Ｂに供給して、ステップＳ７６８に進む。
【１１１１】
ステップＳ７６８では、予測演算回路７１６Ｂは、遅延選択回路７１２Ｂから切換回路７１４Ｂを介して供給される２次元予測タップと、係数出力回路７１５Ｂから供給されるタップ係数とを用いて、式（１）のフィルタ演算（２次元フィルタ演算）を行い、これにより、抽出サイズのブロックの画像データをパラメータｐ１が表す倍率で拡大した拡大画像データの注目画素（の画素値）を得て出力する。
【１１１２】
予測演算回路７１６Ｂが出力する拡大画像データは、判定回路７２３を介して、IC７００の外部に出力される。
【１１１３】
ステップＳ７６９に進み、拡大画像データを構成する画素すべてを、注目画素としたかどうかが判定される。ステップＳ７６９において、拡大画像データを構成する画素のすべてを、まだ、注目画素としていないと判定された場合、ステップＳ７６４に戻り、以下、同様の処理が繰り返される。
【１１１４】
また、ステップＳ７６９において、拡大画像を構成する画素のすべてを、注目画素としたと判定された場合、処理を終了する。
【１１１５】
従って、この場合も、IC７００は、画像の拡大を行う拡大装置として機能することになる。
【１１１６】
なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７６４乃至Ｓ７６９の処理が繰り返される。
【１１１７】
次に、図７９のフローチャートを参照して、外部から、２つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【１１１８】
まず、ステップＳ７８１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７８２に進む。
【１１１９】
ステップＳ７８２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７８３に進む。
【１１２０】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理と、コマンド「Zoom ver1」に対応する再帰的拡大処理とを行うように切り換える。
【１１２１】
図８０は、信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行うように切り換えたIC７００を示している。
【１１２２】
図８０において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver1」に応じて、信号線の選択状態を、図８０に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行う。
【１１２３】
なお、図８０において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１１２４】
図８０のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理が行われる。さらに、図８０のIC７００では、その高解像度の画像データを、クラス分類適応処理の第１の画像データとして、そのサイズを拡大した、クラス分類適応処理の第２の画像データとしての拡大画像データを得る再帰的拡大処理が行われる。
【１１２５】
以下、図７９のフローチャートのステップＳ７８３以降の処理は、図８０に示したように内部構造が切り換えられたIC７００において行われる。
【１１２６】
即ち、ステップＳ７８３では、図６９のステップＳ７１３乃至Ｓ７１８で説明した２次元空間解像度創造処理が行われる。この２次元空間解像度創造処理によって得られる高解像度の画像データは、予測演算回路７１６Ａから、切換回路７１９，７２５、および７２４を介して、ブロック化回路７２２に供給される。
【１１２７】
そして、ステップＳ７８４に進み、ブロック化回路７２２に供給された高解像度の画像データを対象として、図７５のステップＳ７４３乃至Ｓ７５１で説明した再帰的拡大処理が行われる。そして、この再帰的拡大処理によって得られる拡大画像データは、判定回路７２３から、IC７００の外部に出力される。
【１１２８】
この場合、IC７００は、２次元のタップ（予測タップ）を対象としてフィルタリングを行う２次元ディジタルフィルタと、画像の拡大を行う拡大装置として機能することになる。
【１１２９】
なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７８３およびＳ７８４の処理が繰り返される。
【１１３０】
次に、図８１のフローチャートを参照して、外部から、２つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」からなるコマンド列が送信されてきた場合の、図６４のIC７００の処理について説明する。
【１１３１】
まず、ステップＳ７９１において、受信部７２０は、外部からのコマンド列を受信し、IC７００を構成する必要なブロックに供給して、ステップＳ７９２に進む。
【１１３２】
ステップＳ７９２では、IC７００は、受信部７２０で受信されたコマンド列に応じ、その内部構造を切り換え、ステップＳ７９３に進む。
【１１３３】
即ち、IC７００（図６４）の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」に応じて、信号線の選択状態を、コマンド「Kaizodo 2dimentional」に対応する２次元空間解像度創造処理と、コマンド「Zoom ver2」に対応する１回拡大処理とを行うように切り換える。
【１１３４】
図８２は、信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、１回拡大処理を行うように切り換えたIC７００を示している。
【１１３５】
図８２において、IC７００の切換回路７１３Ａおよび７１３Ｂ、切換回路７１４Ａおよび７１４Ｂ、切換回路７１９、並びに切換回路７２４乃至７２７は、コマンド列を構成する２つのコマンド「Kaizodo 2dimentional」および「Zoom ver2」に応じて、信号線の選択状態を、図８２に実線で示すように切り換え、これにより、信号処理として、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、１回拡大処理を行う。
【１１３６】
なお、図８２において、点線で示す信号線は、配線されているが、現在のIC７００による信号処理に関係のない信号線を意味している。
【１１３７】
図８２のIC７００では、IC７００に入力される入力画像データを、クラス分類適応処理の第１の画像データとして、その空間解像度を向上させた、クラス分類適応処理の第２の画像データとしての高解像度の画像データを得る２次元空間解像度創造処理が行われる。さらに、図８２のIC７００では、その高解像度の画像データを、クラス分類適応処理の第１の画像データとして、そのサイズを拡大した、クラス分類適応処理の第２の画像データとしての拡大画像データを得る１回拡大処理が行われる。
【１１３８】
以下、図８１のフローチャートのステップＳ７９３以降の処理は、図８２に示したように内部構造が切り換えられたIC７００において行われる。
【１１３９】
即ち、ステップＳ７９３では、図６９のステップＳ７１３乃至Ｓ７１８で説明した２次元空間解像度創造処理が行われる。この２次元空間解像度創造処理によって得られる高解像度の画像データは、予測演算回路７１６Ａから、切換回路７１９，７２５、および７２４を介して、ブロック化回路７２２に供給される。
【１１４０】
そして、ステップＳ７９４に進み、ブロック化回路７２２に供給された高解像度の画像データを対象として、図７７のステップＳ７４３乃至Ｓ７５１で説明した１回拡大処理が行われる。そして、この１回拡大処理によって得られる拡大画像データは、判定回路７２３から、IC７００の外部に出力される。
【１１４１】
この場合も、IC７００は、２次元のタップ（予測タップ）を対象としてフィルタリングを行う２次元ディジタルフィルタと、画像の拡大を行う拡大装置として機能することになる。
【１１４２】
なお、IC７００に対して、次のフレームの入力画像データが供給されている場合は、その、次のフレームを対象として、ステップＳ７９３およびＳ７９４の処理が繰り返される。
【１１４３】
以上のように、IC７００では、コマンド列が複数のコマンドとしての、例えば、第１と第２のコマンドを有している場合に、そのコマンド列の複数のコマンドに応じて、内部構造を、第１のコマンドに対応する第１の信号処理および第２のコマンドに対応する第２の信号処理を実行する状態に切り換え、第１の信号処理を実行し、その後、さらに、第２の信号処理を実行する。従って、IC７００によれば、単一のハードウェアで、複数の機能を、容易に実現することができる。
【１１４４】
なお、本明細書において、フローチャートを参照して説明した各ステップの処理は、必ずしもフローチャートに記載された順序に沿って時系列に行う必要はなく、また、可能であれば、並列的に行ってもよい。
【１１４５】
また、本実施の形態では、画像データを対象として、信号処理を行うこととしたが、信号処理の対象は、画像データに限られるものではなく、例えば、音声データなどであっても良い。
【図面の簡単な説明】
【１１４６】
【図１】クラス分類適応処理による画像変換処理を行う画像変換装置１の構成例を示すブロック図である。
【図２】画像変換装置１による画像変換処理を説明するフローチャートである。
【図３】タップ係数を学習する学習装置２１の構成例を示すブロック図である。
【図４】学習装置２１の学習部３６の構成例を示すブロック図である。
【図５】各種の画像変換処理を説明するための図である。
【図６】学習装置２１による学習処理を説明するフローチャートである。
【図７】クラス分類適応処理による画像変換処理を行う画像変換装置５１の構成例を示すブロック図である。
【図８】画像変換装置５１の係数出力部５５の構成例を示すブロック図である。
【図９】係数種データを学習する学習装置７１の構成例を示すブロック図である。
【図１０】学習装置７１の学習部７６の構成例を示すブロック図である。
【図１１】学習装置７１による学習処理を説明するフローチャートである。
【図１２】係数種データを学習する学習装置１０１の構成例を示すブロック図である。
【図１３】学習装置１０１の学習部１０６の構成例を示すブロック図である。
【図１４】本発明を適用したAVシステムの一実施の形態の構成例を示すブロック図である。
【図１５】AVシステムの本体２００の動作を説明するフローチャートである。
【図１６】コマンド列の例を示す図である。
【図１７】AVシステムの本体２００の動作を説明するフローチャートである。
【図１８】コマンド列の例を示す図である。
【図１９】AVシステムの本体２００の動作を説明するフローチャートである。
【図２０】コマンド列の例を示す図である。
【図２１】AVシステムの本体２００の動作を説明するフローチャートである。
【図２２】コマンド列の例を示す図である。
【図２３】AVシステムの本体２００の動作を説明するフローチャートである。
【図２４】コマンド列の例を示す図である。
【図２５】AVシステムの本体２００の動作を説明するフローチャートである。
【図２６】コマンド列の例を示す図である。
【図２７】R-IC２１２の構成例を示すブロック図である。
【図２８】係数出力部２５５の構成例を示すブロック図である。
【図２９】R-IC２１２の処理を説明するフローチャートである。
【図３０】R-IC２１２の他の構成例を示すブロック図である。
【図３１】係数出力部２７５の構成例を示すブロック図である。
【図３２】本発明を適用したテレビジョン受像機３０１の一実施の形態の構成例を示すブロック図である。
【図３３】システムコントローラ３１８によるチューナ部３１１の制御を説明するための図である。
【図３４】通常画面モードの画面表示と、マルチ画面モードの画面表示とを説明するための図である。
【図３５】信号処理部３１４の構成例を示すブロック図である。
【図３６】コマンド列生成部３３０が生成するコマンド列を示す図である。
【図３７】信号処理チップ３３１に対して入出力される画像データを説明する図である。
【図３８】信号処理チップ３３２に対して入出力される画像データを説明する図である。
【図３９】信号処理チップ３３１に対して入出力される画像データを説明する図である。
【図４０】信号処理チップ３３２に対して入出力される画像データを説明する図である。
【図４１】信号処理部３１４の処理を説明するフローチャートである。
【図４２】信号処理チップ３３４の構成例を示すブロック図である。
【図４３】信号処理チップ３３４の処理を説明するフローチャートである。
【図４４】信号処理チップ３３１の構成例を示すブロック図である。
【図４５】信号処理チップ３３１の処理を説明するフローチャートである。
【図４６】信号処理チップ３３２の構成例を示すブロック図である。
【図４７】信号処理チップ３３２の処理を説明するフローチャートである。
【図４８】本発明を適用したテレビジョン受像機の一実施の形態の構成例を示すブロック図である。
【図４９】リモコン６１８の外観構成例を示す平面図である。
【図５０】リモコン６１８の電気的構成例を示すブロック図である。
【図５１】コントローラ６１３の処理を説明するフローチャートである。
【図５２】コントローラ６１３が生成するコマンド列のフォーマットを示す図である。
【図５３】コントローラ６１３の処理を説明するフローチャートである。
【図５４】コントローラ６１３が機能ボタン６２１Ｄの操作に応じて生成するコマンド列の例を示す図である。
【図５５】LSI６０６の構成例を示すブロック図である。
【図５６】LSI６０６の処理を説明するフローチャートである。
【図５７】信号処理回路６５６の構成例を示すブロック図である。
【図５８】信号処理回路６６１の構成例を示すブロック図である。
【図５９】信号処理回路６６１の他の構成例を示すブロック図である。
【図６０】クラス分類回路５１１Ａ乃至予測演算回路５１６Ａと、クラス分類回路５１１Ｂ乃至予測演算回路５１６Ｂとで行われるクラス分類適応処理としての画像変換処理を説明するフローチャートである。
【図６１】信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む信号処理回路６５６の内部構造を示すブロック図である。
【図６２】信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えた信号処理回路６６１を含む信号処理回路６５６の内部構造を示すブロック図である。
【図６３】信号線の選択状態を、ノイズ除去処理を行うように切り換えた信号処理回路６６１を含む信号処理回路６５６の内部構造を示すブロック図である。
【図６４】本発明を適用したIC７００の一実施の形態の構成例を示すブロック図である。
【図６５】図６４の受信部７２０が外部から受信するコマンド列を説明する図である。
【図６６】係数出力回路７１５Ａの構成例を示すブロック図である。
【図６７】コマンド「Kaizodo 1dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図６８】信号線の選択状態を、１次元空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図６９】コマンド「Kaizodo 2dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図７０】信号線の選択状態を、２次元空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図７１】コマンド「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図７２】信号線の選択状態を、３次元空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図７３】コマンド「Kaizodo 2dimentional」および「Kaizodo 3dimentional」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図７４】信号線の選択状態を、適応的空間解像度創造処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図７５】コマンド「Zoom ver1」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図７６】信号線の選択状態を、再帰的拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図７７】コマンド「Zoom ver2」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図７８】信号線の選択状態を、１回拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図７９】コマンド「Kaizodo 2dimentional」および「Zoom ver1」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図８０】信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、再帰的拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【図８１】コマンド「Kaizodo 2dimentional」および「Zoom ver2」からなるコマンド列が送信されてきた場合のIC７００の処理を説明するフローチャートである。
【図８２】信号線の選択状態を、２次元空間解像度創造処理を行い、さらに、その処理結果を対象として、１回拡大処理を行うように切り換えたIC７００の内部構造を示すブロック図である。
【符号の説明】
【１１４７】
２００  本体，  ２０１  リモコン，  ２０１Ａ  操作部，  ２０１Ｂ  送信部，  ２０２  制御装置，  ２０２Ａ  送受信部，  ２０２Ｂ  制御部，  ２０３  DVDレコーダ部，  ２０４  HDDレコーダ部，  ２０５  テレビジョン受像機部，  ２１１  受信部，  ２１２  R-IC，  ２１３  記録部，  ２１４  DVD，  ２１５  再生部，  ２２１  受信部，  ２２２  R-IC，  ２２３  記録部，  ２２４  HDD，  ２２５  再生部，  ２３１  受信部，  ２３２  R-IC，  ２３３  ディスプレイ，  ２５１  注目画素選択部，  ２５２，２５３  タップ選択部，  ２５４  クラス分類部，  ２５５  係数出力部，  ２５６  予測演算部，  ２６１1乃至２６１4  係数メモリ，  ２６２  選択部，  ２７５  係数出力部，  ２８１  係数生成部，  ２８２  係数種出力部，  ２８３  パラメータメモリ，  ２８４  係数メモリ，  ２９１1乃至２９１4  係数種メモリ，  ２９２  選択部，  ３０１  テレビジョン受像機，  ３０２  アンテナ，  ３０３  リモコン，  ３１１  チューナ部，  ３１２  増幅回路，  ３１３  スピーカ，  ３１４乃至３１６  信号処理部，  ３１７  ディスプレイ，  ３１８  コントローラ，  ３１９  リモコン受信部，  ３３０  コマンド列生成部，  ３３１，３３２  信号処理チップ，  ３３３  メモリ部，  ３３４  信号処理チップ，  ３４０  受信部，  ３４１  フレームメモリ，  ３４２  遅延回路，  ３４３  セレクタ，  ３４４  動き検出回路，  ３４５  選択部，  ３５１  注目画素選択部，  ３５２，３５３  タップ選択部，  ３５４  クラス分類部，  ３５５  係数出力部，  ３５６  予測演算部，  ３５７  受信部，  ３５８  動き判定部，  ３６１1，３６１2  係数メモリ，  ３６２  選択部，  ３７１  注目画素選択部，  ３７２，３７３  タップ選択部，  ３７４  クラス分類部，  ３７５  係数出力部，  ３７６  予測演算部，  ３７７  受信部，  ３７８，３７９  タップ決定部，  ３８１1，３８１2  係数メモリ，  ３８２  選択部，  ４１１Ａ，４１１Ｂ  演算回路群，  ４１２Ａ，４１２Ｂ  メモリ，  ４１３Ａ，４１３Ｂ  積和演算回路群，  ４１４Ａ，４１４Ｂ  アダー，  ４１５Ａ，４１５Ｂ  乗算器，  ４１６Ａ，４１５Ｂ  レジスタ群，  ４２１Ａ乃至４２３Ａ，４２１Ｂ乃至４２３Ｂ，４２４  切換回路，  ５１１Ａ，５１１Ｂ  クラス分類回路，  ５１２Ａ，５１２Ｂ  遅延選択回路，  ５１３Ａ，５１３Ｂ，５１４Ａ，５１４Ｂ  切換回路，  ５１５Ａ，５１５Ｂ  係数出力回路，  ５１６Ａ，５１６Ｂ  予測演算回路，  ５１７  ライン遅延回路，  ５１８  積和演算回路，  ５１９  切換回路，  ５２１Ａ，５２１Ｂ  走査線変換回路，  ５２３  フレームメモリ，  ６０１  チューナ，  ６０２  復調部，  ６０３  エラー訂正部，  ６０４  デマルチプレクサ，  ６０５  ビデオデコーダ，  ６０６  LSI，  ６０７  合成部，  ６０８  OSD部，  ６０９  LCD，  ６１０  オーディオデコーダ，  ６１１  スピーカ，  ６１３  コントローラ，  ６１４  キー入力部，  ６１５  表示部，  ６１６  受光部，  ６１７  リモコンI/F，  ６１８  リモコン，  ６２１  ユーザインタフェース部，  ６２１Ａ  電源ボタン，  ６２１Ｂ  入力ボタン，  ６２１Ｃ  チャンネルボタン，  ６２１Ｄ  機能ボタン，  ６２２  LCDパネル，  ６３１  バス，  ６３２  制御部，  ６３３  記憶部，  ６３４  送信部，  ６５０  受信部，    ６５１乃至６５３  フレームメモリ，  ６５４  SW回路，  ６５４Ａ，６５４Ｂ  入力端子，  ６５５  SW回路，  ６５５Ａ，６５５Ｂ  出力端子，  ６５６，６６１  信号処理回路，  ６６２乃至６６５  切換回路，  ７１１Ａ，７１１Ｂ  クラス分類回路，  ７１２Ａ，７１２Ｂ  遅延選択回路，  ７１３Ａ，７１３Ｂ，７１４Ａ，７１４Ｂ  切換回路，  ７１５Ａ，７１５Ｂ  係数出力回路，  ７１６Ａ，７１６Ｂ  予測演算回路，  ７１７  ライン遅延回路，  ７１８  積和演算回路，  ７１９  切換回路，  ７２１  フレームメモリ，  ７２２  ブロック化回路，  ７２３  判定回路，  ７２４乃至７２７  切換回路，  ７３１  メモリ群，  ７３２  選択部
【図１】
0004674439.tif 000030
【図２】
0004674439.tif 000031
【図３】
0004674439.tif 000032
【図４】
0004674439.tif 000033
【図５】
0004674439.tif 000034
【図６】
0004674439.tif 000035
【図７】
0004674439.tif 000036
【図８】
0004674439.tif 000037
【図９】
0004674439.tif 000038
【図１０】
0004674439.tif 000039
【図１１】
0004674439.tif 000040
【図１２】
0004674439.tif 000041
【図１３】
0004674439.tif 000042
【図１４】
0004674439.tif 000043
【図１５】
0004674439.tif 000044
【図１６】
0004674439.tif 000045
【図１７】
0004674439.tif 000046
【図１８】
0004674439.tif 000047
【図１９】
0004674439.tif 000048
【図２０】
0004674439.tif 000049
【図２１】
0004674439.tif 000050
【図２２】
0004674439.tif 000051
【図２３】
0004674439.tif 000052
【図２４】
0004674439.tif 000053
【図２５】
0004674439.tif 000054
【図２６】
0004674439.tif 000055
【図２７】
0004674439.tif 000056
【図２８】
0004674439.tif 000057
【図２９】
0004674439.tif 000058
【図３０】
0004674439.tif 000059
【図３１】
0004674439.tif 000060
【図３２】
0004674439.tif 000061
【図３３】
0004674439.tif 000062
【図３４】
0004674439.tif 000063
【図３５】
0004674439.tif 000064
【図３６】
0004674439.tif 000065
【図３７】
0004674439.tif 000066
【図３８】
0004674439.tif 000067
【図３９】
0004674439.tif 000068
【図４０】
0004674439.tif 000069
【図４１】
0004674439.tif 000070
【図４２】
0004674439.tif 000071
【図４３】
0004674439.tif 000072
【図４４】
0004674439.tif 000073
【図４５】
0004674439.tif 000074
【図４６】
0004674439.tif 000075
【図４７】
0004674439.tif 000076
【図４８】
0004674439.tif 000077
【図４９】
0004674439.tif 000078
【図５０】
0004674439.tif 000079
【図５１】
0004674439.tif 000080
【図５２】
0004674439.tif 000081
【図５３】
0004674439.tif 000082
【図５４】
0004674439.tif 000083
【図５５】
0004674439.tif 000084
【図５６】
0004674439.tif 000085
【図５７】
0004674439.tif 000086
【図５８】
0004674439.tif 000087
【図５９】
0004674439.tif 000088
【図６０】
0004674439.tif 000089
【図６１】
0004674439.tif 000090
【図６２】
0004674439.tif 000091
【図６３】
0004674439.tif 000092
【図６４】
0004674439.tif 000093
【図６５】
0004674439.tif 000094
【図６６】
0004674439.tif 000095
【図６７】
0004674439.tif 000096
【図６８】
0004674439.tif 000097
【図６９】
0004674439.tif 000098
【図７０】
0004674439.tif 000099
【図７１】
0004674439.tif 000100
【図７２】
0004674439.tif 000101
【図７３】
0004674439.tif 000102
【図７４】
0004674439.tif 000103
【図７５】
0004674439.tif 000104
【図７６】
0004674439.tif 000105
【図７７】
0004674439.tif 000106
【図７８】
0004674439.tif 000107
【図７９】
0004674439.tif 000108
【図８０】
0004674439.tif 000109
【図８１】
0004674439.tif 000110
【図８２】
0004674439.tif 000111