(57)【要約】【課題】  装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得る。【解決手段】  チューナ部１１１は、チャンネルCH1乃至CH4を時分割で受信し、チャンネルCH1乃至CH4のコマ落ちした画像を、信号処理部１１４乃至１１６に供給する。信号処理部１１４乃至１１６では、チャンネルCH1乃至CH4のコマ落ちした画像それぞれについて、１のフレームと、他の１のフレームとの間のフレームが生成される。さらに、信号処理部１１４乃至１１６では、チャンネルCH1乃至CH4の画像それぞれの同一フレームを合成することにより、チャンネルCH1乃至CH4の画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームが生成される。本発明は、例えば、テレビジョン受像機に適用できる。【選択図】図１
2005236634.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を処理し、出力画像を出力する画像処理装置において、
複数系統の入力画像を取得する取得手段と、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、
さらに、前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成し、
前記複数系統の縮小画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、
前記複数系統の縮小画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記入力画像を記憶する入力画像記憶手段を有し、
前記入力画像記憶手段は、前記入力画像を読み出すときの読み出しアドレスが制御されることにより、前記縮小画像を出力する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成することにより、前記複数系統の入力画像を縮小した前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像処理手段は、前記入力画像を記憶する入力画像記憶手段を有し、
前記入力画像記憶手段は、前記入力画像が書き込まれるときの書き込みアドレスが制御されることにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数系統の入力画像は、その複数の数のフィールドまたはフレームの周期のコマ落ちした画像である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記画像処理手段は、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する第１のモードと、
任意の１系統の前記入力画像の画質を向上させた前記出力画像を生成する第２のモードと
を有し、
ユーザの操作に応じて、前記第１または第２のモードのうちのいずれかのモードの処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記画像処理手段は、複数のクラスのうちの、所定の注目画素のクラスのタップ係数と、前記注目画素に対して選択される前記入力画像の複数の画素とを用いた演算により、前記注目画素を求めるクラス分類適応処理を行うことによって、前記入力画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するクラス分類適応処理手段を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記クラス分類適応処理手段は、
前記注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記注目画素を求めるときの前記タップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段と
を有する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
入力画像を処理し、出力画像を出力する画像処理方法において、
複数系統の入力画像を取得する取得ステップと、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する画像処理ステップと
を含むことを特徴とする画像処理方法。
【請求項１１】
入力画像を処理し、出力画像を出力する画像処理をコンピュータに行わせるプログラムにおいて、
複数系統の入力画像を取得する取得ステップと、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する画像処理ステップと
を含むことを特徴とするプログラム。
【請求項１２】
入力画像を処理し、出力画像を出力する画像処理をコンピュータに行わせるプログラムが記録されている記録媒体において、
複数系統の入力画像を取得する取得ステップと、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する画像処理ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【請求項１３】
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理装置において、
入力画像を取得する取得手段と、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項１４】
前記取得手段は、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得して出力する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記取得手段は、前記複数のチャンネルの数のフィールドまたはフレームの周期のコマ落ちした前記入力画像を出力する
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記取得手段は、前記伝送信号を受信する１つのチューナである
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１７】
前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成する縮小画像生成手段をさらに備え、
前記フィールド／フレーム生成手段は、前記複数系統の縮小画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、
前記合成手段は、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１８】
前記縮小画像生成手段は、前記入力画像を記憶する入力画像記憶手段であり、
前記入力画像記憶手段は、前記入力画像を読み出すときの読み出しアドレスが制御されることにより、前記縮小画像を出力する
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記合成手段は、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成することにより、前記複数系統の入力画像を縮小した前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項２０】
前記合成手段は、前記入力画像を記憶する入力画像記憶手段であり、
前記入力画像記憶手段は、前記入力画像が書き込まれるときの書き込みアドレスが制御されることにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成する
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】
ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する第１のモードと、
任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する第２のモードと
の動作モードの切り替えの制御を行う制御手段をさらに備え、
前記動作モードが前記第１のモードのとき、
前記フィールド／フレーム生成手段は、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、
前記合成手段は、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成し、
前記動作モードが第２の動作モードのとき、
前記フィールド／フレーム生成手段は、前記１系統の前記入力画像のフィールドまたはフレームの画質を向上させたフィールドまたはフレームを生成し、
前記合成手段は、前記フィールド／フレーム生成手段において生成されたフィールドまたはフレームを、前記出力画像のフィールドまたはフレームとして出力する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項２２】
前記フィールド／フレーム生成手段は、複数のクラスのうちの、所定の注目画素のクラスのタップ係数と、前記注目画素に対して選択される前記入力画像の複数の画素とを用いた演算により、前記注目画素を求めるクラス分類適応処理を行うことによって、前記入力画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項２３】
前記フィールド／フレーム生成手段は、
前記注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
前記注目画素を求めるときの前記タップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段と
を有する
ことを特徴とする請求項２２に記載の画像処理装置。
【請求項２４】
前記入力画像の動きベクトルを検出する動きベクトル検出手段をさらに備え、
前記クラスタップ選択手段または予測タップ選択手段は、前記注目画素に対応する前記入力画像の画素の動きベクトルに基づいて、前記入力画像の画素から、前記クラスタップまたは予測タップを選択する
ことを特徴とする請求項２３に記載の画像処理装置。
【請求項２５】
前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成する縮小画像生成手段をさらに備え、
前記クラスタップ選択手段または予測タップ選択手段は、前記注目画素に対応する前記入力画像の画素の動きベクトルを縮小したものに基づいて、前記縮小画像の画素から、前記クラスタップまたは予測タップを選択する
ことを特徴とする請求項２４に記載の画像処理装置。
【請求項２６】
ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する第１のモードと、
任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する第２のモードと
の動作モードの切り替えの制御を行う制御手段をさらに備え、
前記タップ係数記憶手段は、前記第１と第２のモード用のタップ係数を記憶し、前記動作モードが前記第１または第２のモードのとき、それぞれ、前記第１または第２のモード用のタップ係数を、前記演算手段に供給する
ことを特徴とする請求項２３に記載の画像処理装置。
【請求項２７】
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理方法において、
入力画像を取得する取得ステップと、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項２８】
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理を、コンピュータに行わせるプログラムにおいて、
入力画像を取得する取得ステップと、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと
を含むことを特徴とするプログラム。
【請求項２９】
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
入力画像を取得する取得ステップと、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、プログラム、並びに記録媒体に関し、特に、例えば、テレビジョン受像機において、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることができるようにする画像処理装置および画像処理方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来のテレビジョン受像機には、ユーザが多数のチャンネルの中から、所望のチャンネルを選択することを支援するために、複数のチャンネルをマルチ画面で表示する機能を備えるものがある（例えば、特許文献１および２参照）。
【０００３】
【特許文献１】特開2001-333346号公報。
【特許文献２】特開平07-067061号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の方法では、１つのチューナで、複数チャンネルの画像を受信し、その複数チャンネルの画像を表示するマルチ画面を生成する。従って、特許文献１に記載の方法では、１つのチューナで、複数チャンネルの画像を順次受信するため、複数のチャンネルの画像それぞれは、コマ落ちしたものとなり、その結果、マルチ画面において、各チャンネルの画像は、動きの粗い、見にくいものとなる。
【０００５】
一方、特許文献２に記載の方法では、複数のチューナで、複数チャンネルの画像を受信し、その複数チャンネルの画像を表示するマルチ画面を生成する。従って、特許文献２に記載の方法では、複数のチューナで、複数チャンネルの画像を受信するため、マルチ画面において、各チャンネルの画像は、動きの滑らかなものとなる。しかしながら、特許文献２に記載の方法では、マルチ画面で表示する画像のチャンネル数だけのチューナが必要となり、装置が大規模化することになる。
【０００６】
そして、今後、ますます多チャンネル化が進むことを考えると、少ないチューナの数、即ち、究極には、１つのチューナで、動きの滑らかなマルチ画面を表示する技術に対する要請は高い。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の第１の画像処理装置は、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、出力画像のフィールドまたはフレームを生成する画像処理手段を備えることを特徴とする。
【０００９】
本発明の第１の画像処理方法は、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、出力画像のフィールドまたはフレームを生成する画像処理ステップを含むことを特徴とする。
【００１０】
本発明の第１のプログラムは、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、出力画像のフィールドまたはフレームを生成する画像処理ステップを含むことを特徴とする。
【００１１】
本発明の第１の記録媒体に記録されているプログラムは、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、出力画像のフィールドまたはフレームを生成する画像処理ステップを含むことを特徴とする。
【００１２】
本発明の第２の画像処理装置は、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段と、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する出力画像のフィールドまたはフレームを生成する合成手段とを備えることを特徴とする。
【００１３】
本発明の第２の画像処理方法は、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する出力画像のフィールドまたはフレームを生成する合成ステップとを含むことを特徴とする。
【００１４】
本発明の第２のプログラムは、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する出力画像のフィールドまたはフレームを生成する合成ステップとを含むことを特徴とする。
【００１５】
本発明の第２の記録媒体に記録されているプログラムは、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップと、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する出力画像のフィールドまたはフレームを生成する合成ステップとを含むことを特徴とする。
【００１６】
本発明の第１の画像処理装置および第１の画像処理方法、第１のプログラム、並びに第１の記録媒体に記録されているプログラムにおいては、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームが生成されるとともに、複数系統の入力画像それぞれの同一フィールドまたはフレームが合成されることにより、出力画像のフィールドまたはフレームが生成される。
【００１７】
本発明の第２の画像処理装置および第２の画像処理方法、第２のプログラム、並びに第２の記録媒体に記録されているプログラムにおいては、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームが生成され、複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する出力画像のフィールドまたはフレームが生成される。
【発明の効果】
【００１８】
本発明によれば、装置規模の増大を抑えつつ、複数チャンネルの画像を表示する、動きの滑らかなマルチ画面を得ることが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下に、本発明を実施するための最良の形態を説明するが、その前に、本明細書で開示する発明について説明する。なお、この記載は、この記載以外の発明が、本明細書で開示されていないことを意味するものではなく、さらに、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２０】
本明細書では、第１の画像処理装置を開示する。この第１の画像処理装置は、
入力画像を処理し、出力画像を出力する画像処理装置において、
複数系統の入力画像（例えば、図２のチャンネルCH1乃至CH4それぞれの画像）を取得する取得手段（例えば、図１のチューナ部１１１）と、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像（例えば、マルチ画面の画像）のフィールドまたはフレームを生成する画像処理手段（例えば、図１の信号処理部１１４乃至１１６）と
を備えることを特徴とする。
【００２１】
前記画像処理手段には、
さらに、前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成させ、
前記複数系統の縮小画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成させ、
前記複数系統の縮小画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成させることができる。
【００２２】
前記画像処理手段には、前記入力画像を記憶する入力画像記憶手段（例えば、図４の入力メモリ１３１）を設けることができ、
前記入力画像記憶手段には、前記入力画像を読み出すときの読み出しアドレスを制御することにより、前記縮小画像を出力させることができる。
【００２３】
前記画像処理手段には、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成することにより、前記複数系統の入力画像を縮小した前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成させることができる。
【００２４】
前記画像処理手段には、前記入力画像を記憶する入力画像記憶手段（例えば、図３５の出力メモリ３３３）を設けることができ、
前記入力画像記憶手段には、前記入力画像が書き込まれるときの書き込みアドレスを制御することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成させることができる。
【００２５】
前記複数系統の入力画像は、その複数の数のフィールドまたはフレームの周期のコマ落ちした画像とすることができる。
【００２６】
前記画像処理手段が、  
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する第１のモード（例えば、マルチ画面モード）と、
任意の１系統の前記入力画像の画質を向上させた前記出力画像を生成する第２のモード（例えば、通常画面モード）と
を有する場合には、
ユーザの操作に応じて、前記第１または第２のモードのうちのいずれかのモードの処理を行わせることができる。
【００２７】
前記画像処理手段には、複数のクラスのうちの、所定の注目画素のクラスのタップ係数と、前記注目画素に対して選択される前記入力画像の複数の画素とを用いた演算により、前記注目画素を求めるクラス分類適応処理を行うことによって、前記入力画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するクラス分類適応処理手段（例えば、図１０の高画質化処理部１３２）を設けることができる。
【００２８】
前記クラス分類適応処理手段には、
前記注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段（例えば、図１０のクラスタップ選択部１５４）と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図１０のクラス生成部１５５）と、
前記注目画素を求めるときの前記タップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段（例えば、図１０の予測タップ選択部１５６）と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段（例えば、図１０の係数メモリ１５７）と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段（例えば、図１０の積和演算部１５８）と
を設けることができる。
【００２９】
本明細書では、第１の画像処理方法を開示する。この第２の画像処理方法は、
入力画像を処理し、出力画像を出力する画像処理方法において、
複数系統の入力画像を取得する取得ステップ（例えば、図９のステップＳ１３１の処理）と、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する画像処理ステップ（例えば、図９のステップＳ１３２乃至Ｓ１３５の処理）と
を含むことを特徴とする。
【００３０】
本明細書では、第１のプログラムを開示する。この第１のプログラムは、
複数系統の入力画像を取得する取得ステップ（例えば、図９のステップＳ１３１の処理）と、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するとともに、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する画像処理ステップ（例えば、図９のステップＳ１３２乃至Ｓ１３５の処理）と
を含むことを特徴とする。
【００３１】
第１のプログラムは、記録媒体に記録することができる。
【００３２】
本明細書では、第２の画像処理装置を開示する。この第２の画像処理装置は、
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理装置において、
入力画像を取得する取得手段（例えば、図１のチューナ部１１１）と、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成手段（例えば、図４の高画質化処理部１３２や、図２３の高画質化処理部２３２、図３５の高画質化処理部３３２）と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成手段（例えば、図４や図２３の出力メモリ１３３、図３５の出力メモリ３３３）と
を備えることを特徴とする。
【００３３】
前記取得手段には、複数のチャンネルの伝送信号を時分割で受信することにより、その複数のチャンネルの画像を、前記複数系統の入力画像として取得させて出力させることができる。
【００３４】
前記取得手段には、前記複数のチャンネルの数のフィールドまたはフレームの周期のコマ落ちした前記入力画像を出力させることができる。
【００３５】
前記取得手段は、前記伝送信号を受信する１つのチューナとすることができる。
【００３６】
第２の画像処理装置には、前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成する縮小画像生成手段（例えば、図４や図２３の入力メモリ１３１）をさらに設けることができ、
前記フィールド／フレーム生成手段には、前記複数系統の縮小画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成させ、
前記合成手段には、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成させることができる。
【００３７】
前記縮小画像生成手段は、前記入力画像を記憶する入力画像記憶手段（例えば、図４や図２３の入力メモリ１３１）とすることができ、
前記入力画像記憶手段には、前記入力画像を読み出すときの読み出しアドレスを制御することにより、前記縮小画像を出力させることができる。
【００３８】
前記合成手段には、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小しながら合成することにより、前記複数系統の入力画像を縮小した前記複数系統の縮小画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成させることができる。
【００３９】
前記合成手段は、前記入力画像を記憶する入力画像記憶手段（例えば、図３５の出力メモリ３３３）とすることができ、
前記入力画像記憶手段には、前記入力画像が書き込まれるときの書き込みアドレスを制御することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを縮小させながら合成させることができる。
【００４０】
第２の画像処理装置には、ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する第１のモード（マルチ画面モード）と、
任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する第２のモード（通常画面モード）と
の動作モードの切り替えの制御を行う制御手段（例えば、図１のシステムコントローラ１１８）をさらに設けることができ、
前記動作モードが前記第１のモードのとき、
前記フィールド／フレーム生成手段には、複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成させ、
前記合成手段には、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成させ、
前記動作モードが第２の動作モードのとき、
前記フィールド／フレーム生成手段には、前記１系統の前記入力画像のフィールドまたはフレームの画質を向上させたフィールドまたはフレームを生成させ、
前記合成手段には、前記フィールド／フレーム生成手段において生成されたフィールドまたはフレームを、前記出力画像のフィールドまたはフレームとして出力させることができる。
【００４１】
前記フィールド／フレーム生成手段には、複数のクラスのうちの、所定の注目画素のクラスのタップ係数と、前記注目画素に対して選択される前記入力画像の複数の画素とを用いた演算により、前記注目画素を求めるクラス分類適応処理を行うことによって、前記入力画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成させることができる。
【００４２】
前記フィールド／フレーム生成手段には、
前記注目画素を前記複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記入力画像の画素から選択するクラスタップ選択手段（例えば、図２５のクラスタップ選択部１５４）と、
前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図２５のクラス生成部１５５）と、
前記注目画素を求めるときの前記タップ係数との演算に用いる予測タップを、前記入力画像の画素から選択する予測タップ選択手段（例えば、図２５の予測タップ選択部１５６）と、
前記複数のクラスそれぞれのタップ係数を記憶するタップ係数記憶手段（例えば、図２５の係数メモリ１５７）と、
前記注目画素のクラスのタップ係数と、前記注目画素に対して選択された前記予測タップとを用いた演算を行うことにより、前記注目画素を求める演算手段（例えば、図２５の積和演算部１５８）と
を設けることができる。
【００４３】
第２の画像処理装置には、前記入力画像の動きベクトルを検出する動きベクトル検出手段（例えば、図２３の動きベクトル検出部２３４）をさらに設けることができ、
前記クラスタップ選択手段または予測タップ選択手段には、前記注目画素に対応する前記入力画像の画素の動きベクトルに基づいて、前記入力画像の画素から、前記クラスタップまたは予測タップを選択させることができる。
【００４４】
第２の画像処理装置には、前記複数系統の入力画像それぞれを縮小した前記複数系統の縮小画像を生成する縮小画像生成手段（例えば、図２３の入力メモリ１３１）をさらに備え、
前記クラスタップ選択手段または予測タップ選択手段には、前記注目画素に対応する前記入力画像の画素の動きベクトルを縮小したものに基づいて、前記縮小画像の画素から、前記クラスタップまたは予測タップを選択させることができる。
【００４５】
第２の画像処理装置には、ユーザの操作に応じて、
前記複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成し、前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記出力画像のフィールドまたはフレームを生成する第１のモード（マルチ画面モード）と、
任意の１系統の前記入力画像のフィールドまたはフレームの画質を向上させた前記出力画像のフィールドまたはフレームを生成する第２のモード（通常画面モード）と
の動作モードの切り替えの制御を行う制御手段（例えば、図１のシステムコントローラ１１８）をさらに備え、
前記タップ係数記憶手段には、前記第１と第２のモード用のタップ係数を記憶させ、前記動作モードが前記第１または第２のモードのとき、それぞれ、前記第１または第２のモード用のタップ係数を、前記演算手段に供給させることができる。
【００４６】
本明細書では、第２の画像処理方法を開示する。この第２の画像処理方法は、
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理方法において、
入力画像を取得する取得ステップ（例えば、図９のステップＳ１３１の処理）と、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップ（例えば、図９のステップＳ１３４の処理）と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップ（例えば、図９のステップＳ１３５の処理）と
を含むことを特徴とする。
【００４７】
本明細書では、第２のプログラムを開示する。この第２のプログラムは、
伝送されてくる伝送信号を受信することにより得られる入力画像を処理し、出力画像を出力する画像処理を、コンピュータに行わせるプログラムにおいて、
入力画像を取得する取得ステップ（例えば、図９のステップＳ１３１の処理）と、
複数系統の入力画像それぞれについて、１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するフィールド／フレーム生成ステップ（例えば、図９のステップＳ１３４の処理）と、
前記複数系統の入力画像それぞれの同一フィールドまたはフレームを合成することにより、前記複数系統の入力画像それぞれの同一フィールドまたはフレームをマルチ画面表示する前記出力画像のフィールドまたはフレームを生成する合成ステップ（例えば、図９のステップＳ１３５の処理）と
を含むことを特徴とする。
【００４８】
第２のプログラムは、記録媒体に記録することができる。
【００４９】
以下、図面を参照して、発明の実施の形態を説明する。
【００５０】
図１は、本発明を適用したテレビジョン受像機１０１の一実施の形態の構成例を示している。
【００５１】
テレビジョン受像機１０１には、アンテナ１０２が接続されている。アンテナ１０２は、図示せぬ放送局から送信されてくる放送波（電波）としてのテレビジョン放送番組の伝送信号を受信し、テレビジョン受像機１０１に供給する。テレビジョン受像機１０１は、アンテナ１０１からの伝送信号を受信し、その伝送信号に含まれる所定のチャンネルのテレビジョン放送番組を、リモコン（リモートコマンダ）１０３からの操作信号にしたがって選局して、そのテレビジョン放送番組としての画像を表示するとともに、音声を出力する。
【００５２】
即ち、テレビジョン受像機１０１は、１つのチューナ部１１１を有しており、アンテナ１０１からの伝送信号は、チューナ部１１１に供給される。チューナ部１１１は、アンテナ１０１からの伝送信号を受信し、システムコントローラ１１８の制御にしたがって、受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像（データ）および音声（データ）を選局することにより取得する。
【００５３】
さらに、チューナ部１１１は、選局したチャンネルの音声を、増幅回路１１２に供給するとともに、画像のR(Red)信号、G(Green)信号、B(Blue)信号を、信号処理部１１４，１１５，１１６に、それぞれ供給する。
【００５４】
増幅部１１２は、チューナ部１１１からの音声を増幅し、スピーカ１１３に供給する。スピーカ１１３は、増幅部１１２からの音声を出力する。
【００５５】
信号処理部１１４乃至１１６は、システムコントローラ１１８からの制御にしたがい、チューナ部１１１からの画像のR信号、G信号、B信号を、それぞれ信号処理し、ディスプレイ１１７に供給する。ディスプレイ１１７は、信号処理部１１４乃至１１６それぞれから供給されるＲ，Ｇ，Ｂ信号に対応した画像を表示する。
【００５６】
システムコントローラ１１８は、リモコン受信部１１９から供給される操作信号にしたがって、チューナ部１１１および信号処理部１１４乃至１１６に制御信号を供給することにより、チューナ部１１１および信号処理部１１４乃至１１６を制御する。
【００５７】
リモコン受信部１１９は、ユーザがリモコン１０３を操作することにより、リモコン０１３から送信されてくる操作信号としての、例えば、赤外線その他の無線信号を受信し、システムコントローラ１１８に供給する。
【００５８】
以上のように構成されるテレビジョン受像機１０１では、チューナ部１１１は、アンテナ１０１からの伝送信号を受信し、システムコントローラ１１８の制御にしたがって、受信した伝送信号から所定のチャンネルのテレビジョン放送番組としての画像および音声を選局する。そして、チューナ部１１１は、選局したチャンネルの音声を、増幅回路１１２に供給するとともに、画像のR信号、G信号、B信号を、信号処理部１１４乃至１１６に、それぞれ供給する。
【００５９】
増幅部１１２では、チューナ部１１１からの音声が増幅され、スピーカ１１３に供給されて出力される。
【００６０】
一方、信号処理部１１４乃至１１６では、システムコントローラ１１８からの制御にしたがい、チューナ部１１１からの画像のR信号、G信号、B信号が、それぞれ信号処理される。そして、信号処理部１１４では、それぞれの信号処理の結果得られる信号が、ディスプレイ１１７に供給され、ディスプレイ１１７において、対応する画像が表示される。
【００６１】
なお、テレビジョン受像機１０１において受信する放送は、特に限定されるものではない。即ち、テレビジョン受像機１０１では、例えば、衛星放送、地上波放送、アナログ放送、ディジタル放送、その他の任意の放送を受信することができる。
【００６２】
また、以下においては、音声に関する説明は、特に必要がない限り省略する。
【００６３】
次に、図１のシステムコントローラ１１８によるチューナ部１１１および信号処理部１１４乃至１１６の制御について説明する。
【００６４】
ここで、信号処理部１１４乃至１１６では、それぞれで処理される信号が、R信号、G信号、Ｂ信号であることを除いて同一の処理が行われるため、以下では、特に必要がない限り、信号処理部１１４乃至１１６のうちの、信号処理部１１４についてだけ説明する。
【００６５】
また、以下においては、チューナ部１１１が出力する画像がプログレッシブ画像（ノンインタレース方式の画像）であるとして説明を行う。但し、チューナ部１１１が出力する画像は、インタレース方式の画像であっても良く、この場合、以下の記載における「フレーム」は、「フィールド」とすることができる。
【００６６】
システムコントローラ１１８は、リモコン１０３からリモコン受信部１１９を介して供給される操作信号にしたがい、後述するマルチ画面モードと通常画面モードとの動作モードの切り換え制御を行う。即ち、システムコントローラ１１８は、ユーザによるリモコン１０３の操作に応じて、テレビジョン受像機１０１の動作モードを、マルチ画面モードまたは通常画面モードに切り換え、その動作モードの処理を行うように、チューナ部１１１および信号処理部１１４乃至１１６を制御する。
【００６７】
従って、チューナ部１１１および信号処理部１１４乃至１１６は、システムコントローラ１１８の制御にしたがい、マルチ画面モードの処理、または通常画面モードの処理を行う。
【００６８】
ここで、チューナ１１１から信号処理部１１４に供給（入力）される画像を、入力画像というとともに、信号処理部１１４における信号処理の結果得られる画像を、出力画像というものとすると、マルチ画面モードとは、例えば、複数チャンネルの入力画像それぞれの同一フレームが、いわゆるマルチ画面表示された出力画像を得て、ディスプレイ１１７に表示するモードであり、通常画面モードとは、１チャンネルの入力画像に対応する出力画像を得て、ディスプレイ１１７に表示するモードである。
【００６９】
マルチ画面モードにおいては、複数チャンネルの画像が、マルチ画面で表示されるので、ユーザは、そのマルチ画面の画像を見ることにより、複数のチャンネルの中から、所望の番組を放送しているチャンネルを、容易に選択することが可能となる。
【００７０】
なお、マルチ画面モードにおいては、マルチ画面で表示されている複数チャンネルの画像のうちの任意のチャンネルの画像を指定するカーソル（例えば、枠）を表示し、そのカーソルを、ユーザによるリモコン１０３の操作に応じて移動させることができる。この場合、スピーカ１１３からは、カーソルによって指定されている画像のチャンネル（フォーカスされているチャンネル）の音声を出力するようにすることができる。
【００７１】
図２は、図１のシステムコントローラ１１８によるチューナ部１１１の制御を説明するための図である。なお、図２では、縦軸が、画像の垂直方向を表し、横軸が時間（の経過）を表す。
【００７２】
動作モードが通常画面モードの場合、システムコントローラ１１８は、ユーザによるリモコン１０３の操作に対応したチャンネルを選局するように、チューナ部１１１を制御する。
【００７３】
従って、例えば、いま、ユーザが、リモコン１０３を操作することにより、チャンネルCH1を選択しているものとすると、チューナ部１１１は、アンテナ１０２からの伝送信号から、チャンネルCH1を選局し続け、これにより、図２上側に示すように、フレーム周期で、チャンネルCH1の画像を、信号処理部１１４に供給する。
【００７４】
一方、動作モードがマルチ画面モードの場合、システムコントローラ１１８は、例えば、フレーム周期で、選局するチャンネルを順次変更するように、チューナ部１１１を制御する。
【００７５】
従って、選局の変更対象のチャンネル数が、例えば、チャンネルCH1,CH2,CH3,CH4の４チャンネルであるとすると、チューナ部１１１は、例えば、図２下側に示すように、最初のフレームのタイミングで、チャンネルCH1を選局し、次のフレームのタイミングで、チャンネルCH2を選局し、以下、同様にして、チャンネルCH3，CH4を順次選局する。その後、チューナ部１１１は、再び、チャンネルCH１を選局し、以下、同様にして、チャンネルCH1乃至CH4それぞれを時分割で選局する。その結果、フレーム周期をT1で表すこととすると、チューナ部１１１から信号処理部１１４に対しては、チャンネルCH1の画像が、フレーム周期T1の４倍の周期で供給される。即ち、チューナ部１１１からは、フレーム周期T1の４倍の周期で、３フレームずつのコマ落ちが生じたチャンネルCH1の画像が出力される。他のチャンネルCH2乃至CH4それぞれの画像についても、同様である。
【００７６】
ここで、選局の変更対象のチャンネル数は、４チャンネルに限定されるものではない。選局の変更対象のチャンネル数をNで表すこととすると、マルチ画面モードでは、選局の変更対象の各チャンネルの画像が、チューナ部１１１から信号処理部１１４に供給される周期は、フレーム周期T1のN倍になる。
【００７７】
また、マルチ画面モードでは、例えば、テレビジョン受像機１０１で受信可能なすべてのチャンネルを、選局の変更対象のチャンネルとすることもできるし、ユーザが選んだ複数のチャンネルを、選局の変更対象のチャンネルとすることもできる。さらに、マルチ画面モードにおいて、選局の変更対象のチャンネル数、即ち、１フレームに表示される画像のチャンネル数が所定の数より多い場合には、画像をスクロールして表示するようにすることが可能である。
【００７８】
また、本実施の形態では、マルチ画面モードにおいて、チューナ部１１１が、フレーム周期T1で、選局するチャンネルを変更することとするが、選局するチャンネルの変更は、その他、フレーム同期T1の２倍や３倍等の同期で行うことも可能である。
【００７９】
ここで、以下においては、説明を簡単にするために、マルチ画面モードにおけるチューナ部１１１の選局の変更対象のチャンネルが、上述したチャンネルCH1乃至CH4とされているものとする。
【００８０】
次に、図３は、通常画面モードにおいてチューナ部１１１で得られた１つのチャンネルCH1の画像を単に表示した場合と、マルチ画面モードにおいてチューナ部１１１で得られた４チャンネルCH1乃至CH4の画像を、そのチャンネル数と等しい分割数のマルチ画面、即ち、４分割のマルチ画面で単に表示した場合とを示している。
【００８１】
なお、マルチ画面モードでは、１フレームが、例えば、２×２の４つの小画面に等分割されて、４チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。また、ここでは、４分割のマルチ画面のうちの、例えば、左上、右上、左下、右下の小画面に、チャンネルCH1乃至CH4の画像が、それぞれ表示されるものとする。
【００８２】
通常画面モードでは、チューナ部１１１において、図２で説明したように、１つのチャンネルCH1の画像が、フレーム周期T1で得られる。従って、チューナ部１１１で得られた１つのチャンネルCH1の画像を単に表示した場合は、図３上側に示すように、フレーム周期T1で、チャンネルCH1の画像が表示される。
【００８３】
一方、マルチ画面モードでは、チューナ部１１１において、図２で説明したように、４チャンネルCH1乃至CH4それぞれの画像が、フレーム周期T1の４倍の周期4T1で得られる。従って、チューナ部１１１で得られた４チャンネルCH1乃至CH4それぞれの画像を、４分割のマルチ画面で単に表示した場合には、図３下側に示すように、最初のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部１１１で得られたチャンネルCH1の画像の最初のフレームが表示され、２番目のフレームのタイミングで、マルチ画面の右上の小画面に、チューナ部１１１で得られたチャンネルCH2の画像の２番目のフレームが表示される。さらに、３番目のフレームのタイミングで、マルチ画面の左下の小画面に、チューナ部１１１で得られたチャンネルCH3の画像の３番目のフレームが表示され、４番目のフレームのタイミングで、マルチ画面の右下の小画面に、チューナ部１１１で得られたチャンネルCH4の画像の４番目のフレームが表示される。その後、５番目のフレームのタイミングで、マルチ画面の左上の小画面に、チューナ部１１１で得られたチャンネルCH1の画像の５番目のフレームが表示され、以下、同様にして、チューナ部１１１において、周期4T1で得られるチャンネルCH1乃至CH4それぞれの画像が、マルチ画面の対応する小画面に表示される。
【００８４】
マルチ画面モードにおいて、チューナ部１１１であるチャンネルが選局された後、次にそのチャンネルが選局されるまでの間、そのチャンネルの画像を表示する小画面を、例えば、フリーズしておくものとすると、チューナ部１１１では、４チャンネルCH1乃至CH4それぞれが、時分割で、周期4T1で選局されるために、マルチ画面に表示される４チャンネルCH1乃至CH4の画像は、動きの粗い、見にくいものとなる。
【００８５】
図１のテレビジョン受像機１０１では、そのようなマルチ画面の表示を行うことも可能であるが、後述するように、信号処理部１１４において、動きの滑らかなマルチ画面を表示する出力画像を生成して表示することができるようになっている。
【００８６】
即ち、図４は、図１の信号処理部１１４の構成例を示している。
【００８７】
図１のチューナ部１１１が出力する画像としての入力画像は、入力メモリ１３１に供給されるようになっている。
【００８８】
入力メモリ１３１は、動作モードが通常画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からの入力画像を、例えばフレーム単位で一時記憶し、記憶した入力画像を、そのまま、高画質化処理部１３２に供給する。
【００８９】
また、入力メモリ１３１は、動作モードがマルチ画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からの入力画像を、例えば、フレーム単位で記憶し、その記憶した入力画像のフレームをマルチ画面の小画面のサイズに縮小した縮小画像を生成して、高画質化処理部１３２に供給する。
【００９０】
即ち、システムコントローラ１１８が出力する制御信号には、入力メモリ１３１の書き込みアドレスと読み出しアドレスが含まれており、入力メモリ１３１は、システムコントローラ１１８からの制御信号に含まれる書き込みアドレスにしたがって、チューナ部１１１からの入力画像を書き込む（記憶する）。さらに、入力メモリ１３１は、システムコントローラ１１８からの制御信号に含まれる読み出しアドレスにしたがって、記憶した入力画像を読み出すことにより、即ち、記憶した入力画像を構成する画素（の画素値）を、水平方向と垂直方向それぞれについて所定の画素数おきに読み出すことにより、入力画像を縮小した縮小画像を生成し、高画質化処理部１３２に供給する。
【００９１】
なお、入力メモリ１３１では、入力画像の書き込み時に、その入力画像の書き込みを所定の画素数おきに行うことで縮小画像を生成することも可能である。
【００９２】
高画質化処理部１３２は、動作モードが通常画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される入力画像のフレームの画質を向上させたフレームを生成し、即ち、例えば、入力メモリ１３１から供給される入力画像のフレームからノイズを除去し、出力メモリ１３３に供給する。
【００９３】
また、高画質化処理部１３２は、動作モードがマルチ画面モードの場合、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される縮小画像のフレームと、他のフレームとの間のフレームを生成し、出力メモリ１３３に供給する。
【００９４】
即ち、動作モードがマルチ画面モードの場合、チューナ部１１１は、上述したように、周期4T1で、３フレームずつのコマ落ちが生じた４チャンネルCH1乃至CH4の入力画像を、信号処理部１１４に供給する。従って、入力メモリ１３１から高画質化処理部１３２に供給される、４チャンネルCH1乃至CH4の入力画像を縮小した縮小画像にも、それぞれ、周期4T1で、３フレームずつのコマ落ちが生じている。
【００９５】
例えば、いま、そのコマ落ちが生じているフレームを、欠損フレームというものとすると、高画質化処理部１３２は、例えば、入力メモリ１３１から供給される縮小画像が存在する隣接する２つのフレームの間の欠損フレーム（の画像）を生成することにより、４チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像を得て、出力メモリ１３３に供給する。
【００９６】
なお、高画質化処理部１３２では、縮小画像が存在するフレームについては、その縮小画像を、そのまま、そのフレームの画像として採用することもできるし、また、欠損フレームの画像と同様にして、画像を生成することもできる。
【００９７】
出力メモリ１３３は、動作モードが通常画面モードの場合は、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部１３２が出力する画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ１１７（図１）に供給する。
【００９８】
また、出力メモリ１３３は、動作モードがマルチ画面モードの場合は、システムコントローラ１１８からの制御信号にしたがって、高画質化処理部１３２からのチャンネルCH1乃至CH4の縮小画像の同一フレームを合成することにより、そのチャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成し、ディスプレイ１１７に供給する。
【００９９】
即ち、システムコントローラ１１８が出力する制御信号には、出力メモリ１３３の書き込みアドレスと読み出しアドレスが含まれており、出力メモリ１３３は、システムコントローラ１１８からの制御信号に含まれる書き込みアドレスにしたがって、高画質化処理部１３２からのチャンネルCH1乃至CH4の同一フレームの縮小画像を、マルチ画面の左上、右上、左下、右下の小画面に対応する記憶領域に書き込む（記憶する）ことにより、チャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成（記憶）する。さらに、出力メモリ１３３は、システムコントローラ１１８からの制御信号に含まれる読み出しアドレスにしたがって、生成（記憶）した出力画像のフレームを読み出し、ディスプレイ１１７に供給する。
【０１００】
次に、図５を参照して、動作モードが通常画面モードの場合の図４の信号処理部１１４の処理の概要について説明する。なお、図５では、i番目のフレーム（の画像）を、tiと表してある。
【０１０１】
通常画面モードにおいて、チューナ部１１１（図１）が、チャンネルCH1を選局している場合、図５上側に示すように、高画質化処理部１３２には、入力メモリ１３１を介して、チャンネルCH1の入力画像のフレームtiがフレーム周期T1で順次入力される。そして、高画質化処理部１３２では、そこに入力されるチャンネルCH1の入力画像のフレームtiからノイズが除去され、図５下側に示すように、そのノイズが除去されたチャンネルCH1の入力画像のフレームtiがフレーム周期T1で順次出力され、出力メモリ１３３を介してディスプレイ１１７（図１）に供給される。
【０１０２】
次に、図６を参照して、動作モードがマルチ画面モードの場合の図４の信号処理部１１４の処理の概要について説明する。なお、図６では、チャンネルCH#kのi番目のフレームを、CH#k(ti)と表してある。
【０１０３】
マルチ画面モードにおいて、チューナ部１１１が、チャンネルCH1乃至CH4を時分割で選局している場合、図６一番上に示すように、高画質化処理部１３２には、入力メモリ１３１において縮小画像とされたチャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
【０１０４】
即ち、図６では、フレームt1のタイミングで、チャンネルCH1の1番目のフレームであるフレームCH1(t1)が、フレームt2のタイミングで、チャンネルCH2の2番目のフレームであるフレームCH2(t2)が、フレームt3のタイミングで、チャンネルCH3の3番目のフレームであるフレームCH3(t3)が、フレームt4のタイミングで、チャンネルCH4の4番目のフレームであるフレームCH4(t4)が、フレームt5のタイミングで、チャンネルCH1の5番目のフレームであるフレームCH1(t5)が、高画質化処理部１３２に入力され、以下同様にして、チャンネルCH1乃至CH4のフレームそれぞれが、周期4T1で順次入力される。
【０１０５】
高画質化処理部１３２では、図６上から２番目に示すように、チャンネルCH1の欠損フレームであるフレーム（の画像）CH1(t2),CH1(t3),CH1(t4),CH1(t6),・・・が生成され、さらに、チャンネルCH2の欠損フレームであるフレームCH2(t1),CH2(t3),CH2(t4),CH2(t5),・・・が生成される。また、高画質化処理部１３２では、チャンネルCH3の欠損フレームであるフレームCH3(t1),CH3(t2),CH3(t4),CH3(t5),・・・が生成され、さらに、チャンネルCH4の欠損フレームであるフレームCH4(t1),CH4(t2),CH4(t3),CH4(t5),・・・が生成される。
【０１０６】
このようにして、高画質化処理部１３２は、４チャンネルCH1乃至CH4それぞれについて、フレーム周期T1でフレームが存在する縮小画像を得て、出力メモリ１３３に供給する。
【０１０７】
出力メモリ１３３では、図６上から３番目（一番下）に示すように、高画質化処理部１３２から供給される４チャンネルCH1乃至CH4それぞれの縮小画像の同一フレームCH1(ti),CH2(ti),CH3(ti),CH4(ti)が合成されることにより、それらをマルチ画面表示するフレームtiの出力画像が生成され、ディスプレイ１１７（図１）に供給される。
【０１０８】
以上のように、信号処理部１１４では、  複数チャンネルの入力画像それぞれについて、１のフレームと、他の１のフレームとの間のフレームを生成するとともに、複数チャンネルの入力画像それぞれの同一フレームを合成することにより、出力画像のフレームを生成するようにしたので、１つのチューナ部１１１を用いて、即ち、テレビジョン受像機１０１の規模を抑えて、動きの滑らかなマルチ画面を得ることができる。
【０１０９】
次に、図７のフローチャートを参照して、動作モードが通常画面モードの場合の図４の信号処理部１１４の処理について説明する。なお、以下においては、動作モードが通常画面モードの場合、チューナ部１１１において、例えば、チャンネルCH1が選局されるものとする。
【０１１０】
入力メモリ１３１は、チューナ部１１１（図１）から供給されるチャンネルCH1の画像を記憶する。そして、入力メモリ１３１は、ステップＳ１０１において、そのチャンネルCH1の画像を読み出し、高画質化処理部１３２に供給して、ステップＳ１０２に進む。
【０１１１】
ステップＳ１０２では、高画質化処理部１３２は、入力メモリ１３１から供給されるチャンネルCH1の画像からノイズを除去し、その結果得られるノイズ除去画像を、出力画像として、出力メモリ１３３を介して、ディスプレイ１１７（図１）に供給して、処理を終了する。
【０１１２】
なお、図７のフローチャートにしたがった処理は、例えば、チューナ部１１１から信号処理部１１４に対して画像が供給されなくなるまで、または動作モードが通常画面モードからマルチ画面モードに切り換えられるまで繰り返し行われる。
【０１１３】
次に、図８のフローチャートを参照して、動作モードがマルチ画面モードの場合の図４の信号処理部１１４の処理について説明する。
【０１１４】
入力メモリ１３１は、チューナ部１１１（図１）から供給されるチャンネルCH1乃至CH4の（いずれかの）画像を記憶する。そして、入力メモリ１３１は、ステップＳ１１１において、記憶した画像を、システムコントローラ１１８からの制御信号にしたがって読み出すことにより縮小画像を生成し、高画質化処理部１３２に供給して、ステップＳ１１２に進む。
【０１１５】
ステップＳ１１２では、高画質化処理部１３２は、入力メモリ１３１から供給された縮小画像のチャンネルについて、欠損フレームの縮小画像を生成し、出力メモリ１３３に供給する。さらに、ステップＳ１１２では、出力メモリ１３３は、高画質化処理部１３２から供給される縮小画像を、システムコントローラ１１８からの制御信号にしたがって書き込むことにより、チャンネルCH1乃至CH4の同一フレームの縮小画像を合成し、その結果得られる、チャンネルCH1乃至CH4の同一フレームの縮小画像をマルチ画面表示する出力画像を、ディスプレイ１１７（図１）に供給して、処理を終了する。
【０１１６】
なお、図８のフローチャートにしたがった処理は、例えば、チューナ部１１１から信号処理部１１４に対して画像が供給されなくなるまで、または動作モードがマルチ画面モードから通常画面モードに切り換えられるまで繰り返し行われる。
【０１１７】
ところで、上述したように、信号処理部１１４では、マルチ画面モードにおいて、欠損フレームを生成する。信号処理部１１４において、この欠損フレームを生成することにより、マルチ画面における画像の動きを滑らかなものとするため、欠損フレームは、チューナ部１１１で受信されたフレーム（以下、適宜、非欠損フレームという）における画像の動きを考慮して生成するのが望ましい。
【０１１８】
そこで、信号処理部１１４では、非欠損フレームを用いて、画像の動きベクトルを検出し、その動きベクトルに基づいて、マルチ画面モードの処理と、通常画面モードの処理とを行うようになっている。
【０１１９】
但し、通常画面モードでは、欠損フレームが存在しないことから、注目しているフレームが第nフレームであるとすると、その第nフレームの動きベクトルは、例えば、その次の第n+1フレームを参照することにより検出することができる。一方、マルチ画面モードでは、欠損フレームが存在することから、注目している非欠損フレームが第nフレームであり、上述したように３フレームのコマ落ち（欠損フレーム）が存在する場合には、第nフレームの動きベクトルは、例えば、その次の非欠損フレームである第n+4フレームを参照することにより検出する必要がある。
【０１２０】
従って、動作モードが、通常画面モードの場合とマルチ画面モードの場合とでは、信号処理部１１４における動きベクトルを検出する処理が異なるため、信号処理部１１４では、通常画面モードにおいては、通常画面モード用の動きベクトルの検出処理、即ち、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理が行われ、マルチ画面モードにおいては、マルチ画面モード用の動きベクトルの検出処理、即ち、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理が行われる。
【０１２１】
ここで、図４の信号処理部１１４では、動きベクトルの検出は、高画質化処理部１３２において行われるようになっている。
【０１２２】
なお、動きベクトルの検出方法としては、例えば、ブロックマッチング法や、勾配法、その他の任意の方法を採用することができる。
【０１２３】
また、本実施の形態では、動きベクトルは、例えば、画素単位で検出するものとし、従って、各画素に対して動きベクトルが得られるものとする。但し、動きベクトルの検出は、その他、例えば、所定の画素数おきや、所定の画素で構成されるブロック単位等で行うことができ、任意の画素に対する動きベクトルは、その近くにある他の画素に対して検出された動きベクトルや、その画素を含むブロックに対して検出された動きベクトルで代用することが可能である。
【０１２４】
さらに、本実施の形態では、動きベクトルを、例えば画素精度で行うものとする。但し、動きベクトルの検出は、画素より小さい、または大きい精度で行ってもよい。
【０１２５】
次に、図９のフローチャートを参照して、図１のシステムコントローラ１１８が行う処理について説明する。
【０１２６】
システムコントローラ１１８は、ステップＳ１２１において、動作モードが、マルチ画面モードかどうかを判定し、マルチ画面モードでないと判定した場合、即ち、動作モードが通常画面モードである場合、ステップＳ１２２に進み、例えば、ユーザがリモコン１０３を操作することにより指定したチャンネルなどのある１チャンネルを選局するように、チューナ部１１１（図１）を制御して、ステップＳ１２３に進む。これにより、チューナ部１１１は、システムコントローラ１１８からの制御にしたがったチャンネルの選局を行い、そのチャンネルの画像を、信号処理部１１４乃至１１６に出力する。
【０１２７】
ステップＳ１２３では、システムコントローラ１１８は、チューナ部１１１から信号処理部１１４乃至１１６に供給される画像を書き込み、その書き込んだ画像を読み出すように、信号処理部１１４乃至１１６の入力メモリ１３１（図４）を制御して、ステップＳ１２４に進む。これにより、入力メモリ１３１は、システムコントローラ１１８の制御にしたがい、チューナ部１１１から供給される画像を記憶し、その記憶した画像を読み出して、高画質化処理部１３２に供給する。
【０１２８】
ステップＳ１２４では、システムコントローラ１１８は、入力メモリ１３１から供給される画像について、通常画面モード用の動きベクトルの検出処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１２５に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される画像を対象に、通常画面モード用の動きベクトルを検出する。
【０１２９】
ステップＳ１２５では、システムコントローラ１１８は、入力メモリ１３１から供給される画像を対象として、ノイズ除去処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１２６に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される画像を対象として、その画像から検出された動きベクトルに基づくノイズ除去処理を行い、その結果得られる画像としてのノイズ除去画像を出力する。
【０１３０】
ステップＳ１２６では、システムコントローラ１１８は、高画質化処理部１３２が出力するノイズ除去画像を書き込み、その書き込んだノイズ除去画像を読み出すように、出力メモリ１３３（図４）を制御する。これにより、出力メモリ１３３は、システムコントローラ１１８の制御にしたがい、高画質化処理部１３２が出力するノイズ除去画像を記憶し、その記憶した画像を、出力画像として読み出して、ディスプレイ１１７（図１）に供給する。
【０１３１】
一方、システムコントローラ１１８は、ステップＳ１２１において、動作モードが、マルチ画面モードであると判定した場合、ステップＳ１３１に進み、複数チャンネルであるチャンネルCH1乃至CH4それぞれを、時分割で選局するように、チューナ部１１１（図１）を制御して、ステップＳ１３２に進む。これにより、チューナ部１１１は、システムコントローラ１１８からの制御にしたがい、時分割でチャンネルCH1乃至CH4の選局を時分割で行い、チャンネルCH1乃至CH4の画像それぞれを、そのチャンネル数に等しい４フレーム周期で、信号処理部１１４乃至１１６に出力する。従って、チャンネルCH1乃至CH4のうちの１チャンネルに注目すると、チューナ部１１１から信号処理部１１４乃至１１６に出力される、その１チャンネルの画像は、４フレームにつき１フレームしか画像が存在しない、即ち、４フレームのうちの３フレームが欠損フレームとなっている画像である。
【０１３２】
ステップＳ１３２では、システムコントローラ１１８は、チューナ部１１１から信号処理部１１４乃至１１６に供給される画像を書き込み、その書き込んだ画像の画素（の画素値）を読み出すように、信号処理部１１４乃至１１６の入力メモリ１３１（図４）を制御して、ステップＳ１３３に進む。これにより、入力メモリ１３１は、システムコントローラ１１８の制御にしたがい、チューナ部１１１から供給される画像を記憶し、その記憶した画像を間引いて読み出すことにより、縮小画像を生成して、高画質化処理部１３２に供給する。従って、高画質化処理部１３２に対しては、４フレームにつき３フレームが欠損フレームとなっているチャンネルCH1乃至CH4の縮小画像それぞれが供給される。
【０１３３】
ステップＳ１３３では、システムコントローラ１１８は、入力メモリ１３１から供給される縮小画像について、マルチ画面モード用の動きベクトルの検出処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１３４に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される縮小画像を対象に、通常画面モード用の動きベクトルを検出する。
【０１３４】
ステップＳ１３４では、システムコントローラ１１８は、入力メモリ１３１から供給される縮小画像から、チャンネルCH1乃至CH4それぞれの欠損フレームを生成する欠損フレーム生成処理を行うように、高画質化処理部１３２（図４）を制御して、ステップＳ１３５に進む。これにより、高画質化処理部１３２は、入力メモリ１３１から供給される縮小画像を用い、その縮小画像から検出された動きベクトルに基づく欠損フレーム生成処理を行い、その結果得られる、欠損フレームがない画像としての欠損フレームなし画像を出力する。
【０１３５】
ステップＳ１３４では、システムコントローラ１１８は、高画質化処理部１３２が出力するチャンネルCH1乃至CH4それぞれの欠損フレームなし画像を、マルチ画面を構成する小画面に対応する記憶領域に書き込み、その書き込みによって生成されるマルチ画面の出力画像を読み出すように、出力メモリ１３３（図４）を制御する。これにより、出力メモリ１３３は、システムコントローラ１１８の制御にしたがい、高画質化処理部１３２が出力するチャンネルCH1乃至CH4それぞれの欠損フレームなし画像を記憶することにより、マルチ画面の出力画像を生成し、その出力画像を読み出して、ディスプレイ１１７（図１）に供給する。
【０１３６】
次に、図４の高画質化処理部１３２は、上述したように、動作モードが通常画面モードの場合には、ノイズ除去処理を行い、動作モードがマルチ画面モードの場合には、欠損フレーム生成処理を行う。
【０１３７】
このノイズ除去処理と欠損フレーム生成処理としては、従来の方法を採用することも可能であるが、ここでは、クラス分類適応処理により、ノイズ除去処理と欠損フレーム生成処理を行うこととする。
【０１３８】
クラス分類適応処理は、例えば、第１の画像を第２の画像に変換する画像変換処理でもあり、第２の画像を構成する各画素をクラス分けするクラス分類を行い、その各画素が属するクラスに応じたタップ係数と、第１の画像とを用いた演算としての適応処理を行うことで、第１の画像から第２の画像を構成する各画素（の画素値）を求めるものである。
【０１３９】
ここで、例えば、第１の画像を、空間解像度が低解像度の画像とするとともに、第２の画像を、空間解像度が高解像度の画像とすれば、クラス分類適応処理は、空間解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像を、低Ｓ／Ｎ(Siginal/Noise)の画像とするとともに、第２の画像を、高Ｓ／Ｎの画像とすれば、クラス分類適応処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像を所定のサイズの画像とするとともに、第２の画像を、第１の画像のサイズを大きくまたは小さくした画像とすれば、クラス分類適応処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。また、例えば、第２の画像を欠損フレームが存在しない画像とするとともに、第１の画像を、第２の画像から一部のフレームを欠落（欠損）させた、欠損フレームが存在する画像とすれば、クラス分類適応処理は、欠損フレームを生成する欠損フレーム生成処理ということができる。
【０１４０】
なお、欠損フレーム生成処理としてのクラス分類適応処理は、欠損フレームが存在する第１の画像を、欠損フレームが存在しない第２の画像に変換することから、第２の画像は、第１の画像と比較して、時間解像度が向上したものとなっており、かかる観点からは、時間解像度を向上させる解像度向上処理ともいうことができる。
【０１４１】
以上のように、クラス分類適応処理によれば、第１および第２の画像をどのように定義するかによって、様々な画像変数処理を実現することができる。
【０１４２】
図１０は、クラス分類適応処理を行う高画質化処理部１３２の構成例を示している。
【０１４３】
高画質化処理部１３２には、入力メモリ１３１（図４）から、第１の画像としての通常の画像または縮小画像が供給される。即ち、動作モードが通常画面モードの場合は、入力メモリ１３１から高画質化処理部１３２に対して、例えば、チューナ部１１１が出力するチャンネルCH1の欠損フレームがない画像が、第１の画像として供給される。また、動作モードがマルチ画面モードの場合は、入力メモリ１３１から高画質化処理部１３２に対して、例えば、チャンネルCH1乃至CH4の画像を縮小した縮小画像であって、欠損フレームがある画像が、第１の画像として供給される。
【０１４４】
そして、高画質化処理部１３２では、入力メモリ１３１からの第１の画像が、動きベクトル検出部１５１、クラスタップ選択部１５４、および予測タップ選択部１５６に供給される。
【０１４５】
高画質化処理部１３２では、注目画素選択部１５０が、第２の画像を構成する画素を、順次、注目画素とし、その注目画素（を表す情報）を、高画質化処理部１３２の必要なブロックに供給する。
【０１４６】
動きベクトル検出部１５１は、システムコントローラ１１８（図１）から供給される制御信号にしたがって、入力メモリ１３１（図４）から供給される第１の画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、およびクラス生成部１５５に供給する。
【０１４７】
ここで、システムコントローラ１１８は、動作モードが通常画面モードの場合には、通常画面モード用の動きベクトルの検出処理を指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、マルチ画面モード用の動きベクトルの検出処理を指示するコマンドを含む制御信号を出力する。
【０１４８】
動きベクトル検出部１５１は、システムコントローラ１１８が出力する制御信号に、通常画面モード用の動きベクトルの検出処理を指示するコマンドが含まれる場合には、通常画面モード用の動きベクトルの検出処理、即ち、上述したように、第nフレームの動きベクトルを、その次の第n+1フレームを参照することにより検出する処理を行う。
【０１４９】
また、動きベクトル検出部１５１は、システムコントローラ１１８が出力する制御信号に、マルチ画面モード用の動きベクトルの検出処理を指示するコマンドが含まれる場合には、マルチ画面モード用の動きベクトルの検出処理、即ち、上述したように、非欠損フレームである第nフレームの動きベクトルを、その次の非欠損フレームである第n+4フレームを参照することにより検出する処理を行う。
【０１５０】
クラスタップ構造決定部１５２は、システムコントローラ１１８から供給される制御信号、および動きベクトル検出部１５１から供給される動きベクトルにしたがい、注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップとなる第１の画像を構成する複数の画素を決定し、その画素を表す情報としてのクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０１５１】
ここで、システムコントローラ１１８は、動作モードが通常画面モードの場合には、後述する通常画面モード用のタップ構造のクラスタップを構成することを指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、後述するマルチ画面モード用のタップ構造のクラスタップを構成することを指示するコマンドを含む制御信号を出力する。
【０１５２】
クラスタップ構造決定部１５２は、システムコントローラ１１８が出力する制御信号に、通常画面モード用のタップ構造のクラスタップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０１５３】
また、クラスタップ構造決定部１５２は、システムコントローラ１１８が出力する制御信号に、マルチ画面モード用のタップ構造のクラスタップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０１５４】
予測タップ構造決定部１５３は、システムコントローラ１１８から供給される制御信号、および動きベクトル検出部１５１から供給される動きベクトルにしたがい、注目画素（の画素値）を求めるときのタップ係数との演算に用いる予測タップとなる第１の画像を構成する複数の画素を決定し、その画素を表す情報としての予測タップ情報を、予測タップ選択部１５６に供給する。
【０１５５】
ここで、システムコントローラ１１８は、動作モードが通常画面モードの場合には、通常画面モード用のタップ構造の予測タップを構成することを指示するコマンドを含む制御信号を出力し、動作モードがマルチ画面モードの場合には、マルチ画面モード用のタップ構造の予測タップを構成することを指示するコマンドを含む制御信号を出力する。
【０１５６】
予測タップ構造決定部１５３は、システムコントローラ１１８が出力する制御信号に、通常画面モード用のタップ構造の予測タップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０１５７】
また、予測タップ構造決定部１５３は、システムコントローラ１１８が出力する制御信号に、マルチ画面モード用のタップ構造の予測タップを構成することを指示するコマンドが含まれる場合には、動きベクトル検出部１５１から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０１５８】
なお、クラスタップ構造決定部１５２と、予測タップ構造決定部１５３とでは、通常画面モード用のタップ構造の画素として、同一のタップ構造の画素を決定することもできるし、異なるタップ構造の画素を決定することもできる。マルチ画面モード用のタップ構造の画素についても、同様である。
【０１５９】
クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがい、そこに供給される第１の画像から複数の画素（の画素値）を選択し、クラスタップとして、クラス生成部１５５に供給する。
【０１６０】
ここで、上述したように、クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部１５２は、動きベクトル検出部１５１から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部１５４では、動きベクトル検出部１５１が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
【０１６１】
クラス生成部１５５は、例えば、動きベクトル検出部１５１から供給される動きベクトルと、クラスタップ選択部１５４から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ１５７に供給する。
【０１６２】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【０１６３】
いま、例えば、クラスタップのみをクラス分類に用いることとすると、ADRCを用いるクラス分類では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【０１６４】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（例えば、小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。クラス生成部１５５は、例えば、クラスタップをADRC処理して得られるADRCコードを、クラスコードとして生成（出力）する。
【０１６５】
なお、クラス生成部１５５には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス生成部１５５が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
【０１６６】
従って、クラス生成部１５５においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
【０１６７】
ここで、クラス生成部１５５は、上述したように、注目画素についてのクラスタップだけでなく、動きベクトル検出部１５１が検出した動きベクトルにも基づいてクラス分類を行う。即ち、クラス生成部１５５は、例えば、動きベクトルの大きさやｘ方向およびｙ方向の成分を対象に２値化等の量子化を行って得られる値を、注目画素についてのクラスタップをADRC処理することにより得られるADRCコードの上位ビットまたは下位ビットとして付加し、その結果得られるビット列を、注目画素のクラスを表すクラスコードとして出力する。
【０１６８】
予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがい、そこに供給される第１の画像から複数の画素（の画素値）を選択し、予測タップとして、積和演算部１５８に供給する。
【０１６９】
ここで、上述したように、予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部１５３は、動きベクトル検出部１５１から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部１５６では、動きベクトル検出部１５１が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
【０１７０】
係数メモリ１５７は、後述する学習によって求められた複数のクラスそれぞれのタップ係数を記憶している。即ち、係数メモリ１５７は、動作モードが通常画面モードの場合に行われるノイズ除去処理に用いられるクラスごとのタップ係数（ノイズ除去処理用のタップ係数）を記憶している通常画面モードメモリ１５７1と、動作モードがマルチ画面モードの場合に行われる欠損フレーム生成処理に用いられるクラスごとのタップ係数（欠損フレーム生成処理用のタップ係数）を記憶しているマルチ画面モードメモリ１５７2とを有している。そして、係数メモリ１５７は、システムコントローラ１１８（図１）から供給される制御信号にしたがい、通常画面モードメモリ１５７1またはマルチ画面モードメモリ１５７2のうちの一方を選択し、その選択したメモリから、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
【０１７１】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【０１７２】
積和演算部１５８は、予測タップ選択部１５６からの予測タップと、係数メモリ１５７からのタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素（の真値の予測値）を求める所定の演算を行う。これにより、積和演算部１５８は、注目画素（の画素値（の予測値））、即ち、第２の画像を構成する画素（の画素値）を求めて出力する。
【０１７３】
次に、図１０の積和演算部１５８における演算と、その演算に用いられるタップ係数の学習について説明する。
【０１７４】
いま、高画質の画像（高画質画像）を第２の画像とするとともに、その高画質画像にノイズを付加する等してその画質を低下させた低画質の画像（低画質画像）を第１の画像として、低画質画像から予測タップ（となる複数の画素）を選択し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の演算によって求める（予測する）ことを考える。
【０１７５】
いま、所定の演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１７６】
【数１】
2005236634.tif 000003
・・・（１）
【０１７７】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成するｎ番目の低画質画像の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、そのｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１７８】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１７９】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１８０】
【数２】
2005236634.tif 000004
・・・（２）
【０１８１】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１８２】
【数３】
2005236634.tif 000005
・・・（３）
【０１８３】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１８４】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なもの、即ち、いまの場合、ノイズのない高画質画素を求めるのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１８５】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１８６】
【数４】
2005236634.tif 000006
・・・（４）
【０１８７】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１８８】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１８９】
【数５】
2005236634.tif 000007
・・・（５）
【０１９０】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１９１】
【数６】
2005236634.tif 000008
・・・（６）
【０１９２】
式（５）と（６）から、次式が得られる。
【０１９３】
【数７】
2005236634.tif 000009
・・・（７）
【０１９４】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１９５】
【数８】
2005236634.tif 000010
・・・（８）
【０１９６】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１９７】
式（８）の正規方程式をクラスごとにたてて解くことにより、ノイズのない画素を求めるのに最適なタップ係数（自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１９８】
図１０の通常画面モードメモリ１５７1に、以上のようにして求められるノイズ除去に（ノイズのない画像を求めるのに）最適なタップ係数ｗnを記憶させておき、積和演算部１５８において、そのタップ係数ｗnを用いて、式（１）の演算を行うことにより、第１の画像からノイズを除去した第２の画像を求めるノイズ除去処理を行うことができる。
【０１９９】
なお、上述の場合には、高画質画像を第２の画像とするとともに、その高画質画像にノイズを付加した低画質画像を第１の画像として、ノイズ除去に最適なタップ係数、即ち、ノイズ除去処理用のタップ係数を求める（学習する）場合について説明したが、欠損フレームのない画像を第２の画像とするとともに、その第２の画像のフレームを間引く等して得られる、欠損フレームが存在する画像を第１の画像として、上述したようにしてタップ係数を求めることにより、欠損フレームを生成するのに最適なタップ係数、即ち、欠損フレーム生成処理用のタップ係数を得ることができる。
【０２００】
そして、図１０のマルチ画面モードメモリ１５７2に、そのようにして求められる欠損フレームを生成するのに最適なタップ係数ｗnを記憶させておき、積和演算部１５８において、そのタップ係数ｗnを用いて、式（１）の演算を行うことにより、第１の画像から欠損フレームのない第２の画像を求める欠損フレーム生成処理を行うことができる。
【０２０１】
次に、図１１は、式（８）の正規方程式をたてて解くことにより、図１０の通常画面モードメモリ１５７1に記憶させるノイズ除去処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０２０２】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像が入力されるようになっている。ここで、学習用画像としては、例えば、ノイズのない高画質画像を用いることができる。
【０２０３】
学習装置において、学習用画像は、教師データ生成部１７１と生徒データ生成部１７３に供給される。
【０２０４】
教師データ生成部１７１は、そこに供給される学習用画像から、第２の画像に対応する、学習の教師（真値）となる教師データを生成し、教師データ記憶部１７２に供給する。即ち、ここでは、教師データ生成部１７１は、学習用画像としての高画質画像を、そのまま教師データとして、教師データ記憶部１７２に供給する。
【０２０５】
教師データ記憶部１７２は、教師データ生成部１７１から供給される教師データとしての高画質画像を記憶する。
【０２０６】
生徒データ生成部１７３は、学習用画像から、第１の画像に対応する、学習の生徒となる生徒データを生成し、生徒データ記憶部１７４に供給する。即ち、生徒データ生成部１７３は、学習用画像としての高画質画像にノイズを付加することにより、そのS/Nを低下させることで、低画質画像を生成し、この低画質画像を、生徒データとして、生徒データ記憶部１７４に供給する。
【０２０７】
生徒データ記憶部１７４は、生徒データ生成部１７３から供給される生徒データとしての低画質画像を記憶する。
【０２０８】
係数生成処理部１７５は、教師データ記憶部１７２に記憶された教師データとしての高画質画像と、生徒データ記憶部１７４に記憶された生徒データとしての低画質画像とを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力する。
【０２０９】
図１２は、図１１の学習装置で用いられる学習用画像から生成される教師データとしての高画質画像と、生徒データとしての低画質画像とを示している。なお、図１２において、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
【０２１０】
図１２の１番上は、図１１の学習装置で用いられる学習用画像を示している。学習用画像としては、例えば、フレーム周期がＴ1の、ノイズのない高画質画像が採用されている。
【０２１１】
図１２の上から２番目は、学習用画像から生成される教師データとしての高画質画像を示している。
【０２１２】
図１１の教師データ生成部１７１では、学習用画像が、そのまま教師データとされるため、教師データは、学習用画像と同一の画像となっている。
【０２１３】
図１２の一番下は、学習用画像から生成される生徒データとしての低画質画像を示している。
【０２１４】
図１１の生徒データ生成部１７３では、教師データに等しい学習用画像に、ノイズが付加されることによって、生徒データが生成されるため、生徒データは、教師データである高画質画像にノイズが付加されたS/Nの低い低画質画像となっている。
【０２１５】
図１１の係数生成処理部１７５では、以上のような、ノイズを有する生徒データから、そのノイズがない教師データを、式（１）の演算によって求める（予測する）ための、式（１）のタップ係数ｗnが、クラスごとに求められる。
【０２１６】
図１３は、図１１の係数生成処理部１７５の構成例を示している。
【０２１７】
図１１の教師データ記憶部１７２に記憶された教師データとしての画像（以下、適宜、教師画像ともいう）は、予測係数作成部１８７に供給され、生徒データ記憶部１７４に記憶された生徒データとしての画像（以下、適宜、生徒画像ともいう）は、動きベクトル検出部１８１、クラスタップ選択部１８４、および予測タップ選択部１８６に供給される。
【０２１８】
注目画素選択部１８０は、図１０の注目画素選択部１５０と同様に、第２の画像に対応する教師画像を構成する画素を、順次、注目画素とし、その注目画素（を表す情報）を、係数生成処理部１７５の必要なブロックに供給する。
【０２１９】
動きベクトル検出部１８１は、図１０の動きベクトル検出部１５１が行うマルチ画面モード用の動きベクトルの検出処理と同様の処理を行うことで、生徒データ記憶部１７４（図１１）から供給される第１の画像に対応する生徒画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部１８２、予測タップ構造決定部１８３、およびクラス生成部１８５に供給する。
【０２２０】
クラスタップ構造決定部１８２は、動きベクトル検出部１８１から供給される動きベクトルにしたがい、図１０のクラスタップ構造決定部１５２が決定するのと同一の通常画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１８４に供給する。
【０２２１】
予測タップ構造決定部１８３は、動きベクトル検出部１８１から供給される動きベクトルにしたがい、図１０の予測タップ構造決定部１５３が決定するのと同一の通常画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０２２２】
クラスタップ選択部１８４は、クラスタップ構造決定部１８２からのクラスタップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、クラスタップとして、クラス生成部１８５に供給する。
【０２２３】
ここで、上述したように、クラスタップ選択部１８４は、クラスタップ構造決定部１８２からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部１８２は、動きベクトル検出部１８１から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部１８４では、動きベクトル検出部１８１が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
【０２２４】
なお、注目画素について、クラスタップ構造決定部１８２が出力するクラスタップ情報は、図１０のクラスタップ構造決定部１５２が通常画面モード時に出力するクラスタップ情報と同一であり、従って、クラスタップ選択部１８４は、注目画素について、通常画面モード時における図１０のクラスタップ選択部１５４と同一のタップ構造のクラスタップを出力する。
【０２２５】
クラス生成部１８５は、動きベクトル検出部１８１から供給される動きベクトルと、クラスタップ選択部１８４から供給される注目画素についてのクラスタップとに基づき、図１０のクラス生成部１５５における場合と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、予測係数作成部１８７に供給する。
【０２２６】
予測タップ選択部１８６は、予測タップ構造決定部１８３からの予測タップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、予測タップとして、予測係数作成部１８７に供給する。
【０２２７】
ここで、上述したように、予測タップ選択部１８６は、予測タップ構造決定部１８３からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部１８３は、動きベクトル検出部１８１から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部１８６では、動きベクトル検出部１８１が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
【０２２８】
なお、注目画素について、予測タップ構造決定部１８３が出力する予測タップ情報は、図１０の予測タップ構造決定部１８２が通常画面モード時に出力する予測タップ情報と同一であり、従って、予測タップ選択部１８６は、注目画素について、通常画面モード時における図１０の予測タップ選択部１５６と同一のタップ構造の予測タップを出力する。
【０２２９】
予測係数作成部１８７は、教師データ記憶部１７２から供給される教師画像を構成する画素のうちの、注目画素を取得し、その注目画素（の画素値）と、予測タップ選択部１８６から供給される注目画素について構成された予測タップを構成する生徒画像の画素（画素値）とを対象とした足し込みを、クラス生成部１８５から供給されるクラスコードごとに行う。
【０２３０】
即ち、予測係数作成部１８７は、クラス生成部１８５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画像を構成する画素（以下、適宜、生徒画素ともいう））ｘn,kを用い、式（８）の左辺の行列における生徒画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０２３１】
さらに、予測係数作成部１８７は、やはり、クラス生成部１８５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒画素）ｘn,kと注目画素としての教師画像の画素（以下、適宜、教師画素ともいう）ｙkを用い、式（８）の右辺のベクトルにおける生徒画素ｘn,kおよび教師画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０２３２】
即ち、予測係数作成部１８７は、前回、注目画素とされた教師画素について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師画素について、その教師画素ｙk+1および生徒画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０２３３】
そして、予測係数作成部１８７は、教師データ記憶部１７２に記憶された教師画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を解くことにより、各クラスについて、ノイズ除去処理に最適なタップ係数ｗn、即ち、ノイズ除去処理用のタップ係数ｗnを求めて出力する。
【０２３４】
次に、図１４を参照して、図１３のクラスタップ構造決定部１８２が、動きベクトル検出部１８１から供給される動きベクトルにしたがって、通常画面モード用のタップ構造の画素を決定するときの、その画素の決定方法について説明する。
【０２３５】
なお、上述したことから、この決定方法は、動作モードが通常画面モードの場合に、図１０のクラスタップ構造決定部１５２が、通常画面モード用のタップ構造の画素を決定するときの決定方法でもある。
【０２３６】
図１４上側は、第２の画像に対応する、図１１の教師データ生成部１７１で生成される教師画像（教師データ）を示しており、図１４下側は、第１の画像に対応する、図１１の生徒データ生成部１７３で生成される生徒画像（生徒データ）を示している。
【０２３７】
なお、図１４においては、図１２における場合と同様に、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
【０２３８】
例えば、いま、図１４上側に示すように、第ｔ1フレームの教師画像のある画素（教師画素）が注目画素とされたとする。
【０２３９】
この場合、クラスタップ構造決定部１８２は、図１４下側に示すように、注目画素のフレームと同一の第ｔ1フレームの生徒画像において、注目画素と（空間的に）同一の位置にある画素を、注目画素に対応する対応画素とする。
【０２４０】
また、クラスタップ構造決定部１８２は、動きベクトル検出部１８１から供給される動きベクトルのうちの、対応画素の動きベクトルを認識する。さらに、クラスタップ構造決定部１８２は、第ｔ1フレームの生徒画像の対応画素の動きベクトルの始点の第ｔ1フレームの位置を第１のタップ中心位置とするとともに、その動きベクトルの終点の、第ｔ1フレームの次の第ｔ2フレームの位置を第２のタップ中心位置とする。なお、第ｔ2フレームは、第ｔ1フレームの対応画素の動きベクトルが検出されるときに参照されるフレームである。
【０２４１】
そして、クラスタップ構造決定部１８２は、第ｔ1フレームの第１のタップ中心位置に最も近い位置の生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第１のタップ中心画素として決定するとともに、第ｔ2フレームの第２のタップ中心位置に最も近い位置の生徒画素を、第２のタップ中心画素として決定する
【０２４２】
ここで、いまの場合、第１のタップ中心位置は、対応画素の動きベクトルの始点の位置なので、その第１のタップ中心位置は、対応画素の位置に一致し、従って、第１のタップ中心画素は、対応画素となる。
【０２４３】
また、本実施の形態では、動きベクトルの検出は、上述したように画素の精度で行われる。そして、第２のタップ中心位置は、対応画素の動きベクトルの終点の位置なので、第２のタップ中心画素は、第ｔ1フレームの対応画素の、第ｔ2フレームでの動き先の画素となる。
【０２４４】
その後、クラスタップ構造決定部１８２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心として、そのタップ中心画素に近い（空間的に近い）複数の画素を、クラスタップを構成する画素として決定する。
【０２４５】
図１３の予測タップ構造決定部１８３、および通常画面モード用時の図１０の予測タップ構造決定部１５３も同様にして、予測タップを構成する画素を決定する。
【０２４６】
図１５は、クラスタップおよび予測タップを構成する画素の例を示している。
【０２４７】
ここで、図１５において、○印は、生徒画像の画素を示している。そして、○印のうちの●印は、タップ中心画素を示している。さらに、○印のうちの、模様を付していないものは、予測タップのみを構成する画素を示しており、網掛けを付してある○印は、予測タップとクラスタップを構成する画素を示している。即ち、●印と網掛けを付してある○印が、クラスタップを構成する画素であり、●印、網掛けを付してある○印、および模様を付していない○印が予測タップを構成する画素である。
【０２４８】
図１５においては、６パターンのタップ構造のクラスタップおよび予測タップを示してあるが、この６パターンのうちの、例えば、左から１番目のタップ構造が採用される場合、第ｔ1フレームの注目画素については、第ｔ1フレームの生徒画像のタップ中心画素（第１のタップ中心画素）、およびその上下左右それぞれに隣接する画素、並びに第ｔ2フレームの生徒画像のタップ中心画素（第２のタップ中心画素）、およびその上下左右それぞれに隣接する画素の合計１０画素が、クラスタップと予測タップそれぞれを構成する画素として決定される。
【０２４９】
なお、クラスタップおよび予測タップのタップ構造は、図１５に示した６パターンに限定されるものではない。
【０２５０】
次に、図１６のフローチャートを参照して、図１１の学習装置の処理（学習処理）について、説明する。
【０２５１】
まず最初に、ステップＳ１５１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１７１は、学習用画像を、そのまま、教師画像とする。また、生徒データ生成部１７３は、学習用画像にノイズを付加することにより、生徒画像を生成する。
【０２５２】
教師データ生成部１７１が生成した教師画像は、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が生成した生徒画像は、生徒データ記憶部１７４に供給されて記憶される。
【０２５３】
その後、ステップＳ１５２に進み、係数生成処理部１７５（図１３）の注目画素選択部１８０は、教師データ記憶部１７２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ１５３に進む。
【０２５４】
ステップＳ１５３では、動きベクトル検出部１８１、クラスタップ構造決定部１８２、および予測タップ構造決定部１８３が、注目画素と同一フレームの生徒画像の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ１５４に進む。
【０２５５】
ステップＳ１５４では、動きベクトル検出部１８１が、ステップＳ１５３で認識した対応画素の動きベクトルを、その対応画素のフレームの次のフレームの生徒画像を参照することにより検出し、クラスタップ構造決定部１８２、予測タップ構造決定部１８３、クラス生成部１８５に供給して、ステップＳ１５５に進む。
【０２５６】
ステップＳ１５５では、クラスタップ構造決定部１８２が、ステップＳ１８２で認識した対応画素、および動きベクトル検出部１８１から供給される対応画素の動きベクトルに基づき、図１４で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ１５５では、クラスタップ構造決定部１８２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成する生徒画素を決定し、その生徒画素を表すクラスタップ情報を、クラスタップ選択部１８４に供給して、ステップＳ１５６に進む。
【０２５７】
なお、ステップＳ１５５では、予測タップ構造決定部１８３も、クラスタップ構造決定部１８２と同様にして、予測タップを構成する生徒画素を決定し、その生徒画素を表す予測タップ情報を、予測タップ選択部１８６に供給する。
【０２５８】
ステップＳ１５６では、クラスタップ選択部１８４が、生徒データ記憶部１７４（図１１）に記憶された生徒画像から、クラスタップ構造決定部１８２から供給されるクラスタップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についてのクラスタップとして、クラス生成部１８５に供給する。さらに、ステップＳ１５６では、予測タップ選択部１８６が、生徒データ記憶部１７４に記憶された生徒画像から、予測タップ構造決定部１８３から供給される予測タップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についての予測タップとして、予測係数作成部１８７に供給して、ステップＳ１５７に進む。
【０２５９】
ステップＳ１５７では、クラス生成部１８５は、クラスタップ選択部１８４から供給された注目画素についてのクラスタップと、動きベクトル検出部１８１から供給された注目画素に対応する対応画素の動きベクトルとに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、予測係数作成部１８７に出力して、ステップＳ１５８に進む。
【０２６０】
ステップＳ１５８では、予測係数作成部１８７は、教師データ記憶部１７２から、注目画素を読み出し、その注目画素と、予測タップ選択部１８６から供給される注目画素についての予測タップを構成する生徒画素とを対象とした、上述した式（８）の足し込みを、クラス生成部１８５から供給されるクラスコードごとに行い、ステップＳ１５９に進む。
【０２６１】
ステップＳ１５９では、注目画素選択部１８０が、教師データ記憶部１７２に、まだ、注目画素としていない教師画素が記憶されているかどうかを判定する。ステップＳ１５９において、注目画素としていない教師画素が、まだ、教師データ記憶部１７２に記憶されていると判定された場合、ステップＳ１５２に戻り、注目画素選択部１８０は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
【０２６２】
また、ステップＳ１５９において、注目画素としていない教師画素が、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ１６０に進み、予測係数作成部１８７は、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
【０２６３】
図１０の通常画面モードメモリ１５７1には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０２６４】
次に、図１７は、式（８）の正規方程式をたてて解くことにより、図１０のマルチ画面モードメモリ１５７2に記憶させる欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０２６５】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像が入力されるようになっている。ここで、学習用画像としては、例えば、欠損フレームのない画像を用いることができる。
【０２６６】
学習装置において、学習用画像は、教師データ生成部１９１と生徒データ生成部１９３に供給される。
【０２６７】
教師データ生成部１９１は、そこに供給される学習用画像から、第２の画像に対応する教師画像を生成し、教師データ記憶部１９２に供給する。
【０２６８】
ここで、動作モードがマルチ画面モードの場合においては、図１０の高画質化処理部１３２がクラス分類適応処理を利用した画像変換の対象とする第１の画像は、４フレームにつき３フレームの欠損フレームが存在する縮小画像である。そして、その第１の画像を対象とした画像変換によって得られる第２の画像は、欠損フレームがない縮小画像である欠損フレームなし縮小画像である。
【０２６９】
このため、教師データ生成部１９１は、学習用画像の画素を間引くこと等によって、学習用画像を縮小画像に縮小することにより、欠損フレームがない縮小画像を、教師画像として生成し、教師データ記憶部１９２に供給する。
【０２７０】
教師データ記憶部１９２は、教師データ生成部１９１から供給される教師画像としての欠損フレームのない縮小画像を記憶する。
【０２７１】
生徒データ生成部１９３は、学習用画像から、第１の画像に対応する生徒画像を生成し、生徒データ記憶部１９４に供給する。即ち、生徒データ生成部１９３は、教師データ生成部１９１と同様に、学習用画像を縮小することにより、欠損フレームなし縮小画像を生成する。さらに、生徒データ生成部１９３は、その欠損フレームなし縮小画像のフレームを間引くことにより、４フレームにつき３フレームの欠損フレームが存在する縮小画像を、生徒画像として生成し、生徒データ記憶部１９４に供給する。
【０２７２】
生徒データ記憶部１９４は、生徒データ生成部１９３から供給される生徒画像を記憶する。
【０２７３】
係数生成処理部１９５は、教師データ記憶部１９２に記憶された教師画像としての欠損フレームなし縮小画像と、生徒データ記憶部１９４に記憶された生徒画像としての欠損フレームがある縮小画像（以下、適宜、欠損フレームあり縮小画像という）とを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力する。
【０２７４】
図１８は、図１７の学習装置で用いられる学習用画像から生成される教師画像としての欠損フレームなし縮小画像と、生徒画像としての欠損フレームあり縮小画像とを示している。なお、図１８において、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
【０２７５】
図１８の１番上は、図１７の学習装置で用いられる学習用画像を示している。学習用画像としては、例えば、フレーム周期がＴ1の、欠損フレームがない画像が採用されている。
【０２７６】
図１８の上から２番目は、学習用画像から生成される教師画像としての欠損フレームなし縮小画像を示している。
【０２７７】
図１７の教師データ生成部１９１では、学習用画像が縮小されることによって、教師画像が生成されるため、教師画像は、学習用画像を縮小しただけの、フレーム周期がＴ1の欠損フレームなし縮小画像となっている。
【０２７８】
図１８の一番下は、学習用画像から生成される生徒画像としての欠損フレームあり縮小画像を示している。
【０２７９】
図１７の生徒データ生成部１９３では、学習用画像が縮小され、さらにフレームが間引かれることによって、生徒画像が生成されるため、生徒画像は、学習用画像を縮小した、欠損フレームが存在する欠損フレームあり縮小画像となっている。
【０２８０】
なお、動作モードがマルチ画面モードの場合に、図１０の高画質化処理部１３２がクラス分類適応処理を利用した画像変換の対象とする第１の画像は、上述したように、４フレームにつき３フレームの欠損フレームが存在する縮小画像であるため、生徒データ生成部１９３は、そのような縮小画像を生徒画像として生成する。
【０２８１】
即ち、生徒データ生成部１９３では、学習用画像を縮小しただけの欠損フレームなし縮小画像のフレームのうちの４フレームにつき３フレームを間引くことにより、第１の画像に対応する生徒画像を生成する。従って、生徒画像は、画像が４×Ｔ1おきにしか存在しない欠損フレームあり縮小画像となる。
【０２８２】
図１９の係数生成処理部１９５では、以上のような、欠損フレームあり縮小画像である生徒画像から、欠損フレームなし縮小画像である教師画像を、式（１）の演算によって求める（予測する）ための、式（１）のタップ係数ｗnが、クラスごとに求められる。
【０２８３】
なお、欠損フレームあり縮小画像である生徒画像を、欠損フレームなし縮小画像である教師画像に変換することは、あるフレームレートの画像を、他のフレームレートに変換することと捉えることができる。従って、例えば、いま、学習用画像のフレームレートを、Ｒf［フレーム／秒］と表すこととして、その学習用画像のフレームを間引くことにより、フレームレートがＲf／Ｎの教師画像を生成するとともに、フレームレートがＲf／Ｍの生徒画像を生成して、係数生成処理部１９５でタップ係数ｗnの学習を行えば、第１の画像を、そのフレームレートのＮ／Ｍのフレームレートの第２の画像に変換するタップ係数ｗnが得られることになる。
【０２８４】
図１９は、図１７の係数生成処理部１９５の構成例を示している。
【０２８５】
図１７の教師データ記憶部１９２に記憶された教師画像としての欠損フレームなし縮小画像は、予測係数作成部２０７に供給され、生徒データ記憶部１９４に記憶された生徒画像としての欠損フレームあり縮小画像は、動きベクトル検出部２０１、クラスタップ選択部２０４、および予測タップ選択部２０６に供給される。
【０２８６】
注目画素選択部２００は、図１０の注目画素選択部１５０と同様に、第２の画像に対応する教師画像を構成する画素を、順次、注目画素とし、その注目画素（を表す情報）を、係数生成処理部１９５の必要なブロックに供給する。
【０２８７】
動きベクトル検出部２０１は、図１０の動きベクトル検出部１５１が行うマルチ画面モード用の動きベクトルの検出処理と同様の処理を行うことで、生徒データ記憶部１９４（図１７）から供給される第１の画像に対応する生徒画像を構成する各画素の動きベクトルを検出し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５に供給する。
【０２８８】
即ち、動きベクトル検出部２０１は、生徒画像である欠損フレームあり縮小画像の非欠損フレームの画素それぞれの動きベクトルを、その次の非欠損フレームを参照することにより検出し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５に供給する。
【０２８９】
具体的には、本実施の形態では、生徒画像である欠損フレームあり縮小画像は、教師画像である欠損フレームなし縮小画像のフレームと比較すると、４フレームごとにしか非欠損フレームが存在しないため、非欠損フレームである第ｎフレームの生徒画素の動きベクトルは、その次の非欠損フレームである第ｎ＋４フレームを参照して検出される。
【０２９０】
クラスタップ構造決定部２０２は、動きベクトル検出部２０１から供給される動きベクトルにしたがい、図１０のクラスタップ構造決定部１５２が決定するのと同一のマルチ画面モード用のタップ構造の画素を決定し、その画素を表すクラスタップ情報を、クラスタップ選択部２０４に供給する。
【０２９１】
予測タップ構造決定部２０３は、動きベクトル検出部２０１から供給される動きベクトルにしたがい、図１０の予測タップ構造決定部１５３が決定するのと同一のマルチ画面モード用のタップ構造の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０２９２】
クラスタップ選択部２０４は、クラスタップ構造決定部２０２からのクラスタップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、クラスタップとして、クラス生成部２０５に供給する。
【０２９３】
ここで、上述したように、クラスタップ選択部２０４は、クラスタップ構造決定部２０２からのクラスタップ情報にしたがって、クラスタップを選択する。クラスタップ構造決定部２０２は、動きベクトル検出部２０１から供給される動きベクトルにしたがって、クラスタップ情報を決定するから、クラスタップ選択部２０４では、動きベクトル検出部２０１が検出する動きベクトルにしたがって、クラスタップが選択されるということができる。
【０２９４】
なお、注目画素について、クラスタップ構造決定部２０２が出力するクラスタップ情報は、図１０のクラスタップ構造決定部１５２がマルチ画面モード時に出力するクラスタップ情報と同一であり、従って、クラスタップ選択部２０４は、注目画素について、マルチ画面モード時における図１０のクラスタップ選択部１５４と同一のタップ構造のクラスタップを出力する。
【０２９５】
クラス生成部２０５は、動きベクトル検出部２０１から供給される動きベクトルと、クラスタップ選択部２０４から供給される注目画素についてのクラスタップとに基づき、図１０のクラス生成部１５５における場合と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、予測係数作成部２０７に供給する。
【０２９６】
予測タップ選択部２０６は、予測タップ構造決定部２０３からの予測タップ情報にしたがい、そこに供給される、第１の画像に対応する生徒画像から複数の画素（の画素値）を選択し、予測タップとして、予測係数作成部２０７に供給する。
【０２９７】
ここで、上述したように、予測タップ選択部２０６は、予測タップ構造決定部２０３からの予測タップ情報にしたがって、予測タップを選択する。予測タップ構造決定部２０３は、動きベクトル検出部２０１から供給される動きベクトルにしたがって、予測タップ情報を決定するから、予測タップ選択部２０６では、動きベクトル検出部２０１が検出する動きベクトルにしたがって、予測タップが選択されるということができる。
【０２９８】
なお、注目画素について、予測タップ構造決定部２０３が出力する予測タップ情報は、図１０の予測タップ構造決定部１５３がマルチ画面モード時に出力する予測タップ情報と同一であり、従って、予測タップ選択部２０６は、注目画素について、マルチ画面モード時における図１０の予測タップ選択部１５６と同一のタップ構造の予測タップを出力する。
【０２９９】
予測係数作成部２０７は、教師データ記憶部１９２から供給される教師画像を構成する画素のうちの、注目画素を取得し、図１３の予測係数作成部１８７における場合と同様に、注目画素（の画素値）と、予測タップ選択部２０６から供給される注目画素について構成された予測タップを構成する生徒画像の画素（画素値）とを対象とした足し込みを、クラス生成部２０５から供給されるクラスコードごとに行う。
【０３００】
そして、予測係数作成部２０７は、教師データ記憶部１９２に記憶された教師画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を解くことにより、各クラスについて、欠損フレーム生成処理に最適なタップ係数ｗn、即ち、欠損フレーム生成処理用のタップ係数ｗnを求めて出力する。
【０３０１】
次に、図２０を参照して、図１９のクラスタップ構造決定部２０２が、動きベクトル検出部２０１から供給される動きベクトルにしたがって、マルチ画面モード用のタップ構造の画素を決定するときの、その画素の決定方法について説明する。
【０３０２】
なお、上述したことから、この決定方法は、動作モードがマルチ画面モードの場合に、図１０のクラスタップ構造決定部１５２が、マルチ画面モード用のタップ構造の画素を決定するときの決定方法でもある。
【０３０３】
図２０の上から１番目は、第２の画像に対応する、図１７の教師データ生成部１９１で生成される教師画像（教師画像）を示しており、図２０の上から２番目および３番目は、第１の画像に対応する、図１７の生徒データ生成部１９３で生成される生徒画像（生徒画像）を示している。
【０３０４】
なお、図２０においては、図１８における場合と同様に、横軸は時間を表し、縦軸は、画像の垂直方向を表している。
【０３０５】
上述したように、教師画像は、フレーム周期Ｔ1でフレームが存在する欠損フレームなし画像（縮小画像）となっており（図２０の上から１番目）、生徒画像は、４フレームにつき３フレームが欠損フレームとなっている欠損フレームあり画像（縮小画像）となっている。
【０３０６】
なお、図２０では、教師画像の第ｔ1フレームを最初のフレームとして、ｉ番目のフレームを、第ｔiフレームと表してある。従って、生徒画像の最初の非欠損フレームを、第ｔ1フレームとすると、その次の非欠損フレームは、第ｔ5フレームである。
【０３０７】
例えば、いま、図２０の一番上に示すように、第ｔ2フレームの教師画像のある画素（教師画素）Ａ1が注目画素とされたとする。
【０３０８】
この場合、クラスタップ構造決定部２０２は、例えば、図２０の上から２番目に示すように、その注目画素Ａ1の第ｔ2フレームの直前の生徒画像の非欠損フレームである第ｔ1フレームにおいて、注目画素Ａ1と（空間的に）同一の位置にある生徒画素Ｂ2を、注目画素に対応する対応画素とする。
【０３０９】
また、クラスタップ構造決定部２０２は、動きベクトル検出部２０１から供給される動きベクトルのうちの、対応画素Ｂ2の動きベクトルを認識する。さらに、クラスタップ構造決定部２０２は、第ｔ1フレームの生徒画像の対応画素Ｂ2の動きベクトルを、図２０の上から２番目に点線で示すように、注目画素Ａ1を通るように補正し、その結果得られる補正ベクトルの始点の第ｔ1フレームの位置を第１のタップ中心位置とするとともに、その補正ベクトルの終点の、第ｔ1フレームの次の非欠損フレームである第ｔ5フレームの位置を第２のタップ中心位置とする。
【０３１０】
そして、クラスタップ構造決定部２０２は、例えば、第ｔ1フレームの第１のタップ中心位置に最も近い生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第１のタップ中心画素として決定するとともに、第ｔ5フレームの第２のタップ中心位置に最も近い生徒画素を、第２のタップ中心画素として決定する
【０３１１】
ここで、図２０の上から２番目においては、第１のタップ中心位置は、第ｔ1フレームの生徒画素のうちの対応画素Ｂ2からが最も近い位置になっており、従って、第１のタップ中心画素は、対応画素Ｂ2となる。
【０３１２】
また、第２のタップ中心位置は、第ｔ5フレームの生徒画素のうちの生徒画素Ｂ4からが最も近い位置になっており、従って、第２のタップ中心画素は、生徒画素Ｂ4となる。
【０３１３】
即ち、図２０の上から２番目においては、結果的に、対応画素Ｂ2の動きベクトルの始点の画素Ｂ2と終点の画素Ｂ4が、それぞれ第１と第２のタップ中心画素となっている。
【０３１４】
一方、例えば、図２０の一番上に示すように、第ｔ2フレームの２フレーム後の第ｔ4フレームの教師画像のある画素（教師画素）Ａ2が注目画素とされた場合、クラスタップ構造決定部２０２は、図２０の上から３番目に示すように、やはり、その注目画素Ａ2の第ｔ4フレームの直前の生徒画像の非欠損フレームである第ｔ1フレームにおいて、注目画素Ａ2と（空間的に）同一の位置にある生徒画素Ｂ2を、注目画素に対応する対応画素とする。
【０３１５】
また、クラスタップ構造決定部２０２は、上述した場合と同様に、動きベクトル検出部２０１から供給される動きベクトルのうちの、対応画素Ｂ2の動きベクトルを認識し、その対応画素Ｂ2の動きベクトルを、図２０の上から３番目に点線で示すように、注目画素Ａ2を通るように補正し、その結果得られる補正ベクトルの始点の第ｔ1フレームの位置を第１のタップ中心位置とするとともに、その補正ベクトルの終点の、第ｔ1フレームの次の非欠損フレームである第ｔ5フレームの位置を第２のタップ中心位置とする。
【０３１６】
そして、クラスタップ構造決定部２０２は、例えば、第ｔ1フレームの第１のタップ中心位置に最も近い生徒画素を、注目画素についてのクラスタップを構成する画素のうちの中心の画素である第１のタップ中心画素として決定するとともに、第ｔ5フレームの第２のタップ中心位置に最も近い生徒画素を、第２のタップ中心画素として決定する
【０３１７】
ここで、図２０の上から３番目（１番下）においては、第１のタップ中心位置は、第ｔ1フレームの生徒画素のうちの、対応画素Ｂ2ではない生徒画素Ｂ1からが最も近い位置になっており、従って、第１のタップ中心画素は、対応画素Ｂ1となる。
【０３１８】
また、第２のタップ中心位置は、第ｔ5フレームの生徒画素のうちの生徒画素Ｂ3からが最も近い位置になっており、従って、第２のタップ中心画素は、生徒画素Ｂ3となる。
【０３１９】
その後、クラスタップ構造決定部２０２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心として、例えば、上述の図１５に示したように、そのタップ中心画素に近い（空間的に近い）複数の生徒画素を、クラスタップを構成する画素として決定する。
【０３２０】
図１９の予測タップ構造決定部２０３、およびマルチ画面モード用時の図１０の予測タップ構造決定部１５３も同様にして、予測タップを構成する画素を決定する。
【０３２１】
次に、図２１のフローチャートを参照して、図１７の学習装置の処理（学習処理）について、説明する。
【０３２２】
まず最初に、ステップＳ１７１において、教師データ生成部１９１と生徒データ生成部１９３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１９１は、学習用画像を縮小し、その結果得られる欠損フレームなし縮小画像を、教師画像とする。また、生徒データ生成部１９３は、学習用画像を縮小し、さらに、フレームを間引くことにより、４フレームにつき３フレームが欠損フレームとなっている欠損フレームあり縮小画像を、生徒画像として生成する。
【０３２３】
教師データ生成部１９１が生成した教師画像は、教師データ記憶部１９２に供給されて記憶され、生徒データ生成部１９３が生成した生徒画像は、生徒データ記憶部１９４に供給されて記憶される。
【０３２４】
その後、ステップＳ１７２に進み、係数生成処理部１９５（図１９）の注目画素選択部２００は、教師データ記憶部１９２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ１７３に進む。
【０３２５】
ステップＳ１７３では、動きベクトル検出部２０１、クラスタップ構造決定部２０２、および予測タップ構造決定部２０３が、注目画素のフレームの直前の非欠損フレームの生徒画像の画素の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ１７４に進む。
【０３２６】
ステップＳ１７４では、動きベクトル検出部２０１が、ステップＳ１７３で認識した対応画素の動きベクトルを、その対応画素のフレームである非欠損フレームの次の非欠損フレームの生徒画像を参照することにより検出し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５に供給して、ステップＳ１７５に進む。
【０３２７】
ステップＳ１７５では、クラスタップ構造決定部２０２および予測タップ構造決定部２０３が、対応画素の動きベクトルを、図２０で説明したように、注目画素を通るように補正することにより、補正ベクトルを求めて、ステップＳ１７６に進む。
【０３２８】
ここで、補正ベクトルは、正確には、ベクトルではなく、動きベクトルの方向の、注目画素（の位置）を通る、その注目画素のフレームの直前の非欠損フレームと直後の非欠損フレームとで区切られる線分である。なお、非欠損フレームが、注目画素のフレームと一致する場合には、その非欠損フレームは、注目画素のフレームの直前の非欠損フレーム、または直後の非欠損フレームのうちのいずれか一方（例えば、注目画素のフレームの直前の非欠損フレーム）とみなすこととする。
【０３２９】
ステップＳ１７６では、クラスタップ構造決定部２０２が、ステップＳ１７３で認識した対応画素、およびＳ１７５で求めた補正ベクトルに基づき、図２０で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ１７６では、クラスタップ構造決定部２０２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成する生徒画素を決定し、その生徒画素を表すクラスタップ情報を、クラスタップ選択部２０４に供給して、ステップＳ１７７に進む。
【０３３０】
なお、ステップＳ１７６では、予測タップ構造決定部２０３も、クラスタップ構造決定部２０２と同様にして、予測タップを構成する生徒画素を決定し、その生徒画素を表す予測タップ情報を、予測タップ選択部２０６に供給する。
【０３３１】
ステップＳ１７７では、クラスタップ選択部２０４が、生徒データ記憶部１９４（図１７）に記憶された生徒画像から、クラスタップ構造決定部２０２から供給されるクラスタップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についてのクラスタップとして、クラス生成部２０５に供給する。さらに、ステップＳ１７７では、予測タップ選択部２０６が、生徒データ記憶部１９４に記憶された生徒画像から、予測タップ構造決定部２０３から供給される予測タップ情報が表す生徒画素を選択し、その生徒画素を、注目画素についての予測タップとして、予測係数作成部２０７に供給して、ステップＳ１７８に進む。
【０３３２】
ステップＳ１７８では、クラス生成部２０５は、クラスタップ選択部２０４から供給された注目画素についてのクラスタップと、動きベクトル検出部２０１から供給された注目画素に対応する対応画素の動きベクトルとに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、予測係数作成部２０７に出力して、ステップＳ１７９に進む。
【０３３３】
ステップＳ１７９では、予測係数作成部２０７は、教師データ記憶部１９２から、注目画素を読み出し、その注目画素と、予測タップ選択部２０６から供給される注目画素についての予測タップを構成する生徒画素とを対象とした、上述した式（８）の足し込みを、クラス生成部２０５から供給されるクラスコードごとに行い、ステップＳ１８０に進む。
【０３３４】
ステップＳ１８０では、注目画素選択部２００が、教師データ記憶部１９２に、まだ、注目画素としていない教師画素が記憶されているかどうかを判定する。ステップＳ１８０において、注目画素としていない教師画素が、まだ、教師データ記憶部１９２に記憶されていると判定された場合、ステップＳ１７２に戻り、注目画素選択部２００は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
【０３３５】
また、ステップＳ１８０において、注目画素としていない教師画素が、教師データ記憶部１９２に記憶されていないと判定された場合、ステップＳ１８１に進み、予測係数作成部２０７は、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
【０３３６】
図１０のマルチ画面モードメモリ１５７2には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０３３７】
次に、図２２のフローチャートを参照して、以上のようなタップ係数を記憶している図１０の高画質化処理部１３２の処理について説明する。
【０３３８】
まず最初に、ステップＳ２０１において、動きベクトル検出部１５１、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７が、システムコントローラ１１８（図１）から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、ステップＳ２０２に進む。
【０３３９】
ステップＳ２０２では、注目画素選択部１５０は、入力メモリ１３１（図４）から高画質化処理部１３２に供給される第１の画像をクラス分類適応処理により変換することによって得られる第２の画像を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素として選択し、ステップＳ２０３に進む。
【０３４０】
ステップＳ２０３では、動きベクトル検出部１５１は、入力メモリ１３１（図４）から供給される第１の画像を構成する画素のうちの、注目画素に対応する対応画素の動きベクトルを検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、およびクラス生成部１５５に供給して、ステップＳ２０４に進む。
【０３４１】
ステップＳ２０４では、クラスタップ構造決定部１５２は、動きベクトル検出部１５１から供給される動きベクトルにしたがい、注目画素について、第１と第２のタップ中心位置を求め、入力メモリ１３１（図４）から供給される第１の画像を構成する画素のうちの、第１と第２のタップ中心位置それぞれについて、そのタップ中心位置に最も近い画素を、第１と第２のタップ中心画素として求める。さらに、ステップＳ２０４では、クラスタップ構造決定部１５２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心とする第１の画像の複数の画素を、クラスタップを構成する画素として決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０３４２】
また、ステップＳ２０４では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２における場合と同様にして、予測タップを構成する画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０３４３】
その後、ステップＳ２０４からＳ２０５に進み、クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についてのクラスタップとして、クラス生成部１５５に供給する。さらに、ステップＳ２０５では、予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についての予測タップとして、積和演算部１５８に供給して、ステップＳ２０６に進む。
【０３４４】
ステップＳ２０６では、クラス生成部１５５は、動きベクトル検出部１５１から供給される、注目画素に対応する対応画素の動きベクトルと、クラスタップ選択部１５４から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ１５７に供給して、ステップＳ２０７に進む。
【０３４５】
ステップＳ２０７では、係数メモリ１５７は、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給し、ステップＳ２０８に進む。
【０３４６】
ステップＳ２０８では、積和演算部１５８は、予測タップ選択部１５６からの注目画素についての予測タップと、係数メモリ１５７からの注目画素のクラスのタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）の演算を行うことにより、注目画素（の画素値）を求めて出力する。
【０３４７】
その後、ステップＳ２０８からＳ２０９に進み、注目画素選択部１５０は、第２の画像の画素のうち、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２０９において、まだ注目画素としていない第２の画像の画素があると判定された場合、ステップＳ２０２に戻り、注目画素選択部１５０は、まだ注目画素としていない第２の画像の画素のうちのいずれかを、新たな注目画素として、以下、同様の処理を繰り返す。
【０３４８】
また、ステップＳ２０９において、まだ注目画素としていない第２の画像の画素がないと判定された場合、処理を終了する。
【０３４９】
ところで、動作モードが通常画面モードの場合には、図７等で説明したように、高画質化処理部１３２（図４）には、入力メモリ１３１から、チューナ部１１１（図１）が出力するチャンネルCH1などのある１チャンネルの画像（通常の画像）が供給される。そして、高画質化処理部１３２（図１０）は、その通常の画像を、第１の画像として、ノイズ除去処理としてのクラス分類適応処理を行い、その通常の画像からノイズを除去したノイズ除去画像を、第２の画像として求める。
【０３５０】
一方、動作モードがマルチ画面モードの場合には、図８等で説明したように、高画質化処理部１３２（図４）には、入力メモリ１３１から、例えば、チューナ部１１１（図１）で１フレームごとに時分割に受信された４つのチャンネルCH1乃至CH4の画像それぞれの欠損フレームあり縮小画像が供給される。そして、高画質化処理部１３２（図１０）は、その４つのチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを、第１の画像として、欠損フレーム生成処理としてのクラス分類適応処理を行い、４つのチャンネルCH1乃至CH4それぞれについて、欠損フレームなし縮小画像を、第２の画像として求める。
【０３５１】
このように、高画質化処理部１３２では、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれノイズ除去処理または欠損フレーム生成処理が行われる。
【０３５２】
そこで、図１のシステムコントローラ１１８は、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行うように指示するコマンドを含む制御信号を、高画質化処理部１３２（図１０）の動きベクトル検出部１５１、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７に供給（送信）する。
【０３５３】
そして、動きベクトル検出部１５１、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７は、図２２のステップＳ２０１で説明したように、システムコントローラ１１８から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、これにより、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行う。
【０３５４】
具体的には、動作モードが通常画面モードの場合、図２２のステップＳ２０３において、動きベクトル検出部１５１は、注目画素と同一フレームの第１の画像としてのチャンネルCH1の通常の画像の中から、その注目画素に対応する対応画素を認識する。さらに、ステップＳ２０３では、動きベクトル検出部１５１は、対応画素の動きベクトルを、その対応画素のフレームの次のフレームのチャンネルCH1の通常の画像を参照することにより検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、クラス生成部１５５に供給する。
【０３５５】
また、ステップＳ２０４では、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図１４で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２０４では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心として、クラスタップを構成するチャンネルCH1の通常の画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０３５６】
同様に、ステップＳ２０４では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の通常の画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０３５７】
また、ステップＳ２０７では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちの通常画面モードメモリ１５７1を選択し、その選択した通常画面モードメモリ１５７1に記憶されているノイズ除去処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
【０３５８】
一方、動作モードがマルチ画面モードの場合、第１の画像としての４つのチャンネルCH1乃至CH4の欠損フレームあり縮小画像のうちの、ある１チャンネルである、例えば、チャンネルCH1の欠損フレームあり縮小画像に注目すると、図２２のステップＳ２０３において、動きベクトル検出部１５１は、注目画素のフレームの直前の非欠損フレームのチャンネルCH1の欠損フレームあり縮小画像の中から、その注目画素に対応する対応画素を認識する。さらに、ステップＳ２０３では、動きベクトル検出部１５１は、対応画素の動きベクトルを、その対応画素のフレームである非欠損フレームの次の非欠損フレームのチャンネルCH1の欠損フレームあり縮小画像を参照することにより検出し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、クラス生成部１５５に供給する。
【０３５９】
また、ステップＳ２０４では、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図２０で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２０４では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心として、クラスタップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０３６０】
同様に、ステップＳ２０４では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０３６１】
また、ステップＳ２０７では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちのマルチ画面モードメモリ１５７2を選択し、その選択したマルチ画面モードメモリ１５７2に記憶されている欠損フレーム生成処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
【０３６２】
次に、図２３は、図１の信号処理部１１４（さらには、信号処理部１１５および１１６）の他の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の信号処理部１１４は、高画質化処理部１３２に代えて高画質化処理部２３２が設けられているとともに、動きベクトル検出部２３４が新たに設けられている他は、図４における場合と同様に構成されている。
【０３６３】
高画質化処理部２３２は、動作モードが通常画面モードの場合、図４の高画質化処理部１３２と同様に、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される第１の画像としての、例えば、チャンネルCH1の通常の画像のフレームの画質を向上させたフレームを生成するノイズ除去処理を行い、即ち、入力メモリ１３１から供給されるチャンネルCH1の通常の画像のフレームからノイズを除去し、その結果得られる第２の画像としての、ノイズが除去（低減）されたチャンネルCH1の画像のフレームを、出力メモリ１３３に供給する。
【０３６４】
また、高画質化処理部２３２は、動作モードがマルチ画面モードの場合、やはり、図４の高画質化処理部１３２と同様に、システムコントローラ１１８からの制御信号にしたがって、入力メモリ１３１から供給される第１の画像としての、例えば、チャンネルCH1乃至CH４の欠損フレームあり縮小画像それぞれから、第２の画像としてのチャンネルCH1乃至CH４の欠損フレームなし縮小画像それぞれを生成する欠損フレーム生成処理を行い、その第２の画像としてのチャンネルCH1乃至CH４の欠損フレームなし縮小画像それぞれを、出力メモリ１３３に供給する。
【０３６５】
但し、高画質化処理部２３２は、ノイズ除去処理および欠損フレーム生成処理を、動きベクトル検出部２３４から供給される動きベクトルを用いて行うようになっている。
【０３６６】
動きベクトル検出部２３４には、図１のチューナ部１１１が入力メモリ１３１に供給するのと同一の画像が供給されるようになっている。従って、動作モードが通常画面モードである場合、動きベクトル検出部２３４には、入力メモリ１３１から高画質化処理部２３２に供給される第１の画像と同一の、例えば、チャンネルCH１の通常の画像が供給される。
【０３６７】
動きベクトル検出部２３４は、動作モードが通常画面モードの場合、システムコントローラ１１８（図１）から供給される制御信号にしたがい、通常画面モード用の動きベクトルを検出する通常画面モード用の動きベクトル検出処理、即ち、ここでは、チューナ部１１１が出力するチャンネルCH１の通常の画像のフレームを構成する各画素の動きベクトルを、そのフレームの次のフレームを参照して検出する動きベクトル検出処理を行い、その結果得られる通常画面モード用の動きベクトルを、高画質化処理部２３２に供給する。
【０３６８】
一方、動作モードがマルチ画面モードである場合、動きベクトル検出部２３４には、図１のチューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像それぞれが供給される。
【０３６９】
動きベクトル検出部２３４は、動作モードがマルチ画面モードの場合、システムコントローラ１１８（図１）から供給される制御信号にしたがい、マルチ画面モード用の動きベクトルを検出するマルチ画面モード用の動きベクトル検出処理、即ち、ここでは、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像のうちの、あるチャンネルとしての、例えば、チャンネルCH１の欠損フレームあり画像に注目すると、チャンネルCH1の欠損フレームあり画像の非欠損フレームを構成する各画素の動きベクトルを、チャンネルCH1の、その次の非欠損フレームを参照して検出する動きベクトル検出処理を行う。さらに、動きベクトル検出部２３４は、その動きベクトル検出処理の結果得られる動きベクトルの大きさを、後述する理由により１／２に縮小し、その１／２の大きさの動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
【０３７０】
動作モードがマルチ画面モードの場合、動きベクトル検出部２３４は、他のチャンネルCH2乃至CH4の欠損フレームあり画像についても、同様にして、マルチ画面モード用の動きベクトルを求め、高画質化処理部２３２に供給する。
【０３７１】
なお、動作モードがマルチ画面モードの場合に、動きベクトル検出部２３４において、非欠損フレームの画素について検出した動きベクトルを、１／２の大きさにするのは、次のような理由による。
【０３７２】
即ち、マルチ画面モードでは、上述したように、１フレームが、２×２（横×縦）の４つの小画面に等分割されて、４チャンネルCH1乃至CH4の縮小画像が、それぞれ表示される。このため、入力メモリ１３１から高画質化処理部２３２に対しては、チューナ部１１１が出力するチャンネルCH1乃至CH４の欠損フレームあり画像それぞれを、小画面の大きさに縮小した大きさ、即ち、１フレームの画像の横と縦の画素数を、それぞれ１／２に縮小した（間引いた）大きさの欠損フレームあり縮小画像が供給される。
【０３７３】
一方、動きベクトル検出部２３４では、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）それぞれを対象として動きベクトルが検出されるため、その動きベクトルの大きさは、理論的には、欠損フレームあり縮小画像を対象として動きベクトルを検出した場合の大きさの２倍となる。このため、動作モードがマルチ画面モードの場合、動きベクトル検出部２３４は、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）それぞれを対象に検出した動きベクトルを、欠損フレームあり縮小画像を対象として検出した動きベクトルに対応させるために、１／２の大きさに縮小して、高画質化処理部２３２に供給するようになっている。
【０３７４】
以上のように構成される信号処理部１１４では、動作モードが通常画面モードの場合、チューナ部１１１から、例えば、チャンネルCH1の通常の画像が、入力メモリ１３１と動きベクトル検出部２３４に供給される。
【０３７５】
入力メモリ１３１は、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からのチャンネルCH１の通常の画像を一時記憶し、その記憶した画像を、そのまま、高画質化処理部１３２に供給する。
【０３７６】
また、動きベクトル検出部２３４は、システムコントローラ１１８からの制御信号にしたがい、チューナ部１１１が出力するチャンネルCH１の通常の画像のフレームを構成する各画素の動きベクトルを、そのフレームの次のフレームを参照して検出する動きベクトル検出処理を行い、その結果得られる通常画面モード用の動きベクトルを、高画質化処理部２３２に供給する。
【０３７７】
高画質化処理部２３２は、システムコントローラ１１８からの制御信号にしたがい、動きベクトル検出部２３４からの動きベクトルを用いて、入力メモリ１３１から供給されるチャンネルCH1の通常の画像のフレームからノイズを除去するノイズ除去処理としてのクラス分類適応処理を行い、そのノイズ除去処理結果としてのノイズ除去画像を、第２の画像として、出力メモリ１３３に供給する。
【０３７８】
出力メモリ１３３は、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部２３２が出力する第２の画像としてのチャンネルCH1のノイズ除去画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ１１７（図１）に供給する。
【０３７９】
一方、動作モードがマルチ画面モードの場合、チューナ部１１１から、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像それぞれが、入力メモリ１３１と動きベクトル検出部２３４に供給される。
【０３８０】
入力メモリ１３１は、システムコントローラ１１８からの制御信号にしたがって、チューナ部１１１からのチャンネルCH1乃至CH4の欠損フレームあり画像を記憶するとともに読み出すことで、各フレームのサイズ（大きさ）を、マルチ画面の小画面のサイズに縮小し、即ち、フレームの横と縦の画素数を、それぞれ１／２に縮小（間引き）し、その結果得られるチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを、高画質化処理部２３２に供給する。
【０３８１】
また、動きベクトル検出部２３４は、システムコントローラ１１８からの制御信号にしたがい、チューナ部１１１が出力するチャンネルCH1乃至CH４の欠損フレームあり画像それぞれの非欠損フレームを構成する画素の動きベクトルを検出し、その動きベクトルの大きさを１／２に縮小する。そして、動きベクトル検出部２３４は、その１／２の大きさの動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
【０３８２】
高画質化処理部２３２は、システムコントローラ１１８からの制御信号にしたがい、動きベクトル検出部２３４からの動きベクトルを用いて、入力メモリ１３１から供給されるチャンネルCH1乃至CH4の欠損フレームあり縮小画像それぞれを第１の画像として、欠損フレームを生成する欠損フレーム生成処理としてのクラス分類適応処理を行い、その欠損フレーム生成処理の結果得られる第２の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像を、出力メモリ１３３に供給する。
【０３８３】
出力メモリ１３３は、システムコントローラ１１８からの制御信号にしたがって、高画質化処理部２３２からのチャンネルCH1乃至CH4の欠損フレームなし縮小画像の書き込みを行うことにより、チャンネルCH1乃至CH4の欠損フレームなし縮小画像の同一フレームを合成し、その結果得られる、チャンネルCH1乃至CH4の縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを、ディスプレイ１１７に供給する。
【０３８４】
次に、図２４は、図２３の動きベクトル検出部２３４の構成例を示すブロック図である。
【０３８５】
チューナ部１１１（図１）が出力する画像（入力画像）は、フレームメモリ２４１および動き検出回路２４４に供給される。
【０３８６】
フレームメモリ２４１は、そこに供給される入力画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路２４２およびセレクタ２４３に供給する。従って、動き検出回路２４４に、第ｎ＋４フレームの入力画像が供給されるとき、フレームメモリ２４１から遅延回路２４２およびセレクタ２４３には、その１フレーム前の第ｎ＋３フレームの入力画像が供給される。
【０３８７】
遅延回路２４２は、フレームメモリ２４１から供給される入力画像のフレームを、３フレーム分だけ遅延して、セレクタ２４３に供給する。従って、チューナ部１１１から動きベクトル検出部２３４に供給される入力画像のフレームは、フレームメモリ２４１および遅延回路２４２で、合計４フレーム分だけ遅延され、セレクタ２４３に供給されるから、動き検出回路２４４に、第ｎ＋４フレームの入力画像が供給されるとき、遅延回路２４２からセレクタ２４３には、その４フレーム前の第ｎフレームの入力画像が供給される。
【０３８８】
セレクタ２４３には、上述したように、フレームメモリ２４１から第ｎ＋３フレームの入力画像が供給されるとともに、遅延回路２４２から第ｎフレームの入力画像が供給される。セレクタ２４３は、システムコントローラ１１８（図１）から供給される制御信号にしたがい、フレームメモリ２４１からの第ｎ＋３フレームの入力画像、または遅延回路２４２からの第ｎフレームの入力画像のうちの一方を選択し、動き検出回路２４４に供給する。
【０３８９】
動き検出回路２４４は、セレクタ２４３から供給される入力画像のフレームの各画素の動きベクトルを、チューナ部１１１（図１）から供給される第ｎフレームの入力画像を参照することにより検出し、選択部２４５に供給する。
【０３９０】
選択部２４５は、システムコントローラ１１８（図１）から供給される制御信号にしたがい、動き検出回路２４４から供給される動きベクトルをそのまま、またはその大きさを１／２に縮小し、高画質化処理部２３２に供給する。
【０３９１】
以上のように構成される動きベクトル検出部２３２では、動作モードが通常画面モードの場合、システムコントローラ１１８からの制御信号にしたがい、通常画面モード用の動きベクトルが検出される。
【０３９２】
即ち、動作モードが通常画面モードの場合、動きベクトル検出部２３４には、図１のチューナ部１１１が出力する、例えば、チャンネルCH１の通常の画像が供給され、このチャンネルCH１の通常の画像は、フレームメモリ２４１および動きベクトル検出回路２４４に供給される。
【０３９３】
フレームメモリ２４１は、そこに供給されるチャンネルCH１の通常の画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路２４２およびセレクタ２４３に供給する。セレクタ２４３は、システムコントローラ１１８からの制御信号にしたがい、フレームメモリ２４１からのチャンネルCH１の通常の画像のフレームを選択し、動き検出回路２４４に供給する。
【０３９４】
ここで、上述したことから、動き検出回路２４４に、第ｎ＋４フレームのチャンネルCH１の通常の画像が供給されるとき、フレームメモリ２４１からセレクタ２４３には、その１フレーム前の第ｎ＋３フレームのチャンネルCH1の通常の画像が供給される。そして、いまの場合、セレクタ２４３は、フレームメモリ２４１からのチャンネルCH１の通常の画像のフレームを選択し、動き検出回路２４４に供給するから、第ｎ＋３フレームと第ｎ＋４フレームのチャンネルCH１の通常の画像、即ち、チャンネルCH１の通常の画像のあるフレームを注目フレームとすると、注目フレームと、その注目フレームの次のフレームが、動き検出回路２４４に供給される。
【０３９５】
動き検出回路２４４は、注目フレームのチャンネルCH１の通常の画像の各画素の動きベクトルを、その注目フレームの次のフレームのチャンネルCH１の通常の画像を参照することにより検出し、選択部２４５に供給する。
【０３９６】
選択部２４５は、システムコントローラ１１８からの制御信号にしたがい、動き検出回路２４４から供給される動きベクトルを、そのまま、通常画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
【０３９７】
一方、動作モードがマルチ画面モードの場合、動きベクトル検出部２３２では、システムコントローラ１１８からの制御信号にしたがい、マルチ画面モード用の動きベクトルが検出される。
【０３９８】
即ち、動作モードがマルチ画面モードの場合、動きベクトル検出部２３４には、図１のチューナ部１１１が出力する、例えば、チャンネルCH１乃至CH4の欠損フレームあり画像が供給され、このチャンネルCH１乃至CH4の欠損フレームあり画像は、フレームメモリ２４１および動きベクトル検出回路２４４に供給される。
【０３９９】
フレームメモリ２４１は、そこに供給されるチャンネルCH１乃至CH4の欠損フレームあり画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、遅延回路２４２およびセレクタ２４３に供給する。遅延回路２４２は、フレームメモリ２４１から供給されるチャンネルCH１乃至CH4の欠損フレームあり画像のフレームを、さらに、３フレーム分だけ遅延し、セレクタ２４３に供給する。
【０４００】
セレクタ２４３は、システムコントローラ１１８からの制御信号にしたがい、遅延回路２４２からのチャンネルCH１乃至CH4の欠損フレームあり画像のフレームを選択し、動き検出回路２４４に供給する。
【０４０１】
ここで、上述したことから、動き検出回路２４４に、第ｎ＋４フレームの画像が供給されるとき、遅延回路２４２からセレクタ２４３には、その４フレーム前の第ｎフレームの画像が供給される。そして、いまの場合、セレクタ２４３は、遅延回路２４２からの第ｎフレームを選択し、動き検出回路２４４に供給するから、動き検出回路２４４には、第ｎフレームと第ｎ＋４フレームの画像が供給される。
【０４０２】
一方、動作モードがマルチ画面モードの場合、チューナ部１１８から動きベクトル検出部２３４には、上述したように、チャンネルCH１乃至CH4の欠損フレームあり画像が供給される。このチャンネルCH１乃至CH4の欠損フレームあり画像は、あるチャンネルに注目すれば、非欠損フレームが４フレームごとに存在する画像であるから、動き検出回路２４４には、チャンネルCH１乃至CH4のうちのあるチャンネルの非欠損フレームを注目フレームとすると、そのチャンネルについて、非欠損フレームである注目フレームと、その注目フレームの次の非欠損フレームが、動き検出回路２４４に供給される。
【０４０３】
動き検出回路２４４は、注目フレームの各画素の動きベクトルを、その注目フレームのチャンネルにおける次の非欠損フレームを参照することにより検出し、選択部２４５に供給する。
【０４０４】
選択部２４５は、システムコントローラ１１８からの制御信号にしたがい、動き検出回路２４４から供給される動きベクトルを、１／２の大きさに縮小し、その縮小後の動きベクトルを、マルチ画面モード用の動きベクトルとして、高画質化処理部２３２に供給する。
【０４０５】
次に、図２５は、図２３の高画質化処理部２３２の構成例を示している。なお、図中、図１０の高画質化処理部１３２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２３の高画質化処理部２３２は、動きベクトル検出部１５１が設けられていない他は、図１０の高画質化処理部１３２と同様に構成されている。
【０４０６】
高画質化処理部２３２では、図１０の高画質化処理部１３２における場合と同様の処理が行われる。
【０４０７】
但し、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、およびクラス生成部１５５は、動きベクトル検出部１５１（図１０）から供給される動きベクトルではなく、動きベクトル検出部２３４（図２３）から供給される動きベクトルを用いて、図１０の高画質化処理部１３２における場合と同様の処理を行う。
【０４０８】
また、図２３の高画質化処理部２３２の係数メモリ１５７を構成する通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2には、それぞれ、図１１と図１７の学習装置で得られたタップ係数ではなく、後述する学習装置によって得られたタップ係数が記憶されている。
【０４０９】
但し、図２３の高画質化処理部２３２における通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2に記憶されているタップ係数も、それぞれ、図１０の高画質化処理部１３２における通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2に記憶されているタップ係数と同様に、ノイズ除去処理用のタップ係数と欠損フレーム生成処理用のタップ係数であることに変わりはない。
【０４１０】
次に、図２６は、図２５の高画質化処理部２３２の処理を説明するフローチャートである。
【０４１１】
まず最初に、ステップＳ２１１において、クラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７が、システムコントローラ１１８（図１）から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、ステップＳ２１２に進む。
【０４１２】
ステップＳ２１２では、注目画素選択部１５０は、入力メモリ１３１（図４）から高画質化処理部１３２に供給される第１の画像をクラス分類適応処理により変換することによって得られる第２の画像を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素として選択し、ステップＳ２１３に進む。
【０４１３】
ステップＳ２１３では、クラスタップ構造決定部１５２は、動きベクトル検出部２３４（図２３）から供給される動きベクトルにしたがい、注目画素について、第１と第２のタップ中心位置を求め、入力メモリ１３１（図４）から供給される第１の画像を構成する画素のうちの、第１と第２のタップ中心位置それぞれについて、そのタップ中心位置に最も近い画素を、第１と第２のタップ中心画素として求める。さらに、ステップＳ２１３では、クラスタップ構造決定部１５２は、第１と第２のタップ中心画素それぞれについて、そのタップ中心画素を中心とする第１の画像の複数の画素を、クラスタップを構成する画素として決定し、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０４１４】
また、ステップＳ２１３では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２における場合と同様にして、予測タップを構成する画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０４１５】
その後、ステップＳ２１３からＳ２１４に進み、クラスタップ選択部１５４は、クラスタップ構造決定部１５２からのクラスタップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についてのクラスタップとして、クラス生成部１５５に供給する。さらに、ステップＳ２１４では、予測タップ選択部１５６は、予測タップ構造決定部１５３からの予測タップ情報にしたがい、入力メモリ１３１に記憶された第１の画像から複数の画素（の画素値）を選択し、注目画素についての予測タップとして、積和演算部１５８に供給して、ステップＳ２１５に進む。
【０４１６】
ステップＳ２１５では、クラス生成部１５５は、動きベクトル検出部２３４（図２３）から供給される、注目画素に対応する対応画素の動きベクトルと、クラスタップ選択部１５４から供給される注目画素についてのクラスタップとに基づいて、注目画素をクラス分類し、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ１５７に供給して、ステップＳ２１６に進む。
【０４１７】
ステップＳ２１６では、係数メモリ１５７は、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給し、ステップＳ２１７に進む。
【０４１８】
ステップＳ２１７では、積和演算部１５８は、予測タップ選択部１５６からの注目画素についての予測タップと、係数メモリ１５７からの注目画素のクラスのタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）の演算を行うことにより、注目画素（の画素値）を求めて出力する。
【０４１９】
その後、ステップＳ２１７からＳ２１８に進み、注目画素選択部１５０は、第２の画像の画素のうち、まだ注目画素としていないものがあるかどうかを判定する。ステップＳ２１８において、まだ注目画素としていない第２の画像の画素があると判定された場合、ステップＳ２１２に戻り、注目画素選択部１５０は、まだ注目画素としていない第２の画像の画素のうちのいずれかを、新たな注目画素として、以下、同様の処理を繰り返す。
【０４２０】
また、ステップＳ２１８において、まだ注目画素としていない第２の画像の画素がないと判定された場合、処理を終了する。
【０４２１】
ここで、図２５の高画質化処理部２３２では、上述した高画質化処理部１３２（図１０）と同様に、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれノイズ除去処理または欠損フレーム生成処理が行われる。
【０４２２】
そこで、図１のシステムコントローラ１１８は、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行うように指示するコマンドを含む制御信号を、高画質化処理部２３２のクラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７に供給（送信）する。
【０４２３】
そして、高画質化処理部２３２のクラスタップ構造決定部１５２、予測タップ構造決定部１５３、および係数メモリ１５７は、図２６のステップＳ２１１で説明したように、システムコントローラ１１８から供給される制御信号にしたがい、自身で行う処理の処理内容を決定し、これにより、動作モードが通常画面モードまたはマルチ画面モードの場合に、それぞれ、通常画面モードまたはマルチ画面モード用の処理を行う。
【０４２４】
具体的には、動作モードが通常画面モードの場合、チューナ部１１１が、例えば、上述したように、チャンネルCH1の通常の画像を出力するものとすると、図２６のステップＳ２１３において、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図１４で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２１３では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成するチャンネルCH1の通常の画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０４２５】
ステップＳ２１３では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の通常の画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０４２６】
また、ステップＳ２１６では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちの通常画面モードメモリ１５７1を選択し、その選択した通常画面モードメモリ１５７1に記憶されているノイズ除去処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
【０４２７】
一方、動作モードがマルチ画面モードの場合、チューナ部１１１が、例えば、上述したように、チャンネルCH1乃至CH4の欠損フレームあり画像を出力するものとして、チャンネルCH1乃至CH4の欠損フレームあり縮小画像のうちの、ある１チャンネルである、例えば、チャンネルCH1の欠損フレームあり縮小画像に注目すると、図２６のステップＳ２１３において、クラスタップ構造決定部１５２は、注目画素に対応する対応画素、およびその対応画素の動きベクトルに基づき、図２０で説明した第１と第２のタップ中心位置を決定する。さらに、ステップＳ２１３では、クラスタップ構造決定部１５２は、第１と第２のタップ中心位置から、それぞれ、第１と第２のタップ中心画素を決定し、その第１と第２のタップ中心画素を中心としてクラスタップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定して、その画素を表すクラスタップ情報を、クラスタップ選択部１５４に供給する。
【０４２８】
同様に、ステップＳ２１３では、予測タップ構造決定部１５３も、クラスタップ構造決定部１５２と同様にして、予測タップを構成するチャンネルCH1の欠損フレームあり縮小画像の画素を決定し、その画素を表す予測タップ情報を、予測タップ選択部１５６に供給する。
【０４２９】
また、ステップＳ２１６では、係数メモリ１５７は、通常画面モードメモリ１５７1とマルチ画面モードメモリ１５７2のうちのマルチ画面モードメモリ１５７2を選択し、その選択したマルチ画面モードメモリ１５７2に記憶されている欠損フレーム生成処理用のタップ係数のうちの、クラス生成部１５５から供給される注目画素のクラスのタップ係数を読み出して、積和演算部１５８に供給する。
【０４３０】
なお、動作モードが通常画面モードの場合、図２３の動きベクトル検出部２３４において、動きベクトルの検出対象の画像が、例えば、チャンネルCH1の通常の画像であるときには、高画質化処理部２３２における処理対象も、そのチャンネルCH1の通常の画像となるから、注目画素に対応する対応画素の動きベクトルは、一意に決まる。
【０４３１】
即ち、動作モードが通常画面モードの場合には、高画質化処理部２３２では、処理対象としての第１の画像が、その第１の画像からノイズを除去した第２の画像に変換される。そして、第１の画像は、例えば、チャンネルCH1の通常の画像であり、そのチャンネルCH1の通常の画像の画素のうちの、第２の画像において注目画素とされた画素と空間的に同一位置にある画素が、対応画素とされる。
【０４３２】
また、図２３の動きベクトル検出部２３４では、高画質化処理部２３２の処理対象と同一の第１の画像としてのチャンネルCH1の通常の画像の各画素について、動きベクトルが検出されるから、注目画素に対応する対応画素の動きベクトルは、チャンネルCH1の通常の画像の画素のうちの、対応画素となっている画素について検出された動きベクトルとなる。
【０４３３】
一方、動作モードがマルチ画面モードの場合、高画質化処理部２３２では、例えば、チャンネルCH1乃至CH4の欠損フレームあり縮小画像を、第１の画像として、その第１の画像が、第１の画像としてのチャンネルCH1乃至CH4の欠損フレームなし縮小画像に変換される。そして、第１の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素のうちの、第２の画像において注目画素とされた画素と空間的に同一位置にある画素が、対応画素とされる点については、動作モードが通常画面モードである場合と同様である。
【０４３４】
しかしながら、動作モードがマルチ画面モードの場合、図２３の動きベクトル検出部２３４では、高画質化処理部２３２の処理対象である第１の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像を縮小する前の、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小されていない画像）の各画素について、動きベクトルが検出される。
【０４３５】
即ち、動作モードがマルチ画面モードの場合、対応画素は、高画質化処理部２３２の処理対象となる第１の画像としてのチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素のうちのいずれかである。しかしながら、図２３の動きベクトル検出部２３４では、動きベクトルは、その縮小前のチャンネルCH1乃至CH4の欠損フレームあり画像の画素について検出され、その縮小後のチャンネルCH1乃至CH4の欠損フレームあり縮小画像の画素については検出されない。
【０４３６】
但し、チャンネルCH1乃至CH4の欠損フレームあり縮小画像（以下、適宜、単に、縮小画像ともいう）は、動きベクトルの検出対象である、その縮小前のチャンネルCH1乃至CH4の欠損フレームあり画像（以下、適宜、縮小前画像ともいう）であり、縮小画像の１画素は、縮小前画像の複数の画素に対応する。
【０４３７】
そこで、動作モードがマルチ画面モードの場合においては、縮小画素の１画素である対応画素の動きベクトルとしては、その対応画素に対応する、縮小前画像の複数の画素それぞれについて検出された動きベクトル（図２３の動きベクトル検出部２３４が出力する動きベクトル）に基づく動きベクトル、即ち、例えば、その複数の画素のうちの１画素について検出された動きベクトルや、その複数の画素それぞれについて検出された動きベクトルの平均ベクトルなどを採用することができる。
【０４３８】
このことは、動作モードがマルチ画面モードの場合に図２５の高画質化処理部２３２で用いられる欠損フレーム生成処理用のタップ係数（図２５のマルチ画面モードメモリ１５７2に記憶されるタップ係数）を学習する、後述する学習装置においても、同様である。
【０４３９】
次に、図２７は、式（８）の正規方程式をたてて解くことにより、図２５の通常画面モードメモリ１５７1に記憶させるノイズ除去処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０４４０】
なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２７の学習装置は、係数生成処理部１７５に代えて係数生成処理部２５５が設けられているとともに、動きベクトル検出部２５６が新たに設けられている他は、図１１の学習装置と同様に構成されている。
【０４４１】
従って、図２７の学習装置においては、図１１における場合と同様に、例えば、ノイズのない高画質画像が、学習用画像として、教師データ生成部１７１と生徒データ生成部１７３に供給される。
【０４４２】
教師データ生成部１７１は、そこに供給される学習用画像から、通常画面モード時の第２の画像に対応する教師画像を生成し、即ち、例えば、学習用画像としての高画質画像を、そのまま教師画像として、教師データ記憶部１７２に供給して記憶させる。
【０４４３】
生徒データ生成部１７３は、学習用画像から、通常画面モード時の第１の画像に対応する生徒画像を生成し、即ち、例えば、学習用画像としての高画質画像にノイズを付加することにより、低画質画像を生成し、この低画質画像を、生徒画像として、生徒データ記憶部１７４に供給して記憶させる。
【０４４４】
係数生成処理部２５５は、教師データ記憶部１７２に記憶された教師画像としての高画質画像、および生徒データ記憶部１７４に記憶された生徒画像としての低画質画像、さらには、動きベクトル検出部２５６から供給される動きベクトルを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力する。
【０４４５】
動きベクトル検出部２５６は、生徒データ記憶部１７４に記憶された生徒画像の各画素について、通常画面モード用の動きベクトルを検出し、係数生成処理部２５５に供給する。
【０４４６】
図２８は、図２９の動きベクトル検出部２５６の構成例を示している。
【０４４７】
動きベクトル検出部２５６においては、生徒データ記憶部１７４（図２７）に記憶された生徒画像が、例えば、フレーム単位で、フレームメモリ２６１と動き検出回路２６４に供給される。
【０４４８】
フレームメモリ２６１は、生徒データ記憶部１７４から供給される生徒画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、動き検出回路２６４に供給する。従って、生徒データ記憶部１７４から動き検出回路２６４に、第ｎ＋１フレームの入力画像が供給されるとき、フレームメモリ２６１から動き検出回路２６４には、その１フレーム前の第ｎフレームの生徒画像が供給される。
【０４４９】
動き検出回路２６４は、フレームメモリ２６１から供給される生徒画像の第ｎフレームの各画素の動きベクトルを、生徒データ記憶部１７４から供給される第ｎ＋１フレームの生徒画像を参照することにより検出し、選択部２６５に供給する。
【０４５０】
選択部２６５は、動き検出回路２６４から供給される動きベクトルをそのまま、係数生成処理部２５５（図２７）に供給する。
【０４５１】
以上のように構成される動きベクトル検出部２５６では、生徒データ記憶部１７４（図２７）に記憶された生徒画像の各画素について、動きベクトル（通常画面モード用の動きベクトル）が検出される。
【０４５２】
即ち、動きベクトル検出部２５６には、生徒データ記憶部１７４に記憶された生徒画像が、例えば、フレーム単位で供給され、その生徒画像のフレームは、フレームメモリ２６１と動き検出回路２６４に供給される。
【０４５３】
フレームメモリ２６１は、そこに供給される生徒画像のフレームを一時記憶することにより、１フレーム分だけ遅延して、動き検出回路２６４に供給する。従って、フレームメモリ２６１から動き検出回路２６４に供給される生徒画像のフレームを注目フレームというものとすると、動き検出回路２６４には、注目フレームと、その注目フレームの次のフレームが供給される。
【０４５４】
動き検出回路２６４は、注目フレームの生徒画像の各画素の動きベクトルを、その注目フレームの次のフレームの生徒画像を参照することにより検出し、選択部２６５に供給する。
【０４５５】
選択部２６５は、動き検出回路２６４から供給される動きベクトルを、そのまま、係数生成処理部２５５（図２７）に供給する。
【０４５６】
なお、選択部２６５が係数生成処理部２５５に供給する動きベクトルは、図２３の動きベクトル検出部２３４が、通常画面モード時に高画質化処理部２３２に供給する通常画面モード用の動きベクトルに相当する。
【０４５７】
図２９は、図２７の係数生成処理部２５５の構成例を示している。なお、図中、図１３の係数生成処理部１７５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２９の係数生成処理部２５５は、動きベクトル検出部１８１が設けられていない他は、図１３の係数生成処理部１７５と同様に構成されている。
【０４５８】
従って、図２９の係数生成処理部２５５では、図１３の係数生成処理部１７５における場合と同様の処理が行われる。
【０４５９】
但し、クラスタップ構造決定部１８２、予測タップ構造決定部１８３、およびクラス生成部１８５は、動きベクトル検出部１８１（図１３）から供給される動きベクトルではなく、動きベクトル検出部２５６（図２３、図２４）から供給される通常画面モード用の動きベクトルを用いて、図１３の係数生成処理部１７５における場合と同様の処理を行う。
【０４６０】
次に、図３０のフローチャートを参照して、図２７の学習装置の処理（学習処理）について、説明する。
【０４６１】
まず最初に、ステップＳ２２１において、教師データ生成部１７１と生徒データ生成部１７３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１７１は、学習用画像を、そのまま、教師画像とする。また、生徒データ生成部１７３は、学習用画像にノイズを付加することにより、生徒画像を生成する。
【０４６２】
教師データ生成部１７１が生成した教師画像は、教師データ記憶部１７２に供給されて記憶され、生徒データ生成部１７３が生成した生徒画像は、生徒データ記憶部１７４に供給されて記憶される。
【０４６３】
その後、ステップＳ２２２に進み、動きベクトル検出部２５６は、生徒データ記憶部１７４に記憶された生徒画像の各画素について、通常画面モード用の動きベクトルを検出し、係数生成処理部２５５に供給して、ステップＳ２２３に進む。
【０４６４】
ステップＳ２２３では、係数生成処理部２５５（図２９）の注目画素選択部１８０は、教師データ記憶部１７２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ２２４に進む。
【０４６５】
ステップＳ２２４では、クラスタップ構造決定部１８２、および予測タップ構造決定部１８３が、注目画素と同一フレームの生徒画像の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ２２５に進む。
【０４６６】
ステップＳ２２５乃至Ｓ２２９では、図１６のステップＳ１５５乃至Ｓ１５９における場合とそれぞれ同様の処理が行われ、これにより、上述した式（８）の足し込みが、クラス生成部１８５から供給されるクラスコードごとに行われる。
【０４６７】
そして、ステップＳ２２９において、注目画素としていない教師画素が、まだ、教師データ記憶部１７２に記憶されていると判定された場合、ステップＳ２２３に戻り、注目画素選択部１８０は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
【０４６８】
また、ステップＳ２２９において、注目画素としていない教師画素が、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ２３０に進み、予測係数作成部１８７は、図１６のステップＳ１６０における場合と同様に、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、ノイズ除去処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
【０４６９】
図２５の通常画面モードメモリ１５７1には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０４７０】
次に、図３１は、式（８）の正規方程式をたてて解くことにより、図１０のマルチ画面モードメモリ１５７2に記憶させる欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０４７１】
なお、図中、図１７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３１の学習装置は、係数生成処理部１９５に代えて係数生成処理部２８５が設けられているとともに、動きベクトル検出部２８６が新たに設けられている他は、図１７の学習装置と同様に構成されている。
【０４７２】
従って、図３１の学習装置においては、図１７の学習装置における場合と同様に、例えば、欠損フレームのない画像が、学習用画像として、教師データ生成部１９１と生徒データ生成部１９３に供給される。
【０４７３】
さらに、図３１の学習装置においては、学習用画像が、動きベクトル検出部２８６にも供給される。
【０４７４】
教師データ生成部１９１は、そこに供給される学習用画像から、マルチ画面モード時の第２の画像である欠損フレームなし縮小画像に対応する教師画像を生成し、即ち、学習用画像の画素を間引くこと等によって、学習用画像を縮小画像に縮小することにより、欠損フレームなし縮小画像を、教師画像として生成し、教師データ記憶部１９２に供給して記憶させる。
【０４７５】
生徒データ生成部１９３は、学習用画像から、マルチ画面モード時の第１の画像である欠損フレーム画像あり縮小画像に対応する生徒画像を生成し、即ち、学習用画像を縮小することにより、欠損フレームなし縮小画像を生成し、さらに、その欠損フレームなし縮小画像のフレームを間引くことにより、４フレームにつき３フレームの欠損フレームが存在する縮小画像を、生徒画像として生成し、生徒データ記憶部１９４に供給して記憶させる。
【０４７６】
係数生成処理部２８５は、教師データ記憶部１９２に記憶された教師画像としての欠損フレームなし縮小画像、および生徒データ記憶部１９４に記憶された生徒画像としての欠損フレームあり縮小画像、さらには、動きベクトル検出部２８６から供給される動きベクトルを用いて、クラスごとに、式（８）の正規方程式をたてて解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力する。
【０４７７】
動きベクトル検出部２８６は、生徒データ生成部１９３において、画素およびフレームが間引かれる前（空間および時間方向の間引きが行われる前）の学習用画像の画素について、マルチ画面モード用の動きベクトルを検出し、係数生成処理部２８５に供給する。
【０４７８】
図３２は、図３１の動きベクトル検出部２８６の構成例を示している。
【０４７９】
動きベクトル検出部２８６においては、生徒データ生成部１９３（図３１）に供給されるのと同一の学習用画像が、例えば、フレーム単位で、遅延回路２９２と動き検出回路２９４に供給される。
【０４８０】
遅延回路２９２は、そこに供給される学習用画像のフレームを、例えば４フレーム分だけ遅延して、動き検出回路２９４に供給する。従って、動き検出回路２９４には、第ｎフレームの学習用画像と、その４フレーム後の第ｎ＋４フレームの学習用画像が供給される。
【０４８１】
動き検出回路２９４は、学習用画像の第ｎフレームの各画素の動きベクトルを、学習用画像の第ｎ＋４フレームを参照することにより検出し、選択部２９５に供給する。
【０４８２】
選択部２９５は、動き検出回路２６４から供給される動きベクトルを、その大きさを１／２に縮小し、その縮小の結果得られる動きベクトルを、高画質化処理部２３２に供給する。
【０４８３】
以上のように構成される動きベクトル検出部２８６では、生徒データ生成部１９３（図３１）に供給されるのと同一の学習用画像の画素について、動きベクトル（マルチ画面モード用の動きベクトル）が検出される。
【０４８４】
即ち、動きベクトル検出部２８６には、学習用画像が、例えば、フレーム単位で供給され、その学習用画像のフレームは、遅延回路２９２と動き検出回路２９４に供給される。
【０４８５】
遅延回路２９２は、そこに供給される学習用画像のフレームを、４フレーム分だけ遅延して、動き検出回路２９４に供給する。即ち、これにより、上述したように、動き検出回路２９４には、第ｎフレームの学習用画像と、その４フレーム後の第ｎ＋４フレームの学習用画像が供給される。
【０４８６】
動き検出回路２９４は、第ｎフレームの学習用画像の各画素の動きベクトルを、第ｎ＋４フレームの学習用画像を参照することにより検出し、選択部２９５に供給する。
【０４８７】
選択部２９５は、動き検出回路２６４から供給される動きベクトルを縮小し、その縮小の結果得られる動きベクトルを、係数生成処理部２８５（図３１）に供給する。
【０４８８】
なお、選択部２９５が係数生成処理部２８５に供給する動きベクトルは、図２３の動きベクトル検出部２３４が、マルチ画面モード時に高画質化処理部２３２に供給するマルチ画面モード用の動きベクトルに相当する。
【０４８９】
即ち、マルチ画面モード時においては、図２３の高画質化処理部２３２の処理対象である第１の画像は、生徒データ生成部１９３（図３１）で生成される生徒画像に対応し、その処理後に得られる第２の画像は、教師データ生成部１９１（図３１）で生成される教師画像に対応する。さらに、図２３の動きベクトル検出部２３４では、上述したように、縮小画像である第２の画像を縮小する前の縮小前画像を対象として、その縮小前画像のフレームの画素の動きベクトルが、その４フレーム後を参照して求められる。
【０４９０】
図３２の動きベクトル検出部２８６でも、生徒画像を縮小する前の学習用画像を対象として、その縮小前画像のフレームの画素の動きベクトルが、その４フレーム後を参照して求められるので、動きベクトル検出部２８６が検出する動きベクトルは、マルチ画面モード時に動きベクトル検出部２３４が高画質化処理部２３２に供給するマルチ画面モード用の動きベクトルに相当する。
【０４９１】
次に、図３３は、図３１の係数生成処理部２８５の構成例を示している。なお、図中、図１９の係数生成処理部１９５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３３の係数生成処理部２８５は、動きベクトル検出部２０１が設けられていない他は、図１９の係数生成処理部１９５と同様に構成されている。
【０４９２】
図３３の係数生成処理部２８５では、図１９の係数生成処理部１９５における場合と同様の処理が行われる。
【０４９３】
但し、クラスタップ構造決定部２０２、予測タップ構造決定部２０３、およびクラス生成部２０５は、動きベクトル検出部２０１（図１９）から供給される動きベクトルではなく、動きベクトル検出部２８６（図３１、図３２）から供給されるマルチ画面モード用の動きベクトルを用いて、図１９の係数生成処理部１９５における場合と同様の処理を行う。
【０４９４】
次に、図３４のフローチャートを参照して、図３１の学習装置の処理（学習処理）について、説明する。
【０４９５】
まず最初に、ステップＳ２５１において、教師データ生成部１９１と生徒データ生成部１９３が、学習用画像から、教師画像と生徒画像を、それぞれ生成する。即ち、教師データ生成部１９１は、学習用画像を縮小し、その結果得られる欠損フレームなし縮小画像を、教師画像とする。また、生徒データ生成部１９３は、学習用画像を縮小し、さらに、フレームを間引くことにより、４フレームにつき３フレームが欠損フレームとなっている欠損フレームあり縮小画像を、生徒画像として生成する。
【０４９６】
教師データ生成部１９１が生成した教師画像は、教師データ記憶部１９２に供給されて記憶され、生徒データ生成部１９３が生成した生徒画像は、生徒データ記憶部１９４に供給されて記憶される。
【０４９７】
その後、ステップＳ２５２に進み、動きベクトル検出部２８６は、学習用画像の各画素について、マルチ画面モード用の動きベクトルを検出し、係数生成処理部２８５に供給して、ステップＳ２５３に進む。
【０４９８】
ステップＳ２５３では、係数生成処理部２８５（図３３）の注目画素選択部２００は、教師データ記憶部１９２に記憶された教師画像の教師画素のうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ２５４に進む。
【０４９９】
ステップＳ２５４では、クラスタップ構造決定部２０２、および予測タップ構造決定部２０３が、注目画素のフレームの直前の非欠損フレームの生徒画像の画素の中から、その注目画素に対応する生徒画像の画素である対応画素を認識し、ステップＳ２５５に進む。
【０５００】
ステップＳ２５５乃至Ｓ２６０では、図２１のステップＳ１７５乃至Ｓ１８０における場合とそれぞれ同様の処理が行われ、これにより、上述した式（８）の足し込みが、クラス生成部１８５から供給されるクラスコードごとに行われる。
【０５０１】
そして、ステップＳ２６０において、注目画素としていない教師画素が、まだ、教師データ記憶部１７２に記憶されていると判定された場合、ステップＳ２５３に戻り、注目画素選択部２００は、まだ注目画素としていない教師画素を、新たに、注目画素として、以下、同様の処理を繰り返す。
【０５０２】
また、ステップＳ２６０において、注目画素としていない教師画素が、教師データ記憶部１７２に記憶されていないと判定された場合、ステップＳ２６１に進み、予測係数作成部２０７は、図２１のステップＳ１８１における場合と同様に、いままでの処理によって得られたクラスごとの式（８）の正規方程式を解くことにより、欠損フレーム生成処理用のクラスごとのタップ係数ｗnを求めて出力し、処理を終了する。
【０５０３】
図２５のマルチ画面モードメモリ１５７2には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
【０５０４】
次に、図３５は、図１の信号処理部１１４（さらには、信号処理部１１５および１１６）のさらに他の構成例を示している。
【０５０５】
図３５では、信号処理部１１４は、図４の高画質化処理部１３２に相当する高画質化処理部３３２と、図４の出力メモリ１３３に相当する出力メモリ３３３とで構成されている。
【０５０６】
即ち、図３５の信号処理部１１４は、図４の入力メモリ１３１に相当するメモリを設けずに構成されている。
【０５０７】
図４では、通常画面モード時には、チューナ部１１１が出力する、例えば、チャンネルCH1の通常の画像が、そのまま、入力メモリ１３１を介して、高画質化処理部１３２に供給され、マルチ画面モード時には、チューナ部１１１が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小前画像）を縮小したチャンネルCH1乃至CH4の欠損フレームあり縮小画像が、入力メモリ１３１を介して、高画質化処理部１３２に供給されるようになっていたが、図３５では、通常画面モード時およびマルチ画面モード時のいずれであっても、チューナ部１１１が出力する画像が、そのまま、高画質化処理部３３２に供給されるようになっている。
【０５０８】
従って、図３５では、通常画面モード時においては、図４における場合と同様に、チューナ部１１１が出力する、例えば、チャンネルCH1の通常の画像が、そのまま、高画質化処理部３３２に供給される。
【０５０９】
そして、高画質化処理部３３２は、システムコントローラ１１８から供給される制御信号にしたがい、チューナ部１１１が出力するチャンネルCH1の通常の画像を第１の画像として、図４の高画質化処理部１３２における場合と同様のノイズ除去処理を行い、その結果得られるノイズ除去画像を、第２の画像として、出力メモリ３３３に供給する。
【０５１０】
出力メモリ３３３は、動作モードが通常画面モードの場合は、図４の出力メモリ１３３と同様に、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部３３２が出力する第２の画像の各フレームを、そのまま一時記憶し、記憶した画像の各フレームを、出力画像の各フレームとして読み出して、ディスプレイ１１７（図１）に供給する。
【０５１１】
一方、マルチ画面モード時においては、チューナ部１１１が出力する、例えば、チャンネルCH1乃至CH4の欠損フレームあり画像（縮小前画像）が、そのまま、高画質化処理部３３２に供給される。
【０５１２】
そして、高画質化処理部３３２は、システムコントローラ１１８から供給される制御信号にしたがい、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像を第１の画像として、図４の高画質化処理部１３２における場合と同様の欠損フレーム生成処理を行い、その結果得られるチャンネルCH1乃至CH4の欠損フレームなし画像を、第２の画像として、出力メモリ３３３に供給する。
【０５１３】
ここで、マルチ画面モード時において高画質化処理部３３２が欠損フレーム生成処理の対象とする第１の画像は、チューナ部１１１が出力するチャンネルCH1乃至CH4の欠損フレームあり画像、即ち、縮小前画像であり、また、高画質化処理部３３２での欠損フレーム生成処理の結果得られる画像も、チャンネルCH1乃至CH4の欠損フレームなし画像、即ち、縮小前画像である。
【０５１４】
このため、高画質化処理部３３２は、欠損フレーム生成処理用のタップ係数として、そのような縮小前画像の教師画像と生徒画像とを用いた学習により得られるものを記憶しており、その点が、図４の高画質化処理部１３２と異なっている。
【０５１５】
出力メモリ３３３は、動作モードがマルチ画面モードの場合は、システムコントローラ１１８からの制御信号にしたがい、高画質化処理部１３２からの第２の画像としてのチャンネルCH1乃至CH4の欠損フレームなし画像の同一フレームを縮小しながら合成することにより、そのチャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成し、ディスプレイ１１７（図１）に供給する。
【０５１６】
即ち、システムコントローラ１１８が出力する制御信号には、出力メモリ３３３の書き込みアドレスと読み出しアドレスが含まれている。出力メモリ３３３は、システムコントローラ１１８からの制御信号に含まれる書き込みアドレスにしたがって、高画質化処理部３３２からのチャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を構成する画素（の画素値）を、水平方向と垂直方向それぞれについて所定の画素数おきに書き込むことにより、チャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を縮小した縮小画像を生成する。さらに、出力メモリ３３３は、その書き込みの際、チャンネルCH1乃至CH4の同一フレームの欠損フレームなし画像を構成する画素を、マルチ画面の左上、右上、左下、右下の小画面に対応する記憶領域にそれぞれ書き込むことにより、チャンネルCH1乃至CH4の欠損フレームなし縮小画像それぞれの同一フレームをマルチ画面表示する出力画像のフレームを生成（記憶）する。
【０５１７】
そして、出力メモリ１３３は、システムコントローラ１１８からの制御信号に含まれる読み出しアドレスにしたがって、生成（記憶）した出力画像のフレームを読み出し、ディスプレイ１１７に供給する。
【０５１８】
図４の信号処理部１１４では、動作モードがマルチ画面モードの場合に、入力メモリ１３１において、チャンネルCH1乃至CH4の欠損フレームあり画像が、縮小画像に縮小され、その後、高画質化処理部１３２において、そのチャンネルCH1乃至CH4の欠損フレームあり縮小画像が、欠損フレームなし縮小画像に変換されるが、図３５の信号処理部１１４では、動作モードがマルチ画面モードの場合に、チャンネルCH1乃至CH4の欠損フレームあり画像が、欠損フレームなし画像に変換され、その後、出力メモリ３３３において、欠損フレームなし画像が、欠損フレームなし縮小画像に縮小される。
【０５１９】
なお、図４の信号処理部１１４では、チューナ部１１１が出力する画像が、フレーム単位で、入力メモリ１３１に記憶されてから、高画質化処理部１３２に供給されるため、高画質化処理部１３２には、常時、ほぼ１フレーム分の時間の処理時間が与えられるので、動作モードの切り替え時において、高画質化処理部１３２が出力する画像（画面）の同期が比較的とりやすい。図２３の信号処理部１１４においても同様である。
【０５２０】
一方、図３５の信号処理部１１４は、図４の入力メモリ１３１に相当するメモリを設けずに構成することができるので、装置の小規模化および低コスト化を図ることができる。
【０５２１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５２２】
そこで、図３６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０５２３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０５２４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０５２５】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０５２６】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０５２７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０５２８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５２９】
なお、本実施の形態では、マルチ画面モード時において、４チャンネルCH1乃至CH4の縮小画像を表示するようにしたが、マルチ画面モードにおいて表示する縮小画像は、４チャンネルに限定されるものではない。
【０５３０】
また、本実施の形態では、マルチ画面を、２×２の小画面で構成するようしたが、マルチ画面は、その他、例えば、１×４（４×１）や、その他の任意の数の小画面で構成することができる。さらに、マルチ画面は、ディスプレイ１１７（図１）の画面全体に表示されるものであっても良いし、その一部に表示されるものであっても良い。
【０５３１】
また、本実施の形態では、チューナ部１１１を１つだけ設けるようにしたが、チューナ部１１１は、２以上設けても良い。２以上のチューナ部１１１を設ける場合には、例えば、その２以上のチューナ部１１１それぞれで、複数のチャンネルを分担して受信することにより、信号処理部１１４に対して、コマ落ちの少ない画像を供給することができる。
【０５３２】
さらに、２以上のチューナ部１１１を設ける場合には、例えば、ある１以上のチューナ部１１１で複数チャンネルを受信して、その複数チャンネルの縮小画像からなるマルチ画面を、ディスプレイ１１７の一部の領域に表示し、他の１つのチューナ部１１１で、マルチ画面上でフォーカスされている縮小画像のチャンネルを受信して、ディスプレイ１１７の残りの領域に表示するようなことが可能となる。
【０５３３】
また、本実施の形態では、放送局から放送されてくるテレビジョン番組放送のチャンネルを受信するようにしたが、例えば、VTRや、DVDプレーヤ、その他の画像を出力する複数の装置それぞれが出力する画像を受信し、マルチ画面で表示することも可能である。
【０５３４】
さらに、本実施の形態では、例えば、図１０のクラス生成部１１５等において、クラスタップと動きベクトルに基づいてクラス分類を行うようにしたが、クラス分類は、その他、例えば、注目画素の空間的位相（位置）を表す情報としての、タップ中心位置とタップ中心画素の位置との位置関係（例えば、タップ中心位置とタップ中心画素の位置との距離や、タップ中心位置とタップ中心画素の位置のうちの一方を始点とするとともに、他方を終点とするベクトルなど）にも基づいて行うことが可能である。
【０５３５】
また、クラス分類は、例えば、注目画素の時間的位相（位置）を表す情報、即ち、例えば、図２０において、非欠損フレームどうしの間隔ｔ5−ｔ1を１としたときの、注目画素Ａ1（Ａ2）の直前の非欠損フレーム（第ｔ1フレーム）から注目画素Ａ1のフレームまでの距離（時間）などにも基づいて行うことが可能である。
【０５３６】
さらに、本実施の形態では、マルチ画面モード時に、クラス分類適応処理によって、欠損フレームを生成する欠損フレーム生成処理を行うようにしたが、その他、クラス分類適応処理によれば、画像の縮小（画素の間引き）と欠損フレームの生成とを同時に行うことも可能である。但し、この場合、そのようなクラス分類適応処理を行うためのタップ係数、即ち、例えば、欠損フレームのない縮小前画像を教師画像とするとともに、その教師画像のフレームと画素を間引いた画像（教師画像の時間的解像度および空間的解像度の両方を劣化させた画像）を生徒画像として学習を行うことにより得られるタップ係数を、あらかじめ求めておく必要がある。
【０５３７】
また、本実施の形態では、通常画面モード時に、画質を向上させる処理として、ノイズ除去処理を行うようにしたが、画質を向上させる処理としては、その他、例えば、空間解像度を向上させる処理等を行うようにすることが可能である。
【０５３８】
なお、上述した学習装置は、画像を処理することによってタップ係数の学習を行うので、画像処理装置ということができる。この画像処理装置は、
画像を縮小した縮小画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するのに用いられるタップ係数を学習する画像処理装置において、
学習用の画像を縮小することにより、学習の教師となる教師画像を生成する教師画像生成手段（例えば、図３１の教師データ生成部１９１）と、
前記学習用の画像を縮小するとともに、そのフィールドまたはフレームを間引くことにより、学習の生徒となる生徒画像を生成する生徒画像生成手段（例えば、図３１の生徒データ生成部１９３）と、
前記学習用の画像の動きベクトルを検出する動きベクトル検出手段（例えば、図３１の動きベクトル検出部２８６）と、
前記教師画像の画素のうちの所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記注目画素に対応する前記学習用の画像の画素の動きベクトルを縮小したものに基づいて、前記生徒画像の画素から選択するクラスタップ選択手段（例えば、図３３のクラスタップ選択部２０２）と、
前記クラスタップに基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類手段（例えば、図３３のクラス生成部２０５）と、
前記注目画素を求めるときの前記タップ係数との演算に用いられる予測タップを、前記注目画素に対応する前記学習用の画像の画素の動きベクトルを縮小したものに基づいて、前記生徒画像の画素から選択する予測タップ選択手段（例えば、図３３の予測タップ選択部２０６）と、
前記注目画素に対して選択された前記予測タップと、前記タップ係数とを用いた演算を行うことにより得られる前記注目画素の予測値の予測誤差を、統計的に最小にする前記タップ係数を、前記複数のクラスそれぞれについて求めるタップ係数算出手段（例えば、図３３の予測係数作成部２０７）と
を備えることを特徴とする。
【０５３９】
また、上述した学習装置が行う学習処理は、画像を処理することによってタップ係数の学習を行うので、画像処理ということができる。この画像処理の方法（画像処理方法）は、
画像を縮小した縮小画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するのに用いられるタップ係数を学習する画像処理方法において、
学習用の画像を縮小することにより、学習の教師となる教師画像を生成する教師画像生成ステップ（例えば、図３４のステップＳ２５１の処理）と、
前記学習用の画像を縮小するとともに、そのフィールドまたはフレームを間引くことにより、学習の生徒となる生徒画像を生成する生徒画像生成ステップ（例えば、図３４のステップＳ２５１の処理）と、
前記学習用の画像の動きベクトルを検出する動きベクトル検出ステップ（例えば、図３４のステップＳ２５２の処理）と、
前記教師画像の画素のうちの所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記注目画素に対応する前記学習用の画像の画素の動きベクトルを縮小したものに基づいて、前記生徒画像の画素から選択するクラスタップ選択ステップ（例えば、図３４のステップＳ２５７の処理）と、
前記クラスタップに基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップ（例えば、図３４のステップＳ２５８の処理）と、
前記注目画素を求めるときの前記タップ係数との演算に用いられる予測タップを、前記注目画素に対応する前記学習用の画像の画素の動きベクトルを縮小したものに基づいて、前記生徒画像の画素から選択する予測タップ選択ステップ（例えば、図３４のステップＳ２５７の処理）と、
前記注目画素に対して選択された前記予測タップと、前記タップ係数とを用いた演算を行うことにより得られる前記注目画素の予測値の予測誤差を、統計的に最小にする前記タップ係数を、前記複数のクラスそれぞれについて求めるタップ係数算出ステップ（例えば、図３４のステップＳ２６１の処理）と
を含むことを特徴とする。
【０５４０】
さらに、上述した学習装置が行う学習処理は、コンピュータにプログラムを実行させることによって行わせることができる。このプログラムは、
画像を縮小した縮小画像の１のフィールドまたはフレームと、他の１のフィールドまたはフレームとの間のフィールドまたはフレームを生成するのに用いられるタップ係数を学習する画像処理を、コンピュータに行わせるプログラムにおいて、
学習用の画像を縮小することにより、学習の教師となる教師画像を生成する教師画像生成ステップ（例えば、図３４のステップＳ２５１の処理）と、
前記学習用の画像を縮小するとともに、そのフィールドまたはフレームを間引くことにより、学習の生徒となる生徒画像を生成する生徒画像生成ステップ（例えば、図３４のステップＳ２５１の処理）と、
前記学習用の画像の動きベクトルを検出する動きベクトル検出ステップ（例えば、図３４のステップＳ２５２の処理）と、
前記教師画像の画素のうちの所定の注目画素を複数のクラスのうちのいずれかのクラスにクラス分類するのに用いるクラスタップを、前記注目画素に対応する前記学習用の画像の画素の動きベクトルを縮小したものに基づいて、前記生徒画像の画素から選択するクラスタップ選択ステップ（例えば、図３４のステップＳ２５７の処理）と、
前記クラスタップに基づいて、前記注目画素を、複数のクラスのうちのいずれかのクラスにクラス分類するクラス分類ステップ（例えば、図３４のステップＳ２５８の処理）と、
前記注目画素を求めるときの前記タップ係数との演算に用いられる予測タップを、前記注目画素に対応する前記学習用の画像の画素の動きベクトルを縮小したものに基づいて、前記生徒画像の画素から選択する予測タップ選択ステップ（例えば、図３４のステップＳ２５７の処理）と、
前記注目画素に対して選択された前記予測タップと、前記タップ係数とを用いた演算を行うことにより得られる前記注目画素の予測値の予測誤差を、統計的に最小にする前記タップ係数を、前記複数のクラスそれぞれについて求めるタップ係数算出ステップ（例えば、図３４のステップＳ２６１の処理）と
を含むことを特徴とする。
【０５４１】
また、このプログラムは、記録媒体に記録することができる。
【０５４２】
なお、欠損フレーム生成処理用のタップ係数は、上述した学習装置において得られるものを用いる他、本件出願人が先に提案しているクラス分類適応処理関係の出願において開示している学習処理によって求められる、フレーム（またはフィールド）間の画素の生成用のタップ係数を用いることができる。
【図面の簡単な説明】
【０５４３】
【図１】本発明を適用したテレビジョン受像機の一実施の形態の構成例を示すブロック図である。
【図２】システムコントローラ１１８によるチューナ部１１１の制御を説明するための図である。
【図３】通常画面モードとマルチ画面モード時の画面表示を説明するための図である。
【図４】信号処理部１１４の第１実施の形態の構成例を示すブロック図である。
【図５】通常画面モード時の信号処理部１１４の処理の概要を説明するための図である。
【図６】マルチ画面モード時の信号処理部１１４の処理の概要を説明するための図である。
【図７】通常画面モード時の信号処理部１１４の処理を説明するフローチャートである。
【図８】マルチ画面モード時の信号処理部１１４の処理を説明するフローチャートである。
【図９】システムコントローラ１１８の処理を説明するフローチャートである。
【図１０】高画質化処理部１３２の構成例を示すブロック図である。
【図１１】ノイズ除去処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。
【図１２】ノイズ除去処理用のタップ係数を学習するときに用いられる学習用画像、教師画像、および生徒画像を説明するための図である。
【図１３】係数生成処理部１７５の構成例を示すブロック図である。
【図１４】通常画面モード用のタップ構造の画素を決定する決定方法を説明するための図である。
【図１５】クラスタップおよび予測タップを構成する画素（タップ構造）の例を示す図である。
【図１６】ノイズ除去処理用のタップ係数を学習する学習処理を説明するフローチャートである。
【図１７】欠損フレーム生成処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。
【図１８】欠損フレーム生成処理用のタップ係数を学習するときに用いられる学習用画像、教師画像、および生徒画像を説明するための図である。
【図１９】係数生成処理部１９５の構成例を示すブロック図である。
【図２０】マルチ画面モード用のタップ構造の画素を決定する決定方法を説明するための図である。
【図２１】欠損フレーム生成処理用のタップ係数を学習する学習処理を説明するフローチャートである。
【図２２】高画質化処理部１３２の処理を説明するフローチャートである。
【図２３】信号処理部１１４の第２実施の形態の構成例を示すブロック図である。
【図２４】動きベクトル検出部２３４の構成例を示すブロック図である。
【図２５】高画質化処理部２３２の構成例を示すブロック図である。
【図２６】高画質化処理部２３２の処理を説明するフローチャートである。
【図２７】ノイズ除去処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。
【図２８】動きベクトル検出部２５６の構成例を示すブロック図である。
【図２９】係数生成処理部２５５の構成例を示すブロック図である。
【図３０】ノイズ除去処理用のタップ係数を学習する学習処理を説明するフローチャートである。
【図３１】欠損フレーム生成処理用のタップ係数を学習する学習装置の構成例を示すブロック図である。
【図３２】動きベクトル検出部２８６の構成例を示すブロック図である。
【図３３】係数生成処理部２８５の構成例を示すブロック図である。
【図３４】欠損フレーム生成処理用のタップ係数を学習する学習処理を説明するフローチャートである。
【図３５】信号処理部１１４の第３実施の形態の構成例を示すブロック図である。
【図３６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０５４４】
１０１  テレビジョン受像機，  １０２  アンテナ，  １０３  リモコン，  １１１  チューナ部，  １１２  増幅回路，  １１３  スピーカ，  １１４乃至１１６  信号処理部，  １１７  ディスプレイ，  １１８  システムコントローラ，  １１９  リモコン受信部，  １３１  入力メモリ，  １３２  高画質化処理部，  １３３  出力メモリ，  １５０  注目画素選択部，  １５１  動きベクトル検出部，  １５２  クラスタップ構造決定部，  １５３  予測タップ構造決定部，  １５４  クラスタップ選択部、１５５  クラス生成部，  １５６  予測タップ選択部，  １５７  係数メモリ，  １５７1  通常画面モードメモリ，  １５７2  マルチ画面モードメモリ，  １５８  積和演算部，  １７１  教師データ生成部，  １７２  教師データ記憶部，  １７３  生徒データ生成部，  １７４  生徒データ記憶部，  １７５  係数生成処理部，  １８０  注目画素選択部，  １８１  動きベクトル検出部，  １８２  クラスタップ構造決定部，  １８３  予測タップ構造決定部，  １８４  クラスタップ選択部、１８５  クラス生成部，  １８６  予測タップ選択部，  １８７  予測係数作成部，  １９１  教師データ生成部，  １９２  教師データ記憶部，  １９３  生徒データ生成部，  １９４  生徒データ記憶部，  １９５  係数生成処理部，  ２００  注目画素選択部，  ２０１  動きベクトル検出部，  ２０２  クラスタップ構造決定部，  ２０３  予測タップ構造決定部，  ２０４  クラスタップ選択部、２０５  クラス生成部，  ２０６  予測タップ選択部，  ２０７  予測係数作成部，  ２３２  高画質化処理部，  ２３３  動きベクトル検出部，  ２４１  フレームメモリ，  ２４２  遅延回路，  ２４３  セレクタ，  ２４４  動き検出回路，  ２４５  選択部，  ２５５  係数生成処理部，  ２５６  動きベクトル検出部，  ２６１  フレームメモリ，  ２６４  動き検出回路，  ２６５  選択部，  ２８５  係数生成処理部，  ２８６  動きベクトル検出部，  ２９２  遅延回路，  ２９４  動き検出回路，  ２９５  選択部，  ３３２  高画質化処理部，  ３３３  出力メモリ，  ４０１  バス，  ４０２  CPU，  ４０３  ROM，  ４０４  RAM，  ４０５  ハードディスク，  ４０６  出力部，  ４０７  入力部，  ４０８  通信部，  ４０９  ドライブ，  ４１０  入出力インタフェース，  ４１１  リムーバブル記録媒体
【図１】
2005236634.tif 000011
【図２】
2005236634.tif 000012
【図３】
2005236634.tif 000013
【図４】
2005236634.tif 000014
【図５】
2005236634.tif 000015
【図６】
2005236634.tif 000016
【図７】
2005236634.tif 000017
【図８】
2005236634.tif 000018
【図９】
2005236634.tif 000019
【図１０】
2005236634.tif 000020
【図１１】
2005236634.tif 000021
【図１２】
2005236634.tif 000022
【図１３】
2005236634.tif 000023
【図１４】
2005236634.tif 000024
【図１５】
2005236634.tif 000025
【図１６】
2005236634.tif 000026
【図１７】
2005236634.tif 000027
【図１８】
2005236634.tif 000028
【図１９】
2005236634.tif 000029
【図２０】
2005236634.tif 000030
【図２１】
2005236634.tif 000031
【図２２】
2005236634.tif 000032
【図２３】
2005236634.tif 000033
【図２４】
2005236634.tif 000034
【図２５】
2005236634.tif 000035
【図２６】
2005236634.tif 000036
【図２７】
2005236634.tif 000037
【図２８】
2005236634.tif 000038
【図２９】
2005236634.tif 000039
【図３０】
2005236634.tif 000040
【図３１】
2005236634.tif 000041
【図３２】
2005236634.tif 000042
【図３３】
2005236634.tif 000043
【図３４】
2005236634.tif 000044
【図３５】
2005236634.tif 000045
【図３６】
2005236634.tif 000046