(57)【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置において、
画像を表示する表示手段において画像を表示する表示フォーマットを取得する表示フォーマット取得手段と、
物体を撮影する撮影手段からの画像信号である撮影画像信号を取得する撮影画像信号取得手段と、
画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、前記表示フォーマット取得手段において取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する信号変換手段と
を備え、
前記画像変換処理は、前記撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記高画質画像信号に変換し、
前記対応関係情報は、
前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、
前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
前記表示画像信号を評価する評価手段と
を備える学習装置において、
複数の表示フォーマットを、順次、注目表示フォーマットとして、
前記決定手段が、複数の信号フォーマットを決定し、
前記複数の信号フォーマットそれぞれについて、
前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
前記決定手段が、複数のタップ係数を決定し、
前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
複数のタップ係数それぞれについて、
前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
を繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める
学習処理を行うことにより得られたものである
画像処理装置。
【請求項２】
前記撮影手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記信号変換手段は、
前記第２の信号フォーマットの画像信号の注目画素の画素値を予測するのに用いる複数の画素の画素値である信号変換用の予測タップを、前記撮影画像信号から抽出する予測タップ抽出手段と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素の画素値である信号変換用のクラスタップを、前記撮影画像信号から抽出するクラスタップ抽出手段と、
前記信号変換用のクラスタップに基づいて、前記注目画素のクラス分類を行うクラス分類手段と、
学習によりあらかじめ求められた、複数のクラスそれぞれごとの信号変換用のタップ係数の中から、前記注目画素のクラスの信号変換用のタップ係数を出力する係数出力手段と、
前記注目画素のクラスの信号変換用のタップ係数と、前記信号変換用の予測タップとを用いた予測演算により、前記注目画素の画素値を求める演算手段と
を有する
請求項１に記載の画像処理装置。
【請求項４】
画像を処理する画像処理方法において、
画像を表示する表示手段において画像を表示する表示フォーマットを取得し、
物体を撮影する撮影手段からの画像信号である撮影画像信号を取得し、
画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する
ステップを含み、
前記画像変換処理は、前記撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記高画質画像信号に変換し、
前記対応関係情報は、
前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、
前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
前記表示画像信号を評価する評価手段と
を備える学習装置において、
複数の表示フォーマットを、順次、注目表示フォーマットとして、
前記決定手段が、複数の信号フォーマットを決定し、
前記複数の信号フォーマットそれぞれについて、
前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
前記決定手段が、複数のタップ係数を決定し、
前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
複数のタップ係数それぞれについて、
前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
を繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める
学習処理を行うことにより得られたものである
画像処理方法。
【請求項５】
画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
画像を表示する表示手段において画像を表示する表示フォーマットを取得する表示フォーマット取得手段と、
物体を撮影する撮影手段からの画像信号である撮影画像信号を取得する撮影画像信号取得手段と、
画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、前記表示フォーマット取得手段において取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する信号変換手段と
して、コンピュータを機能させるためのプログラムであり、
前記画像変換処理は、前記撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記高画質画像信号に変換し、
前記対応関係情報は、
前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、
前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
前記表示画像信号を評価する評価手段と
を備える学習装置において、
複数の表示フォーマットを、順次、注目表示フォーマットとして、
前記決定手段が、複数の信号フォーマットを決定し、
前記複数の信号フォーマットそれぞれについて、
前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
前記決定手段が、複数のタップ係数を決定し、
前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
複数のタップ係数それぞれについて、
前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
を繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める
学習処理を行うことにより得られたものである
プログラム。
【請求項６】
物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習装置において、
前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、
前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
前記表示画像信号を評価する評価手段と
を備え、
複数の表示フォーマットを、順次、注目表示フォーマットとして、
前記決定手段が、複数の信号フォーマットを決定し、
前記複数の信号フォーマットそれぞれについて、
前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
前記決定手段が、複数のタップ係数を決定し、
前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
複数のタップ係数それぞれについて、
前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
を繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める
学習装置。
【請求項７】
物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習方法において、
前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定ステップと、
前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定ステップで決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成ステップと、
前記疑似撮影画像信号を、前記決定ステップで決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換ステップと、
前記画像変換ステップにおいて得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御ステップと、
前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出ステップと、
前記表示画像信号を評価する評価ステップと
を含み、
複数の表示フォーマットを、順次、注目表示フォーマットとして、
前記決定ステップにおいて、複数の信号フォーマットを決定し、
前記複数の信号フォーマットそれぞれについて、
前記疑似撮影画像信号生成ステップにおいて、前記疑似撮影画像信号を生成し、
前記画像変換ステップにおいて、前記疑似撮影画像信号を、前記決定ステップで決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御ステップにおいて、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、
前記光検出ステップにおいて、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価ステップにおいて、前記表示画像信号を評価し、
前記決定ステップにおいて、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
前記決定ステップにおいて、複数のタップ係数を決定し、
前記疑似撮影画像信号生成ステップにおいて、前記決定ステップで決定された信号フォーマットの前記疑似撮影画像信号を生成し、
複数のタップ係数それぞれについて、
前記画像変換ステップにおいて、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御ステップにおいて、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、
前記光検出ステップにおいて、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価ステップにおいて、前記表示画像信号を評価し、
前記決定ステップにおいて、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
を繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める
学習方法。
【請求項８】
物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を、コンピュータに行わせるプログラムにおいて、
前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、
前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、
前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、
前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、
前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、
前記表示画像信号を評価する評価手段と
して、コンピュータを機能させるためのプログラムであり、
複数の表示フォーマットを、順次、注目表示フォーマットとして、
前記決定手段が、複数の信号フォーマットを決定し、
前記複数の信号フォーマットそれぞれについて、
前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、
前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、
前記決定手段が、複数のタップ係数を決定し、
前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、
複数のタップ係数それぞれについて、
前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、
前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、
前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、
前記評価手段が、前記表示画像信号を評価し、
前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することと
を繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、複数の装置から構成されるシステムの性能を最大化することができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば、番組の送受信を行う放送システムは、画像を撮影するカメラ（ビデオカメラ）、カメラが出力する画像信号を送信する送信装置、送信装置からの画像信号を受信する受信装置、および受信装置で受信された画像信号に対応する画像を表示する表示装置といった複数の装置で構成される。
【０００３】
このように、複数の装置で構成されるシステムでは、装置どうしの間で、信号がやりとりされる。例えば、放送システムでは、画像信号が、カメラから送信装置に送信され、送信装置で受信される。また、画像信号は、送信装置から受信装置に送信され、受信装置で受信される。さらに、画像信号は、受信装置から表示装置に送信され、表示装置で受信される。
【０００４】
放送システムを構成する装置どうしの間では、上述のように、画像信号がやりとりされる。このように、画像信号を、装置どうしの間でやりとりすることができるようにするために、さらには、放送システムを構成するカメラ、送信装置、受信装置、または表示装置を、他のカメラ、送信装置、受信装置、または表示装置に交換しても、画像信号を、装置どうしの間でやりとりすることができるようにするために、画像信号については、そのフォーマットが、規格化または標準化されている。
【０００５】
画像信号のフォーマットとしては、例えば、D1と呼ばれるフォーマット（Y:Cb:Crが4:2:2のフォーマット）がある。例えば、D1フォーマットの画像信号の入出力を行うことができるインタフェースを有する装置どうしの間では、どのような装置どうしの間であっても、画像信号をやりとりすることができる。
【０００６】
一方、カメラや、送信装置、受信装置、表示装置では、各装置において固有の処理が行われる。
【０００７】
即ち、カメラが、例えば、１つのイメージャ（１枚のCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージャなどの光電変換素子）を有する単板式のカメラである場合には、人の視覚特性を考慮して、例えば、ベイヤ配列のカラーフィルタが採用される。ベイヤ配列のカラーフィルタが採用されている場合、イメージャからは、RGB(Red, Green, Blue)のうちのG成分が多く、R成分とB成分が少ない、ベイヤ配列に応じたフォーマット（以下、適宜、ベイヤフォーマットという）の画像信号が得られる。ベイヤフォーマットの画像信号においては、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しかなく、他の２つの色成分がないので、単板式のカメラでは、各画素につき、他の２つの色成分を補間し、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号を求める処理が行われる。
【０００８】
また、送信装置では、例えば、いわゆる白黒放送とカラー放送との共存を図るために、輝度信号と色信号とが別のコンポーネント信号を、輝度信号に色信号を重畳したコンポジット信号に変換する処理が行われる。
【０００９】
さらに、受信装置では、例えば、コンポジット信号を対象に、いわゆるY/C分離処理が行われ、コンポジット信号がコンポーネント信号に変換される。
【００１０】
また、表示装置では、例えば、画像を表示するディスプレイの表示フォーマットで、RGBのコンポーネント信号のR,G,Bを配列する処理が行われることにより、画像が表示される。なお、ディスプレイで画像を表示する表示フォーマット、即ち、R,G,Bの配列としては、例えば、ストライプ配列や、モザイク配列、デルタ配列などがある。
【００１１】
なお、ストライプ配列などの固定の表示フォーマットのカラー液晶ディスプレイが、例えば、特許文献１に開示されている（特に、0014段落）。
【００１２】
【特許文献１】特開平10-301537号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
放送システムを構成するカメラや、送信装置、受信装置、表示装置が、例えば、上述したように、D1フォーマットなどの、規格化または標準化されている信号フォーマットの画像信号の入出力を行うことができるインタフェースを有する限りは、画像信号のやりとりができなくなることはない。しかしながら、そのようなインタフェースを有する複数の装置を用いてシステムを構成しても、そのシステムの性能を最大化することができるとは限らない。
【００１４】
また、システムを構成する各装置では、各種の処理が行われるが、その処理は、システム全体の性能を考慮して行われるものではない。即ち、例えば、放送システムを構成するカメラでは、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しかないベイヤフォーマットの画像信号を、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号（以下、適宜、RGB画像信号という）に変換する処理が行われるが、この処理は、カメラ自体の性能には影響するが、放送システム全体の性能の向上に影響するとは限らない。
【００１５】
つまり、カメラにおいて、ベイヤフォーマットの画像信号をRGB画像信号に変換する処理が、いわば高機能な処理であれば、即ち、例えば、その処理によって、解像度やS/N(Signal to Noise ratio)が高いRGB画像信号が得られるのであれば、カメラ自体の性能が良い、とは言うことができる。
【００１６】
一方、放送システムにおいては、最終的には、表示装置に画像が表示され、その画像をユーザが視聴する。従って、例えば、表示装置に表示された画像を視聴したユーザが、その画像を高画質の画像であると感じれば、放送システムの全体の性能が良い、ということができる。
【００１７】
しかしながら、カメラ自体が高性能であっても、即ち、例えば、カメラが解像度やS/Nが高いRGB画像信号を出力することができても、その後、送信装置、受信装置、および表示装置で処理が行われる放送システムにおいて、ユーザが高画質であると感じる画像が、最終的に表示装置に表示されるとは限らない。
【００１８】
むしろ、カメラにおいて、ベイヤフォーマットの画像信号をRGB画像信号に変換せずに、そのまま出力し、後段の送信装置、受信装置、または表示装置において、ベイヤフォーマットの画像信号を処理した方が、ユーザが高画質であると感じる画像が、表示装置に表示される可能性がある。
【００１９】
本発明は、このような状況に鑑みてなされたものであり、複数の装置から構成されるシステムの性能を向上させ、好ましくは最大化することができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の第１の側面の画像処理装置、又は、プログラムは、画像を処理する画像処理装置において、画像を表示する表示手段において画像を表示する表示フォーマットを取得する表示フォーマット取得手段と、物体を撮影する撮影手段からの画像信号である撮影画像信号を取得する撮影画像信号取得手段と、画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、前記表示フォーマット取得手段において取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換する信号変換手段とを備え、前記画像変換処理は、前記撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記高画質画像信号に変換し、前記対応関係情報は、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備える学習装置において、複数の表示フォーマットを、順次、注目表示フォーマットとして、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価し、前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価し、前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める学習処理を行うことにより得られたものである画像処理装置、又は、そのような画像処理装置として、コンピュータを機能させるためのプログラムである。
【００２１】
本発明の第１の側面の画像処理方法は、画像を処理する画像処理方法において、画像を表示する表示手段において画像を表示する表示フォーマットを取得し、物体を撮影する撮影手段からの画像信号である撮影画像信号を取得し、画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号を、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換するステップを含み、前記画像変換処理は、前記撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記高画質画像信号に変換し、前記対応関係情報は、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備える学習装置において、複数の表示フォーマットを、順次、注目表示フォーマットとして、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価し、前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価し、前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める学習処理を行うことにより得られたものである画像処理方法である。
【００２２】
以上のような第１の側面においては、画像を表示する表示手段において画像を表示する表示フォーマットが取得されるとともに、物体を撮影する撮影手段からの画像信号である撮影画像信号が取得される。そして、画像信号を、前記画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理の対象となる前記画像信号の信号フォーマットと、前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマットとを対応付けた対応関係情報に基づき、第１の信号フォーマットの前記撮影画像信号が、取得された表示フォーマットに対応付けられた信号フォーマットである第２の信号フォーマットの画像信号に変換される。前記対応関係情報は、複数の表示フォーマットを、順次、注目表示フォーマットとして、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める学習処理によって得られている。
【００２３】
本発明の第２の側面の学習装置、又は、プログラムは、物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習装置において、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定手段と、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定手段で決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成手段と、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換手段と、前記画像変換手段において得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御手段と、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出手段と、前記表示画像信号を評価する評価手段とを備え、複数の表示フォーマットを、順次、注目表示フォーマットとして、前記決定手段が、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成手段が、前記疑似撮影画像信号を生成し、前記画像変換手段が、前記疑似撮影画像信号を、前記決定手段で決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価し、前記決定手段が、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定手段が、複数のタップ係数を決定し、前記疑似撮影画像信号生成手段が、前記決定手段で決定された信号フォーマットの前記疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、前記画像変換手段が、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御手段が、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、前記光検出手段が、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価手段が、前記表示画像信号を評価し、前記決定手段が、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める学習装置、又は、そのような学習装置として、コンピュータを機能させるためのプログラムである。
【００２４】
本発明の第２の側面の学習方法は、物体を撮影する撮影手段からの画像信号である撮影画像信号を、あらかじめ行われた学習処理によって得られたタップ係数との演算によって、前記撮影画像信号に対応する画像よりも高画質の画像の高画質画像信号に変換する画像変換処理を行うのに用いられる前記タップ係数を求める学習処理を行う学習方法において、前記撮影画像信号の信号フォーマット、前記撮影画像信号を対象とした前記画像変換処理によって得られる前記高画質画像信号に対応する画像を表示する表示フォーマット、および前記タップ係数を決定する決定ステップと、前記高画質画像信号に対応する画像よりも高画質の画像の画像信号から、前記決定ステップで決定された信号フォーマットの前記撮影画像信号に相当する疑似撮影画像信号を生成する疑似撮影画像信号生成ステップと、前記疑似撮影画像信号を、前記決定ステップで決定されたタップ係数との演算によって、前記高画質画像信号に変換する画像変換ステップと、前記画像変換ステップにおいて得られた高画質画像信号に対応する画像を、所定の表示フォーマットで、表示手段に表示させる表示制御ステップと、前記表示手段に表示された画像である表示画像としての光を検出し、その光に対応する電気信号である表示画像信号を出力する光検出ステップと、前記表示画像信号を評価する評価ステップとを含み、複数の表示フォーマットを、順次、注目表示フォーマットとして、前記決定ステップにおいて、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号生成ステップにおいて、前記疑似撮影画像信号を生成し、前記画像変換ステップにおいて、前記疑似撮影画像信号を、前記決定ステップで決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御ステップにおいて、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、前記光検出ステップにおいて、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価ステップにおいて、前記表示画像信号を評価し、前記決定ステップにおいて、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、前記決定ステップにおいて、複数のタップ係数を決定し、前記疑似撮影画像信号生成ステップにおいて、前記決定ステップで決定された信号フォーマットの前記疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、前記画像変換ステップにおいて、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、前記表示制御ステップにおいて、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、前記光検出ステップにおいて、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記評価ステップにおいて、前記表示画像信号を評価し、前記決定ステップにおいて、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数を求めるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報を求める学習方法である。
【００２５】
以上のような第２の側面においては、複数の表示フォーマットを、順次、注目表示フォーマットとして、複数の信号フォーマットを決定し、前記複数の信号フォーマットそれぞれについて、前記疑似撮影画像信号を生成し、前記疑似撮影画像信号を、決定されたタップ係数との演算によって、前記高画質画像信号に変換し、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで、表示手段に表示させ、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記表示画像信号を評価し、前記表示画像信号の評価が最も高くなる信号フォーマットを、前記複数の信号フォーマットの中から決定することと、複数のタップ係数を決定し、前記疑似撮影画像信号生成ステップにおいて、決定された信号フォーマットの前記疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、前記疑似撮影画像信号を、前記タップ係数との演算によって、前記高画質画像信号に変換し、前記高画質画像信号に対応する画像を、前記注目表示フォーマットで表示手段に表示させ、前記表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、前記表示画像信号を評価し、前記表示画像信号の評価が最も高くなるタップ係数を、前記複数のタップ係数の中から決定することとを繰り返すことにより、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理を行うのに用いられる前記タップ係数が求められるとともに、前記注目表示フォーマットで画像が表示される前記高画質画像信号への前記画像変換処理の対象となる前記撮影画像信号の信号フォーマットと、前記注目表示フォーマットとを対応付けた対応関係情報が求められる。
【発明の効果】
【００２６】
本発明の第１および第２の側面によれば、システムの性能を向上させることが可能となる。
【発明を実施するための最良の形態】
【００３７】
次に、ある信号フォーマットの画像信号を処理し、その処理の結果得られる画像信号に対応する画像を、ある表示フォーマットで表示する画像処理システムと、その画像処理システムで採用される信号フォーマットと表示フォーマットの求め方について説明する。
【００３８】
図１は、画像を処理する画像処理システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の第１の構成例を示している。
【００３９】
図１において、画像処理システムは、カメラ（ビデオカメラ）１と表示装置２とで構成されている。
【００４０】
カメラ１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号を出力する。表示装置２は、カメラ１が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の画像の画像信号である高画質画像信号に変換して、その高画質画像信号に対応する画像を表示する。
【００４１】
なお、カメラ１は、例えば、単板式のカメラであり、後述する学習によって決定された信号フォーマットの撮影画像信号を出力するようになっている。
【００４２】
即ち、学習によって決定された撮影画像信号の信号フォーマットが、例えば、ベイヤフォーマットであるとすると、カメラ１には、ベイヤ配列のカラーフィルタが採用され、カメラ１は、そのベイヤ配列のカラーフィルタによって得られるベイヤフォーマットの撮影画像信号を、RGB画像信号に変換することなく、そのまま出力する。
【００４３】
ここで、カメラ１が出力する撮影画像信号は、例えば、標準解像度の画像信号であるSD(Standard Definition)画像信号であるとし、そのSD画像信号を変換することにより得られる高画質画像信号は、高解像度の画像信号であるHD(High Definition)画像信号であるとする。なお、以下、適宜、SD画像信号に対応する画像をSD画像ともいい、HD画像信号に対応する画像をHD画像ともいう。
【００４４】
図２は、図１の表示装置２の構成例を示している。
【００４５】
表示装置２は、画像変換部１１、表示制御部１２、およびディスプレイ１３で構成される。
【００４６】
画像変換部１１は、カメラ１からのSD画像信号を、あらかじめ行われた学習によって得られたタップ係数との演算によって、HD画像信号に変換し、表示制御部１２に供給する。
【００４７】
表示制御部１２は、HD画像よりも高画質の画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１３に表示させる表示制御を行う。
【００４８】
ここで、以下、適宜、HD画像よりも高画質の画像を、SHD画像（Super HD画像）ともいい、その画像信号を、SHD画像信号という。
【００４９】
ディスプレイ１３は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)パネル等で構成される表示手段であり、表示制御部１２の制御にしたがって、画像を表示する。
【００５０】
次に、図３のフローチャートを参照して、図２の表示装置２の動作について説明する。
【００５１】
表示装置２には、カメラ１からのSD画像信号が供給される。表示装置２では、カメラ１からのSD画像信号が受信され、画像変換部１１に供給される。
【００５２】
画像変換部１１は、ステップＳ１において、カメラ１からのSD画像信号を、例えば、後述する学習によって得られたタップ係数を用いた演算によって、HD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部１２に供給して、ステップＳ２に進む。
【００５３】
ステップＳ２では、表示制御部１２が、SHD画像を用いて行われた後述する学習によって決定された表示フォーマットで、画像変換部１１から供給されるHD画像信号に対応するHD画像を、ディスプレイ１３に表示させる。
【００５４】
以上のようにして、ディスプレイ１３では、HD画像が表示される。
【００５５】
次に、図２の画像変換部１１で行われる画像変換処理について説明する。
【００５６】
画像変換部１１は、第１の画像信号を、その第１の画像信号に対応する画像よりも高画質の画像の第２の画像信号に変換する画像変換処理を行う。
【００５７】
ここで、画像変換部１１は、カメラ１からのSD画像信号を第１の画像信号とするとともに、HD画像信号を第２の画像信号として、第１の画像信号を第２の画像信号に変換する画像変換処理を行うが、かかる画像変換処理によれば、第１および第２の画像信号をどのように定義するかによって、様々な処理を実現することができる。
【００５８】
即ち、例えば、第２の画像信号をHD画像信号とするとともに、第１の画像信号を、第２の画像信号の解像度と画素数を低下させたSD画像信号とすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。また、例えば、第２の画像信号を高S/Nの画像信号とするとともに、第１の画像信号を、第２の画像信号のS/Nを低下させた（第２の画像信号にノイズを付加した）低S/Nの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第２の画像信号を、ある画像信号とするとともに、第１の画像信号を、第２の画像信号の画素数を間引いた画像信号とすれば、画像変換処理は、画像を拡大する拡大処理ということができる。
【００５９】
図４は、図２の画像変換部１１の構成例を示している。
【００６０】
画像変換部１１は、タップ抽出部４１および４２、クラス分類部４３、係数メモリ４４、並びに予測部４５から構成される。
【００６１】
画像変換部１１には、カメラ１からのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部４１および４２に供給される。
【００６２】
タップ抽出部４１は、第１の画像信号を変換して得ようとする第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
【００６３】
具体的には、タップ抽出部４１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
【００６４】
タップ抽出部４２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
【００６５】
なお、ここでは、説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、即ち、注目画素に対応する位置に対する位置関係が同一の複数の画素の画素値を採用することとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
【００６６】
タップ抽出部４１で得られた予測タップは、予測部４５に供給され、タップ抽出部４２で得られたクラスタップは、クラス分類部４３に供給される。
【００６７】
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ４４に供給する。
【００６８】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００６９】
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００７０】
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数の画素値それぞれがKビットに再量子化される。即ち、クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップとしてのKビットの各画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理される場合には、そのクラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
【００７１】
なお、クラス分類部４３には、例えば、クラスタップとしての複数の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素値で構成され、各画素値に、Ｋビットが割り当てられているとすると、クラス分類部４３が出力するクラスコードの場合の数は、（２N）K通りとなり、画素値のビット数Ｋに指数的に比例した膨大な数となる。
【００７２】
従って、クラス分類部４３においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮し、その圧縮結果を用いて、クラス分類を行うのが好ましい。
【００７３】
また、クラス分類は、クラスタップの他、注目画素に対応する第１の画像信号の画像上の位置（以下、適宜、対応位置という）付近の動きを表すベクトル（動きベクトル）や、対応位置に最も近い第１の画像信号の画素と対応位置との位置関係を表すベクトル（位置関係ベクトル）などにも基づいて行うことができる。即ち、例えば、クラスタップのADRCコードと、動きベクトルや位置関係ベクトルのベクトル量子化結果としてのコード（シンボル）を表すビット列とを一列に並べたビット列などを、注目画素のクラスを表すクラスコードとすることが可能である。
【００７４】
係数メモリ４４は、後述する学習によってあらかじめ求められているクラスごとのタップ係数を記憶している。即ち、係数メモリ４４は、クラス分類部４３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。係数メモリ４４は、クラスごとのタップ係数のうちの、クラス分類部４３から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
【００７５】
なお、タップ係数は、例えば、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
【００７６】
予測部４５は、タップ抽出部４１が出力する予測タップと、係数メモリ４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部４５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
【００７７】
次に、図５のフローチャートを参照して、図４の画像変換部１１が行う図３のステップＳ１の画像変換処理について説明する。
【００７８】
タップ抽出部４１では、カメラ１から供給される第１の画像信号としてのSD画像信号に対する第２の画像信号としてのHD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップＳ１１において、タップ抽出部４１と４２が、そこに供給される第１の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部４１から予測部４５に供給され、クラスタップは、タップ抽出部４２からクラス分類部４３に供給される。
【００７９】
クラス分類部４３は、タップ抽出部４２から、注目画素についてのクラスタップを受信し、ステップＳ１２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部４３は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ４４に出力し、ステップＳ１３に進む。
【００８０】
ステップＳ１３では、係数メモリ４４が、クラス分類部４３から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップＳ１４に進む。係数メモリ４４が出力するタップ係数は、予測部４５において取得（受信）される。
【００８１】
ステップＳ１４では、予測部４５が、タップ抽出部４１が出力した予測タップと、係数メモリ４４から取得したタップ係数とを用いて、所定の予測演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部４５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるHD画像信号を、表示制御部１２（図２）に出力する。
【００８２】
以上のように、画像変換部１１では、第２の画像信号の注目画素についての予測タップとクラスタップを、第１の画像信号から抽出し、クラスタップに基づき、注目画素のクラスを求め、そのクラスのタップ係数と、予測タップとを用いた演算を行って、第２の画像信号の注目画素の画素値（の予測値）を求めることにより、第１の画像信号が第２の画像信号に変換される。このように、注目画素のクラスを求め、そのクラスのタップ係数と第１の画像信号（予測タップ）とを用いた演算を行うことにより、注目画素の画素値を求める処理は、クラス分類適応処理と呼ばれる。
【００８３】
クラス分類適応処理では、上述のように、タップ係数が用いられるが、このタップ係数は、例えば、最小自乗法を利用した学習によって求めることができる。
【００８４】
即ち、例えば、いま、画像変換処理として、HD画像信号を第２の画像信号とするとともに、そのHD画像信号の画素を間引き、LPF(Low Pass Filter)によってフィルタリングする等して得られるSD画像信号を第１の画像信号として、第１の画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、第２の画像信号の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【００８５】
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像信号の画素（以下、適宜、第２の画素という）の画素値ｙは、次の線形１次式によって求められることになる。
【００８６】
【数１】
0004517301.tif 000002
・・・（１）
【００８７】
但し、式（１）において、ｘnは、第２の画素ｙについての予測タップを構成する、ｎ番目の第１の画像信号の画素（以下、適宜、第１の画素という）の画素値を表し、ｗnは、ｎ番目の第１の画素の画素値と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、複数であるＮ個の第１の画素の画素値ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。この場合、タップ係数は、１クラスにつき、Ｎ個存在する。
【００８８】
ここで、第２の画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【００８９】
いま、第ｋサンプルの第２の画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【００９０】
【数２】
0004517301.tif 000003
・・・（２）
【００９１】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【００９２】
【数３】
0004517301.tif 000004
・・・（３）
【００９３】
但し、式（３）において、ｘn,kは、第ｋサンプルの第２の画素についての予測タップを構成するｎ番目の第１の画素の画素値を表す。
【００９４】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、第２の画素の画素値を予測するのに最適なものとなるが、すべての第２の画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【００９５】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【００９６】
【数４】
0004517301.tif 000005
・・・（４）
【００９７】
但し、式（４）において、Kは、第２の画素の画素値ｙkと、その第２の画素についての予測タップを構成する第１の画素の画素値ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【００９８】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【００９９】
【数５】
0004517301.tif 000006
・・・（５）
【０１００】
一方、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１０１】
【数６】
0004517301.tif 000007
・・・（６）
【０１０２】
式（５）と式（６）から、次式が得られる。
【０１０３】
【数７】
0004517301.tif 000008
・・・（７）
【０１０４】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１０５】
【数８】
0004517301.tif 000009
・・・（８）
【０１０６】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１０７】
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１０８】
クラス分類適応処理によれば、以上のようにして求められるクラスごとのタップ係数を用いて、式（１）の演算を行うことにより、第１の画像信号としてのSD画像信号が、第２の画像信号としてのHD画像信号に変換される。
【０１０９】
なお、式（８）の正規方程式を、クラスごとにたてて解くことにより、クラスごとのタップ係数を求める方法（以下、適宜、正規方程式を用いる学習方法という）は、クラスごとのタップ係数を求める学習の一例である。図４の係数メモリ４４には、正規方程式を用いる学習方法ではなく、後述する総当たり学習によって求められたクラスごとのタップ係数が記憶されている。
【０１１０】
ここで、以下においては、画像変換処理は、特に断らない限り、クラス分類適応処理によって第１の画像信号を第２の画像信号に変換する処理を意味することとする。
【０１１１】
クラス分類適応処理は、式（１）だけを見る限りは、一見、FIR(Finite Impulse Response）フィルタによるフィルタリングのように見えるが、そのFIRフィルタの係数（フィルタ係数）に相当するタップ係数ｗが、例えば、HD画像信号を第２の画像信号とするとともに、そのHD画像信号の画素数を少なくする等して得られるSD画像信号を第２の画像信号として、それらの第１の画像信号と第２の画像信号とを用いての学習により求められるため、第１の画像信号には含まれていないが、第２の画像信号には含まれる信号成分を再現することができる。このことから、クラス分類適応処理（による画像変換処理）は、いわば、第１の画像信号に含まれていない信号成分の創造作用がある処理であるということができる。
【０１１２】
次に、図１の画像処理システムにおいて、カメラ１が出力するSD画像信号（撮影画像信号）の信号フォーマット、表示装置２（図２）の表示制御部１２がディスプレイ１３に表示させるHD画像の表示フォーマット、および表示装置２の画像変換部１１（図４）が画像変換処理に用いるタップ係数について説明をする。
【０１１３】
上述したように、カメラ１は、学習によって決定された信号フォーマットのSD画像信号を出力し、表示装置２の表示制御部１２（図２）は、学習によって決定された表示フォーマットで、HD画像をディスプレイ１３に表示させる。さらに、表示装置２の画像変換部１１（図４）は、学習によって決定されたタップ係数を用いて、カメラ１からのSD画像信号を、HD画像信号に変換する画像変換処理を行う。
【０１１４】
従って、カメラ１が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットは、いずれも、学習によって決定されるのであるが、信号フォーマット、タップ係数、および表示フォーマットの学習は、図１の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置２のディスプレイ１３（図２）に表示される画像が適切な画像（ユーザが高画質であると感じる画像）となるように行われる。
【０１１５】
ここで、既存の表示フォーマットとしては、例えば、図６に示すような表示フォーマットがある。
【０１１６】
即ち、図６は、既存の表示フォーマットの例を示している。
【０１１７】
一般的な表示装置において、例えば、１画素の画素値として、R,G,Bの３つの色成分すべてを有する画像信号（RGB画像信号）に対応した画像を表示する場合、同一の位置に、R,G,Bの３つの色成分を表示することは、物理的に困難であるため、表示装置では、１画素の画素値としてのR,G,Bの３つの色成分が、異なる位置に配列されて表示される。
【０１１８】
即ち、表示装置では、表示画面上の１画素としての小領域が、R,G,Bそれぞれ用のさらに小さな領域（以下、適宜、サブピクセルという）に分割されており、１画素の画素値としてのR,G,Bが、R,G,B用のサブピクセルに、それぞれ表示される。
【０１１９】
サブピクセルの配列パターンとしては、例えば、図６の左から１番目、２番目、３番目（右から１番目）にそれぞれ示すような配列パターンが知られている。
【０１２０】
図６の左から１番目では、正方形状の領域を１画素として、１画素を横方向に３等分した３つの領域がサブピクセルになっている。そして、各画素において、左から１番目、２番目、３番目のサブピクセルが、R,G,Bそれぞれ用のサブピクセルになっており、このようなサブピクセルの配列（表示フォーマット）は、ストライプと呼ばれる。
【０１２１】
図６の左から２番目では、横長の長方形状のサブピクセルの横方向に並ぶ２つの第１と第２のサブピクセルと、その２つの第１と第２のサブピクセルの上または下の、サブピクセルの横の長さの半分だけずれた位置に配置された第３のピクセルとで、１画素が構成されている。そして、それらの第１乃至第３のサブピクセルのぞれぞれが、R,G,Bのうちのいずれか用のサブピクセルとなるのであるが、同一の色成分のサブピクセルは隣接しないようになっている。このようなサブピクセルの配列（表示フォーマット）は、デルタと呼ばれる。
【０１２２】
図６の左から３番目では、図６の左から１番目のストライプと同様に、正方形状の領域を１画素として、１画素を横方向に３等分した３つの領域がサブピクセルになっている。但し、図６の左から１番目のストライプでは、縦方向に、同一の色成分のサブピクセルが配置されているが、図６の左から３番目では、縦方向に、同一の色成分のサブピクセルが隣接しないように、即ち、同一の色成分のサブピクセルが斜め方向に並ぶようになっている。このようなサブピクセルの配列（表示フォーマット）は、モザイクと呼ばれる。
【０１２３】
以上のような表示フォーマットのうちの、例えば、ストライプは、線、図形、文字の表示に適していると言われている。また、モザイクによれば、ストライプより自然な画像が得られると言われており、デルタによれば、より自然な画像が得られると言われている。
【０１２４】
以上のような既存の表示フォーマットは、例えば、画像を表示する表示装置の処理の都合等により定められたものであり、従って、既存の表示フォーマットで表示される画像が、ユーザが高画質であると感じる画像であるとは限らない。即ち、既存の表示フォーマットで表示された画像よりも、ユーザが高画質であると感じる、既存の表示フォーマットではない表示フォーマットが存在する可能性がある。
【０１２５】
ここで、図７は、既存の表示フォーマットでない表示フォーマットの例を示している。
【０１２６】
即ち、図７は、ストライプを基準として、そのストライプを変形して得られる新たな表示フォーマットを示している。
【０１２７】
図７の左上は、図６の左から１番目と同一のストライプの表示フォーマットを示している。
【０１２８】
図７の左下は、図７の左上に示したストライプのサブピクセルで表示する色成分を変えた表示フォーマットを示している。即ち、図７の左上に示したストライプでは、１画素の横方向に並ぶ３つのサブピクセルが、R,G,Bをそれぞれ表示するサブピクセルの順に並んでいるが、図７の左下の表示フォーマットでは、G,B,Rをそれぞれ表示するサブピクセルの順に並んでいる。
【０１２９】
図７の右上は、図７の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。即ち、図７の左上に示したストライプでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルが、縦方向については同一の位置に配置されているが、図７の右上の表示フォーマットでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されている。
【０１３０】
図７の右下も、図７の右上に示した表示フォーマットと同様に、図７の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。但し、図７の右下の表示フォーマットでは、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、Rのサブピクセルよりも下の位置に配置されており、かつ、Bのサブピクセルが、Rのサブピクセルよりも上の位置に配置されている。
【０１３１】
表示制御部１２がディスプレイ１３に表示させる画像の表示フォーマットは、表示装置２（図２）においてユーザが高画質であると感じる画像が表示されるように、学習によって決定される。
【０１３２】
次に、図８は、画像信号の信号フォーマットの例を（模式的に）示している。
【０１３３】
図８の上は、ベイヤフォーマットの画像信号を表している。
【０１３４】
上述したように、単板式のカメラでは、１画素の画素値として、R,G,Bのうちのいずれか１つの色成分しか得られないので、他の２つの色成分を補間する処理の都合等のために定められた信号フォーマットがベイヤフォーマットである。従って、そのようなベイヤフォーマットの画像信号が表示装置２の画像変換部１１でHD画像信号に変換されてディスプレイ１３に最終的に表示されるHD画像が、適切な画像になるとは限らない。即ち、ベイヤフォーマットなどの既存の信号フォーマットよりも、ディスプレイ１３に最終的に表示されるHD画像が、より適切な画像となる信号フォーマットが存在する可能性がある。
【０１３５】
ここで、図８の下は、既存の信号フォーマットでない信号フォーマットの例を示している。
【０１３６】
即ち、図８の下は、ベイヤフォーマットを基準として、そのベイヤフォーマットを変形して得られる新たな信号フォーマットを（模式的に）示している。
【０１３７】
図８の下の左は、図８の上に示したベイヤフォーマットの画素の位置を、１列おきに下方向にずらした信号フォーマットを示している。また、図８の下の右は、図８の上に示したベイヤフォーマットの画素の位置を、１行おきに右（または左）方向にずらした信号フォーマットを示している。
【０１３８】
上述したように、カメラ１が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットの学習は、図１の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置２のディスプレイ１３（図２）に表示される画像が適切な画像（ユーザが高画質であると感じる画像）となるように行われるのであるが、図９は、そのような学習を行う学習装置の構成例を示している。
【０１３９】
即ち、図９の学習装置では、カメラ１（図１）が出力するSD画像信号（撮影画像信号）を、そのSD画像信号に対応するSD画像よりも高画質の画像（HD画像）の高画質画像信号(HD画像信号）に変換する画像変換処理を行うのに画像変換部１１（図２）で用いられるタップ係数を求める学習が、ディスプレイ１３（図２）に表示される画像が適切な画像となるように行われる。さらに、図９の学習装置では、カメラ１が出力するSD画像信号の信号フォーマットと、そのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの学習も、ディスプレイ１３（図２）に表示される画像が適切な画像となるように行われる。
【０１４０】
具体的には、図９の学習装置において、学習データ記憶部６１は、タップ係数、信号フォーマット、および表示フォーマットの学習に用いられる学習データとして、SHD画像信号（SHD画像）を記憶している。
【０１４１】
疑似撮影画像生成部６２には、後述する制御部７２から、信号フォーマットを表す信号フォーマット情報が供給される。疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の各フレームの画像信号を注目SHD画像信号として順次選択し、その注目SHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、タップ抽出部６３および６４に供給する。
【０１４２】
タップ抽出部６３，６４、クラス分類部６５、係数メモリ６６、予測部６７は、図４の画像変換部１１と同様の画像変換処理を行う画像変換部７３を構成しており、この画像変換部７３では、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）が、制御部７２から供給されるタップ係数との演算によって、HD画像信号に変換される。
【０１４３】
即ち、タップ抽出部６３は、疑似撮影画像生成部６２から供給される疑似撮影画像信号を第１の画像信号とするとともに、その第１の画像信号を変換して得ようとする高画質（高解像度）のHD画像信号を第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、第２の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部６３は、注目画素について、図４のタップ抽出部４１が抽出する予測タップと同一のタップ構造の予測タップを、第１の画像信号から抽出し、予測部６７に供給する。
【０１４４】
タップ抽出部６４は、注目画素について、図４のタップ抽出部４２が抽出するクラスタップと同一のタップ構造のクラスタップを、第１の画像信号から抽出し、クラス分類部６５に供給する。
【０１４５】
クラス分類部６５は、タップ抽出部６４からのクラスタップに基づき、図４のクラス分類部４３と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６６に供給する。
【０１４６】
係数メモリ６６は、制御部７２の制御にしたがい、クラスごとのタップ係数を記憶する。そして、係数メモリ６６は、図４の係数メモリ４４と同様に、クラスごとのタップ係数のうちの、クラス分類部６５から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
【０１４７】
予測部６７は、タップ抽出部６３が出力する予測タップと、係数メモリ６６が出力するタップ係数とを取得（受信）し、その予測タップとタップ係数とを用いて、図４の予測部４５と同一の予測演算を行う。これにより、予測部６７は、注目画素の画素値（の予測値）、即ち、HD画像信号（第２の画像信号）を構成する画素の画素値を求め、表示制御部６８に供給する。
【０１４８】
表示制御部６８には、制御部７２から、表示フォーマットを表す表示フォーマット情報が供給される。表示制御部６８は、予測部６７から供給されるHD画像信号に対応するHD画像を、制御部７２からの表示フォーマット情報が表す表示フォーマットで、ディスプレイ６９に表示させる。
【０１４９】
ディスプレイ６９は、表示制御部６８の制御にしたがった表示フォーマットで、光としてのHD画像を表示する。
【０１５０】
光検出器７０は、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力する。
【０１５１】
評価値算出部７１は、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０１５２】
即ち、評価値算出部７１には、光検出器７０から表示画像信号が供給される他、学習データ記憶部６１から、注目SHD画像信号が供給される。評価値算出部７１は、光検出器７０からの表示画像信号と、学習データ記憶部６１からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
【０１５３】
制御部７２は、評価値算出部７１からの評価値に基づき、カメラ１（図１）が出力するSD画像信号に相当する、疑似撮影画像生成部６２に生成させる疑似撮影画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
【０１５４】
また、制御部７２は、評価値算出部７１からの評価値に基づき、表示制御部６８が、予測部６７から供給されるHD画像信号に対応するHD画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
【０１５５】
さらに、制御部７２は、評価値算出部７１からの評価値に基づき、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ６６を制御することにより、係数メモリ６６に記憶させる。
【０１５６】
次に、図１０を参照して、図９の学習データ記憶部６１が学習データとして記憶しているSHD画像信号と、画像変換部７３（の予測部６７）が出力するHD画像信号（ディスプレイ６９に表示されるHD画像のHD画像信号）との関係を説明する。
【０１５７】
SHD画像信号とHD画像信号とは、例えば、それぞれ、図１０の上と下に示すように、１画素につき、R,G,Bの３つの色成分を画素値として有する画像信号である点で共通している。
【０１５８】
但し、HD画像信号は、SHD画像信号よりも画素数の少ない低解像度の画像信号になっている（SHD画像信号は、HD画像信号よりも画素数の多い高解像度の画像信号になっている）。
【０１５９】
即ち、例えば、HD画像信号は、SHD画像信号の６×６画素が１画素に対応する画像信号になっている。なお、図１０では、HD画像信号の１画素と、SHD画像信号の６×６画素とが対応することを分かりやすくするために、HD画像信号の１画素と、SHD画像信号の６×６画素とを同一の大きさで図示してあるが、HD画像信号とSHD画像信号との画素の大きさ自体は、必ずしも、図１０に示した関係にある必要はない。このことは、SD画像信号とHD画像信号との画素の大きさについても同様である。
【０１６０】
次に、図１１および図１２を参照して、図９の疑似撮影画像生成部６２が学習データとしてのSHD画像信号から疑似撮影画像信号（SD画像信号）を生成する生成方法について説明する。
【０１６１】
疑似撮影画像生成部６２は、例えば、SHD画像信号から、図１０で説明した関係にあるHD画像信号を生成し、即ち、例えば、SHD画像信号の６×６画素のR,G,Bそれぞれの平均値を、その６×６画素に対応するHD画像信号の１画素のR,G,Bそれぞれとして求めることにより、あるいは、SHD画像信号の６×６画素のうちのいずれか１画素のR,G,Bを、その６×６画素に対応するHD画像信号の１画素のR,G,Bそれぞれとすることにより、HD画像信号を生成し、さらに、そのHD画像信号から、SD画像信号としての疑似撮影画像信号を生成する。
【０１６２】
具体的には、いま、SD画像信号が、例えば、HD画像信号の２×２画素が１画素に対応する画像信号であるとし、制御部７２から疑似撮影画像生成部６２に対して、例えば、図８の上に示したベイヤフォーマットを表す信号フォーマット情報が供給されたとすると、疑似撮影画像生成部６２は、例えば、図１１に示すように、HD画像信号から、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
【０１６３】
即ち、この場合、疑似撮影画像生成部６２は、図１１に示すように、ベイヤフォーマットのSD画像信号の各画素に対応する、HD画像信号の２×２画素を検出し、その２×２画素から、その２×２画素に対応するSD画像信号の１画素の画素値を求めることにより、疑似撮影画像信号としてのベイヤフォーマットのSD画像信号を生成する。
【０１６４】
ここで、ベイヤフォーマットのSD画像信号の各画素は、R,G,Bのうちのいずれかの色成分だけを画素値として有するので、疑似撮影画像生成部６２は、HD画像信号の２×２画素から、その２×２画素に対応するSD画像信号の１画素が画素値として有する色成分だけを求める。
【０１６５】
具体的には、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図１１に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのG成分の平均値等が、注目画素の画素値として求められる。
【０１６６】
また、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、B成分だけを画素値として有する画素を注目画素とした場合、図１１に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのB成分の平均値等が、注目画素の画素値として求められる。ベイヤフォーマットのSD画像信号の画素のうちの、R成分だけを画素値として有する画素についても、同様にして画素値が求められる。
【０１６７】
なお、その他、制御部７２から疑似撮影画像生成部６２に対して、例えば、図８の下の左に示した、ベイヤフォーマットの画素の位置を１列おきに下方向にずらした信号フォーマットを表す信号フォーマット信号が供給された場合も、疑似撮影画像生成部６２は、図１１で説明したのと同様にして、HD画像信号から、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
【０１６８】
即ち、疑似撮影画像生成部６２は、図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図１２に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのG成分の平均値等を、注目画素の画素値として求める。
【０１６９】
また、図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、R成分だけを画素値として有する画素を注目画素とした場合、図１２に示すように、注目画素に対応するHD画像信号の２×２画素の画素値のうちのR成分の平均値等が、注目画素の画素値として求められる。図８の下の左に示した信号フォーマットのSD画像信号の画素のうちの、B成分だけを画素値として有する画素についても、同様にして画素値が求められる。
【０１７０】
次に、図９の学習装置では、表示制御部６８が、制御部７２から供給される表示フォーマット情報が表す表示フォーマットで、HD画像信号に対応するHD画像を、ディスプレイ６９に表示させる。このため、ディスプレイ６９は、各種の表示フォーマットでHD画像を表示することができるように構成されている。
【０１７１】
即ち、図１３は、ディスプレイ６９の表示画面と、HD画像との関係を示している。
【０１７２】
ディスプレイ６９は、図１３の上に示すように、SHD画像の１画素に対応する領域を、色成分を表示することができる最小の単位である最小表示単位とする表示画面を有している。図１０で説明したように、SHD画像の６×６画素と、HD画像の１画素とが対応するので、SHD画像の１画素に対応する領域を最小表示単位とする表示画面については、その６×６個の最小表示単位が、図１３の下に示すHD画像の１画素と対応する。なお、表示画面において、HD画像の画素に対応する６×６個の最小表示単位を、以下、適宜、画素ともいう。
【０１７３】
表示制御部６８は、例えば、図１４や図１５に示すように、制御部７２からの表示フォーマット情報が表す表示フォーマットで、HD画像を、ディスプレイ６９の表示画面に表示させる。
【０１７４】
即ち、制御部７２からの表示フォーマット情報が、例えば、図７の左上に示したストライプを表している場合には、表示制御部６８は、図１４に示すように、表示画面の画素を、横方向に３等分するような、横×縦が２×６個の最小表示単位をサブピクセルとする。そして、表示制御部６８は、図１４に示すように、HD画像の画素のR,G,Bの色成分を、その画素に対応する表示画面の画素の左から１，２，３番目のサブピクセルに、それぞれ表示させ、これにより、HD画像が、制御部７２からの表示フォーマット情報が表すストライプで表示される。
【０１７５】
また、制御部７２からの表示フォーマット情報が、例えば、図７の右上に示した、１画素のR,G,Bの順で横方向に並ぶ３つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットを表している場合には、表示制御部６８は、図１５に示すように、表示画面のR,G,Bの３つのサブピクセル（２×６個の最小表示単位）を、表示フォーマットと同様に、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されるように設定する。そして、表示制御部６８は、図１５に示すように、HD画像の画素のR,G,Bの色成分を、表示画面の対応するサブピクセルに表示させ、これにより、HD画像が、制御部７２からの表示フォーマット情報が表す表示フォーマットで表示される。
【０１７６】
次に、図１６乃至図１８を参照して、図９の評価値算出部７１の処理について説明する。
【０１７７】
評価値算出部７１は、図９で説明したように、光検出器７０からの表示画像信号と、学習データ記憶部６１からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行う。
【０１７８】
ここで、光検出器７０は、ディスプレイ６９に表示されたHD画像（表示画像）としての光を、R,G,Bごとに検出し（光電変換し）、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部７１に出力する。
【０１７９】
即ち、図１６の上に示すように、光検出器７０は、ディスプレイ６９の表示画面の６×６の最小表示単位で構成される各画素の光を、R,G,Bごとに検出し、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部７１に出力する。
【０１８０】
一方、評価値算出部７１は、学習データ記憶部６１に記憶されている注目SHD画像信号から、表示画像信号の評価に用いるHD画像信号である評価用HD画像信号を生成する。
【０１８１】
具体的には、評価値算出部７１は、HD画像信号の画素に対応する注目SHD画像信号の６×６画素の画素値から、HD画像信号の画素の画素値とする代表値を求める。即ち、評価値算出部７１は、例えば、HD画像信号の画素に対応する注目SHD画像信号の６×６画素のR,G,B成分それぞれの平均値や、その６×６画素のうちのいずれか１画素のR,G,B成分を、その６×６画素のR,G,B成分それぞれの代表値として求める。そして、評価値算出部７１は、注目SHD画像信号の６×６画素のR,G,B成分の代表値を、それぞれ、対応する画素のR,G,B成分とするHD画像信号を、評価用HD画像信号として生成する。
【０１８２】
さらに、評価値算出部７１は、評価用HD画像信号の画素の画素値(R1,G1,B1)と、表示画像信号の対応する画素の画素値(R2,G2,B2)との自乗誤差（R1-R2)2+（G1-G2)2+（B1-B2)2を、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求め、そのすべての画素についての自乗誤差の総和に反比例する値を、評価値として求める。
【０１８３】
従って、ディスプレイ６９において、HD画像が、例えば、図１４に示した表示フォーマットであるストライプで表示される場合には、光検出器７０（図９）において、図１７に示すように、表示画面の１画素としての６×６個の最小表示単位のR,G,Bの光、即ち、表示画面の１画素に含まれる、R,G,Bそれぞれのサブピクセル（２×６個の最小表示単位）のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部７１に供給される。そして、評価値算出部７１では、評価値算出部７１からのR,G,B成分と、注目SHD画像信号の６×６画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
【０１８４】
また、ディスプレイ６９において、HD画像が、例えば、図１５に示した、R,G,Bのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットで表示される場合には、光検出器７０（図９）において、図１８に示すように、表示画面の１画素としての６×６個の最小表示単位のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部７１に供給される。
【０１８５】
即ち、この場合、Rについては、光検出器７０において、表示画面の１画素に含まれる、Rの１つのサブピクセル（２×６個の最小表示単位）のRの光が検出され、そのRの光に対応する電気信号としてのR成分が、評価値算出部７１に供給される。Bについても、Rと同様に、光検出器７０において、表示画面の１画素に含まれる、Bの１つのサブピクセル（２×６個の最小表示単位）のBの光が検出され、そのBの光に対応する電気信号としてのB成分が、評価値算出部７１に供給される。
【０１８６】
また、Gについては、RとBのサブピクセルよりも下の位置に配置されているため、表示画面の１画素には、２つのGのサブピクセルの一部が含まれる。このため、Gについては、光検出器７０において、表示画面の１画素に含まれる、Bの２つのサブピクセル（２×６個の最小表示単位）それぞれのBの光の一部を合成（合計）した光（図１８において斜線を付して示す部分）が検出され、その合成した光に対応する電気信号としてのB成分が、評価値算出部７１に供給される。
【０１８７】
そして、評価値算出部７１では、評価値算出部７１からのR,G,B成分と、注目SHD画像信号の６×６画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部６１に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
【０１８８】
次に、図１９のフローチャートを参照して、図９の学習装置が行う、タップ係数、信号フォーマット、および表示フォーマットを学習する学習処理について説明する。
【０１８９】
ステップＳ３１において、制御部７２は、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ３２に進む。
【０１９０】
即ち、図９の学習装置には、例えば、ベイヤフォーマットその他の既存の信号フォーマットなどの複数の信号フォーマットが、学習処理の最初に用いる初期信号フォーマットとして設定（決定）されており、制御部７２は、複数の初期信号フォーマットそれぞれを表す信号フォーマット情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７２は、内蔵するメモリに記憶している複数の信号フォーマット情報が表す複数の初期信号フォーマットのうちの、まだ注目信号フォーマットとしていないものの１つを注目信号フォーマットAiに決定（設定）し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
【０１９１】
ここで、Aiは、例えば、複数の初期信号フォーマットのうちのi番目の初期信号フォーマットを表す。
【０１９２】
ステップＳ３２では、制御部７２は、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ３３に進む。
【０１９３】
即ち、図９の学習装置には、例えば、ストライプやデルタその他の既存の表示フォーマットなどの複数の表示フォーマットが、学習処理の最初に用いる初期表示フォーマットとして設定されており、制御部７２は、複数の初期表示フォーマットそれぞれを表す表示フォーマット情報を、内蔵するメモリに記憶している。そして、制御部７２は、内蔵するメモリに記憶している複数の表示フォーマット情報が表す複数の初期表示フォーマットのうちの、まだ注目表示フォーマットとしていないものの１つを注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。
【０１９４】
ここで、Bjは、例えば、複数の初期表示フォーマットのうちのj番目の初期表示フォーマットを表す。
【０１９５】
ステップＳ３３では、学習装置（図９）において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,jが決定される。
【０１９６】
即ち、ステップＳ３３では、注目信号フォーマットAiのSD画像信号を第１の画像信号として、図４の画像変換部１１でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示されたHD画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
【０１９７】
そして、ステップＳ３３からステップＳ３４に進み、制御部７２は、内蔵するメモリに記憶されている複数の表示フォーマット情報が表す複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ３３でタップ係数のセットを求めたかどうかを判定する。
【０１９８】
ステップＳ３４において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ３２に戻り、制御部７２は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
【０１９９】
また、ステップＳ３４において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ３５に進み、制御部７２は、内蔵するメモリに記憶されている複数の信号フォーマット情報が表す複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ３３でタップ係数のセットを求めたかどうかを判定する。
【０２００】
ステップＳ３５において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ３１に戻り、制御部７２は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、以下、同様の処理を繰り返す。
【０２０１】
また、ステップＳ３５において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップＳ３３で最適なタップ係数のセットが求められた場合、ステップＳ３６に進み、制御部７２は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせの中から、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
【０２０２】
即ち、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ３３において、Ｉ×Ｊ通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップＳ３６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、表示画像信号の評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
【０２０３】
ステップＳ３６において、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップＳ３７に進み、現在の最適な表示フォーマットとタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップＳ３８に進む。
【０２０４】
ステップＳ３８では、現在の最適な信号フォーマットとタップ係数のセットとの組み合わせについて、最適な表示フォーマットを仮決定する最適表示フォーマット決定処理が行われ、ステップＳ３９に進む。
【０２０５】
ステップＳ３９では、現在の最適な信号フォーマットと表示フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ４０に進む。
【０２０６】
ステップＳ４０では、制御部７２が、直前のステップＳ３７で求められた現在の最適な信号フォーマット、直前のステップＳ３８で求められた現在の最適な表示フォーマット、および直前のステップＳ３９で求められた現在の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
【０２０７】
即ち、直前のステップＳ３９の最適タップ係数セット決定処理では、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせについて、後述するようにして評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップＳ４０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
【０２０８】
ステップＳ４０において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ３９で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ３７に戻り、同様の処理が繰り返される。
【０２０９】
また、ステップＳ４０において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ３９で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合、制御部７２は、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせを、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせに最終的に決定し（最終決定し）、学習処理を終了する。
【０２１０】
図１の画像処理システムにおいて、カメラ１は、図１９の学習処理によって最終決定された最適な信号フォーマットの撮影画像信号（SD画像信号）を出力する。また、表示装置２の表示制御部１２（図２）は、図１９の学習処理によって最終決定された最適な表示フォーマットでHD画像をディスプレイ１３に表示させる。さらに、表示装置２の画像変換部１１の係数メモリ４４には、図１９の学習処理によって最終決定された最適なタップ係数のセットが記憶されており、画像変換部１１は、そのタップ係数のセットを用いて、画像変換処理を行う。
【０２１１】
その結果、図１のカメラ１と表示装置２との組み合わせである画像処理システムの性能を向上させることができる。即ち、図１のカメラ１と表示装置２との組み合わせである画像処理システムによれば、カメラ１が出力する撮影画像信号や、画像変換部１１が出力するHD画像信号のS/N(Signal to Noise ratio)等はともかく、ユーザが高画質であると感じる画像を、ディスプレイ１３に表示することができる。
【０２１２】
なお、図１９では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
【０２１３】
次に、図２０のフローチャートを参照して、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jを決定する図１９のステップＳ３３の処理について、詳述する。
【０２１４】
制御部７２は、ステップＳ５１において、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβ（式（１）のＮ）と、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部７２は、そのα×β×２γ通りのタップ係数のセットのうちの、今回の図２０の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
【０２１５】
そして、制御部７２は、注目タップ係数セットを、係数メモリ６６に供給して記憶させ、ステップＳ５１からＳ５２に進む。
【０２１６】
ステップＳ５２では、制御部７２は、注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給し、これにより、疑似撮影画像生成部６２に、注目信号フォーマットAiの疑似撮影画像信号としてのSD画像信号を生成させる。
【０２１７】
即ち、疑似撮影画像生成部６２は、制御部７２から、注目信号フォーマットAiを表す信号フォーマット情報が供給されると、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、注目信号フォーマットAiのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給する。
【０２１８】
その後、ステップＳ５２からステップＳ５３に進み、画像変換部７３は、疑似撮影画像生成部６２から供給される注目信号フォーマットAiの疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、例えば、１画素がR,G,B成分のすべてを有する第２の画像信号としてのHD画像信号に変換する画像変換処理を行う。
【０２１９】
即ち、ステップＳ５３では、まず最初に、ステップＳ５３1において、画像変換部７３のタップ抽出部６３が、疑似撮影画像生成部６２から供給される疑似撮影画像信号を第１の画像信号とするとともに、その第１の画像信号を変換して得ようとする高画質（高解像度）のHD画像信号を第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、第２の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部６３は、注目画素について、図４のタップ抽出部４１が抽出する予測タップと同一のタップ構造の予測タップを、第１の画像信号から抽出し、予測部６７に供給する。
【０２２０】
さらに、ステップＳ５３1では、タップ抽出部６４が、注目画素について、図４のタップ抽出部４２が抽出するクラスタップと同一のタップ構造のクラスタップを、第１の画像信号から抽出し、クラス分類部６５に供給する。
【０２２１】
そして、ステップＳ５３1からステップＳ５３2に進み、クラス分類部６５が、タップ抽出部６４からのクラスタップに基づき、図４のクラス分類部４３と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ６６に供給して、ステップＳ５３3に進む。
【０２２２】
ステップＳ５３3では、係数メモリ６６が、制御部７２の制御にしたがって記憶している注目タップ係数セットのうちの、クラス分類部６５から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を取得し、予測部６７に出力して、ステップＳ５３4に進む。
【０２２３】
ステップＳ５３4では、予測部６７が、タップ抽出部６３が出力する予測タップと、係数メモリ６６が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、図４の予測部４５と同一の予測演算、即ち、例えば、式（１）の演算を行う。これにより、予測部６７は、注目画素の画素値（の予測値）、即ち、HD画像信号（第２の画像信号）を構成する画素の画素値を求め、表示制御部６８に供給する。
【０２２４】
ステップＳ５３の処理後は、ステップＳ５４に進み、制御部７２は、注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ５４からステップＳ５５に進む。
【０２２５】
ステップＳ５５では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ５６に進む。
【０２２６】
ステップＳ５６では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０２２７】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
【０２２８】
ここで、ステップＳ５２乃至Ｓ５６の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
【０２２９】
その後、ステップＳ５６からステップＳ５７に進み、制御部７２は、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
【０２３０】
ステップＳ５７において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りのタップ係数のセットの中に、今回の図２０の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ５１に戻り、制御部７２は、α×β×２γ通りのタップ係数のセットのうちの、今回の図２０の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
【０２３１】
また、ステップＳ５７において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ５８に進み、制御部７２は、α×β×２γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについての最適なタップ係数のセットFi,jとして決定してリターンする。
【０２３２】
ここで、図１９で説明したように、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ３３の処理である図２０の処理が、I×J回行われ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。図１９のステップＳ３６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、図２０の処理で得られる評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
【０２３３】
なお、上述したように、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて評価値を算出し、その評価値が最も高いタップ係数を求めるタップ係数の学習を、総当たり学習と呼ぶ。
【０２３４】
次に、図２１のフローチャートを参照して、図１９のステップＳ３７の最適信号フォーマット決定処理について詳述する。
【０２３５】
ステップＳ７１において、制御部７２は、現在の仮の（仮決定された）最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定する。
【０２３６】
即ち、例えば、いま、ベイヤフォーマットが、現在の仮の最適な信号フォーマットであるとすると、制御部７２は、例えば、図８に示したように、ベイヤフォーマットを僅かに変形して得られる信号フォーマットの幾つか（複数）を、最適な信号フォーマットの複数の候補として決定する。なお、最適な信号フォーマットの複数の候補を得るために、現在の仮の最適な信号フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７２は、その変形ルールにしたがって、現在の仮の最適な信号フォーマットを変形して、最適な信号フォーマットの複数の候補を決定する。
【０２３７】
ステップＳ７１の処理後はステップＳ７２に進み、制御部７２は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの１つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ７３に進む。
【０２３８】
ステップＳ７３では、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ７４に進む。
【０２３９】
ステップＳ７４では、制御部７２が、現在の仮の最適なタップ係数のセットを、係数メモリ６６に記憶させる。さらに、ステップＳ７４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される注目信号フォーマットの疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
【０２４０】
ステップＳ７４の処理後は、ステップＳ７５に進み、制御部７２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す現在の仮の最適な表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ７５からステップＳ７６に進む。
【０２４１】
ステップＳ７６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ７７に進む。
【０２４２】
ステップＳ７７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０２４３】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
【０２４４】
ここで、ステップＳ７３乃至Ｓ７７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目信号フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
【０２４５】
その後、ステップＳ７７からステップＳ７８に進み、制御部７２は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０２４６】
ステップＳ７８において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ７２に戻り、制御部７２は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの１つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
【０２４７】
また、ステップＳ７８において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ７９に進み、制御部７２は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な表示フォーマットとタップ係数のセットとの組み合わせに対する最適な信号フォーマットに、新たに仮決定してリターンする。
【０２４８】
次に、図２２のフローチャートを参照して、図１９のステップＳ３８の最適表示フォーマット決定処理について詳述する。
【０２４９】
ステップＳ９１において、制御部７２は、現在の仮の（仮決定された）最適な表示フォーマットを基準として、最適な表示フォーマットの複数の候補を決定する。
【０２５０】
即ち、例えば、いま、ストライプが、現在の仮の最適な表示フォーマットであるとすると、制御部７２は、例えば、図７に示したように、ストライプを僅かに変形して得られる表示フォーマットの幾つか（複数）を、最適な表示フォーマットの複数の候補として決定する。なお、最適な表示フォーマットの複数の候補を得るために、現在の仮の最適な表示フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７２は、その変形ルールにしたがって、現在の仮の最適な表示フォーマットを変形して、最適な表示フォーマットの複数の候補を決定する。
【０２５１】
ステップＳ９１の処理後はステップＳ９２に進み、制御部７２は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ９３に進む。
【０２５２】
ステップＳ９３では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
【０２５３】
ステップＳ９３の処理後はステップＳ９４に進み、制御部７２は、最適な表示フォーマットの複数の候補のうちの、まだ、注目表示フォーマットとしていないものの１つを、注目表示フォーマットに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ９５に進む。
【０２５４】
ステップＳ９５では、表示制御部６８が、制御部７２からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ９６に進む。
【０２５５】
ステップＳ９６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ９７に進む。
【０２５６】
ステップＳ９７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０２５７】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
【０２５８】
ここで、ステップＳ９２およびＳ９３、並びにステップＳ９５乃至Ｓ９７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目表示フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目表示フォーマットについての最終的な評価値として、一時記憶する。
【０２５９】
その後、ステップＳ９７からステップＳ９８に進み、制御部７２は、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０２６０】
ステップＳ９８において、最適な表示フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ９４に戻り、制御部７２は、最適な表示フォーマットの複数の候補のうちの、まだ注目表示フォーマットとしていないものの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理が繰り返される。
【０２６１】
また、ステップＳ９８において、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ９９に進み、制御部７２は、最適な表示フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットとタップ係数のセットとの組み合わせに対する最適な表示フォーマットに、新たに仮決定してリターンする。
【０２６２】
次に、図２３のフローチャートを参照して、図１９のステップＳ３９の最適タップ係数セット決定処理について詳述する。
【０２６３】
ステップＳ１１１において、制御部７２は、現在の仮の（仮決定された）最適なタップ係数のセットを基準として、最適なタップ係数のセットの複数の候補を決定する。
【０２６４】
即ち、制御部７２は、例えば、現在の仮の最適なタップ係数のセットの各タップ係数をコンポーネントとするZ次元のベクトル（この場合、クラスの総数と、１クラスあたりのタップ係数の数との積がZ）が表す、Z次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のZ次元のベクトル（のコンポーネント）を、最適なタップ係数のセットの複数の候補として決定する。なお、最適なタップ係数のセットの複数の候補を得るために、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部７２は、そのルールにしたがって、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適なタップ係数のセットの複数の候補を決定する。
【０２６５】
ステップＳ１１１の処理後はステップＳ１１２に進み、制御部７２は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部７２からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ１（図１）が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部７３に供給して、ステップＳ１１３に進む。
【０２６６】
ステップＳ１１３では、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ６６を制御することにより記憶させ、ステップＳ１１４に進む。
【０２６７】
ステップＳ１１４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される疑似撮影画像信号（SD画像信号）を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている注目タップ係数セットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
【０２６８】
ステップＳ１１４の処理後は、ステップＳ１１５に進み、制御部７２は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部７２からの表示フォーマット情報が表す表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ１１６に進む。
【０２６９】
ステップＳ１１６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ１１７に進む。
【０２７０】
ステップＳ１１７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０２７１】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７２に供給する。
【０２７２】
ここで、ステップＳ１１２、およびステップＳ１１４乃至Ｓ１１７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部７２は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
【０２７３】
その後、ステップＳ１１７からステップＳ１１８に進み、制御部７２は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０２７４】
ステップＳ１１８において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ１１３に戻り、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
【０２７５】
また、ステップＳ１１８において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ１１９に進み、制御部７２は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
【０２７６】
以上のように、図９の学習装置では、図１９のステップＳ３７において、制御部７２が、最適な信号フォーマットの複数の候補として、複数の信号フォーマットを決定し、その複数の信号フォーマットそれぞれについて、疑似撮影画像生成部６２が、疑似撮影画像信号を生成し、画像変換部７３が、疑似撮影画像信号を、制御部７２で決定されたタップ係数（現在の仮の最適なタップ係数のセット）との演算によって、HD画像信号に変換し、表示制御部６８が、HD画像信号に対応するHD画像を、制御部７２で決定されたある表示フォーマット（現在の仮の最適な表示フォーマット）で、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる信号フォーマットを、複数の信号フォーマットの中から仮決定する最適信号フォーマット決定処理（図２１）を行う。
【０２７７】
さらに、図９の学習装置では、図１９のステップＳ３８において、制御部７２が、最適な表示フォーマットの複数の候補として、複数の表示フォーマットを決定し、疑似撮影画像生成部６２が、制御部７２で決定された信号フォーマット（現在の仮の最適な信号フォーマット）の疑似撮影画像信号を生成し、画像変換部７３が、疑似撮影画像信号を、制御部７２で決定されたタップ係数（現在の仮の最適なタップ係数のセット）との演算によって、HD画像信号に変換し、複数の表示フォーマットそれぞれについて、表示制御部６８が、HD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる表示フォーマットを、複数の表示フォーマットの中から仮決定する最適表示フォーマット決定処理（図２２）を行う。
【０２７８】
また、図９の学習装置では、図１９のステップＳ３９において、制御部７２が、最適なタップ係数のセットの複数の候補として、複数のタップ係数（のセット）を決定し、疑似撮影画像生成部６２が、制御部７２で決定された信号フォーマット（現在の仮の最適な信号フォーマット）の疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、画像変換部７３が、疑似撮影画像信号を、HD画像信号に変換し、表示制御部６８が、HD画像信号に対応するHD画像を、制御部７２で決定された表示フォーマット（現在の仮の最適な表示フォーマット）で、ディスプレイ６９に表示させ、光検出器７０が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部７１が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなるタップ係数を、複数のタップ係数の中から仮決定する最適タップ係数セット決定処理（図２３）を行う。
【０２７９】
そして、図９の学習装置では、図１９で説明したように、以上の最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理を、評価値（ここでは、直前の最適タップ係数セット決定処理で得られる評価値）が最適化の判定用の閾値以上となるまで繰り返すことにより、ディスプレイ６９に表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数（のセット）、そのタップ係数を用いて行われる画像変換処理の対象となる撮影画像信号の信号フォーマット、および、その信号フォーマットの撮影画像信号を対象とした画像変換処理により得られるHD画像信号に対応するHD画像を表示する表示フォーマットを求める。
【０２８０】
従って、図９の学習装置によれば、ディスプレイ６９に表示される表示画像がより高画質であるとユーザが感じるタップ係数、信号フォーマット、および表示フォーマット、つまりは、図１のカメラ１と表示装置２で構成される画像処理システムの性能をより向上させる最適な（適切な）タップ係数、信号フォーマット、および表示フォーマットを求めることができる。
【０２８１】
そして、図１のカメラ１において、図９の学習装置で得られた最適な信号フォーマットの撮影画像信号を出力するとともに、図１の表示装置２において、図９の学習装置で得られた最適なタップ係数を用いて画像変換処理を行い、さらに、その画像変換処理によって得られるHD画像を、図９の学習装置で得られた最適な表示フォーマットで表示することにより、カメラ１と表示装置２との組み合わせで画像処理システムが構成される場合に、その画像処理システム全体として、最大の性能を発揮することができる。
【０２８２】
なお、図２１の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図１９のステップＳ３７乃至Ｓ３９の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。表示フォーマットとタップ係数のセットについても同様である。
【０２８３】
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。表示フォーマットとタップ係数のセットについても同様である。
【０２８４】
次に、図２４は、画像を処理する画像処理システムの第２の構成例を示している。
【０２８５】
図２４の画像処理システムは、カメラ６０１、送信装置６０２、受信装置６０３、および表示装置６０５から構成されている。
【０２８６】
カメラ６０１は、物体（被写体）を撮影し、その撮影によって得られるSD画像信号である、所定の信号フォーマットの撮影画像信号を出力する。送信装置６０２は、カメラ６０１が出力する所定の信号フォーマットの撮影画像信号を、受信装置６０３に送信する。
【０２８７】
受信装置６０３は、送信装置６０２から送信されてくる所定の信号フォーマットの撮影画像信号を受信する。また、受信装置６０３は、フォーマット変換部６０４を有し、フォーマット変換部６０４には、受信装置６０３が受信した所定の信号フォーマットの撮影画像信号が供給されるとともに、表示装置６０５から、その表示装置６０５が画像を表示する表示フォーマットを表す表示フォーマット情報が供給される。
【０２８８】
フォーマット変換部６０４は、受信装置６０３で受信された撮影画像信号の所定の信号フォーマットと、表示装置６０５からの表示フォーマット情報が表す表示フォーマットとに対応して、所定の信号フォーマット（第１の信号フォーマット）の撮影画像信号を、他の信号フォーマット（第２の信号フォーマット）の撮影画像信号（SD画像信号）に変換し、表示装置６０５に供給する。
【０２８９】
表示装置６０５は、受信装置６０３のフォーマット変換部６０４から供給される他の信号フォーマットの撮影画像信号を、その撮影画像信号に対応する画像よりも高画質のHD画像信号に変換して、そのHD画像信号に対応するHD画像を表示する。
【０２９０】
次に、図２５は、図２４のフォーマット変換部６０４と表示装置６０５の構成例を示している。
【０２９１】
フォーマット変換部６０４は、信号取得部６１１、信号変換部６１２、および表示フォーマット取得部６１３から構成されている。
【０２９２】
信号取得部６１１は、カメラ６０１（図２４）が出力する所定の信号フォーマットの撮影画像信号を、送信装置６０２を介して受信することにより取得し、信号変換部６１２に供給する。また、信号取得部６１１は、撮影画像信号の信号フォーマットを検出（認識）し、その信号フォーマットを表す信号フォーマット情報を、信号変換部６１２に供給する。
【０２９３】
信号変換部６１２は、表示装置６０５の後述する画像変換部６２１において画像変換処理の対象となるSD画像信号の信号フォーマットと、画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの対応関係を表すフォーマット対応関係情報を記憶している。ここで、フォーマット対応関係情報は、あらかじめ行われた学習によって求められたもので、SD画像信号の信号フォーマットと、その信号フォーマットのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示した場合に、ユーザが最も高画質であると感じる表示フォーマットとの対応関係を表す。
【０２９４】
信号変換部６１２は、フォーマット対応関係情報において、表示フォーマット取得部６１３から供給される表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている信号フォーマット（以下、適宜、対応信号フォーマットという）を認識し、信号取得部６１１からの所定の信号フォーマットの撮影画像信号を、他の信号フォーマットとしての対応信号フォーマットの撮影画像信号に変換して、表示装置６０５に供給する。
【０２９５】
表示フォーマット取得部６１３は、表示装置６０５の表示制御部６２２がHD画像をディスプレイ６２３に表示させる表示フォーマットを表す表示フォーマット情報を、表示制御部６２２から取得し（受信し）、信号変換部６１２に供給する。
【０２９６】
なお、フォーマット変換部６０４を内蔵する受信装置６０３と、表示装置６０５とは、有線または無線で接続されるが、表示フォーマット取得部６１３は、例えば、受信装置６０３と表示装置６０５との接続が確立されるたびに、表示装置６０５から、表示フォーマット情報を取得して、信号変換部６１２に供給する。
【０２９７】
表示装置６０５は、画像変換部６２１、表示制御部６２２、およびディスプレイ６２３から構成される。
【０２９８】
画像変換部６２１には、フォーマット変換部６１２から、他の信号フォーマットとしての対応信号フォーマットの撮影画像信号（SD画像信号）が供給される。画像変換部６２１は、あらかじめ行われた学習によって得られたタップ係数のセットを記憶しており、そのタップ係数との演算によって、対応信号フォーマットの撮影画像信号であるSD画像信号を、HD画像信号に変換し、表示制御部６２２に供給する。
【０２９９】
表示制御部６２２は、例えば、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された表示フォーマットや、既存の表示フォーマット、その他の、あらかじめ決められた表示フォーマットで、画像変換部６２１から供給されるHD画像信号に対応するHD画像を、ディスプレイ６２３に表示させる表示制御を行う。なお、表示制御部６２２は、HD画像を表示させる表示フォーマットを表す表示フォーマット情報を、外部に出力する機能を有する。
【０３００】
ディスプレイ６２３は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部６２２の制御にしたがって、画像を表示する。
【０３０１】
次に、フォーマット変換部６０４を構成する信号変換部６１２は、上述したように、信号取得部６１１からの所定の信号フォーマットのSD画像信号（撮影画像信号）を、他の信号フォーマットとしての対応信号フォーマットのSD画像信号に変換する。この変換は、画素（サブピクセルを含む）の間引きや補間によって行うこともできるが、第１の画像信号を第２の画像信号に変換する画像変換処理によって行うこともできる。
【０３０２】
そこで、図２６は、所定の信号フォーマットのSD画像信号を第１の画像信号とするとともに、他の信号フォーマットとしての対応信号フォーマットのSD画像信号を第２の画像信号として、所定の信号フォーマットのSD画像信号を対応信号フォーマットのSD画像信号に変換する信号変換部６１２の構成例を示している。
【０３０３】
図２６において、信号変換部６１２は、タップ抽出部６３１および６３２、クラス分類部６３３、係数メモリ６３４、予測部６３５、および係数選択部６３６から構成される。
【０３０４】
信号変換部６１２には、信号取得部６１１からの所定の信号フォーマットのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部６３１および６３２に供給される。
【０３０５】
タップ抽出部６３１は、第１の画像信号を変換して得ようとする第２の画像信号としての対応信号フォーマットのSD画像信号（この第２の画像信号としてのSD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
【０３０６】
具体的には、タップ抽出部６３１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
【０３０７】
タップ抽出部６３２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
【０３０８】
タップ抽出部６３１で得られた予測タップは、予測部６３５に供給され、タップ抽出部６３２で得られたクラスタップは、クラス分類部６３３に供給される。
【０３０９】
クラス分類部６３３は、タップ抽出部６３２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数メモリ６３４に供給する。
【０３１０】
ここで、クラス分類部６３３でクラス分類を行う方法としては、例えば、図４のクラス分類部４３で説明した方法を採用することができる。
【０３１１】
係数メモリ６３４は、複数（種類）の信号フォーマットのうちの任意の２つのそれぞれを、第１の信号フォーマットと第２の信号フォーマットとして、第１の信号フォーマットのSD画像信号を、第２の信号フォーマットのSD画像信号に変換する画像変換処理に用いるタップ係数のセット（以下、適宜、第１／第２変換タップ係数のセットという）を、第１の信号フォーマットと第２の信号フォーマットとの複数の組み合わせそれぞれについて記憶している。
【０３１２】
複数（種類）の第１／第２変換タップ係数のセットは、後述する学習によってあらかじめ求められるクラスごとのタップ係数であり、係数メモリ６３４は、係数選択部６３６の制御にしたがい、複数の第１／第２変換タップ係数のセットの中から、信号取得部６１１（図２５）から供給される信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択し、その有効なタップ係数のセットのうちの、クラス分類部６３３から供給されるクラスのタップ係数を読み出すことにより取得し、予測部６３５に出力する。
【０３１３】
予測部６３５は、タップ抽出部６３１が出力する予測タップと、係数メモリ６３４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算としての式（１）の演算を行う。これにより、予測部６３５は、注目画素の画素値（の予測値）、即ち、ここでは、第２の画像信号としての対応信号フォーマットのSD画像信号を構成する画素の画素値を求めて出力する。
【０３１４】
係数選択部６３６には、信号取得部６１１（図２５）から、カメラ６０１が出力するSD画像信号の信号フォーマットを表す信号フォーマット情報（以下、適宜、カメラ信号フォーマット情報という）が供給されるとともに、表示フォーマット取得部６１３（図２５）から、表示装置６０５の表示フォーマットを表す表示フォーマット情報が供給される。係数選択部６３６は、フォーマット対応関係情報を記憶しており、フォーマット対応関係情報において、表示フォーマット取得部６１３からの表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている対応信号フォーマットを認識する。そして、係数選択部６３６は、係数メモリ６３４に記憶されている複数の第１／第２変換タップ係数のセットの中から、信号取得部６１１（図２５）から供給されるカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ６３４を制御する。
【０３１５】
次に、図２７のフローチャートを参照して、図２６の信号変換部６１２が行う画像変換処理について説明する。
【０３１６】
信号変換部６１２では、ステップＳ６０１において、係数選択部６３６が、記憶しているフォーマット対応関係情報において、表示フォーマット情報取得部６１３（図２５）から供給される表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている対応信号フォーマットを認識し、信号取得部６１１からのカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ６３４を制御する。これにより、係数メモリ６３４は、係数選択部６３６の制御にしたがい、複数の第１／第２変換タップ係数のセットから、カメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択し、ステップＳ６０２に進む。
【０３１７】
ステップＳ６０２では、タップ抽出部６３１が、信号取得部６１１（図２５）から供給されるSD画像信号を第１の画像信号とするとともに、その第１の画像信号を対応信号フォーマットのSD画像信号に変換した、その対応信号フォーマットのSD画像信号を第２の画像信号として、第２の画像信号としての対応信号フォーマットのSD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部６３１と６３２は、第１の画像信号としてのSD画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部６３１から予測部６３５に供給され、クラスタップは、タップ抽出部６３２からクラス分類部６３３に供給される。
【０３１８】
クラス分類部６３３は、タップ抽出部６３２から、注目画素についてのクラスタップを受信し、ステップＳ６０３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部６３３は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ６３４に出力し、ステップＳ６０４に進む。
【０３１９】
ステップＳ６０４では、係数メモリ６３４が、有効なタップ係数のセットのうちの、クラス分類部６３３から供給されるクラスのタップ係数を読み出して出力し、ステップＳ６０５に進む。係数メモリ６３４が出力するタップ係数は、予測部６３５において取得される。
【０３２０】
ステップＳ６０５では、予測部６３５が、タップ抽出部６３１が出力した予測タップと、係数メモリ６３４から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部６３５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号である対応信号フォーマットのSD画像信号を、表示装置６０５（の画像変換部６２１）（図２５）に出力する。
【０３２１】
次に、図２８のフローチャートを参照して、図２５のフォーマット変換部６０４の処理について説明する。
【０３２２】
フォーマット変換部６０４では、ステップＳ６１１において、表示フォーマット取得部６１３が、表示装置６０５の表示制御部６２２から表示フォーマット情報を取得（受信）し、信号変換部６１２に供給して、ステップＳ６１２に進む。
【０３２３】
ステップＳ６１２では、信号取得部６１１が、送信装置６０２（図２４）から送信されてくる所定の信号フォーマットのSD画像信号を取得（受信）し、そのSD画像信号の信号フォーマットを検出する。さらに、信号取得部６１１は、検出した信号フォーマットを表すカメラ信号フォーマット情報と、その信号フォーマットのSD画像信号とを、信号変換部６１２に供給して、ステップＳ６１２からステップＳ６１３に進む。
【０３２４】
ステップＳ６１３では、信号変換部６１２が、例えば、図２７で説明したように、フォーマット対応関係情報に基づき、信号取得部６１１からのカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、表示フォーマット取得部６１３からの表示フォーマット情報が表す表示フォーマットに対応する対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを用いて、信号取得部６１１からの所定の信号フォーマット（カメラ信号フォーマット情報が表す信号フォーマット）のSD画像信号を、対応信号フォーマットのSD画像信号に変換し、表示装置６０５に供給する。
【０３２５】
次に、図２９は、図２６の係数メモリ６３４に記憶される複数の信号フォーマットそれぞれについてのタップ係数のセットを求める学習処理を行う学習装置の構成例を示している。
【０３２６】
図２９の学習装置は、学習データ記憶部６４１、学習対データ生成部６４２、制御部６４３、タップ抽出部６４４，６４５、クラス分類部６４６、正規方程式生成部６４７、およびタップ係数算出部６４８から構成され、上述した正規方程式を用いる学習方法、つまり、式（８）の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
【０３２７】
学習データ記憶部６４１は、複数の信号フォーマットそれぞれについてのタップ係数の学習に用いられる学習データとして、例えば、SHD画像信号（SHD画像）、HD画像信号、またはSD画像信号を記憶している。
【０３２８】
学習対データ生成部６４２は、制御部６４３の制御にしたがい、学習データ記憶部６４１に記憶されている学習データから、生徒信号としての、第１の信号フォーマットのSD画像信号と、そのSD画像信号の信号フォーマットを第２の信号フォーマットとした、教師信号としての、第２の信号フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部６４４および６４５、並びに正規方程式生成部６４７に供給する。
【０３２９】
ここで、教師信号とは、ある入力信号に対する理想的な出力信号を意味する。また、生徒信号とは、教師信号を得るために与えられる入力信号を意味する。
【０３３０】
制御部６４３は、生徒信号としてのSD画像信号の信号フォーマット（第１の信号フォーマット）と、教師信号としてのSD画像信号の信号フォーマット（第２の信号フォーマット）とを表す信号フォーマット指示情報を、学習対データ生成部６４２に供給することにより、学習対データ生成部６４２に対し、教師信号と生徒信号としてのSD画像信号それぞれの信号フォーマットを制御（指示）する。
【０３３１】
また、制御部６４３には、学習対データ生成部６４２に供給した信号フォーマット情報が表す第１の信号フォーマットと第２の信号フォーマットそれぞれのSD画像信号のセットを学習対データとして用いて求められる第１／第２変換タップ係数のセットが、タップ係数算出部６４８から供給される。制御部６４３は、学習対データ生成部６４２に供給した信号フォーマット情報に対応付けて、タップ係数算出部６４８からの第１／第２変換タップ係数のセットを記憶する。
【０３３２】
タップ抽出部６４４は、学習対データ生成部６４２から供給される学習対データのうちの教師信号としての第２の信号フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、学習対データのうちの生徒信号としての第１の信号フォーマットのSD画像信号から、予測タップとする画素の画素値を抽出し、図２６の信号変換部６１２を構成するタップ抽出部６３１で得られるのと同一のタップ構造の予測タップを、正規方程式生成部６４７に供給する。
【０３３３】
タップ抽出部６４５は、注目画素について、学習対データ生成部６４２から供給される第１の信号フォーマットのSD画像信号から、クラスタップとする画素の画素値を抽出し、図２６の信号変換部６１２を構成するタップ抽出部６３２で得られるのと同一のタップ構造のクラスタップを、クラス分類部６４６に供給する。
【０３３４】
クラス分類部６４６は、タップ抽出部６４５から供給されるクラスタップに基づき、図２６の信号変換部６１２を構成するクラス分類部６３３と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部６４７に供給する。
【０３３５】
正規方程式生成部６４７は、学習対データ生成部６４２から供給される学習対データの教師信号としての第２の信号フォーマットのSD画像信号のうちの、注目画素（の画素値）ｙkと、タップ抽出部６３１から供給される注目画素についての予測タップを構成する画素（の画素値）ｘn,kとを対象とした足し込みを、クラス分類部６４６から供給されるクラスごとに行う。
【０３３６】
即ち、正規方程式生成部６４７は、クラス分類部６４６から供給されるクラスごとに、タップ抽出部６４４から供給される注目画素についての予測タップを構成する第１の信号フォーマットのSD画像信号の画素（以下、適宜、第１の画素ともいう）ｘn,kを用い、式（８）の左辺の行列における第１の画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０３３７】
さらに、正規方程式生成部６４７は、やはり、クラス分類部６４６から供給されるクラスごとに、第１の画素ｘn,kと第２の信号フォーマットのSD画像信号の画素（注目画素）ｙkを用い、式（８）の右辺のベクトルにおける、第１の画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０３３８】
即ち、正規方程式生成部６４７は、前回、注目画素とされた第２の信号フォーマットのSD画像信号の画素（以下、適宜、第２の画素ともいう）について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶している。
【０３３９】
そして、正規方程式生成部６４７は、メモリに記憶している行列のコンポーネント（Σｘn,kｘn',k）に対して、新たに注目画素とされた第２の画素についての予測タップを構成する第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1を足し込む（式（８）における左辺の行列内のサメーションで表される加算を行う）とともに、メモリに記憶しているベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた第２の画素について、その第２の画素ｙk+1および第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｙk+1を足し込む（式（８）における右辺のベクトル内のサメーションで表される加算を行う）。
【０３４０】
正規方程式生成部６４７は、学習対データ生成部６４２から供給される学習対データの教師信号としての第２の信号フォーマットのSD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部６４８に供給する。
【０３４１】
タップ係数算出部６４８は、正規方程式生成部６４７から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数（式（４）の自乗誤差の総和Ｅを最小にするタップ係数）ｗnのセットを求め、第１／第２変換タップ係数のセットとして、制御部６４３に供給する。
【０３４２】
次に、図３０のフローチャートを参照して、図２９の学習装置が行う、第１／第２変換タップ係数のセットを求める学習処理について説明する。
【０３４３】
図２９の学習装置では、ステップＳ６２１において、制御部６４３が、あらかじめ決められている複数の信号フォーマットの中から、まだ、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせのうちの１つの組み合わせの１の信号フォーマットを注目第１信号フォーマットに決定するとともに、他の１の信号フォーマットを注目第２信号フォーマットに決定し、その注目第１信号フォーマットと注目第２信号フォーマットとを表す信号フォーマット指示情報を、学習対データ生成部６４２に供給して、ステップＳ６２２に進む。
【０３４４】
ステップＳ６２２では、学習対データ生成部６４２が、制御部６４３からの信号フォーマット指示情報にしたがい、学習データ記憶部６４１に記憶されている学習データから、生徒信号としての、信号フォーマット指示情報が表す注目第１信号フォーマットのSD画像信号と、教師信号としての、信号フォーマット情報が表す注目第２信号フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部６４４および６４５、並びに正規方程式生成部６４７に供給して、ステップＳ６２３に進む。
【０３４５】
ステップＳ６２３では、タップ抽出部６４４が、学習対データ生成部６４２から供給される学習対データのうちの教師信号としての注目第２信号フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、予測タップとなる画素の画素値を、学習対データのうちの生徒信号としての注目第１信号フォーマットのSD画像信号から抽出し、正規方程式生成部６４７に供給する。
【０３４６】
また、タップ抽出部６４５が、注目画素について、クラスタップとなる画素の画素値を、学習対データのうちの生徒信号としての注目第１信号フォーマットのSD画像信号から抽出し、クラス分類部６４６に供給する。
【０３４７】
クラス分類部６４６は、ステップＳ６２４において、タップ抽出部６４５からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部６４７に供給して、ステップＳ６２５に進む。
【０３４８】
ステップＳ６２５では、正規方程式生成部６４７は、学習対データ生成部６４２からの学習対データのうちの、注目画素（の画素値）と、タップ抽出部６４４から供給される注目画素について得られた予測タップを構成する注目第１信号フォーマットのSD画像信号の画素（の画素値）とを対象として、クラス分類部６４６から供給されるクラスについてたてられた式（８）の足し込みを、上述したように行う。
【０３４９】
そして、正規方程式生成部６４７は、学習対データ生成部６４２から供給された学習対データの教師信号としての注目第２信号フォーマットのSD画像信号の画素すべてを注目画素として、ステップＳ６２５の足し込みを行うと、その足し込みによって得られた各クラスの正規方程式（クラスごとの式（８）における左辺の行列と、右辺のベクトル）を、タップ係数算出部６４８に供給して、ステップＳ６２５からステップＳ６２６に進む。
【０３５０】
ステップＳ６２６では、タップ係数算出部６４８は、正規方程式生成部６４７から供給された各クラスの正規方程式（クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式）を解くことにより、各クラスごとのタップ係数のセットを求め、そのタップ係数のセットを、注目第１信号フォーマットを第１の信号フォーマットとするとともに、注目第２信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットとして、制御部６４３に供給する。
【０３５１】
制御部６４３は、タップ係数算出部６４８からの第１／第２変換タップ係数のセットを、注目第１信号フォーマットおよび注目第２信号フォーマットと対応付けて記憶し、ステップＳ６２６からステップＳ６２７に進む。
【０３５２】
ステップＳ６２７では、制御部６４３が、あらかじめ決められている複数の信号フォーマットの中に、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせがないかどうかを判定する。
【０３５３】
ステップＳ６２７において、あらかじめ決められている複数の信号フォーマットの中に、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせがあると判定された場合、ステップＳ６２１に戻り、制御部６４３は、あらかじめ決められている複数の信号フォーマットの中から、まだ、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせのうちの１つの組み合わせの１の信号フォーマットを注目第１信号フォーマットに新たに決定するとともに、他の１の信号フォーマットを注目第２信号フォーマットに新たに決定し、以下、同様の処理を繰り返す。
【０３５４】
また、ステップＳ６２７において、あらかじめ決められている複数の信号フォーマットの中に、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとされていない１の信号フォーマットと他の１の信号フォーマットとの組み合わせがないと判定された場合、即ち、あらかじめ決められている複数の信号フォーマットから、注目第１信号フォーマットと注目第２信号フォーマットとの組み合わせとして得られるすべての場合について、第１／第２変換タップ係数のセットが求められ、制御部６４３が、各種の第１の信号フォーマットと第２の信号フォーマットの組み合わせに対応付けられた第１／第２変換タップ係数のセットを記憶した場合、学習処理は終了する。
【０３５５】
以上の学習処理において制御部６４３に記憶された、各種の第１の信号フォーマットと第２の信号フォーマットの組み合わせに対応付けられた第１／第２変換タップ係数のセットが、図２６の信号変換部６１２を構成する係数メモリ６３４に記憶されている。
【０３５６】
そして、その信号変換部６１２を有するフォーマット変換部６０４（図２５）では、信号取得部６１１において、カメラ６０１が出力するSD画像信号を取得するとともに、表示フォーマット取得部６１３において、表示装置６０５の表示フォーマットを取得する。さらに、フォーマット変換部６０４では、信号変換部６１２において、カメラ６０１が出力するSD画像信号の信号フォーマットと、表示装置６０５の表示フォーマットとに基づき、カメラ６０１からのSD画像信号が、フォーマット対応関係情報において表示装置６０５の表示フォーマットに対応付けられた信号フォーマット（対応信号フォーマット）の画像信号に変換される。
【０３５７】
後述するように、フォーマット対応関係情報において表示フォーマットに対応付けられた信号フォーマットは、その信号フォーマットのSD画像信号を対象に画像変換処理を行うことによって得られるHD画像信号に対応するHD画像を、その信号フォーマットが対応付けられている表示フォーマットで表示した場合に、ユーザが最も高画質であると感じる信号フォーマットになっている。従って、そのような信号フォーマットのSD画像信号を、画像変換部６２１での画像変換処理によってHD画像信号に変換し、そのHD画像信号に対応するHD画像を、表示制御部６２２によって表示装置６０５の表示フォーマットでディスプレイ６２３に表示することにより、ユーザにとって適切なHD画像（ユーザが高画質であると感じる画像）を表示することができる。
【０３５８】
次に、図３１は、図２５の画像変換部６２１の構成例を示している。
【０３５９】
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換部６２１は、図４の画像変換部１１と同様に、第１の画像信号を第２の画像信号に変換する画像変換処理を行うようになっており、タップ抽出部４１および４２、クラス分類部４３、並びに予測部４５を備える点で、図４の画像変換部１１と共通する。但し、画像変換部６２１は、係数メモリ４４に代えて、係数メモリ６５１が設けられている点で、図４の画像変換部１１と異なっている。
【０３６０】
係数メモリ６５１は、後述する図３４の学習装置が行う学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶しており、そのタップ係数のセットのうちの、クラス分類部４３から供給される注目画素のクラスのタップ係数を読み出すことにより取得し、予測部４５に出力する。
【０３６１】
ここで、表示装置６０５では、上述したように、画像変換部６２１において、フォーマット変換部６０４（の信号変換部６１２）から供給される対応信号フォーマットのSD画像信号がHD画像信号に変換され、表示制御部６２２において、そのHD画像信号に対応するHD画像が、あらかじめ決められた表示装置６０５の表示フォーマット（以下、適宜、既定表示フォーマットという）で、ディスプレイ６２３に表示されるが、係数メモリ６５１に記憶されているタップ係数のセットは、対応信号フォーマットのSD画像信号を、ディスプレイ６２３に既定表示フォーマットで表示されるHD画像が高画質であるとユーザが感じるようなHD画像信号に変換する画像変換処理を行うものとなっている。
【０３６２】
次に、図３２のフローチャートを参照して、図３１の画像変換部６２１が行う画像変換処理について説明する。
【０３６３】
画像変換部６２１には、フォーマット変換部６０４（の信号変換部６１２）（図２５）から、対応信号フォーマットのSD画像信号が供給され、その対応信号フォーマットのSD画像信号は、タップ抽出部４１および４２に供給される。
【０３６４】
タップ抽出部４１は、ステップＳ６３１において、対応信号フォーマットのSD画像信号を第１の画像信号とするとともに、そのSD画像信号を高画質化したHD画像信号を第２の画像信号として、その第２の画像信号としてのHD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部４１と４２は、第１の画像信号としての対応信号フォーマットのSD画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部４１から予測部４５に供給され、クラスタップは、タップ抽出部４２からクラス分類部４３に供給される。
【０３６５】
クラス分類部４３は、タップ抽出部４２から、注目画素についてのクラスタップを受信し、ステップＳ６３２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部４３は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ６５１に出力し、ステップＳ６３３に進む。
【０３６６】
ステップＳ６３３では、係数メモリ６５１が、クラス分類部４３から供給される注目画素のクラスのタップ係数を読み出して出力し、ステップＳ６３４に進む。係数メモリ６５１が出力するタップ係数は、予測部４５において取得される。
【０３６７】
ステップＳ６３４では、予測部４５が、タップ抽出部４１が出力した予測タップと、係数メモリ６５１から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部４５は、以上のようにして、第２の画像信号としてのHD画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるHD画像信号を、表示制御部６２２（図２５）に出力する。
【０３６８】
次に、図３３のフローチャートを参照して、図２５の表示装置６０５の処理について説明する。
【０３６９】
表示装置６０５では、フォーマット変換部６０４からの対応信号フォーマットのSD画像信号が、画像変換部６２１に供給される。画像変換部６２１は、ステップＳ６４１において、図３２で説明したように、対応信号フォーマットのSD画像信号をHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号は、表示制御部６２２に供給される。
【０３７０】
表示制御部６２２は、ステップＳ６４２において、画像変換部６２１からのHD画像信号を、既定表示フォーマットで、ディスプレイ６２３に表示させる。
【０３７１】
次に、図３４は、画像変換部６２１（図３１）の係数メモリ６５１に記憶させるタップ係数のセットを求める学習を行う学習装置の構成例を示している。
【０３７２】
なお、図中、図９の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３４の学習装置は、制御部７２に代えて制御部６６１が設けられている他は、図９の学習装置と同様に構成されている。
【０３７３】
制御部６６１には、複数の初期信号フォーマットとして、例えば、既存の複数の信号フォーマットが設定されており、制御部６６１は、評価値算出部７１からの評価値に基づき、複数の初期信号フォーマット等の中から、疑似撮影画像生成部６２に生成させる疑似撮影画像信号としてのSD画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。
【０３７４】
また、制御部６６１には、複数の初期表示フォーマットとして、例えば、フォーマット変換部６０４（を有する受信装置６０３（図２４））に接続しうる、表示装置６０５を含む表示装置の表示フォーマットの一部またはすべてが設定されており、制御部６６１は、その複数の初期表示フォーマットを、順次、注目表示フォーマットとして、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。
【０３７５】
さらに、制御部６６１は、評価値算出部７１からの評価値に基づき、画像変換部７３が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ６６を制御することにより、係数メモリ６６に記憶させる。
【０３７６】
次に、図３５のフローチャートを参照して、図３４の学習装置が行う、タップ係数（のセット）を学習する学習処理について説明する。
【０３７７】
ステップＳ６６１において、制御部６６１は、例えば、図１９のステップＳ３１と同様に、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ６６２に進む。
【０３７８】
ステップＳ６６２では、制御部６６１は、例えば、図１９のステップＳ３２と同様に、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ６６３に進む。
【０３７９】
ステップＳ６６３では、学習装置（図３４）において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,jが決定される。
【０３８０】
即ち、ステップＳ６６３では、図２０のフローチャートで説明した場合と同様にして、注目信号フォーマットAiのSD画像信号を第１の画像信号として、画像変換部７３でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第２の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示されたHD画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
【０３８１】
そして、ステップＳ６６３からステップＳ６６４に進み、制御部６６１は、複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ６６３でタップ係数のセットを求めたかどうかを判定する。
【０３８２】
ステップＳ６６４において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ６６２に戻り、制御部６６１は、注目信号フォーマットAiに対して、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
【０３８３】
また、ステップＳ６６４において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ６６５に進み、制御部６６１は、複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ６６３でタップ係数のセットを求めたかどうかを判定する。
【０３８４】
ステップＳ６６５において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ６６１に戻り、制御部６６１は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、以下、同様の処理を繰り返す。
【０３８５】
また、ステップＳ６６５において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップＳ６６３で最適なタップ係数のセットが求められた場合、ステップＳ６６６に進み、制御部６６１は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせ（つまりは、初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせ）の中から、各初期表示フォーマットについて、仮の最適な初期信号フォーマットとタップ係数のセットを、仮に決定する（仮決定する）。
【０３８６】
即ち、複数の初期信号フォーマットとして、Ｉ通りの信号フォーマットがあり、複数の初期表示フォーマットとして、Ｊ通りの表示フォーマットがある場合には、ステップＳ６６３において、Ｉ×Ｊ通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、Ｉ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップＳ６６６では、そのＩ×Ｊ通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、Ｊ通りの初期表示フォーマットそれぞれについて、表示画像信号の評価値（ステップＳ６６３で得られる評価値）が最大の初期信号フォーマットとタップ係数のセットとの組み合わせが、仮の最適な初期信号フォーマットとタップ係数のセットとして決定される。
【０３８７】
ステップＳ６６６において、各初期表示フォーマットについて、仮の最適な信号フォーマットとタップ係数のセットが決定された後は、ステップＳ６６７に進み、制御部６６１は、再度、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに決定して、ステップＳ６６８に進む。
【０３８８】
ステップＳ６６８では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適なタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップＳ６６９に進む。
【０３８９】
ステップＳ６６９では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適な信号フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ６７０に進む。
【０３９０】
ステップＳ６７０では、制御部６６１が、注目表示フォーマットについて、直前のステップＳ６６８で求められた現在の仮の最適な信号フォーマットと、直前のステップＳ６６９で求められた現在の仮の最適なタップ係数のセットとが、最適化されたものであるかどうかを判定する。
【０３９１】
即ち、直前のステップＳ６６９の最適タップ係数セット決定処理では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適な信号フォーマットとの組み合わせについて、後述するようにして評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップＳ６７０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、注目表示フォーマットについて、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものであるかどうかを判定する。
【０３９２】
ステップＳ６７０において、注目表示フォーマットについての、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものでないと判定された場合、即ち、直前のステップＳ６６９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ６６８に戻り、同様の処理が繰り返される。
【０３９３】
また、ステップＳ６７０において、注目表示フォーマットについての、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものであると判定された場合、即ち、直前のステップＳ６６９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上であり、注目表示フォーマットについての最適な信号フォーマットとタップ係数のセットが求められた場合、制御部６６１は、注目表示フォーマット（を表す表示フォーマット情報）と、その注目表示フォーマットについて求められた最適な信号フォーマット（を表す信号フォーマット情報）とを対応付けたフォーマット対応関係情報を生成して記憶するとともに、注目表示フォーマットと、その注目表示フォーマットについて求められた最適なタップ係数のセットとを対応付けて記憶して、ステップＳ６７１に進む。
【０３９４】
ステップＳ６７１では、制御部６６１は、複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、複数の初期表示フォーマットそれぞれについて、最適化された信号フォーマットとタップ係数のセットとが求められたかどうかを判定する。
【０３９５】
ステップＳ６７１において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ６６７に戻り、制御部６６１は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの１つを、注目表示フォーマットに新たに決定し、以下、同様の処理を繰り返す。
【０３９６】
また、ステップＳ６７１において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、即ち、複数の初期表示フォーマットそれぞれについての最適な信号フォーマットとタップ係数のセットが求められた場合、学習処理は終了する。
【０３９７】
図３１の画像変換部６２１を構成する係数メモリ６５１には、図３５の学習処理で求められた複数の初期表示フォーマットそれぞれについての最適なタップ係数のセットのうちの、その画像変換部６２１を内蔵する表示装置６０５（図２５）の表示フォーマットについての最適なタップ係数のセットが記憶される。
【０３９８】
また、図２６の信号変換部６１２を構成する係数選択部６３６には、複数の初期表示フォーマットそれぞれと、各初期表示フォーマットについて図３５の学習処理で求められる、その初期表示フォーマットに最適な信号フォーマットとを対応付けたフォーマット対応関係情報が記憶され、係数選択部６３６は、上述したように、フォーマット対応関係情報において、表示フォーマット取得部６１３（図２５）からの表示フォーマット情報が表す表示装置６０５の表示フォーマットに対応付けられている信号フォーマット（対応信号フォーマット）を認識し、信号取得部６１１から供給されるカメラ信号フォーマット情報が表す信号フォーマットを第１の信号フォーマットとするとともに、対応信号フォーマットを第２の信号フォーマットとする第１／第２変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ６３４を制御する。
【０３９９】
そして、信号変換部６１２を内蔵する図２５のフォーマット変換部６０４では、表示装置６０５の表示フォーマットで表示したときにユーザが最も高画質であると感じるHD画像信号が得られる画像変換処理の対象となるSD画像信号の信号フォーマットを対応信号フォーマットとして、カメラ６０１からのSD画像信号が、対応信号フォーマットのSD画像信号に変換される。さらに、表示装置６０５（図２５）では、画像変換部６２１において、対応信号フォーマットのSD画像信号を対象に画像変換処理が行われ、表示制御部６２２において、その画像変換処理によって得られるHD画像が、表示装置６０５の表示フォーマットで表示される。
【０４００】
従って、対応信号フォーマットのSD画像信号のS/N等はともかく、フォーマット変換部６０４と表示装置６０５とを組み合わせたシステム全体としては、ユーザが高画質であると感じる画像を、ディスプレイ６２３に表示することができる。
【０４０１】
なお、図２６の信号変換部６１２を構成する係数メモリ６３４に記憶させる第１／第２変換タップ係数のセットを学習する図２９の学習装置では、上述したように、図３０の学習処理によって、各種の第１の信号フォーマットと第２の信号フォーマットの組み合わせについての第１／第２変換タップ係数のセットが求められるが、各種の第２の信号フォーマットには、図３５の学習処理で求められるフォーマット対応関係情報において複数の初期表示フォーマットそれぞれに対応付けられる複数の信号フォーマットが含まれている必要がある。
【０４０２】
また、図３５の学習処理では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、注目表示フォーマットについて、信号フォーマットおよびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマットおよびタップ係数のセットの組み合わせがが最適化されたと判定するようにすることが可能である。
【０４０３】
次に、図３６のフローチャートを参照して、図３５のステップＳ６６８の最適信号フォーマット決定処理について詳述する。
【０４０４】
ステップＳ６８１において、制御部６６１（図３４）は、現在の仮の（仮決定された）最適な信号フォーマットを基準として、例えば、図２１のステップＳ７１の場合と同様にして、最適な信号フォーマットの複数の候補を決定して、ステップＳ６８２に進む。
【０４０５】
ステップＳ６８２では、制御部６６１は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの１つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給して、ステップＳ６８３に進む。
【０４０６】
ステップＳ６８３では、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部６６１からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、画像変換部７３に供給して、ステップＳ６８４に進む。
【０４０７】
ステップＳ６８４では、制御部６６１が、注目表示フォーマットについての現在の仮の最適なタップ係数のセットを、係数メモリ６６に記憶させる。さらに、ステップＳ６８４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給される注目信号フォーマットのSD画像信号を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
【０４０８】
ステップＳ６８４の処理後は、ステップＳ６８５に進み、制御部６６１は、注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部６６１からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ６８５からステップＳ６８６に進む。
【０４０９】
ステップＳ６８６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ６８７に進む。
【０４１０】
ステップＳ６８７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０４１１】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部６６１に供給する。
【０４１２】
ここで、ステップＳ６８３乃至Ｓ６８７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部６６１は、注目信号フォーマットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
【０４１３】
その後、ステップＳ６８７からステップＳ６８８に進み、制御部６６１は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０４１４】
ステップＳ６８８において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ６８２に戻り、制御部６６１は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの１つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
【０４１５】
また、ステップＳ６８８において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ６８９に進み、制御部６６１は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、注目表示フォーマット（と、その注目表示フォーマットに対しての現在の仮の最適なタップ係数のセットとの組み合わせ）に対する最適な信号フォーマットに、新たに仮決定してリターンする。
【０４１６】
次に、図３７のフローチャートを参照して、図３５のステップＳ６６９の最適タップ係数セット決定処理について詳述する。
【０４１７】
ステップＳ６９１において、制御部６６１は、現在の仮の（仮決定された）最適なタップ係数のセットを基準として、例えば、図２３のステップＳ１１１の場合と同様にして、最適なタップ係数のセットの複数の候補を決定する。
【０４１８】
ステップＳ６９１の処理後はステップＳ６９２に進み、制御部６６１は、注目表示フォーマットに対して現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部６２に供給する。これにより、疑似撮影画像生成部６２は、学習データ記憶部６１に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部６６１からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、画像変換部７３に供給して、ステップＳ６９３に進む。
【０４１９】
ステップＳ６９３では、制御部６６１は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ６６を制御することにより記憶させ、ステップＳ６９４に進む。
【０４２０】
ステップＳ６９４では、画像変換部７３が、図２０のステップＳ５３と同様に、疑似撮影画像生成部６２から供給されるSD画像信号を第１の画像信号として、その第１の画像信号を、係数メモリ６６に記憶されている注目タップ係数セットとの演算によって、第２の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部６８に供給する。
【０４２１】
ステップＳ６９４の処理後は、ステップＳ６９５に進み、制御部６６１は、注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。これにより、表示制御部６８は、制御部６６１からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部７３が出力するHD画像信号に対応するHD画像を、ディスプレイ６９に表示させ、ステップＳ６９６に進む。
【０４２２】
ステップＳ６９６では、光検出器７０が、ディスプレイ６９に表示されたHD画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部７１に出力して、ステップＳ６９７に進む。
【０４２３】
ステップＳ６９７では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示されたHD画像を評価する。
【０４２４】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応するSHD画像信号を、学習データ記憶部６１から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部６６１に供給する。
【０４２５】
ここで、ステップＳ６９２、およびステップＳ６９４乃至Ｓ６９７の処理は、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部６６１は、注目タップ係数セットにつき、学習データ記憶部６１に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
【０４２６】
その後、ステップＳ６９７からステップＳ６９８に進み、制御部６６１は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０４２７】
ステップＳ６９８において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ６９３に戻り、制御部６６１は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
【０４２８】
また、ステップＳ６９８において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ６９９に進み、制御部６６１は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、注目表示フォーマット（と、その注目表示フォーマットに対しての現在の仮の最適な信号フォーマットとの組み合わせ）に対する最適なタップ係数のセットに、新たに仮決定してリターンする。
【０４２９】
以上のように、図３４の学習装置では、図３５で説明したように、各種の表示フォーマット（複数の初期表示フォーマット）それぞれについて、最適信号フォーマット決定処理および最適タップ係数セット決定処理を、評価値（ここでは、直前の最適タップ係数セット決定処理で得られる評価値）が最適化の判定用の閾値以上となるまで繰り返すことにより、表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数（のセット）、そのタップ係数を用いて行われる画像変換処理の対象となるSD画像信号の信号フォーマットを求める。
【０４３０】
従って、図３４の学習装置によれば、各種の表示フォーマットそれぞれで表示される表示画像がより高画質であるとユーザが感じるタップ係数および信号フォーマットを求めることができる。
【０４３１】
なお、図３６の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図３５のステップＳ６６８およびＳ６６９の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。タップ係数のセットについても同様である。
【０４３２】
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。タップ係数のセットについても同様である。
【０４３３】
次に、図３８は、画像を処理する画像処理システムの第３の構成例を示している。
【０４３４】
なお、図中、図２４の画像処理システムと対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０４３５】
図３８の画像処理システムは、カメラ６７１および表示装置６０５から構成されている。
【０４３６】
カメラ６７１は、フォーマット変換部６０４を内蔵しており、そのフォーマット変換部６０４には、表示装置６０５から、その表示フォーマットを表す表示フォーマット情報が供給される。
【０４３７】
カメラ６７１は、物体（被写体）を撮影し、その撮影によって得られる所定の信号フォーマットの撮影画像信号であるSD画像信号を得る。さらに、カメラ６７１では、その内蔵するフォーマット変換部６０４が、所定の信号フォーマットのSD画像信号を、表示装置６０５からの表示フォーマット情報が表す表示フォーマットに対応する対応信号フォーマットのSD画像信号に変換して出力する。
【０４３８】
カメラ６７１が出力する対応信号フォーマットのSD画像信号は、表示装置６０５に供給される。表示装置６０５では、カメラ６７１が出力する対応信号フォーマットのSD画像信号を対象に画像変換処理が行われ、その結果得られるHD画像信号に対応するHD画像が、表示装置６０５の表示フォーマットで表示される。
【０４３９】
従って、図３８の画像処理システムでは、カメラ６７１が出力する対応信号フォーマットのSD画像信号のS/N等はともかく、カメラ６７１と表示装置６０５からなる画像処理システムシステム全体としては、ユーザが高画質であると感じる画像を、表示装置６０５で表示することができる。
【０４４０】
次に、図３９は、画像を処理する画像処理システムの第４の構成例を示している。
【０４４１】
図３９において、画像処理システムは、カメラ（ビデオカメラ）７０１と表示装置７０２とで構成されている。
【０４４２】
カメラ７０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号である撮影画像信号としての、例えばSD画像信号を出力する。表示装置７０２は、カメラ７０１が出力する撮影画像信号を受信して、その撮影画像信号に画像処理を施し、その画像処理によって得られる画像信号（以下、適宜、画像処理後画像信号という）に対応する画像を表示する。
【０４４３】
なお、カメラ７０１は、例えば、単板式のカメラであり、ある信号フォーマットの撮影画像信号を出力するようになっている。
【０４４４】
図４０は、図３９の表示装置７０２の構成例を示している。
【０４４５】
表示装置７０２は、画像処理部７１１、表示制御部７１４、ディスプレイ７１５、信号フォーマット取得部７１６、表示フォーマット取得部７１７、操作部７１８、および制御部７１９で構成される。
【０４４６】
画像処理部７１１には、カメラ７０１が出力する撮影画像信号（ここでは、例えばSD画像信号）が供給される。画像処理部７１１は、例えば、前処理部７１２と画像変換部７１３から構成され、カメラ７０１からの撮影画像信号に対して、制御部７１９の制御にしたがった画像処理を施し、その結果得られる画像処理後画像信号を、表示制御部７１４に供給する。
【０４４７】
即ち、画像処理部７１１においては、前処理部７１２に、カメラ７０１からSD画像信号が供給される。前処理部７１２は、カメラ７０１からの撮影画像信号に対し、制御部７１９からの制御にしたがって、後段の画像変換処理部７１３での画像変換処理に適した信号を得るための前処理を施し、その前処理の結果得られる画像信号（以下、適宜、前処理後撮影画像信号ともいう）を、画像変換部７１３に供給する。
【０４４８】
画像変換部７１３は、前処理部７１２からの前処理後撮影画像信号を、第１の画像信号とするとともに、画像変換処理によって得ようとする画像信号を、第２の画像信号として、制御部７１９の制御にしたがい、あらかじめ行われた学習によって得られたタップ係数との演算によって、第１の画像信号としての前処理後撮影画像信号を、第２の画像信号に変換し、画像処理後画像信号として、表示制御部７１４に供給する。
【０４４９】
表示制御部７１４は、ある表示フォーマットで、画像変換部７１３から供給される画像処理後画像信号に対応する画像を、ディスプレイ７１５に表示させる表示制御を行う。
【０４５０】
ディスプレイ７１５は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部７１４の制御にしたがって、画像を表示する。
【０４５１】
信号フォーマット取得部７１６には、カメラ７０１が出力する撮影画像信号が供給される。信号フォーマット取得部７１６は、カメラ７０１からの撮影画像信号の信号フォーマットを検出する等して取得し、その信号フォーマットを表す信号フォーマット情報を、制御部７１９に供給する。
【０４５２】
表示フォーマット取得部７１７は、表示制御部７１４がディスプレイ７１５に画像を表示する表示フォーマットを表す表示フォーマット情報を、表示制御部７１４から取得し、制御部７１９に供給する。
【０４５３】
操作部７１８は、ユーザによって操作され、ユーザの操作に対応した指示を表す指示信号を、制御部７１９に供給する。ここで、指示信号には、例えば、ノイズ除去や、画像の拡大、SD画像のHD画像への変換などの、カメラ７０１からの撮影画像信号に対して施す画像処理（の内容）を指示する信号がある。
【０４５４】
制御部７１９は、操作部７１８から供給される指示信号にしたがい、撮影画像信号に対して施す画像処理を決定し、その画像処理と、信号フォーマット取得部７１６からの信号フォーマット情報および表示フォーマット取得部７１７からの表示フォーマット情報に応じて、画像処理部７１１の前処理部７１２と画像変換部７１３を制御する。
【０４５５】
次に、図４１は、図４０の前処理部７１２の構成例を示している。
【０４５６】
前処理部７１２は、例えば、前処理タップ抽出部７３１、前処理演算部７３２、および係数メモリ７３３から構成されている。
【０４５７】
前処理タップ抽出部７３１は、カメラ７０１（図４０）からの撮影画像信号に前処理を施して得ようとする前処理後撮影画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、カメラ７０１からの撮影画像信号から抽出する。そして、前処理タップ抽出部７３１は、注目画素に対して得た前処理タップを、前処理演算部７３２に供給する。
【０４５８】
なお、前処理タップ抽出部７３１は、制御部７１９（図４０）からの制御に応じて、その制御にしたがったタップ構造の前処理タップを得る。
【０４５９】
前処理演算部７３２は、係数メモリ７３３に記憶されている、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された前処理係数（セット）によって定義される所定の前処理用の関数の演算を、前処理タップ抽出部７３１から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として出力する。
【０４６０】
係数メモリ７３３は、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められている、前処理用の関数を定義する前処理係数セットを、複数セット記憶している。そして、係数メモリ７３３は、その複数セットの前処理係数セットの中から、制御部７１９（図４０）からの制御に応じた前処理係数セットを、有効な前処理係数セットとして選択し、前処理演算部７３２に供給する。
【０４６１】
ここで、上述した前処理演算部７３２では、係数メモリ７３３からの有効な前処理係数セットによって定義される前処理用の関数の演算が行われる。
【０４６２】
なお、前処理用の関数f()として、例えば、線形一次式を採用することとすると、前処理用の関数f(x1,x2,・・・,xM）は、式f(x1,x2,・・・,xM）=p1x1+p2x2+・・・+pMxMで表される。但し、x1,x2,・・・,xMは、注目画素についての前処理タップとしての複数の画素（M個の画素）の画素値を表し、p1,p2,・・・,pMは、係数メモリ７３３に記憶されている、前処理用の関数f()を定義する係数のセットを表す。
【０４６３】
次に、図４２は、図４０の画像変換部７１３の構成例を示している。
【０４６４】
なお、図中、図４の画像変換部１１と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４２の画像変換部７１３は、タップ抽出部４１，４２、クラス分類部４３、および予測部４５が設けられている点で、図４の画像変換部１１と共通するが、係数メモリ４４に代えて、係数メモリ７４１が設けられている点で、図４の画像変換部１１と相違している。
【０４６５】
係数メモリ７４１は、画像変換処理に用いられるタップ係数のセットを、複数セット記憶している。ここで、係数メモリ７４１に記憶されている複数のタップ係数のセットは、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められる。
【０４６６】
画像変換部７１３では、複数セットのタップ係数のセットのうちの、制御部７１９（図４０）からの制御に応じたタップ係数のセットが、有効なタップ係数のセットとされ、その有効なタップ係数のセット（有効タップ係数のセット）を用いて画像変換処理が行われる。
【０４６７】
即ち、画像変換部７１３では、前処理部７１２（図４０）からの前処理後撮影画像信号を、第１の画像信号とするとともに、画像処理後画像信号を、第２の画像信号として、タップ抽出部４１が、第２の画像信号としての画像処理後画像信号の画素を、順次、注目画素とし、その注目画素について、第１の画像信号としての前処理後撮影画像信号から、予測タップとする画素の画素値を抽出して、予測部４５に供給する。さらに、タップ抽出部４２が、注目画素について、第１の画像信号としての前処理後撮影画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部４３に供給する。
【０４６８】
クラス分類部４３は、タップ抽出部４２からのクラスタップに基づき、注目画素のクラスを求めるクラス分類を行い、その結果得られる注目画素のクラス（を表すクラスコード）を、係数メモリ７４１に供給する。係数メモリ７４１は、有効タップ係数のセットのうちの、クラス分類部４３からのクラスのタップ係数（のセット）を読み出して、予測部４５に出力する。
【０４６９】
予測部４５は、タップ抽出部４１からの予測タップと、係数メモリ７４１からのタップ係数とを用いて、例えば、上述した式（１）の演算を行い、これにより、第２の画像信号としての画像処理後画像信号の注目画素の画素値を求める（予測する）。
【０４７０】
次に、図４３のフローチャートを参照して、図４０の表示装置７０２の動作について説明する。
【０４７１】
表示装置７０２には、カメラ７０１からの撮影画像信号が供給される。表示装置７０２では、カメラ７０１からの撮影画像信号が受信され、画像処理部７１１の前処理部７１２と、信号フォーマット取得部７１６に供給される。
【０４７２】
そして、ステップＳ７０１において、制御部７１９は、操作部７１８から供給される指示信号に応じて、カメラ７０１からの撮影画像信号に施す画像処理を決定する。即ち、制御部７１９が撮影画像信号に施す画像処理として決定する画像処理を、決定処理ということとすると、制御部７１９は、例えば、ユーザが操作部７１８を操作することにより、操作部７１８から指示信号が供給された場合、その指示信号が指示する画像処理を決定処理に決定する。また、制御部７１９は、操作部７１８から指示信号が供給されていない場合、直前に、操作部７１８から供給された指示信号が指示する画像処理、または、あらかじめ決められたデフォルトの画像処理を、決定処理に決定する。
【０４７３】
一方、信号フォーマット取得部７１６は、ステップＳ７０２において、カメラ７０１からの撮影画像信号の信号フォーマットを取得し、その信号フォーマットを表す信号フォーマット情報を、制御部７１９に供給する。また、表示フォーマット取得部７１７は、ステップＳ７０３において、表示装置７０２の表示フォーマット（表示制御部７１４がディスプレイ７１５に画像を表示する表示フォーマット）を表す表示フォーマット情報を、表示制御部７１４から取得し、制御部７１９に供給する。
【０４７４】
そして、制御部７１９は、ステップＳ７０１で決定した決定処理、ステップＳ７０２で信号フォーマット取得部７１６から供給された信号フォーマット情報、およびステップＳ７０３で表示フォーマット取得部７１７から供給された表示フォーマット情報に応じて、画像処理部７１１を制御する。画像処理部７１１では、制御部７１９の制御にしたがい、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて異なる処理が行われることにより、決定処理としての画像処理が行われる。
【０４７５】
即ち、ステップＳ７０４では、前処理部７１２が、ステップＳ７０４1において、カメラ７０１からの撮影画像信号に対し、制御部７１９からの制御にしたがった前処理を施し、その前処理の結果得られる前処理後撮影画像信号を、画像変換部７１３に供給する。
【０４７６】
画像変換部７１３は、ステップＳ７０４2において、前処理部７１２からの前処理後撮影画像信号を、第１の画像信号とするとともに、画像処理後画像信号を、第２の画像信号として、制御部７１９の制御にしたがった画像変換処理を行う。
【０４７７】
ここで、以上のように、制御部７１９は、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて、画像処理部７１１を制御する。画像処理部７１１を構成する前処理部７１２と画像変換部７１３のそれぞれは、制御部７１９からの制御、即ち、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて異なる処理を行い、これにより、画像処理部７１１全体としては、決定処理が行われる。
【０４７８】
画像変換部７１３において画像変換処理が行われることにより得られる画像処理後画像信号は、表示制御部７１４に供給される。
【０４７９】
表示制御部７１４は、ステップＳ７０５において、あらかじめ決められたある表示フォーマットで、画像変換部７１３から供給される画像処理後画像信号に対応する画像を、ディスプレイ７１５に表示させる。
【０４８０】
次に、表示装置７０２（図４０）の前処理部７１２（図４１）における前処理タップ抽出部７３１が抽出する前処理タップのタップ構造と、係数メモリ７３３に記憶される前処理係数セット、および画像変換部７１３（図４２）の係数メモリ７４１に記憶されるタップ係数のセットの３つ（のパラメータ）は、例えば、HD画像よりも高画質のSHD画像を用いて学習を行うことにより決定される。
【０４８１】
図４４は、前処理タップのタップ構造、前処理係数セット、およびタップ係数のセットを求める学習を行う学習装置の構成例を示している。
【０４８２】
なお、図中、図９と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４４の学習装置は、疑似撮影画像生成部６２と制御部７２にそれぞれ代えて、学習対データ生成部７５１と制御部７５２が設けられているとともに、画像変換部７３に代えて、学習部２５５が設けられている他は、図９の学習装置と同様に構成されている。
【０４８３】
学習部２５５は、前処理部２６１および画像変換部２６２からなる。
【０４８４】
前処理部２６１は、図４０の前処理部７１２（図４１）と同様に構成され、制御部７５２の制御にしたがい、学習対データ生成部７５１から後述するように供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
【０４８５】
画像変換部２６２は、図４０の画像変換部７１３（図４２）と同様に構成され、制御部７５２の制御にしたがい、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。さらに、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
【０４８６】
学習対データ生成部７５１には、制御部７５２から、信号フォーマットを表す信号フォーマット情報と、図４０の操作部７１８が出力する指示信号によって指示することができる画像処理を表す処理情報が供給される。
【０４８７】
学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す信号フォーマットの画像信号を、生徒信号として生成する。さらに、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す画像処理を生徒信号に施すことにより得られる、いわば理想的な画像信号（画像処理後画像信号として理想的な画像信号）を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給する。
【０４８８】
制御部７５２には、評価値算出部７１から評価値が供給される。制御部７５２は、評価値算出部７１からの評価値に基づき、学習部２５５を構成する前処理部２６１および画像変換部２６２を制御する。具体的には、制御部７５２は、前処理部２６１での前処理に用いられる前処理タップのタップ構造および前処理係数セットの制御（設定）と、画像変換部２６２での画像変換処理に用いられるタップ係数のセットの制御とを行う。
【０４８９】
また、制御部７５２は、表示制御部６８が、学習部２５５の画像変換部２６２から供給される画像処理後画像信号に対応する画像をディスプレイ６９に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給する。さらに、制御部７５２は、信号フォーマット情報と処理情報を、学習対データ生成部７５１に供給する。
【０４９０】
次に、図４５のフローチャートを参照して、図４４の学習装置が行う、前処理タップのタップ構造、前処理係数セット、およびタップ係数のセットを学習する学習処理について説明する。
【０４９１】
まず最初に、ステップＳ７２１において、制御部７５２は、複数の信号フォーマットの中から、まだ、注目信号フォーマットとしていない信号フォーマットの１つを、注目信号フォーマットAiに決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、学習対データ生成部７５１に供給して、ステップＳ７２２に進む。
【０４９２】
ここで、図４４の学習装置には、学習処理に用いる複数の信号フォーマットがあらかじめ設定されており、制御部７５２は、そのあらかじめ設定されている複数の信号フォーマットの中から、注目信号フォーマットAiを決定する。なお、あらかじめ設定されている複数の信号フォーマットは、例えば、既存の信号フォーマットであっても良いし、既存の信号フォーマットを変形した新たな信号フォーマットであっても良い。
【０４９３】
ステップＳ７２２では、制御部７５２は、複数の表示フォーマットの中から、まだ、注目表示フォーマットとしていない表示フォーマットの１つを、注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部６８に供給して、ステップＳ７２３に進む。
【０４９４】
ここで、図４４の学習装置には、学習処理に用いる複数の表示フォーマットがあらかじめ設定されており、制御部７５２は、そのあらかじめ設定されている複数の表示フォーマットの中から、注目表示フォーマットBjを決定する。なお、あらかじめ設定されている複数の表示フォーマットは、例えば、既存の表示フォーマットであっても良いし、既存の表示フォーマットを変形した新たな表示フォーマットであっても良い。
【０４９５】
ステップＳ７２３では、制御部７５２は、複数の画像処理（の内容）の中から、まだ、注目処理としていない画像処理の１つを、注目処理Ckに決定し、その注目処理Ckを表す処理情報を、学習対データ生成部７５１に供給して、ステップＳ７２４に進む。
【０４９６】
ここで、図４４の学習装置には、学習処理に用いる複数の画像処理（の内容）があらかじめ設定されており、制御部７５２は、そのあらかじめ設定されている複数の画像処理の中から、注目処理Ckを決定する。なお、あらかじめ設定されている複数の画像処理は、図４０の操作部７１８が出力する指示信号によって指示することができる画像処理を少なくとも含む。
【０４９７】
ステップＳ７２４では、学習装置（図４４）において、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについて、前処理タップの最適なタップ構造Di,j,k、最適な前処理係数セットEi,j,k、および最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fi,j,kが決定される。
【０４９８】
即ち、ステップＳ７２４では、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについて、注目信号フォーマットAiの画像信号に対し、注目処理Ckを施して得られる画像信号に対応する画像を、注目表示フォーマットBjで表示した場合に、ユーザが最も高画質であると感じるように、注目処理Ckとしての画像処理である前処理および画像変換処理に用いられるタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが決定される。
【０４９９】
そして、ステップＳ７２４からステップＳ７２５に進み、制御部７５２は、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせに対して、あらかじめ設定されている複数の画像処理のすべてを、注目処理として、ステップＳ７２４でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた（決定された）かどうかを判定する。
【０５００】
ステップＳ７２５において、複数の画像処理のすべてが、まだ、注目処理とされていないと判定された場合、ステップＳ７２３に戻り、制御部７５２は、複数の画像処理のうちの、まだ、注目処理としていない画像処理の１つを、注目処理に新たに決定し、その注目処理を表す処理情報を、学習対データ生成部７５１に供給して、以下、同様の処理を繰り返す。
【０５０１】
また、ステップＳ７２５において、複数の画像処理のすべてが、注目処理とされたと判定された場合、ステップＳ７２６に進み、制御部７５２は、注目信号フォーマットAiに対して、あらかじめ設定されている複数の表示フォーマットのすべてを、注目表示フォーマットとして、ステップＳ７２４でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた（決定された）かどうかを判定する。
【０５０２】
ステップＳ７２６において、あらかじめ設定されている複数の表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップＳ７２２に戻り、制御部７５２は、複数の表示フォーマットのうちの、まだ、注目表示フォーマットとしていない表示フォーマットの１つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部６８に供給して、以下、同様の処理を繰り返す。
【０５０３】
また、ステップＳ７２６において、あらかじめ設定されている複数の表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップＳ７２７に進み、制御部７５２は、あらかじめ設定されている複数の信号フォーマットのすべてを、注目信号フォーマットとして、ステップＳ７２４でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた（決定された）かどうかを判定する。
【０５０４】
ステップＳ７２７において、あらかじめ設定されている複数の信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップＳ７２２に戻り、制御部７５２は、複数の信号フォーマットのうちの、まだ、注目信号フォーマットとしていない信号フォーマットの１つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、学習対データ生成部７５１に供給して、以下、同様の処理を繰り返す。
【０５０５】
また、ステップＳ７２７において、あらかじめ設定されている複数の信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて、最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットが求められた場合、学習処理は終了する。
【０５０６】
図４０の制御部７１９は、図４５の学習処理において、上述したように、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットを表す制御情報を記憶している。
【０５０７】
さらに、前処理部７１２の係数メモリ７３３（図４１）には、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた複数の前処理係数セットEi,j,kが記憶されており、画像変換部７１３の係数メモリ７４１（図４２）には、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた複数のタップ係数のセットが記憶されている。
【０５０８】
そして、図４０の表示装置７０２では、制御部７１９が、制御情報を参照することにより、信号フォーマット取得部７１６からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部７１７からの表示フォーマット、および操作部７１８からの指示信号が指示する画像処理の組み合わせについて最適なタップ構造、前処理係数セット、およびタップ係数のセットを認識する。
【０５０９】
さらに、制御部７１９は、前処理部７１２を制御することにより、前処理タップ抽出部７３１で得られる前処理タップのタップ構造を、制御情報を参照して認識した最適なタップ構造とさせるとともに、係数メモリ７３３に記憶されている複数の前処理係数セットのうちの、制御情報を参照して認識した最適な前処理係数セットを有効にさせる。
【０５１０】
また、制御部７１９は、画像変換部７１３を制御することにより、係数メモリ７４１に記憶されている複数のタップ係数のセットのうちの、制御情報を参照して認識した最適なタップ係数のセットを有効にさせる。
【０５１１】
これにより、前処理部７１２においては、信号フォーマット取得部７１６からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部７１７からの表示フォーマット、および操作部７１８からの指示信号が指示する画像処理の組み合わせに応じて異なる前処理（異なるタップ構造の前処理タップと、異なる前処理係数セットとを用いた前処理）が行われる。
【０５１２】
また、画像変換部７１３においても、信号フォーマット取得部７１６からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部７１７からの表示フォーマット、および操作部７１８からの指示信号が指示する画像処理の組み合わせに応じて異なる画像変換処理（異なるタップ係数のセットを用いた画像変換処理）が行われる。
【０５１３】
そして、図３９の画像処理システムでは、カメラ７０１が出力する撮影画像信号や、前処理部７１２（図４０）の前処理で得られる画像信号、画像変換部７１３で得られる画像信号のS/N等はともかく、カメラ７０１と表示装置７０２からなる画像処理システムシステム全体としては、ユーザが高画質であると感じる画像を、表示装置７０２で表示することができる。
【０５１４】
次に、図４６のフローチャートを参照して、図４５のステップＳ７２４の処理の詳細について説明する。
【０５１５】
ステップＳ７４１において、制御部７５２は、複数の初期タップ構造の中から、注目タップ構造とする初期タップ構造Dmを決定し、その注目タップ構造Dmを表すタップ構造情報を、学習部２５５の前処理部２６１に供給して、ステップＳ７４２に進む。
【０５１６】
即ち、図４４の学習装置には、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定（決定）されており、制御部７５２は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７５２は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの１つを注目タップ構造Dmに決定（設定）し、その注目タップ構造Dmを表すタップ構造情報を、前処理部２６１に供給する。
【０５１７】
具体的には、図４４の学習装置には、例えば、注目画素の位置に最も近い画素を中心とする横×縦が３×３の画素や、注目画素の位置に最も近い画素を中心として横方向に並ぶ９画素と縦方向に並ぶ５画素などといったような、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定（決定）されており、制御部７５２は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ（図示せず）に記憶している。そして、制御部７５２は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの１つを注目タップ構造Dmに決定（設定）し、その注目タップ構造Dmを表すタップ構造情報を、前処理部２６１に供給する。
【０５１８】
ここで、Dmは、例えば、複数の初期タップ構造のうちのm番目の初期タップ構造を表す。
【０５１９】
ステップＳ７４２では、制御部７５２は、前処理部２６１が前処理に用いる前処理係数のセットである注目前処理係数セットEnを決定する。即ち、例えば、注目タップ構造Dmの前処理タップを構成する画素（の画素値）の数をXとするとともに、前処理係数のビット数をYとすると、注目タップ構造Dmの前処理タップに対して前処理係数のセットが取り得る場合の数は、X×２Y通りだけ存在するが、制御部７５２は、そのX×２Y通りの前処理係数のセットのうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットEnに決定する。
【０５２０】
そして、制御部７５２は、注目前処理係数セットEnを、前処理部２６１に供給して、ステップＳ７４２からステップＳ７４３に進む。
【０５２１】
ステップＳ７４３では、学習装置（図４４）において、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、仮の最適なタップ係数のセット（式（１）の演算で用いられる、各クラスのタップ係数(ｘ1，ｘ2，・・・，ｘN)のセット）Fm,nが決定される。
【０５２２】
即ち、ステップＳ７４３では、注目タップ構造Dmの前処理タップと、注目前処理係数セットEnとを用い、SD画像信号に対して前処理を施すことにより得られる前処理後撮影画像信号を第１の画像信号として、タップ係数のセットを用いた画像変換処理を行うことにより得られる、第２の画像信号としての、第１の画像信号に注目処理Ckとしての画像処理を施して得られる理想的な画像信号（画像処理後画像信号）に対応する画像を、注目表示フォーマットBjで、ディスプレイ６９に表示した場合に、そのディスプレイ６９に表示された画像としての光を光検出器７０で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、仮の最適なタップ係数のセットFm,nとして求められる。
【０５２３】
そして、ステップＳ７４３からステップＳ７４４に進み、制御部７５２は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたかどうかを判定する。
【０５２４】
ステップＳ７４４において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、まだ、注目前処理係数セットとしていないと判定された場合、ステップＳ７４２に戻り、制御部７５２は、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのうちの、まだ、注目前処理係数セットとしていないものの１つを、新たに、注目前処理係数セットに決定して、同様の処理を繰り返す。
【０５２５】
また、ステップＳ７４４において、注目タップ構造Dmの前処理タップに対して取り得るX×２Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたと判定された場合、ステップＳ７４５に進み、制御部７５２は、内蔵するメモリに記憶されている複数のタップ構造情報が表す複数の初期タップ構造のすべてを、注目タップ構造としたかどうかを判定する。
【０５２６】
ステップＳ７４５において、複数の初期タップ構造のすべてが、まだ、注目タップ構造とされていないと判定された場合、ステップＳ７４１に戻り、制御部７５２は、複数の初期タップ構造のうちの、まだ、注目タップ構造としていない初期タップ構造の１つを、注目タップ構造に決定し、同様の処理を繰り返す。
【０５２７】
また、ステップＳ７４５において、複数の初期タップ構造のすべてが、注目タップ構造とされたと判定された場合、即ち、複数の初期タップ構造と、取り得る前処理係数セットとの組み合わせすべてについて、ステップＳ７４３で最適なタップ係数のセットが求められた場合、ステップＳ７４６に進み、制御部７５２は、ステップＳ７４３で求められたタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせの中から、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせを、仮に決定する（仮決定する）。
【０５２８】
即ち、初期タップ構造としてM通りのタップ構造があり、前処理係数セットが取り得る値の場合の数がN通りある場合には、（初期）タップ構造および前処理係数セットの組み合わせとして、M×N通りの組み合わせが存在し、ステップＳ７４３では、そのM×N通りの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められる。従って、ステップＳ７４３では、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、M×N×J通りだけ得られるが、ステップＳ７４６では、そのM×N通りの組み合わせ（タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせ）の中から、表示画像信号の評価値が最大の組み合わせが、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせとして仮決定される。
【０５２９】
ステップＳ７４６において、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップＳ７４７に進み、現在の最適な前処理係数セットとタップ係数のセットとの組み合わせについて、最適なタップ構造を仮決定する最適タップ構造決定処理が行われ、ステップＳ７４８に進む。
【０５３０】
ステップＳ７４８では、現在の最適なタップ構造とタップ係数のセットとの組み合わせについて、最適な前処理係数セットを仮決定する最適前処理係数セット決定処理が行われ、ステップＳ７４９に進む。
【０５３１】
ステップＳ７４９では、現在の最適なタップ構造と前処理係数セットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップＳ７５０に進む。
【０５３２】
ステップＳ７５０では、制御部７５２が、直前のステップＳ７４７で求められた現在の仮の最適なタップ構造、直前のステップＳ７４８で求められた現在の仮の最適な前処理係数セット、および直前のステップＳ７４９で求められた現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
【０５３３】
即ち、直前のステップＳ７４９の最適タップ係数セット決定処理では、現在の仮の最適なタップ構造と前処理係数セットとの組み合わせについて、評価値算出部７１が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定される。ステップＳ７５０では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である（より大きい）かどうかによって、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
【０５３４】
ステップＳ７５０において、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップＳ７４９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップＳ７４７に戻り、同様の処理が繰り返される。
【０５３５】
また、ステップＳ７５０において、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップＳ７４９で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上であり、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたものとなった場合、ステップＳ７５１に進み、制御部７５２は、そのタップ構造、前処理係数セット、およびタップ係数のセットを、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについての最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kに決定し、内蔵するメモリに記憶してリターンする。
【０５３６】
なお、図４６のステップＳ７５０では、ステップＳ７４９の最適タップ係数セット決定処理で得られたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、ステップＳ７４９の最適化処理が、所定の回数だけ繰り返された場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
【０５３７】
また、ステップＳ７５０では、ステップＳ７４９の最適タップ係数セット決定処理で得られたタップ係数のセットについての評価値の他、ステップＳ7４７の最適タップ構造決定処理で得られたタップ構造についての評価値、または、ステップＳ７４８の最適前処理係数セット決定処理で得られた前処理係数セットについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしても良い。
【０５３８】
次に、図４７のフローチャートを参照して、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、最適なタップ係数のセットFm,nを決定する図４６のステップＳ７４３の処理について、詳述する。
【０５３９】
学習対データ生成部７５１は、ステップＳ７６１において、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ７６２に進む。ステップＳ７６２では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像信号（画像処理後画像信号として理想的な画像信号）を、教師信号として生成する。
【０５４０】
即ち、例えば、注目処理Ckとしての画像処理が、ノイズ除去処理である場合、学習対データ生成部７５１は、生徒信号としての画像信号のS/Nを良くした画像信号を教師信号として生成する（教師信号としての画像信号にノイズを付加した画像信号を、生徒信号として生成する）。
【０５４１】
そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ７６２からステップＳ７６３に進む。
【０５４２】
ステップＳ７６３では、制御部７５２が、注目タップ構造Dm、および注目前処理係数セットEnに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される学習対データのうちの生徒信号としての注目信号フォーマットAiの疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
【０５４３】
即ち、前処理部２６１は、学習対データ生成部７５１から供給される注目信号フォーマットAiの疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造Dmの前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される注目信号フォーマットAiの疑似撮影画像信号から抽出する。さらに、前処理部２６１は、注目前処理係数セットEnによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
【０５４４】
そして、制御部７５２は、ステップＳ７６４において、学習部２５５の画像変換部２６２が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβと、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×２γ通りだけ存在するが、制御部７５２は、そのα×β×２γ通りのタップ係数のセットのうちの、今回の図４７の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定する。
【０５４５】
さらに、制御部７５２は、注目タップ係数セットを、画像変換部２６２に供給して、ステップＳ７６４からＳ７６５に進む。
【０５４６】
ステップＳ７６５では、画像変換部２６２が、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、直前のステップＳ７６４で制御部７５２から供給された注目タップ係数セットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
【０５４７】
ステップＳ７６５の処理後は、ステップＳ７６６に進み、表示制御部６８は、制御部７５２から供給された表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部２６２が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ７６６からステップＳ７６７に進む。
【０５４８】
ステップＳ７６７では、光検出器７０が、ディスプレイ６９に表示された画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ７６８に進む。
【０５４９】
ステップＳ７６８では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
【０５５０】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習データ記憶部６１からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
【０５５１】
ここで、ステップＳ７６５乃至Ｓ７６８の処理は、ステップＳ７６１およびＳ７６２で生成された学習対データのすべてに対して行われる。そして、制御部７５２は、注目タップ係数セットにつき、学習対データのすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
【０５５２】
その後、ステップＳ７６８からステップＳ７６９に進み、制御部７５２は、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
【０５５３】
ステップＳ７６９において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×２γ通りのタップ係数のセットの中に、今回の図４７の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップＳ７６４に戻り、制御部７５２は、α×β×２γ通りのタップ係数のセットのうちの、今回の図４７の処理において、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
【０５５４】
また、ステップＳ７６９において、タップ係数のセットが取り得るα×β×２γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップＳ７７０に進み、制御部７５２は、α×β×２γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについての最適なタップ係数のセットFm,nとして決定（仮決定）してリターンする。
【０５５５】
なお、図４６のステップＳ７４６では、図４７のステップＳ７７０で最適なタップ係数のセットに決定されたタップ係数のセットについての評価値が最大のタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせに仮決定される。
【０５５６】
次に、図４８のフローチャートを参照して、図４６のステップＳ７４７の最適タップ構造決定処理について詳述する。
【０５５７】
ステップＳ７８１において、制御部７５２は、現在の仮の最適なタップ構造を基準として、そのタップ構造を、あらかじめ決められた変形ルールにしたがって変形することにより、最適なタップ構造の複数の候補を決定する。
【０５５８】
即ち、例えば、いま、注目画素の位置に最も近い画素を中心とする横×縦が３×３の隣接する画素が、現在の仮の最適なタップ構造であるとすると、制御部７５２は、例えば、注目画素の位置に最も近い画素を中心とする横×縦が３×３の１画素おきの画素や、２画素おきの画素などの、現在の仮の最適なタップ構造を変形したタップ構造を、最適なタップ構造の複数の候補として決定する。
【０５５９】
なお、最適なタップ構造の複数の候補を得るために、現在の仮の最適なタップ構造を、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部７５２は、その変形ルールにしたがって、現在の仮の最適なタップ構造を変形して、最適なタップ構造の複数の候補を決定する。
【０５６０】
また、最適なタップ構造の複数の候補には、現在の仮の最適なタップ構造も含まれる。
【０５６１】
ステップＳ７８１の処理後はステップＳ７８２に進み、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ７８３に進む。ステップＳ７８３では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ７８３からステップＳ７８４に進む。
【０５６２】
ステップＳ７８４では、制御部７５２は、最適なタップ構造の複数の候補のうちの、まだ、注目タップ構造としていないものの１つを、注目タップ構造に決定し、ステップＳ７８５に進む。
【０５６３】
ステップＳ７８５では、制御部７５２が、注目タップ構造、および現在の仮の最適な前処理係数セットに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
【０５６４】
即ち、前処理部２６１は、学習対データ生成部７５１から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される疑似撮影画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
【０５６５】
画像変換部２６２は、ステップＳ７８６において、制御部７５２から、現在の仮の最適なタップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、制御部７５２からの現在の仮の最適なタップ係数のセットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
【０５６６】
ステップＳ７８６の処理後は、ステップＳ７８７に進み、表示制御部６８が、制御部７５２からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部２６２が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ７８８に進む。
【０５６７】
ステップＳ７８８では、光検出器７０が、ディスプレイ６９に表示された画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ７８９に進む。
【０５６８】
ステップＳ７８９では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
【０５６９】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習対データ生成部７５１からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
【０５７０】
ここで、ステップＳ７８５乃至Ｓ７８９の処理は、ステップＳ７８２およびＳ７８３で生成された学習対データすべてに対して行われる。そして、制御部７５２は、注目タップ構造につき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ構造についての最終的な評価値として、一時記憶する。
【０５７１】
その後、ステップＳ７８９からステップＳ７９０に進み、制御部７５２は、ステップＳ７８１で決定した最適なタップ構造の複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０５７２】
ステップＳ７９０において、最適なタップ構造の複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ７８４に戻り、制御部７５２は、最適なタップ構造の複数の候補のうちの、まだ注目タップ構造としていないものの１つを、注目タップ構造に新たに決定し、以下、同様の処理が繰り返される。
【０５７３】
また、ステップＳ７９０において、最適なタップ構造の複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ７９１に進み、制御部７５２は、最適なタップ構造の複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な前処理係数セットおよびタップ係数のセットの組み合わせに対する最適なタップ構造に、新たに仮決定してリターンする。
【０５７４】
次に、図４９のフローチャートを参照して、図４６のステップＳ７４８の最適前処理係数セット決定処理について詳述する。
【０５７５】
ステップＳ８０１において、制御部７５２は、現在の仮の最適な前処理係数セットを基準として、あらかじめ決められたルールに基づき、最適な前処理係数セットの複数の候補を決定する。
【０５７６】
即ち、制御部７５２は、例えば、現在の仮の最適な前処理係数セットの各前処理係数をコンポーネントとするΦ次元のベクトル（この場合、前処理係数セットとしての前処理係数の総数がΦ個）が表す、Φ次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のΦ次元のベクトル（のコンポーネント）を、最適な前処理係数セットの複数の候補として決定する。なお、最適な前処理係数セットの複数の候補を得るために、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部７５２は、そのルールにしたがって、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適な前処理係数セットの複数の候補を決定する。
【０５７７】
ステップＳ８０１の処理後は、ステップＳ８０２に進み、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ８０３に進む。ステップＳ８０３では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ８０３からステップＳ８０４に進む。
【０５７８】
ステップＳ８０４では、制御部７５２は、最適な前処理係数セットの複数の候補のうちの、まだ、注目前処理係数セットとしていないものの１つを、注目前処理係数セットに決定し、ステップＳ８０５に進む。
【０５７９】
ステップＳ８０５では、制御部７５２が、現在の仮の最適なタップ構造、および注目前処理係数セットに基づく前処理を行うように、前処理部２６１を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
【０５８０】
即ち、前処理部２６１は、学習対データ生成部７５１から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される生徒信号としての疑似撮影画像信号から抽出する。さらに、前処理部２６１は、注目前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
【０５８１】
画像変換部２６２は、ステップＳ８０６において、制御部７５２から、現在の仮の最適なタップ係数のセットの供給を受ける。さらに、画像変換部２６２は、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、制御部７５２からの現在の仮の最適なタップ係数のセットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
【０５８２】
ステップＳ８０６の処理後は、ステップＳ８０７に進み、表示制御部６８は、制御部７５２からの表示フォーマット情報が表す注目最適な表示フォーマットBjで、画像変換部２６２が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ８０８に進む。
【０５８３】
ステップＳ８０８では、光検出器７０が、ディスプレイ６９に表示された画像（表示画像）としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ８０９に進む。
【０５８４】
ステップＳ８０９では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
【０５８５】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習対データ生成部７５１からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
【０５８６】
ここで、ステップＳ８０５乃至Ｓ８０９の処理は、ステップＳ８０２およびＳ８０３で生成された学習対データすべてに対して行われる。そして、制御部７５２は、注目前処理係数セットにつき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目前処理係数セットについての最終的な評価値として、一時記憶する。
【０５８７】
その後、ステップＳ８０９からステップＳ８１０に進み、制御部７５２は、ステップＳ８０１で決定した最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０５８８】
ステップＳ８１０において、最適な前処理係数セットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ８０４に戻り、制御部７５２は、最適な前処理係数セットの複数の候補のうちの、まだ注目前処理係数セットとしていないものの１つを、注目前処理係数セットに新たに決定し、以下、同様の処理が繰り返される。
【０５８９】
また、ステップＳ８１０において、最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ８１１に進み、制御部７５２は、最適な前処理係数セットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造およびタップ係数のセットの組み合わせに対する最適な前処理係数セットに、新たに仮決定してリターンする。
【０５９０】
次に、図５０のフローチャートを参照して、図４６のステップＳ７４９の最適タップ係数セット決定処理について詳述する。
【０５９１】
ステップＳ８３１において、制御部７５２は、図２３のステップＳ１１１の場合と同様に、現在の仮の最適なタップ係数のセットを基準として、あらかじめ決められたルールに基づき、最適なタップ係数のセットの複数の候補を決定する。
【０５９２】
ステップＳ８３１の処理後は、ステップＳ８３２に進み、学習対データ生成部７５１は、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号（疑似撮影画像信号）を、生徒信号として生成して、ステップＳ８３３に進む。ステップＳ８３３では、学習対データ生成部７５１が、学習データ記憶部６１に記憶されている学習データから、制御部７５２からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部７５１は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号（処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号）とのセットを、学習対データとして、評価値算出部７１および学習部２５５に供給して、ステップＳ８３３からステップＳ８３４に進む。
【０５９３】
ステップＳ８３４では、制御部７５２は、現在の仮の最適なタップ構造と前処理係数セットに基づく前処理を行うように、前処理部２６１（図４４）を制御する。これにより、前処理部２６１は、制御部７５２の制御にしたがい、学習対データ生成部７５１から学習部２５５に供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部２６２に供給する。
【０５９４】
即ち、前処理部２６１は、学習対データ生成部７５１から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部７５１から供給される疑似撮影画像信号から抽出する。さらに、前処理部２６１は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部２６２に供給する。
【０５９５】
ステップＳ８３５では、制御部７５２は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの１つを、注目タップ係数セットに決定し、その注目タップ係数セットを、画像変換部２６２に供給して、ステップＳ８３６に進む。
【０５９６】
ステップＳ８３６では、画像変換部２６２は、前処理部２６１から供給される前処理後撮影画像信号を第１の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第２の画像信号として、直前のステップＳ８３５で制御部７５２から供給された注目タップ係数セットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部２６２は、画像変換処理によって得られる画像処理後画像信号を、表示制御部６８に供給する。
【０５９７】
ステップＳ８３６の処理後は、ステップＳ８３７に進み、表示制御部６８は、制御部７５２からの表示フォーマット情報が表す注目表示フォーマットBjで、学習部２５５が出力する画像処理後画像信号に対応する画像を、ディスプレイ６９に表示させ、ステップＳ８３８に進む。
【０５９８】
ステップＳ８３８では、光検出器７０が、ディスプレイ６９に表示された表示画像としての光を検出し（光電変換し）、その光に対応する電気信号である表示画像信号を、評価値算出部７１に出力して、ステップＳ８３９に進む。
【０５９９】
ステップＳ８３９では、評価値算出部７１が、光検出器７０からの表示画像信号、ひいては、ディスプレイ６９に表示された画像を評価する。
【０６００】
即ち、評価値算出部７１は、光検出器７０からの表示画像信号に対応する教師信号を、学習対データ生成部７５１から供給される学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ６９に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部７５２に供給する。
【０６０１】
ここで、ステップＳ８３４、およびステップＳ８３６乃至Ｓ８３９の処理は、ステップＳ８３２およびＳ８３３で生成された学習対データすべてに対して行われる。そして、制御部７５２は、注目タップ係数セットにつき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
【０６０２】
その後、ステップＳ８３９からステップＳ８４０に進み、制御部７５２は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
【０６０３】
ステップＳ８４０において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップＳ８３５に戻り、制御部７５２は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの１つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
【０６０４】
また、ステップＳ８４０において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップＳ８４１に進み、制御部７５２は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造および前処理係数セットの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
【０６０５】
次に、図５１は、画像を処理する画像処理システムの第５の構成例を示している。
【０６０６】
図５１において、画像処理システムは、カメラ１００１、送信装置１００２、受信装置１００３、および表示装置１００４から構成されている。
【０６０７】
カメラ１００１は、物体（被写体）を撮影し、その撮影によって得られる画像信号として、既存の信号フォーマットである、例えば、D1フォーマットのSD画像信号を出力する。
【０６０８】
即ち、カメラ１００１は、イメージャ１０１１、画像変換部１０１２、およびI/F(Interface)１０１３から構成される。
【０６０９】
イメージャ１０１１は、例えば、CCDやCMOSイメージャなどの光電変換素子であり、そこに入射する光を光電変換し、その結果得られる電気信号である、所定の信号フォーマットのSD画像信号、即ち、例えば、ベイヤフォーマットのSD画像信号を出力する。
【０６１０】
イメージャ１０１１が出力するベイヤフォーマットのSD画像信号は、画像変換部１０１２に供給される。画像変換部１０１２は、イメージャ１０１１からのベイヤフォーマットのSD画像信号を、後段のI/F１０１３から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F１０１３に供給する。
【０６１１】
I/F１０１３は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部１０１２から供給されるD1フォーマットのSD画像信号を外部に出力する。
【０６１２】
カメラ１００１のI/F１０１３から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、送信装置１００２に送信される。
【０６１３】
送信装置１００２は、カメラ１００１からのD1フォーマットのSD画像信号を受信し、例えば、テレビジョン放送信号として送信する。
【０６１４】
即ち、送信装置１００２は、I/F１０２１、画像変換部１０２２、信号処理部１０２３、画像変換部１０２４、およびI/F１０２５から構成される。
【０６１５】
I/F１０２１は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、カメラ１００１（のI/F１０１３）からのD1フォーマットのSD画像信号を受信し、画像変換部１０２２に供給する。
【０６１６】
画像変換部１０２２は、コンポーネント信号である、I/F１０２１からのD1フォーマットのSD画像信号を、後段の信号処理部１０２３で処理することができる、例えば、コンポジット信号のSD画像信号に変換する画像変換処理を行い、その結果得られるコンポジット信号のSD画像信号を、信号処理部１０２３に供給する。
【０６１７】
信号処理部１０２３は、画像変換部１０２２からのコンポジット信号のSD画像信号に対して所定の信号処理を施し、その信号処理の結果得られるコンポジット信号のSD画像信号を、画像変換部１０２４に供給する。
【０６１８】
画像変換部１０２４は、信号処理部１０２３からのコンポジット信号のSD画像信号を、後段のI/F１０２５から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F１０２５に供給する。
【０６１９】
I/F１０２５は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部１０２４から供給されるD1フォーマットのSD画像信号を外部に出力する。
【０６２０】
送信装置１００２のI/F１０２５から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、テレビジョン放送信号として、受信装置１００３に送信される。
【０６２１】
受信装置１００３は、例えば、テレビジョン放送信号を受信するチューナなどであり、送信装置１００２から送信されてくるD1フォーマットのSD画像信号を受信する。
【０６２２】
即ち、受信装置１００３は、I/F１０３１、画像変換部１０３２、信号処理部１０３３、画像変換部１０３４、およびI/F１０３５から構成される。
【０６２３】
I/F１０３１は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、送信装置１００２（のI/F１０２５）からのD1フォーマットのSD画像信号を受信し、画像変換部１０３２に供給する。
【０６２４】
画像変換部１０３２は、I/F１０３１からのD1フォーマットのSD画像信号を、後段の信号処理部１０３３で処理することができる、例えば、輝度信号と色差信号（以下、両方まとめてY/C信号という）に変換する画像変換処理を行い、その結果得られるY/C信号を、信号処理部１０３３に供給する。
【０６２５】
信号処理部１０３３は、画像変換部１０３２からのY/C信号に対して所定の信号処理を施し、その信号処理の結果得られるY/C信号を、画像変換部１０３４に供給する。
【０６２６】
画像変換部１０３４は、信号処理部１０３３からのY/C信号を、後段のI/F１０３５から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F１０３５に供給する。
【０６２７】
I/F１０３５は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部１０３４から供給されるD1フォーマットのSD画像信号を外部に出力する。
【０６２８】
受信装置１００３のI/F１０３５から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、表示装置１００４に送信される。
【０６２９】
表示装置１００４は、例えば、受信装置１００３からのD1フォーマットのSD画像信号を受信し、対応する画像を表示する。
【０６３０】
即ち、表示装置１００４は、I/F１０４１、画像変換部１０４２、表示制御部１０４３、およびディスプレイ１０４４から構成される。
【０６３１】
I/F１０４１は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、受信装置１００３（のI/F１０３５）からのD1フォーマットのSD画像信号を受信し、画像変換部１０４２に供給する。
【０６３２】
画像変換部１０４２は、I/F１０４１からのD1フォーマットのSD画像信号を、後段の表示制御部１０４３でディスプレイ１０４４への表示をすることができる、例えば、１画素につき、R,G,Bの色成分を画素値として有するRGB画像信号に変換する画像変換処理を行い、その結果得られるRGB画像信号を、表示制御部１０４３に供給する。
【０６３３】
表示制御部１０４３は、画像変換部１０４２からのRGB画像信号に対応する画像を、ディスプレイ１０４４に表示させる。
【０６３４】
ディスプレイ１０４４は、CRTやLCDパネル等で構成され、既存の表示フォーマットである、例えば、ストライプで画像を表示する。
【０６３５】
以上のように構成される画像処理システムでは、カメラ１００１において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部１０１２の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して出力する。
【０６３６】
カメラ１００１が出力したD1フォーマットのSD画像信号は、送信装置１００２に供給される。送信装置１００２は、カメラ１００１からのD1フォーマットのSD画像信号を、画像変換部１０２２の画像変換処理によって、内部の信号処理部１０２３の信号処理に適したコンポジット信号のSD画像信号に変換し、信号処理を施す。さらに、送信装置１００２は、信号処理後のコンポジット信号のSD画像信号を、画像変換部１０２４の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して送信する。
【０６３７】
送信装置１００２が送信したD1フォーマットのSD画像信号は、受信装置１００３において受信される。受信装置１００３は、送信装置１００２からのD1フォーマットのSD画像信号を、画像変換部１０３２の画像変換処理によって、内部の信号処理部１０３３の信号処理に適したY/C信号に変換し、信号処理を施す。さらに、受信装置１００３は、信号処理後のY/C信号を、画像変換部１０３４の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して出力する。
【０６３８】
受信装置１００３が出力したD1フォーマットのSD画像信号は、表示装置１００４に供給される。表示装置１００４は、受信装置１００３からのD1フォーマットのSD画像信号を、ディスプレイ１０４４への表示に適したRGB画像信号に変換し、そのRGB画像信号に対応する画像を表示する。
【０６３９】
以上のように、図５１の画像処理システムを構成するカメラ１００１、送信装置１００２、および受信装置１００３のいずれも、既存の信号フォーマットであるD1フォーマットのSD画像信号を出力するので、D1フォーマットの画像信号を入力するI/Fを有する装置は、カメラ１００１、送信装置１００２、および受信装置１００３のいずれの出力も受け付ける（入力する）ことができる。
【０６４０】
また、図５１の画像処理システムを構成する送信装置１００２、受信装置１００３、および表示装置１００４のいずれも、既存の信号フォーマットであるD1フォーマットのSD画像信号を受け付けることができるので、送信装置１００２、受信装置１００３、および表示装置１００４は、D1フォーマットの画像信号を出力するI/Fを有する装置であれば、どのような装置の出力であっても受け付けることができる。
【０６４１】
ところで、図５１の画像処理システムでは、カメラ１００１、送信装置１００２、受信装置１００３、および表示装置１００４において、１の信号を他の１の信号に変換する処理が行われる。
【０６４２】
即ち、カメラ１００１では、ベイヤフォーマットのSD画像信号をD1フォーマットのSD画像信号に変換する処理が行われ、送信装置１００２では、D1フォーマットのSD画像信号をコンポジット信号のSD画像信号に変換する処理と、コンポジット信号のSD画像信号をD1フォーマットのSD画像信号に変換する処理とが行われる。また、受信装置１００３では、D1フォーマットのSD画像信号をY/C信号に変換する処理と、Y/C信号をD1フォーマットのSD画像信号に変換する処理とが行われ、表示装置１００４では、D1フォーマットのSD画像信号をRGB画像信号に変換する処理が行われる。
【０６４３】
１の信号を他の１の信号に変換する処理では、一般に、信号成分のロス（S/Nの低下を含む）が生じるが、クラス分類適応処理による画像変換処理によれば、クラス分類適応処理は、上述したように、信号成分の創造作用がある処理であるため、信号成分のロスを最小限に抑えること（より低減すること）ができる。
【０６４４】
そこで、図５１の画像処理システムのカメラ１００１、送信装置１００２、受信装置１００３、および表示装置１００４では、１の信号を他の１の信号に変換する処理に、クラス分類適応処理による画像変換処理が採用されている。
【０６４５】
即ち、図５１において、カメラ１００１の画像変換部１０１２、送信装置１００２の画像変換部１０２２および１０２４、受信装置１００３の画像変換部１０３２および１０３４、並びに表示装置１００４の画像変換部１０４２は、クラス分類適応処理による画像変換処理を行う。
【０６４６】
図５２は、図５１の画像変換部１０１２の構成例を示している。
【０６４７】
画像変換部１０１２は、タップ抽出部１０６１および１０６２、クラス分類部１０６３、係数メモリ１０６４、並びに予測部１０６５から構成される。
【０６４８】
画像変換部１０１２には、イメージャ１０１１からのベイヤフォーマットのSD画像信号が、第１の画像信号として供給される。そして、第１の画像信号としてのSD画像信号は、タップ抽出部１０６１および１０６２に供給される。
【０６４９】
タップ抽出部１０６１は、第１の画像信号としてのベイヤフォーマットのSD画像信号を変換して得ようとするD1フォーマットのSD画像信号を、第２の画像信号（この第２の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される）として、その第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第１の画像信号から抽出する。
【０６５０】
具体的には、タップ抽出部１０６１は、注目画素に対応する、第１の画像信号の画像の位置（例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第１の画像信号の画像上の位置）に対して、空間的または時間的に近い位置関係にある複数の画素（例えば、注目画素に対応する、第１の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など）の画素値を、予測タップとして抽出する。
【０６５１】
タップ抽出部１０６２は、注目画素を、幾つか（複数）のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第１の画像信号から抽出する。
【０６５２】
タップ抽出部１０６１で得られた予測タップは、予測部１０６５に供給され、タップ抽出部１０６２で得られたクラスタップは、クラス分類部１０６３に供給される。
【０６５３】
クラス分類部１０６３は、タップ抽出部１０６２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数メモリ１０６４に供給する。
【０６５４】
ここで、クラス分類を行う方法としては、図４のクラス分類部４３で説明したのと同様の方法を採用することができる。
【０６５５】
係数メモリ１０６４は、学習に用いられる学習データとして用意された高画質の画像信号から生成された、第１の画像信号と第２の画像信号とにそれぞれ相当する生徒信号としての画像信号と教師信号としての画像信号との組み合わせである学習対データを用いた学習によってあらかじめ求められているクラスごとのタップ係数（のセット）を記憶している。即ち、係数メモリ１０６４は、クラス分類部１０６３で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数のセットを記憶している。係数メモリ１０６４は、クラスごとのタップ係数のセットのうちの、クラス分類部１０６３から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数のセットを出力する。
【０６５６】
予測部１０６５は、タップ抽出部１０６１が出力する予測タップと、係数メモリ１０６４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部１０６５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
【０６５７】
次に、図５３のフローチャートを参照して、図５２の画像変換部１０１２が行う画像変換処理について説明する。
【０６５８】
タップ抽出部１０６１では、イメージャ１０１１から供給される第１の画像信号としてのSD画像信号に対応する第２の画像信号としてのD1フォーマットのSD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップＳ１００１において、タップ抽出部１０６１と１０６２が、そこに供給される第１の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部１０６１から予測部１０６５に供給され、クラスタップは、タップ抽出部１０６２からクラス分類部１０６３に供給される。
【０６５９】
クラス分類部１０６３は、タップ抽出部１０６２から、注目画素についてのクラスタップを受信し、ステップＳ１００２において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１０６３は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ１０６４に出力し、ステップＳ１００３に進む。
【０６６０】
ステップＳ１００３では、係数メモリ１０６４が、クラス分類部１０６３から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップＳ１００４に進む。係数メモリ１０６４が出力するタップ係数は、予測部１０６５において取得される。
【０６６１】
ステップＳ１００４では、予測部１０６５が、タップ抽出部１０６１が出力した予測タップと、係数メモリ１０６４から取得したタップ係数とを用いて、所定の予測演算としての式（１）の演算を行うことにより、注目画素の画素値、即ち、第２の画像信号の画素の画素値を求める。予測部１０６５は、以上のようにして、第２の画像信号の画素の画素値を、例えば１フレーム分求めるごとに、その第２の画像信号であるD1フォーマットのSD画像信号を出力する。
【０６６２】
次に、図５４は、図５２の係数メモリ１０６４に記憶されるタップ係数のセットを求める学習処理を行う学習装置の構成例を示している。
【０６６３】
図５４の学習装置は、学習データ記憶部１０７１、学習対データ生成部１０７２、タップ抽出部１０７３，１０７４、クラス分類部１０７５、正規方程式生成部１０７６、およびタップ係数算出部１０７７から構成され、上述した正規方程式を用いる学習方法、つまり、式（８）の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
【０６６４】
学習データ記憶部１０７１は、学習データとして、例えば、SHD画像信号、HD画像信号、またはSD画像信号を記憶している。
【０６６５】
学習対データ生成部１０７２は、学習データ記憶部１０７１に記憶されている学習データとしての画像信号のフレームを、順次、注目フレームとして、注目フレームから、生徒信号としての、第１の画像信号に相当するベイヤフォーマットのSD画像信号と、教師信号としての、第２の画像信号に相当するD1フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部１０７３および１０７４、並びに正規方程式生成部１０７６に供給する。
【０６６６】
タップ抽出部１０７３は、学習対データ生成部１０７２から供給される学習対データのうちの教師信号としてのD1フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から、予測タップとする画素の画素値を抽出し、図５２の画像変換部１０１２を構成するタップ抽出部１０６１で得られるのと同一のタップ構造の予測タップを、正規方程式生成部１０７６に供給する。
【０６６７】
タップ抽出部１０７４は、注目画素について、学習対データ生成部１０７２から供給されるベイヤフォーマットのSD画像信号から、クラスタップとする画素の画素値を抽出し、図５２の画像変換部１０１２を構成するタップ抽出部１０６２で得られるのと同一のタップ構造のクラスタップを、クラス分類部１０７５に供給する。
【０６６８】
クラス分類部１０７５は、タップ抽出部１０７４から供給されるクラスタップに基づき、図５２の画像変換部１０１２を構成するクラス分類部１０６３と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部１０７６に供給する。
【０６６９】
正規方程式生成部１０７６は、学習対データ生成部１０７２から供給される学習対データの教師信号としてのD1フォーマットのSD画像信号のうちの、注目画素（の画素値）ｙkと、タップ抽出部１０６１から供給される注目画素についての予測タップを構成する画素（の画素値）ｘn,kとを対象とした足し込みを、クラス分類部１０７５から供給されるクラスごとに行う。
【０６７０】
即ち、正規方程式生成部１０７６は、クラス分類部１０７５から供給されるクラスごとに、タップ抽出部１０７３から供給される注目画素についての予測タップを構成するベイヤフォーマットのSD画像信号の画素（第１の画素）ｘn,kを用い、式（８）の左辺の行列における第１の画素どうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０６７１】
さらに、正規方程式生成部１０７６は、やはり、クラス分類部１０７５から供給されるクラスごとに、第１の画素ｘn,kとD1フォーマットのSD画像信号の画素（注目画素）ｙkを用い、式（８）の右辺のベクトルにおける、第１の画素ｘn,kおよび注目画素ｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０６７２】
即ち、正規方程式生成部１０７６は、前回、注目画素とされたD1フォーマットのSD画像信号の画素（第２の画素）について求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶している。
【０６７３】
そして、正規方程式生成部１０７６は、メモリに記憶している行列のコンポーネント（Σｘn,kｘn',k）に対して、新たに注目画素とされた第２の画素についての予測タップを構成する第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1を足し込む（式（８）における左辺の行列内のサメーションで表される加算を行う）とともに、メモリに記憶しているベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた第２の画素について、その第２の画素ｙk+1および第１の画素ｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｙk+1を足し込む（式（８）における右辺のベクトル内のサメーションで表される加算を行う）。
【０６７４】
正規方程式生成部１０７６は、学習対データ生成部１０７２から供給される学習対データの教師信号としてのD1フォーマットのSD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１０７７に供給する。
【０６７５】
タップ係数算出部１０７７は、正規方程式生成部１０７６から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数（式（４）の自乗誤差の総和Ｅを最小にするタップ係数）ｗnのセットを求める。
【０６７６】
次に、図５５のフローチャートを参照して、図５４の学習装置が行う、タップ係数のセットを求める学習処理について説明する。
【０６７７】
図５４の学習装置では、ステップＳ１０１１において、学習対データ生成部１０７２が、学習データ記憶部１０７１に記憶されている学習データから、生徒信号としてのベイヤフォーマットのSD画像信号と、教師信号としてのD1フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部１０７３および１０７４、並びに正規方程式生成部１０７６に供給して、ステップＳ１０１２に進む。
【０６７８】
ステップＳ１０１２では、タップ抽出部１０７３が、学習対データ生成部１０７２から供給される学習対データのうちの教師信号としてのD1フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、予測タップとなる画素の画素値を、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から抽出し、正規方程式生成部１０７６に供給する。
【０６７９】
また、タップ抽出部１０７４が、注目画素について、クラスタップとなる画素の画素値を、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から抽出し、クラス分類部１０７５に供給する。
【０６８０】
クラス分類部１０７５は、ステップＳ１０１３において、タップ抽出部１０７４からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部１０７６に供給して、ステップＳ１０１４に進む。
【０６８１】
ステップＳ１０１４では、正規方程式生成部１０７６は、学習対データ生成部１０７２からの学習対データのうちの、注目画素（の画素値）と、タップ抽出部１０７３から供給される注目画素について得られた予測タップを構成するベイヤフォーマットのSD画像信号の画素（の画素値）とを対象として、クラス分類部１０７５から供給されるクラスについてたてられた式（８）の足し込みを、上述したように行う。
【０６８２】
そして、正規方程式生成部１０７６は、学習対データ生成部１０７２から供給された学習対データの教師信号としてのD1フォーマットのSD画像信号の画素すべてを注目画素として、ステップＳ１０１４の足し込みを行うと、その足し込みによって得られた各クラスの正規方程式（クラスごとの式（８）における左辺の行列と、右辺のベクトル）を、タップ係数算出部１０７７に供給して、ステップＳ１０１４からステップＳ１０１５に進む。
【０６８３】
ステップＳ１０１５では、タップ係数算出部１０７７は、正規方程式生成部１０７６から供給される各クラスの正規方程式（クラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式）を解くことにより、各クラスごとのタップ係数のセットを求める。
【０６８４】
以上の学習処理においてタップ係数算出部１０７７で求められたタップ係数のセットが、図５２の画像変換部１０１２を構成する係数メモリ１０６４に記憶されている。
【０６８５】
なお、図５１のカメラ１００１の画像変換部１０１２の他、送信装置１００２の画像変換部１０２２および１０２４、受信装置１００３の画像変換部１０３２および１０３４、並びに表示装置１００４の画像変換部１０４２も、図５２に示したように構成される。但し、係数メモリ１０６４に記憶されるタップ係数のセットは、画像変換部１０１２，１０２２，１０２４，１０３２，１０３４，１０４２それぞれごとに異なる。
【０６８６】
即ち、ベイヤフォーマットのSD画像信号をD1フォーマットの画像信号に変換する画像変換部１０１２を構成する係数メモリ１０６４には、上述したように、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０６８７】
また、D1フォーマットのSD画像信号をコンポジット信号のSD画像信号に変換する画像変換部１０２２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、コンポジット信号のSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０６８８】
さらに、コンポジット信号のSD画像信号をD1フォーマットのSD画像信号に変換する画像変換部１０２４を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたコンポジット信号のSD画像信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０６８９】
同様に、D1フォーマットのSD画像信号をY/C信号に変換する画像変換部１０３２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、Y/C信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶され、Y/C信号をD1フォーマットのSD画像信号に変換する画像変換部１０３４を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたY/C信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０６９０】
また、D1フォーマットのSD画像信号をRGB画像信号に変換する画像変換部１０４２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０６９１】
次に、図５６は、画像を処理する画像処理システムの第６の構成例を示している。
【０６９２】
なお、図中、図５１の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０６９３】
図５６において、画像処理システムは、カメラ１１０１、送信装置１１０２、受信装置１１０３、および表示装置１１０４から構成されている。
【０６９４】
カメラ１１０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号として、既存の信号フォーマットである、例えば、D1フォーマットのSD画像信号を出力する。
【０６９５】
即ち、カメラ１１０１は、イメージャ１０１１、画像変換部１１１１、およびI/F(Interface)１１１２から構成される。
【０６９６】
画像変換部１１１１には、イメージャ１０１１が出力するベイヤフォーマットのSD画像信号が供給される。画像変換部１１１１は、イメージャ１０１１からのベイヤフォーマットのSD画像信号を、後段の送信装置１１０２で処理することができるコンポジット信号のSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるコンポジット信号のSD画像信号を、I/F１１１２に供給する。
【０６９７】
I/F１１１２は、コンポジット信号のSD画像信号の入出力を行うためのインタフェースで、画像変換部１１１１から供給されるコンポジット信号のSD画像信号を外部に出力する。
【０６９８】
カメラ１１０１のI/F１１１２から出力されるコンポジット信号のSD画像信号は、有線または無線による通信によって、送信装置１１０２に送信される。
【０６９９】
送信装置１１０２は、カメラ１１０１からのコンポジット信号のSD画像信号を受信し、例えば、テレビジョン放送信号として送信する。
【０７００】
即ち、送信装置１１０２は、I/F１１２１、信号処理部１０２３、画像変換部１１２２、およびI/F１１２３から構成される。
【０７０１】
I/F１１２１は、コンポジット信号のSD画像信号の入出力を行うためのインタフェースで、カメラ１１０１（のI/F１１１２）からのコンポジット信号のSD画像信号を受信し、コンポジット信号を処理することができる信号処理部１０２３に供給する。
【０７０２】
画像変換部１１２２は、信号処理部１０２３が出力するコンポジット信号のSD画像信号を、後段の受信装置１１０３で処理することができるY/C信号に変換する画像変換処理を行い、その画像変換処理によって得られるY/C信号を、I/F１１２３に供給する。
【０７０３】
I/F１１２３は、Y/C信号の入出力を行うためのインタフェースで、画像変換部１１２２から供給されるY/C信号を外部に出力する。
【０７０４】
送信装置１１０２のI/F１１２３から出力されるY/C信号は、有線または無線による通信によって、テレビジョン放送信号として、受信装置１１０３に送信される。
【０７０５】
受信装置１１０３は、例えば、テレビジョン放送信号を受信するチューナなどであり、送信装置１１０２から送信されてくるY/C信号を受信する。
【０７０６】
即ち、受信装置１１０３は、I/F１１３１、信号処理部１０３３、画像変換部１１３２、およびI/F１１３３から構成される。
【０７０７】
I/F１１３１は、Y/C信号の入出力を行うためのインタフェースで、送信装置１１０２（のI/F１１２３）からのY/C信号を受信し、Y/C信号を処理することができる信号処理部１０３３に供給する。
【０７０８】
画像変換部１１３２は、信号処理部１０３３が出力するY/C信号を、後段の表示装置１１０４での表示に用いることができるRGB画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるRGB画像信号を、I/F１１３３に供給する。
【０７０９】
I/F１１３３は、RGB画像信号の入出力を行うためのインタフェースで、画像変換部１１３２から供給されるRGB画像信号を外部に出力する。
【０７１０】
受信装置１１０３のI/F１１３３から出力されるRGB画像信号は、有線または無線による通信によって、表示装置１１０４に送信される。
【０７１１】
表示装置１１０４は、例えば、受信装置１１０３からのRGB画像信号を受信し、対応する画像を表示する。
【０７１２】
即ち、表示装置１１０４は、I/F１１４１、表示制御部１０４３、およびディスプレイ１０４４から構成される。
【０７１３】
I/F１１４１は、RGB画像信号の入出力を行うためのインタフェースで、受信装置１１０３（のI/F１１３３）からのRGB画像信号を受信し、RGB画像信号に対応する画像の表示を制御する表示制御部１０４３に供給する。
【０７１４】
以上のように構成される画像処理システムでは、カメラ１１０１において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部１１１１の画像変換処理によって、後段の送信装置１１０２での処理に適したコンポジット信号のSD画像信号に変換して出力する。
【０７１５】
送信装置１１０２では、信号処理部１０２３において、カメラ１１０１からのコンポジット信号のSD画像信号に信号処理が施され、信号処理後のコンポジット信号のSD画像信号が、画像変換部１１２２の画像変換処理によって、後段の受信装置１１０３での処理に適したY/C信号に変換されて送信される。
【０７１６】
受信装置１１０３は、信号処理部１０３３において、送信装置１１０２からのY/C信号に信号処理を施し、信号処理後のY/C信号を、画像変換部１１３２の画像変換処理によって、後段の表示装置１１０４での処理に適したRGB画像信号に変換して出力する。
【０７１７】
そして、表示装置１１０４では、表示制御部１０４３が、受信装置１１０３からのRGB画像信号に対応する画像を、ディスプレイ１０４４に表示する。
【０７１８】
以上のように、図５６の画像処理システムでは、カメラ１１０１が、後段の送信装置１１０２の処理に適したコンポジット信号のSD画像信号を出力し、送信装置１１０２が、やはり後段の受信装置１１０３の処理に適したY/C信号を出力する。同様に、受信装置１１０３も、後段の表示装置１１０４の処理に適したRGB画像信号を出力する。
【０７１９】
従って、図５６の画像処理システムでは、送信装置１１０２は、D1フォーマットのSD画像信号を、信号処理部１０２３での処理に適したコンポジット信号のSD画像信号に変換する画像変換部１０２２（図５１）を設けずに構成することができる。
【０７２０】
また、受信装置１１０３は、D1フォーマットのSD画像信号を、信号処理部１０３３での処理に適したY/C信号に変換する画像変換部１０３２（図５１）を設けずに構成することができる。同様に、表示装置１１０４も、D1フォーマットのSD画像信号を、表示制御部１０４３での画像の表示に適したRGB画像信号に変換する画像変換部１０４２（図５１）を設けずに構成することができる。
【０７２１】
なお、図５６の画像処理システムのカメラ１１０１の画像変換部１１１１、送信装置１１０２の画像変換部１１２２、および受信装置１１０３の画像変換部１１３２でも、信号成分のロスを最小限に抑える（より低減する）ために、画像変換処理には、クラス分類適応処理を採用することができる。
【０７２２】
この場合、画像変換部１１１１，１１２２、および１１３２は、図５２に示した画像変換部１０１２と同様に構成される。但し、係数メモリ１０６４（図５１）に記憶されるタップ係数のセットは、画像変換部１１１１，１１２２，１１３２それぞれごとに異なる。
【０７２３】
即ち、ベイヤフォーマットのSD画像信号をコンポジット信号の画像信号に変換する画像変換部１１１１を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、コンポジット信号のSD画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０７２４】
また、コンポジット信号のSD画像信号をY/C信号に変換する画像変換部１１２２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたコンポジット信号のSD画像信号と、Y/C信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０７２５】
さらに、Y/C信号をRGB画像信号に変換する画像変換部１１３２を構成する係数メモリ１０６４には、学習データとしての画像信号から生成されたY/C信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットが記憶される。
【０７２６】
次に、図５７は、画像を処理する画像処理システムの第７の構成例を示している。
【０７２７】
なお、図中、図５１または図５６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０７２８】
図５７において、画像処理システムは、カメラ１２０１と表示装置１１０４から構成されている。
【０７２９】
カメラ１２０１は、物体（被写体）を撮影し、その撮影によって得られる画像信号として、後段の表示装置１１０４での表示に用いることができるRGB画像信号を出力する。
【０７３０】
即ち、カメラ１２０１は、イメージャ１０１１、画像変換部１２１１、およびI/F１２１２から構成される。
【０７３１】
画像変換部１２１１には、イメージャ１０１１が出力するベイヤフォーマットのSD画像信号が供給される。画像変換部１２１１は、イメージャ１０１１からのベイヤフォーマットのSD画像信号を、後段の表示装置１１０４での表示に用いることができるRGB画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるRGB画像信号を、I/F１２１２に供給する。
【０７３２】
I/F１２１２は、RGB画像信号の入出力を行うためのインタフェースで、画像変換部１２１１から供給されるRGB画像信号を外部に出力する。
【０７３３】
カメラ１２０１のI/F１２１２から出力されるRGB画像信号は、有線または無線による通信によって、表示装置１２０２に供給される。
【０７３４】
以上のように構成される画像処理システムでは、カメラ１２０１において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部１２１１の画像変換処理によって、後段の表示装置１１０４での処理に適したRGB画像信号に変換して出力する。
【０７３５】
そして、表示装置１１０４では、表示制御部１０４３が、カメラ１２０１からのRGB画像信号に対応する画像を、ディスプレイ１０４４に表示する。
【０７３６】
以上のように、図５７の画像処理システムでは、カメラ１２０１が、後段の表示装置１１０４の処理に適したRGB画像信号を出力する。
【０７３７】
従って、図５７の画像処理システムでは、図５６の場合と同様に、表示装置１１０４は、D1フォーマットのSD画像信号を、表示制御部１０４３での画像の表示に適したRGB画像信号に変換する画像変換部１０４２（図５１）を設けずに構成することができる。
【０７３８】
なお、図５７の画像処理システムのカメラ１２０１の画像変換部１２１１でも、信号成分のロスを最小限に抑える（より低減する）ために、画像変換処理には、クラス分類適応処理を採用することができる。
【０７３９】
この場合、画像変換部１２１１は、図５２に示した画像変換部１０１２と同様に構成される。但し、係数メモリ１０６４（図５２）に記憶されるタップ係数のセットは、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図５５の学習処理を行うことにより得られるタップ係数のセットである必要がある。
【０７４０】
図５６や図５７の画像処理システムのように、前段の装置（例えば、図５７のカメラ１２０１）において、内部で得たある信号フォーマットの画像信号（例えば、ベイヤフォーマットのSD画像信号）を、後段の装置（例えば、図５７の表示装置１１０４）での処理に適した信号フォーマットの画像信号（例えば、RGB画像信号）を出力することにより、後段の装置は、前段の装置のように、後段の装置での処理に適した信号フォーマットの画像信号を出力する装置にしか接続することができなくなるが（前段の装置は、その前段の装置が出力する信号フォーマットの画像信号を受け付けることができる、後段の装置のような装置にしか接続することができなくなるが）、後段の装置では、前段の装置からの画像信号の信号フォーマットを変換せずに、信号処理を行うことができる。
【０７４１】
なお、図５６や図５７の画像処理システムでは、前段の装置において、内部で得たある信号フォーマットの画像信号を、後段の装置での処理に適した信号フォーマットの画像信号を出力するようにしたが、その他、前段の装置では、内部で得たある信号フォーマットの画像信号をそのまま出力し、後段の装置では、前段の装置が出力する画像信号を、後段の装置の処理に適した信号フォーマットの画像信号に変換してから、信号処理を行うようにすることが可能である。
【０７４２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０７４３】
そこで、図５８は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０７４４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２００５やＲＯＭ２００３に予め記録しておくことができる。
【０７４５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２０１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２０１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０７４６】
なお、プログラムは、上述したようなリムーバブル記録媒体２０１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２００８で受信し、内蔵するハードディスク２００５にインストールすることができる。
【０７４７】
コンピュータは、CPU(Central Processing Unit)２００２を内蔵している。CPU２００２には、バス２００１を介して、入出力インタフェース２０１０が接続されており、CPU２００２は、入出力インタフェース２０１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２００７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２００３に格納されているプログラムを実行する。あるいは、また、CPU２００２は、ハードディスク２００５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２００８で受信されてハードディスク２００５にインストールされたプログラム、またはドライブ２００９に装着されたリムーバブル記録媒体２０１１から読み出されてハードディスク２００５にインストールされたプログラムを、RAM(Random Access Memory)２００４にロードして実行する。これにより、CPU２００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２００６から出力、あるいは、通信部２００８から送信、さらには、ハードディスク２００５に記録等させる。
【０７４８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０７４９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０７５０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０７５１】
【図１】画像の処理を行う画像処理システムの第１の構成例を示すブロック図である。
【図２】表示装置２の構成例を示すブロック図である。
【図３】表示装置２の処理を説明するフローチャートである。
【図４】画像変換部１２の構成例を示すブロック図である。
【図５】画像変換部１２の処理を説明するフローチャートである。
【図６】表示フォーマットの例を示す図である。
【図７】ストライプフォーマットを基準として変形した表示フォーマットの例を示す図である。
【図８】ベイヤフォーマットを基準として変形した信号フォーマットの例を示す図である。
【図９】最適な信号フォーマット、表示フォーマット、タップ係数を学習する学習装置の構成例を示すブロック図である。
【図１０】SHD画像とHD画像とを示す図である。
【図１１】疑似撮影画像を生成する生成方法を説明する図である。
【図１２】疑似撮影画像を生成する生成方法を説明する図である。
【図１３】HD画像と、ディスプレイ６９の表示画面とを示す図である。
【図１４】HD画像と、ディスプレイ６９の表示画面とを示す図である。
【図１５】HD画像と、ディスプレイ６９の表示画面とを示す図である。
【図１６】ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。
【図１７】ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。
【図１８】ディスプレイ６９に表示された表示画像を評価する評価方法を説明する図である。
【図１９】最適な信号フォーマット、表示フォーマット、タップ係数を学習する学習装置の処理を説明するフローチャートである。
【図２０】ステップＳ３３の処理の詳細を説明するフローチャートである。
【図２１】ステップＳ３７の処理の詳細を説明するフローチャートである。
【図２２】ステップＳ３８の処理の詳細を説明するフローチャートである。
【図２３】ステップＳ３９の処理の詳細を説明するフローチャートである。
【図２４】画像の処理を行う画像処理システムの第２の構成例を示すブロック図である。
【図２５】フォーマット変換部６０４と表示装置６０５の構成例を示すブロック図である。
【図２６】信号変換部６１２の構成例を示すブロック図である。
【図２７】信号変換部６１２の処理を説明するフローチャートである。
【図２８】フォーマット変換部６０４の処理を説明するフローチャートである。
【図２９】信号変換部６１２が用いるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図３０】信号変換部６１２が用いるタップ係数を学習する学習装置の処理を説明するフローチャートである。
【図３１】画像変換部６２１の構成例を示すブロック図である。
【図３２】画像変換部６２１の処理を説明するフローチャートである。
【図３３】表示装置６０５の処理を説明するフローチャートである。
【図３４】各表示フォーマットに対して、最適な信号フォーマットとタップ係数を学習する学習装置の構成例を示すブロック図である。
【図３５】各表示フォーマットに対して、最適な信号フォーマットとタップ係数を学習する学習装置の処理を説明するフローチャートである。
【図３６】ステップＳ６６８の処理の詳細を説明するフローチャートである。
【図３７】ステップＳ６６９の処理の詳細を説明するフローチャートである。
【図３８】画像の処理を行う画像処理システムの第３の構成例を示すブロック図である。
【図３９】画像の処理を行う画像処理システムの第４の構成例を示すブロック図である。
【図４０】表示装置７０２の構成例を示すブロック図である。
【図４１】前処理部７１２の構成例を示すブロック図である。
【図４２】画像変換部７１３の構成例を示すブロック図である。
【図４３】表示装置７０２の処理を説明するフローチャートである。
【図４４】信号フォーマットと表示フォーマットとの組合せに対して、最適な画像処理、タップ構造、前処理係数、タップ係数を学習する学習装置の構成例を示すブロック図である。
【図４５】信号フォーマットと表示フォーマットとの組合せに対して、最適な画像処理、タップ構造、前処理係数、タップ係数を学習する学習装置の処理を説明するフローチャートである。
【図４６】ステップＳ７２４の処理の詳細を説明するフローチャートである。
【図４７】ステップＳ７４３の処理の詳細を説明するフローチャートである。
【図４８】ステップＳ７４６の処理の詳細を説明するフローチャートである。
【図４９】ステップＳ７４７の処理の詳細を説明するフローチャートである。
【図５０】ステップＳ７４８の処理の詳細を説明するフローチャートである。
【図５１】画像の処理を行う画像処理システムの第５の構成例を示すブロック図である。
【図５２】画像変換部１０１２の構成例を示すブロック図である。
【図５３】画像変換部１０１２の処理を説明するフローチャートである。
【図５４】画像変換部１０１２で用いるタップ係数を学習する学習装置の構成例を示すブロック図である。
【図５５】画像変換部１０１２で用いるタップ係数を学習する学習装置の処理を説明するフローチャートである。
【図５６】画像の処理を行う画像処理システムの第６の構成例を示すブロック図である。
【図５７】画像の処理を行う画像処理システムの第７の構成例を示すブロック図である。
【図５８】画像の処理を行うプログラムを実行するコンピュータの構成例を示すブロック図である。
【符号の説明】
【０７５２】
１  カメラ，  ２  表示装置，  １１  画像変換部，  １２  表示制御部，  １３  ディスプレイ，  ４１，４２  タップ抽出部，  ４３  クラス分類部，  ４４  係数メモリ，  ４５  予測部，  ６１  学習データ記憶部，  ６２  疑似撮影画像生成部，  ６３，６４  タップ抽出部，  ６５  クラス分類部，  ６６  係数メモリ，  ６７  予測部，  ６８  表示制御部，  ６９  ディスプレイ，  ７０  光検出器，  ７１  評価値算出部，  ７２  制御部，  ７３  画像変換部，  ２５５  学習部，  ２６１  前処理部，  ２６２  画像変換部，  ６０１  カメラ，  ６０２  送信装置，  ６０３  受信装置，  ６０４  フォーマット変換部，  ６０５  表示装置，  ６１１  信号取得部，  ６１２  信号変換部，  ６１３  表示フォーマット取得部，  ６２１  画像変換部，  ６２２  表示制御部，  ６２３  ディスプレイ，  ６３１，６３２  タップ抽出部，  ６３３  クラス分類部，  ６３４  係数メモリ，  ６３５  予測部，  ６３６  係数選択部，  ６４１  学習データ記憶部，  ６４２  学習対データ生成部，  ６４３  制御部，  ６４４，６４５  タップ抽出部，  ６４６  クラス分類部，  ６４７  正規方程式生成部，  ６４８  タップ係数算出部，  ６５１  係数メモリ，  ６６１  制御部，  ６７１，７０１  カメラ，  ７０２  表示装置，  ７１１  画像処理部，  ７１２  前処理部，  ７１３  画像変換部，  ７１４  表示制御部，  ７１５  ディスプレイ，  ７１６  信号フォーマット取得部，  ７１７  表示フォーマット取得部，  ７１８  操作部，  ７１９  制御部，  ７３１  前処理タップ抽出部，  ７３２  前処理演算部，  ７３３，７４１  係数メモリ，  ７５１  学習対データ生成部，  ７５２  制御部，  １００１  カメラ，  １００２  送信装置，  １００３  受信装置，  １００４  表示装置，  １０１１  イメージャ，  １０１２  画像変換部，  １０１３，１０２１  I/F，  １０２２  画像変換部，  １０２３  信号処理部，  １０２４  画像変換部，  １０２５，１０３１  I/F，  １０３２  画像変換部，  １０３３  信号処理部，  １０３４  画像変換部，  １０３５，１０４１  I/F，  １０４２  画像変換部，  １０４３  表示制御部，  １０４４  ディスプレイ，  １０６１，１０６２  タップ抽出部，  １０６３  クラス分類部，  １０６４  係数メモリ，  １０６５  予測部，  １０７１  学習データ記憶部，  １０７２  学習対データ生成部，  １０７３  １０７４  タップ抽出部，  １０７５  クラス分類部，  １０７６  正規方程式生成部，  １０７７  タップ係数算出部，  １１０１  カメラ，  １１０２  送信装置，  １１０３  受信装置，  １１０４  表示装置，  １１１１  画像変換部，  １１１２，１１２１  I/F，  １１２２  画像変換部，  １１２３，１１３１  I/F，  １１３２  画像変換部，  １１３３，１１４１  I/F，  １２０１  カメラ，  １２１１  画像変換部，  １２１２  I/F，  ２００１  バス，  ２００２  CPU，  ２００３  ROM，  ２００４  RAM，  ２００５  ハードディスク，  ２００６  出力部，  ２００７  入力部，  ２００８  通信部，  ２００９  ドライブ，  ２０１０  入出力インタフェース，  ２０１１  リムーバブル記録媒体
【図１】
0004517301.tif 000010
【図２】
0004517301.tif 000011
【図３】
0004517301.tif 000012
【図４】
0004517301.tif 000013
【図５】
0004517301.tif 000014
【図６】
0004517301.tif 000015
【図７】
0004517301.tif 000016
【図８】
0004517301.tif 000017
【図９】
0004517301.tif 000018
【図１０】
0004517301.tif 000019
【図１１】
0004517301.tif 000020
【図１２】
0004517301.tif 000021
【図１３】
0004517301.tif 000022
【図１４】
0004517301.tif 000023
【図１５】
0004517301.tif 000024
【図１６】
0004517301.tif 000025
【図１７】
0004517301.tif 000026
【図１８】
0004517301.tif 000027
【図１９】
0004517301.tif 000028
【図２０】
0004517301.tif 000029
【図２１】
0004517301.tif 000030
【図２２】
0004517301.tif 000031
【図２３】
0004517301.tif 000032
【図２４】
0004517301.tif 000033
【図２５】
0004517301.tif 000034
【図２６】
0004517301.tif 000035
【図２７】
0004517301.tif 000036
【図２８】
0004517301.tif 000037
【図２９】
0004517301.tif 000038
【図３０】
0004517301.tif 000039
【図３１】
0004517301.tif 000040
【図３２】
0004517301.tif 000041
【図３３】
0004517301.tif 000042
【図３４】
0004517301.tif 000043
【図３５】
0004517301.tif 000044
【図３６】
0004517301.tif 000045
【図３７】
0004517301.tif 000046
【図３８】
0004517301.tif 000047
【図３９】
0004517301.tif 000048
【図４０】
0004517301.tif 000049
【図４１】
0004517301.tif 000050
【図４２】
0004517301.tif 000051
【図４３】
0004517301.tif 000052
【図４４】
0004517301.tif 000053
【図４５】
0004517301.tif 000054
【図４６】
0004517301.tif 000055
【図４７】
0004517301.tif 000056
【図４８】
0004517301.tif 000057
【図４９】
0004517301.tif 000058
【図５０】
0004517301.tif 000059
【図５１】
0004517301.tif 000060
【図５２】
0004517301.tif 000061
【図５３】
0004517301.tif 000062
【図５４】
0004517301.tif 000063
【図５５】
0004517301.tif 000064
【図５６】
0004517301.tif 000065
【図５７】
0004517301.tif 000066
【図５８】
0004517301.tif 000067