(57)【要約】【課題】  信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得る。【解決手段】  信号処理部４は、センサ部１の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する。また、信号処理部４は、例えば、１画素の領域や、１画面全体などの所定の領域の第１のディジタル画像信号を評価し、センサ部１の、所定の領域の第１のディジタル画像信号に対応する部分を、その所定の領域の第１のディジタル画像信号の評価に応じた性能に変化させる。【選択図】図１
2005051639.tif 000002
【特許請求の範囲】
【請求項１】
複数の光電変換素子を有するセンサ手段と、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、
所定の領域の前記第１のディジタル画像信号を評価する評価手段と
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価手段における評価に応じた性能に変化させる
ことを特徴とする撮像装置。
【請求項２】
前記センサ手段は、前記複数の光電変換素子それぞれの出力信号を、増幅率を制御しながら増幅する増幅制御部をさらに有し、
前記増幅制御部は、前記増幅率を、前記評価手段における評価に応じた値に制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２のディジタル画像信号を、前記センサ手段の性能に応じて補正する補正手段をさらに備える
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記所定の領域は、１画素以上からなる領域である
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記評価手段は、
前記第１のディジタル画像信号の評価に用いる画素である評価画素を抽出する抽出手段と、
前記評価画素が、前記所定の領域に占める割合である占有度を算出する算出手段と、
前記占有度に基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段と
を有する
ことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記評価手段は、
前記所定の領域の前記第１のディジタル画像信号のアクティビティを算出する算出手段と、
前記アクティビティに基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段と
を有する
ことを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記評価手段は、
前記所定の領域の前記第１のディジタル画像信号と、所定の閾値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段と
を有する
ことを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記所定の閾値は、前記画像変換処理にとって大きなまたは小さな値である
ことを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記センサ手段は、画素ごとに、信号を増幅する増幅部を有するデバイスである
ことを特徴とする請求項１に記載の撮像装置。
【請求項１０】
前記センサ手段は、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
前記注目画素のクラスに応じた係数を出力する係数出力手段と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項１に記載の撮像装置。
【請求項１２】
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段を有する
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記係数出力手段は、
前記係数の種となる種データを記憶している記憶手段と、
所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段と
を有する
ことを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
複数の光電変換素子を有するセンサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、
所定の領域の前記第１のディジタル画像信号を評価する評価手段と
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価手段における評価に応じた性能に変化させる
ことを特徴とする信号処理装置。
【請求項１５】
前記センサ手段は、前記複数の光電変換素子それぞれの出力信号を、増幅率を制御しながら増幅する増幅制御部をさらに有し、
前記増幅制御部は、前記増幅率を、前記評価手段における評価に応じた値に制御する
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項１６】
前記第２のディジタル画像信号を、前記センサ手段の性能に応じて補正する補正手段をさらに備える
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項１７】
前記所定の領域は、１画素以上からなる領域である
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項１８】
前記評価手段は、
前記第１のディジタル画像信号の評価に用いる画素である評価画素を抽出する抽出手段と、
前記評価画素が、前記所定の領域に占める割合である占有度を算出する算出手段と、
前記占有度に基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段と
を有する
ことを特徴とする請求項１５に記載の信号処理装置。
【請求項１９】
前記評価手段は、
前記所定の領域の前記第１のディジタル画像信号のアクティビティを算出する算出手段と、
前記アクティビティに基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段と
を有する
ことを特徴とする請求項１５に記載の信号処理装置。
【請求項２０】
前記評価手段は、
前記所定の領域の前記第１のディジタル画像信号と、所定の閾値とを比較する比較手段と、
前記比較手段による比較結果に基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段と
を有する
ことを特徴とする請求項１５に記載の信号処理装置。
【請求項２１】
前記所定の閾値は、前記画像変換処理にとって大きなまたは小さな値である
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項２２】
前記センサ手段は、画素ごとに、信号を増幅する増幅部を有するデバイスである
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項２３】
前記センサ手段は、CMOS(Complementary Metal Oxide Semiconductor)センサ、またはCCD(Charge Coupled Device)である
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項２４】
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段と、
前記注目画素のクラスに応じた係数を出力する係数出力手段と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段と
を有する
ことを特徴とする請求項１４に記載の信号処理装置。
【請求項２５】
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段を有する
ことを特徴とする請求項２４に記載の信号処理装置。
【請求項２６】
前記係数出力手段は、
前記係数の種となる種データを記憶している記憶手段と、
所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段と
を有する
ことを特徴とする請求項２４に記載の信号処理装置。
【請求項２７】
複数の光電変換素子を有するセンサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
所定の領域の前記第１のディジタル画像信号を評価する評価ステップと
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価ステップにおける評価に応じた性能に変化させる
ことを特徴とする信号処理方法。
【請求項２８】
複数の光電変換素子を有するセンサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
所定の領域の前記第１のディジタル画像信号を評価する評価ステップと
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価ステップにおける評価に応じた性能に変化させる
ことを特徴とするコンピュータが読み取り可能なプログラム。
【請求項２９】
複数の光電変換素子を有するセンサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、
所定の領域の前記第１のディジタル画像信号を評価する評価ステップと
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価ステップにおける評価に応じた性能に変化させる
ことを特徴とするコンピュータが読み取り可能なプログラム
が記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、信号処理装置および信号処理方法、プログラム、並びに記録媒体に関し、特に、例えば、画像信号の信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにする撮像装置、信号処理装置および信号処理方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来の撮像装置では、例えば、被写体光（被写体からの光）を電気信号である画像信号に変換する光電変換素子によって被写体をセンシングするCCD(Charge Coupled Device)や、CMOS(Complementary Metal Oxide Semiconductor)イメージャ（CMOSセンサ）などのセンサ手段の出力を増幅して、適正なレベルの画像信号が得られるようにしている。
【０００３】
センサ手段の出力の増幅は、AGC（Auto Gain Controller）などの増幅器によって行われる。しかしながら、被写体のコントラストが大きい場合には、１つの増幅器で、適正なレベルの画像信号を得るのが困難な場合がある。そこで、特許文献１では、ゲインが異なる２つの増幅器それぞれによって、センサ手段の出力を増幅することにより、広いダイナミックレンジの増幅を容易に行う方法が記載されている。
【０００４】
【特許文献１】特開平06-086155号公報。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、センサ手段の後段では、多くの場合、センサ手段が出力する画像信号の画質を改善するための信号処理が行われる。
【０００６】
即ち、CCDやCMOSイメージャなどのセンサ手段は、そこに入射する光（被写体光）を、画素に対応する範囲で、ある露光時間の間に受光し、その受光量に対応する画像信号を出力する。従って、センサ手段は、時間的および空間的に連続な光を、画素に対応する範囲で、露光時間の間だけ、いわばサンプリングし、そのサンプリング結果を、画像信号として出力しているということができる。
【０００７】
このように、センサ手段が出力する画像信号は、時間的および空間的に連続な光のサンプリング結果であるから、元の光に含まれる情報の一部が欠落したものとなっている。このため、センサ手段が出力する画像信号は、元の光に対応する画像の画質よりも劣化したものとなる。
【０００８】
センサ手段の後段では、センサ手段が出力する、上述のように元の光よりも画質の劣化した画像信号を高画質化するための信号処理が行われる。
【０００９】
ところで、従来においては、センサ手段は、その後段で行われる信号処理に無関係に動作し、画像信号を出力する。
【００１０】
このように、センサ手段は、その後段でどのような信号処理が行われるかに無関係に、いわば画一的に動作して、画像信号を出力する。従って、センサ手段の後段で行われる信号処理において改善される画質には、ある程度の限界がある。
【００１１】
一方、センサ手段において、その後段で行われる信号処理にとって適切な画像信号が出力されれば、その信号処理によって、より画質の改善した画像信号を得ることができる。
【００１２】
本発明は、このような状況に鑑みてなされたものであり、信号処理にとって適切な画像信号を得て、その画像信号を信号処理することにより、高画質の画像信号を得ることができるようにするものである。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、所定の領域の第１のディジタル画像信号を評価する評価手段とを備え、センサ手段の、所定の領域のディジタル画像信号に対応する部分を、評価手段における評価に応じた性能に変化させることを特徴とする。
【００１４】
本発明の信号処理装置は、センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段と、所定の領域の第１のディジタル画像信号を評価する評価手段とを備え、センサ手段の、所定の領域の第１のディジタル画像信号に対応する部分を、評価手段における評価に応じた性能に変化させることを特徴とする。
【００１５】
本発明の信号処理方法は、センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、所定の領域の第１のディジタル画像信号を評価する評価ステップとを備え、センサ手段の、所定の領域の第１のディジタル画像信号に対応する部分を、評価ステップにおける評価に応じた性能に変化させることを特徴とする。
【００１６】
本発明のプログラムは、センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、所定の領域の第１のディジタル画像信号を評価する評価ステップとを備え、センサ手段の、所定の領域の第１のディジタル画像信号に対応する部分を、評価ステップにおける評価に応じた性能に変化させることを特徴とする。
【００１７】
本発明の記録媒体には、センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップと、所定の領域の第１のディジタル画像信号を評価する評価ステップとを備え、センサ手段の、所定の領域の第１のディジタル画像信号に対応する部分を、評価ステップにおける評価に応じた性能に変化させることを特徴とするコンピュータが読み取り可能なプログラムが記録されている。
【００１８】
本発明においては、センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理が施され、第２のディジタル画像信号が出力される。一方、所定の領域の第１のディジタル画像信号が評価され、センサ手段の、所定の領域の第１のディジタル画像信号に対応する部分が、その所定の領域の第１のディジタル画像信号の評価に応じた性能に変化する。
【発明の効果】
【００１９】
本発明によれば、信号処理にとって適切な画像信号を得ることができ、さらに、その画像信号を信号処理することにより、例えば、高画質の画像信号を得ることができる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２１】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００２２】
請求項１に記載の撮像装置は、
複数の光電変換素子を有するセンサ手段（例えば、図１のセンサ部１）と、
前記センサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段（例えば、図４の画像変換部２１）と、
所定の領域の前記第１のディジタル画像信号を評価する評価手段（例えば、図４のレベル評価部２３）と
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価手段における評価に応じた性能に変化させる
ことを特徴とする。
【００２３】
請求項２に記載の撮像装置は、
前記センサ手段は、前記複数の光電変換素子それぞれの出力信号を、増幅率を制御しながら増幅する増幅制御部（例えば、図３の制御部１２）をさらに有し、
前記増幅制御部は、前記増幅率を、前記評価手段における評価に応じた値に制御する
ことを特徴とする。
【００２４】
請求項３に記載の撮像装置は、
前記第２のディジタル画像信号を、前記センサ手段の性能に応じて補正する補正手段（例えば、図４の画像補整部２２）をさらに備える
ことを特徴とする。
【００２５】
請求項５に記載の撮像装置は、
前記評価手段は、
前記第１のディジタル画像信号の評価に用いる画素である評価画素を抽出する抽出手段（例えば、図５の評価画素抽出部３１）と、
前記評価画素が、前記所定の領域に占める割合である占有度を算出する算出手段（例えば、図５の占有度算出部３２）と、
前記占有度に基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段（例えば、図５の増幅率決定部３３）と
を有する
ことを特徴とする。
【００２６】
請求項６に記載の撮像装置は、
前記評価手段は、
前記所定の領域の前記第１のディジタル画像信号のアクティビティを算出する算出手段（例えば、図９のアクティビティ算出部４１）と、
前記アクティビティに基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段（例えば、図９の増幅率決定部４２）と
を有する
ことを特徴とする。
【００２７】
請求項７に記載の撮像装置は、
前記評価手段は、
前記所定の領域の前記第１のディジタル画像信号と、所定の閾値とを比較する比較手段（例えば、図１０の比較部５１）と、
前記比較手段による比較結果に基づいて、所定の領域の前記第１のディジタル画像信号を評価し、その評価に応じた前記増幅率を決定する増幅率決定手段（例えば、図１０の増幅率決定部５２）と
を有する
ことを特徴とする。
【００２８】
請求項１１に記載の撮像装置は、
前記画像変換手段は、
前記第１のディジタル画像信号を用いて、注目画素の特徴を抽出する特徴抽出手段（例えば、図１１の特徴抽出部１２２）と、
前記注目画素の特徴に応じて、前記注目画素をクラス分けするクラス分類手段（例えば、図１１のクラス分類部１２３）と、
前記注目画素のクラスに応じた係数を出力する係数出力手段（例えば、図１１の係数出力部１２４）と、
前記注目画素のクラスに応じた係数と、前記第１のディジタル画像信号とを用いた演算により、前記注目画素の前記第２のディジタル信号を求める演算手段（例えば、図１１の演算部１２５）と
を有する
ことを特徴とする。
【００２９】
請求項１２に記載の撮像装置は、
前記係数出力手段は、複数のクラスごとの前記係数を記憶している記憶手段（例えば、図１２の係数メモリ１８１）を有する
ことを特徴とする。
【００３０】
請求項１３に記載の撮像装置は、
前記係数出力手段は、
前記係数の種となる種データを記憶している記憶手段（例えば、図１６の係数種メモリ１８３）と、
所定のパラメータと、前記種データとから、複数のクラスごとの前記係数を生成する生成手段（例えば、図１６の係数生成部１８２）と
を有する
ことを特徴とする。
【００３１】
請求項１４に記載の信号処理装置は、
複数の光電変換素子を有するセンサ手段（例えば、図１のセンサ部１）の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換手段（例えば、図４の画像変換部２１）と、
所定の領域の前記第１のディジタル画像信号を評価する評価手段（例えば、図４のレベル評価部２３）と
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価手段における評価に応じた性能に変化させる
ことを特徴とする。
【００３２】
請求項１５、請求項１６、請求項１８、請求項１９、請求項２０、請求項２４、請求項２５、請求項２６に記載の信号処理装置それぞれの各手段と、発明の実施の形態との対応関係は、請求項２、請求項３、請求項５、請求項６、請求項７、請求項１１、請求項１２、請求項１３に記載の撮像装置それぞれにおける場合と同様である。
【００３３】
請求項２７に記載の信号処理方法は、
複数の光電変換素子を有するセンサ手段の出力から得られる第１のディジタル画像信号に対して、画像変換処理を施し、第２のディジタル画像信号を出力する画像変換ステップ（例えば、図６のステップＳ６の処理）と、
所定の領域の前記第１のディジタル画像信号を評価する評価ステップ（例えば、図６のステップＳ４の処理）と
を備え、
前記センサ手段の、前記所定の領域の前記第１のディジタル画像信号に対応する部分を、前記評価ステップにおける評価に応じた性能に変化させる
ことを特徴とする。
【００３４】
請求項２８に記載のプログラムの各ステップと発明の実施の形態との対応関係、および請求項２９に記載の記録媒体の各ステップと発明の実施の形態との対応関係は、請求項２７に記載の信号処理方法における場合と同様である。
【００３５】
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示している。
【００３６】
なお、図１の撮像装置は、例えば、ディジタルスチルカメラやディジタルビデオカメラなどに適用することができる。
【００３７】
センサ部１は、画素に対応する複数の光電変換素子を有し、図示せぬ光学系を介して入射する被写体光を受光し、その受光量に対応した電気信号としての画像信号を、信号調整部２に供給する。また、センサ部１は、信号処理部４から供給される制御信号に応じて、その性能を変化させる。
【００３８】
信号調整部２は、センサ部１から出力される画像信号に含まれる、いわゆるリセットノイズを除去するためのCDS(Correlated  Double  Sampling)処理を行い、その処理の結果得られる画像信号を、A/D(Analog/Digital)変換部３に供給する。A/D変換部３は、信号調整部２から供給される画像信号をA/D変換し、即ち、画像信号をサンプリングして量子化し、その結果得られるディジタル画像信号を、信号処理部４に供給する。
【００３９】
信号処理部４は、A/D変換部３からのディジタル画像信号（以下、適宜、単に、画像信号ともいう）を、第１の画像信号として、その第１の画像信号に対して、所定の画像変換処理を施し、その結果得られるディジタル画像信号を、第２の画像信号として、出力部５に出力する。また、信号処理部４は、１画面（１フレームまたは１フィールド）のうちの所定の領域ごとの第１の画像信号を評価し、その評価に対応する制御信号を、センサ部１に供給する。
【００４０】
出力部５は、信号処理部４が出力する第２の画像信号を受信して出力する。即ち、出力部５は、信号処理部４からの第２の画像信号を、図示せぬ外部端子から出力し、あるいは、図示せぬモニタに表示させる。また、出力部５は、第２の画像信号を、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、半導体メモリなどの図示せぬ記録媒体に記録し、あるいは、電話回線、インターネット、LANその他の有線または無線の伝送媒体を介して送信する。
【００４１】
以上のように構成される撮像装置では、センサ部１において、被写体光が受光され、その受光量に対応した電気信号としての画像信号が、信号調整部２およびA/D変換部３を介して、信号処理部４に供給される。信号処理部４は、センサ部１から信号調整部２およびA/D変換部３を介して供給される画像信号を、第１の画像信号として、その第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善された第２の画像信号を、出力部５に出力する。出力部５では、信号処理部４から供給される第２の画像信号が出力される。
【００４２】
また、信号処理部４は、センサ部１からの第１の画像信号を、その１画面の所定の領域ごとに評価する。即ち、信号処理部４は、センサ部１からの、例えば、１画面ごとの第１の画像信号を評価する。さらに、信号処理部４は、その評価に対応する制御信号を、センサ部１に供給する。
【００４３】
センサ部１は、信号処理部４から供給される制御信号に応じて、１画面（受光面全体）のうちの、所定の領域の第１の画像信号に対応する画素ごとの性能を変化させる。従って、その後、センサ部１は、その変化後の性能の画素から得られる画像信号を出力する。
【００４４】
次に、図２を参照して、信号処理部４が出力する制御信号によるセンサ部１の性能の変化について説明する。
【００４５】
センサ部１が出力する画像信号は、上述したように、A/D変換部３において量子化される。従って、１画面中の所定の領域が平坦であり、このため、センサ部１が出力する、所定の領域の画像信号の信号レベルの変化が、図２左側に示すように、A/D変換部３における量子化の量子化ステップ幅内に入るような微小なものである場合には、その所定の領域の画像信号は、A/D変換部３において、すべて同一の値に量子化され、これにより、微小な変化は失われる。そして、信号処理部４において、このような同一の値に量子化されたディジタル画像信号を対象に画像変換処理を行った場合、高解像度の画像を得ることが困難なことがある。
【００４６】
そこで、信号処理部４は、画像変換処理によって適切な画像信号が出力されるように、即ち、例えば、画像変換処理によって高解像度の画像が得られる画像信号が出力されるように、センサ部１の性能を変化させる制御信号を、センサ部１に供給し、これにより、センサ部１の性能を変化させる。
【００４７】
即ち、信号処理部４は、センサ部１が出力する、所定の領域の画像信号を評価し、その評価によって、その画像信号の信号レベルの変化が、例えば、図２左側に示したように、微小なものであることを認識した場合には、図２右側に示すように、センサ部１が出力する画像信号の信号レベルの変化が大となるように、センサ部１の性能を変化させる。この場合、信号処理部４には、信号レベルの変化が現れた画像信号が入力されることになり、そのような画像信号を対象として、画像変換処理が行われ、高解像度の画像が得られることになる。
【００４８】
図３は、性能が変化するセンサ部１の構成例を示している。
【００４９】
センサ部１は、多数の画素が、水平および垂直方向に配列されることにより受光面が構成されている。１画素は、例えば、図３に示すように、受光部１１と制御部１２で構成されている。
【００５０】
受光部１１は、例えば、フォトダイオード等の光電変換素子で構成され、光の受光量に応じた電荷に対応する電気信号を制御部１２に出力する。制御部１２は、例えば、トランジスタ等で構成され、受光部１１からの電気信号を、所定の増幅率で増幅し、信号調整部２に出力する。また、制御部１２には、信号処理部４から制御信号が供給されるようになっており、制御部１２は、その制御信号にしたがい、受光部１からの電気信号を増幅するときの増幅率を制御する。
【００５１】
制御部１２は、信号処理部４からの制御信号に応じて、その性能としての増幅率を変化させることにより、信号処理部４の画像変換処理にとって適切な信号レベルの変化がある画像信号を出力する。
【００５２】
ここで、以上のような受光部１１と制御部１２とを有する画素からなるセンサ部１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサに、MEMS(Micro-Electro-Mechanical Systems)技術を適用することにより構成することができる。
【００５３】
なお、センサ部１は、CMOSセンサに限定されるものではなく、例えば、CCD(Charge Coupled Device)や、a-Se（アモルファスセレン）半導体の光導電ターゲット内で生じる電子のなだれ増倍現象を利用した撮像管であるHARP(High Gain Avalanche Rushing Amorphous Photoconductor)で構成することも可能である。また、センサ部１は、その他、例えば、全体または１画素以上の単位で、画像信号を増幅する増幅部を有し、その増幅部の増幅率を制御信号に応じて変化させることができるデバイスで構成することができる。
【００５４】
次に、図４は、図１の信号処理部４の構成例を示している。
【００５５】
図４では、信号処理部４は、画像変換部２１、画像補正部２２、およびレベル評価部２３で構成されている。
【００５６】
信号処理部４には、センサ部１が出力する画像信号が、信号調整部２およびA/D変換部３を介して、第１の画像信号として供給される。第１の画像信号は、画像変換部２１とレベル評価部２３に供給される。
【００５７】
画像変換部２１は、第１の画像信号に対して、例えば、解像度を向上させるなどの画質を改善する画像変換処理を施し、その結果得られる、画質が改善されたディジタル画像信号を、第２の画像信号として、画像補正部２２に供給する。
【００５８】
画像補正部２２には、画像変換部２１から第２の画像信号が供給される他、レベル評価部２３から増幅率情報と領域情報が供給される。画像補正部２２は、レベル評価部２３から供給される増幅率情報と領域情報に基づき、画像変換部２１から供給される第２の画像信号を補正し、その補正後の第２の画像信号を、出力部５に供給する。
【００５９】
レベル評価部２３は、第１の画像信号を、１画面の所定の領域の部分ごとに評価する。さらに、レベル評価部２３は、その評価に応じて、図３の制御部１２における増幅の増幅率を決定し、その増幅率を表す増幅率情報と、評価を行った所定の領域を表す領域情報を、画像補正部２２に供給する。また、レベル評価部２３は、センサ部１を構成する画素のうちの、所定の領域を構成する画素の制御部１２に対して、増幅率情報を、制御信号として供給する。
【００６０】
即ち、レベル評価部２３は、１画面のうちの所定の領域ごとの第１の画像信号が、画像変換部２１における画像変換処理に適しているかどうかを評価する。具体的には、レベル評価部２３は、所定の領域ごとの第１の画像信号の信号レベル（輝度または色）を認識し、その信号レベルの変化の大小を評価する。さらに、レベル評価部２３は、信号レベルの変化が小さすぎるという評価を得た領域を構成する画素に対しては、値の大きい増幅率を決定し、また、信号レベルの変化が大きすぎるという評価を得た領域を構成する画素に対しては、値の小さい増幅率を決定し、その増幅率を表す増幅率情報を、各領域の画素の制御部１２（図３）に、制御信号として供給する。
【００６１】
図３の制御部１２では、レベル評価部２３からの制御信号にしたがった増幅率で、受光部１１の出力信号が増幅され、これにより、センサ部１からは、画像変換部２１における画像変換処理にとって適切な信号レベルの変化を有する画像信号が出力される。
【００６２】
一方、レベル評価部２３は、センサ部１の制御部１２に制御信号として供給した増幅率情報と、その増幅率情報が表す増幅率での増幅が行われる画素で構成される領域を表す領域情報とを対応付け、画像補正部２２に供給する。画像補正部２２は、画像変換部２１が第１の画像信号を対象に画像変換処理を行うことにより得られる第２の画像信号を、レベル評価部２３から供給される増幅率情報と領域情報にしたがって補正する。
【００６３】
即ち、領域情報が表す領域の第１の画像信号は、その領域情報に対応付けられた増幅率情報が表す増幅率に対応するゲインだけ、センサ部１の受光部１１が出力する信号と異なる値になっている。このため、画像補正部２２は、領域情報が表す領域の第２の画像信号を、その領域情報に対応付けられた増幅率情報が表す増幅率に応じて補正し、センサ部１の受光部１１が出力した信号を対象に画像変換処理が行われた場合に得られたであろう画像信号と同様のゲインの第２の画像信号とする。具体的には、画像補正部２２は、例えば、領域情報が表す領域の第２の画像信号を、その領域情報に対応付けられた増幅率情報が表す増幅率に比例する値だけゲインを減少させることにより補正する。
【００６４】
なお、レベル評価部２３において、評価の単位とする所定の領域は、１画面（フレームまたはフィールド）全体であっても良いし、１画素や、複数画素からなる領域であっても良い。
【００６５】
ここで、レベル評価部２３において、評価の単位とする所定の領域を、１画面以外の、１画素や、複数画素からなる領域とした場合、画像変換部２１では、所定の領域ごとに増幅率が異なる第１の画像信号を対象に、画像変換処理が行われることになる。画像変換処理では、種々の演算が行われるが、その演算が、増幅率が異なる第１の画像信号を用いて行われる場合は、その増幅率の違いを考慮して演算を行う必要がある。ここでは、説明を簡単にするため、レベル評価部２３における評価の単位とする所定の領域を、例えば、１画面とする。
【００６６】
次に、図５は、図４のレベル評価部２３の第１の構成例を示している。
【００６７】
図５においては、レベル評価部２３は、評価画素抽出部３１、占有度算出部３２、および増幅率決定部３３で構成されている。
【００６８】
評価画素抽出部３１には、センサ部１から信号調整部２およびA/D変換部３を介して信号処理部４に供給された第１の画像信号が供給される。評価画素抽出部３１は、評価の単位である１画面を構成する画素から、その１画面の第１の画像信号の評価に用いる画素を、評価画素として抽出し、占有度算出部３２に供給する。
【００６９】
占有度算出部３２は、評価の単位である１画面に、評価画素が占める割合である占有度を算出し、増幅率決定部３３に供給する。
【００７０】
増幅率決定部３３は、占有度算出部３２から供給される占有度に応じて、評価の単位である１画面の第１の画像信号を評価し、その評価に応じた増幅率を、センサ部１の、１画面の画像信号に対応する画素の制御部１２における増幅率として決定する。さらに、増幅率決定部３３は、その増幅率を表す増幅率情報を、制御信号として、センサ部１（の制御部１２）に供給する。また、増幅率決定部３３は、増幅率情報と、センサ部１において、その増幅率情報が表す増幅率での増幅が行われる画素で構成される領域である１画面を表す領域情報とを対応付け、画像補正部２２（図４）に供給する。
【００７１】
次に、図６のフローチャートを参照して、図１の撮像装置の動作について説明する。
【００７２】
撮像装置では、まず最初に、ステップＳ１において、センサ部１の受光部１１が被写体光を受光し、光電変換を行うことにより、電気信号としての１画面の画像信号を得て（被写体を撮像し）、制御部１２が、その画像信号を、所定の増幅率で増幅し、信号調整部２に供給して、ステップＳ２に進む。なお、撮像装置の電源投入後の最初に、センサ部１で撮像が行われる場合には、センサ部１の制御部１２における増幅率は、所定のデフォルトの値とされるものとする。
【００７３】
ステップＳ２において、信号調整部２は、センサ部１から供給される１画面の画像信号に対して、CDS処理等の信号調整処理を施し、A/D変換部３に供給して、ステップＳ３に進む。ステップＳ３では、A/D変換部３は、信号調整部２から供給される１画面の画像信号をA/D変換し、第１の画像信号として、信号処理部４に供給して、ステップＳ４に進む。
【００７４】
ステップＳ４では、信号処理部４（図４）のレベル評価部２３は、A/D変換部３から供給された１画面の第１の画像信号を評価し、その評価に応じて、図３の制御部１２における増幅の増幅率を決定する。さらに、ステップＳ４では、レベル評価部２３は、その増幅率を表す増幅率情報と、評価を行った１画面を表す領域情報を、画像補正部２２に供給するとともに、増幅率情報を、センサ部１の、１画面を構成する画素の制御部１２に対して、制御信号として供給し、ステップＳ５に進む。ここで、ステップＳ４の処理の詳細については、後述する。
【００７５】
ステップＳ５では、センサ部１の各画素の制御部１２が、直前のステップＳ４でレベル評価部２３から供給された制御信号にしたがい、受光部１１の出力を増幅する増幅率を制御し、ステップＳ６に進む。
【００７６】
ステップＳ６では、信号処理部４（図４）の画像変換部２１が、A/D変換部３から供給された第１の画像信号に対して、画像変換処理を施し、第１の画像信号よりも画質が改善された第２の画像信号を、画像補正部２２に供給して、ステップＳ７に進む。
【００７７】
ステップＳ７では、画像補正部２２は、画像変換部２１から供給される第２の画像信号を、直前のステップＳ４でレベル評価部２３から供給された増幅率情報と領域情報に基づいて補正し、その補正後の第２の画像信号を、出力部５に供給して、ステップＳ８に進む。
【００７８】
ステップＳ８では、出力部５が、信号処理部４（の画像補正部２２）から供給された第２の画像信号を出力し、１画面の画像についての処理を終了する。
【００７９】
即ち、図１の撮像装置では、図６のフローチャートにしたがった１画面の画像についての処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
【００８０】
従って、次に行われるステップＳ１では、センサ部１において、前回行われたステップＳ４で制御された増幅率で、受光部１１が出力する画像信号が増幅され、これにより、画像変換部２１には、画像変換処理に適した第１の画像信号が供給されることになる。
【００８１】
次に、図７のフローチャートを参照して、図６のステップＳ４の処理（評価処理）の詳細について説明する。
【００８２】
評価処理では、まず最初に、ステップＳ２１において、レベル評価部（図５）の評価画素抽出部３１が、評価の単位である１画面を構成する画素から、その１画面の第１の画像信号の評価に用いる画素を、評価画素として抽出する。即ち、評価画素抽出部３１は、例えば、１画面を構成する画素から、第１の画像信号が第１のレベルよりも高い画素と、第２のレベルよりも低い画素とを、評価画素として抽出する。
【００８３】
ここで、第１のレベルとしては、第１の画像信号がとり得る値の最大値に近い、その最大値以下の値を採用することができる。また、第２のレベルとしては、第１の画像信号がとり得る値の最小値に近い、その最小値以上の値を採用することができる。
【００８４】
また、以下、適宜、第１の画像信号が第１のレベルよりも高い画素を、高レベル画素といい、第１の画像信号が第２のレベルよりも低い画素を、低レベル画素という。
【００８５】
ステップＳ２１において、評価画素抽出部３１は、評価の単位である１画面を構成する画素から、高レベル画素と低レベル画素とを、評価画素として抽出すると、その評価画素を、占有度算出部３２に供給して、ステップＳ２２に進む。
【００８６】
ステップＳ２２では、占有度算出部３２は、評価の単位である１画面において、評価画素抽出部３１から供給された評価画素である高レベル画素と低レベル画素それぞれが占める割合を、それぞれ、高レベル占有度と低レベル占有度として算出し、増幅率決定部３３に供給して、ステップＳ２３に進む。
【００８７】
ステップＳ２３では、増幅率決定部３３は、占有度算出部３２から供給された高レベル占有度と低レベル占有度に応じて、評価の単位である１画面の第１の画像信号を評価し、その評価に応じた増幅率を、センサ部１の、１画面の画像信号に対応する画素の制御部１２における増幅率として決定する。
【００８８】
即ち、増幅率決定部３３は、例えば、高レベル占有度が、低レベル占有度に比較して十分大である場合は、１画面において、高レベル画素が多数存在することから、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適さないと評価し、その評価に応じて、現在よりも低い値の増幅率を、制御部１２における増幅率として決定する。また、増幅率決定部３３は、低レベル占有度が、高レベル占有度に比較して十分大である場合は、１画面において、低レベル画素が多数存在することから、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適さないと評価し、その評価に応じて、現在よりも高い値の増幅率を、制御部１２における増幅率として決定する。さらに、増幅率決定部３３は、例えば、その他の場合は、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適すると評価し、その評価に応じて前回と同一の増幅率を、制御部１２における増幅率として決定する。
【００８９】
ステップＳ２３では、増幅率決定部３３は、さらに、決定した増幅率を表す増幅率情報を、制御信号として、センサ部１（の制御部１２）に供給するとともに、増幅率情報と、センサ部１において、その増幅率情報が表す増幅率での増幅が行われる画素で構成される領域である１画面を表す領域情報とを対応付け、画像補正部２２（図４）に供給して、リターンする。
【００９０】
この場合、センサ部１からは、画像変換部２１の画像変換処理にとって、適正なレベルの画像信号が出力され、その結果、画像変換処理により、より画質の向上した第２の画像信号が得られるようになる。
【００９１】
なお、高レベル画素に対してのみ、低い増幅率を決定し、低レベル画素にのみ、高い増幅率を決定することなども可能である。
【００９２】
次に、図６の実施の形態では、ステップＳ１において、センサ部１が、前回行われたステップＳ４で制御された増幅率で、受光部１１が出力する画像信号を増幅するので、センサ部１では、現在のフレームまたはフィールドの画像信号が、その１フレームまたは１フィールド前に撮像された画像を評価することで決定された増幅率で増幅される。
【００９３】
一方、センサ部１では、現在のフレームまたはフィールドの画像信号を、そのフレームまたはフィールドで撮像された画像を評価することで決定された増幅率で増幅することも可能である。
【００９４】
そこで、図８のフローチャートを参照して、センサ部１において、現在のフレームまたはフィールドの画像信号を、そのフレームまたはフィールドで撮像された画像を評価することで決定された増幅率で増幅する場合の、図１の撮像装置の動作について説明する。
【００９５】
この場合、ステップＳ３１乃至Ｓ３５では、図６のステップＳ１乃至Ｓ５における場合と同様の処理が行われ、ステップＳ３６に進む。
【００９６】
ステップＳ３６では、図６のステップＳ１に対応するステップＳ３１における場合と同様に、センサ部１の受光部１１が被写体光を受光し、光電変換を行うことにより、電気信号としての１画面の画像信号を得る。さらに、ステップＳ３６では、制御部１２が、受光部１１で得られた画像信号を、直前のステップＳ３５で制御された増幅率で増幅し、信号調整部２およびA/D変換部３を介して、信号処理部４に供給して、ステップＳ３７に進む。
【００９７】
そして、ステップＳ３７乃至Ｓ３９に順次進み、図６のステップＳ６乃至Ｓ８における場合と同様の処理が行われ、１フレームまたは１フィールドの画像についての処理を終了する。
【００９８】
図１の撮像装置では、図８のフローチャートにしたがった処理が、例えば、ユーザにより撮像の停止が指令されるまで繰り返し行われる。
【００９９】
図８のフローチャートにしたがった処理では、センサ部１は、１フレームまたは１フィードの期間に、ステップＳ３１とＳ３６とで、２回の撮像を行う。
【０１００】
そして、ステップＳ３４において、１回目の撮像で得られた画像信号が評価され、ステップＳ３５において、その評価に応じて、２回目の撮像時の増幅率が決定される。従って、センサ部１では、現在のフレームまたはフィールドの２回目の撮像によって得られる画像信号が、そのフレームまたはフィールドの１回目の撮像によって得られた画像信号を評価することで決定された増幅率で増幅される。
【０１０１】
なお、図６のフローチャートにしたがった処理では、センサ部１は、１フレーム（フィールド）の期間に、１度の撮像を行えばよいが、図８のフローチャートにしたがった処理では、１フレーム（フィールド）の期間に、少なくとも２度の撮像を行う必要がある。
【０１０２】
次に、図９は、図４のレベル評価部２３の第２の構成例を示している。
【０１０３】
図９においては、レベル評価部２３は、アクティビティ算出部４１と増幅率決定部４２で構成されている。
【０１０４】
アクティビティ算出部４１には、センサ部１から信号調整部２およびA/D変換部３を介して信号処理部４に供給された第１の画像信号が供給される。アクティビティ算出部４１は、評価の単位である１画面の第１の画像信号のアクティビティを算出し、増幅率決定部４２に供給する。
【０１０５】
ここで、１画面の第１の画像信号のアクティビティとしては、その１画面の第１の画像信号の最大値と最小値との差（ダイナミックレンジ）や、隣接する画素の第１の画像信号どうしの差分の絶対値和、１画面の第１の画像信号の分散などを採用することができる。
【０１０６】
増幅率決定部４２は、アクティビティ算出部４１から供給されるアクティビティに応じて、評価の単位である１画面の第１の画像信号を評価し、その評価に応じた増幅率を、センサ部１の、１画面の画像信号に対応する画素の制御部１２における増幅率として決定する。
【０１０７】
即ち、増幅率決定部４２は、例えば、アクティビティ算出部４１からのアクティビティが大の場合、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適さないと評価し、その評価に応じて、現在よりも低い値の増幅率を、制御部１２における増幅率として決定する。また、増幅率決定部４２は、例えば、アクティビティ算出部４１からのアクティビティが小の場合、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適さないと評価し、その評価に応じて、現在よりも高い値の増幅率を、制御部１２における増幅率として決定する。さらに、増幅率決定部４２は、例えば、アクティビティ算出部４１からのアクティビティが大きくも小さくもない場合、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適すると評価し、その評価に応じて、前回と同一の増幅率を、制御部１２における増幅率として決定する。
【０１０８】
そして、増幅率決定部４２は、決定した増幅率を表す増幅率情報を、制御信号として、センサ部１（の制御部１２）に供給するとともに、増幅率情報と、センサ部１において、その増幅率情報が表す増幅率での増幅が行われる画素で構成される領域である１画面を表す領域情報とを対応付け、画像補正部２２（図４）に供給する。
【０１０９】
この場合も、センサ部１からは、画像変換部２１の画像変換処理にとって、適正なレベルの画像信号が出力され、その結果、画像変換処理により、より画質の向上した第２の画像信号が得られるようになる。
【０１１０】
次に、図１０は、図４のレベル評価部２３の第３の構成例を示している。
【０１１１】
図１０においては、レベル評価部２３は、比較部５１と増幅率決定部５２で構成されている。
【０１１２】
比較部５１には、センサ部１から信号調整部２およびA/D変換部３を介して信号処理部４に供給された第１の画像信号が供給される。比較部５１は、評価の単位である１画面の第１の画像信号と、所定の閾値とを比較し、その比較結果を、増幅率決定部５２に供給する。
【０１１３】
ここで、比較部５１において、第１の画像信号と比較する閾値としては、例えば、画像変換部２１の画像変換処理の対象とするには（画像変換処理にとっては）、小さな値である第１の閾値と、大きな値である第２の閾値とを採用することができる。
【０１１４】
また、比較部５１において、第１と第２の閾値と比較する第１の画像信号としては、例えば、評価の単位である１画面の中の任意の画素の第１の画像信号や、その１画面において最も多い値の画素の第１の画像信号、１画面の第１の画像信号の平均値などを採用することができる。
【０１１５】
増幅率決定部５２は、比較部５１から供給される閾値との比較結果に応じて、評価の単位である１画面の第１の画像信号を評価し、その評価に応じた増幅率を、センサ部１の、１画面の画像信号に対応する画素の制御部１２における増幅率として決定する。
【０１１６】
即ち、増幅率決定部５２は、比較部５１からの比較結果が、第１の画像信号が第１の閾値以下であるというものである場合、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適さないと評価し、その評価に応じて、現在よりも高い値の増幅率を、制御部１２における増幅率として決定する。また、増幅率決定部５２は、比較部５１からの比較結果が、第１の画像信号が第２の閾値以上であるというものである場合、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適さないと評価し、その評価に応じて、現在よりも低い値の増幅率を、制御部１２における増幅率として決定する。さらに、増幅率決定部５２は、比較部５１からの比較結果が、第１の画像信号が第１の閾値から第２の閾値までの範囲内の値であるというものである場合、１画面の第１の画像信号が、画像変換部２１の画像変換処理に適すると評価し、その評価に応じて、前回と同一の増幅率を、制御部１２における増幅率として決定する。
【０１１７】
そして、増幅率決定部５２は、決定した増幅率を表す増幅率情報を、制御信号として、センサ部１（の制御部１２）に供給するとともに、増幅率情報と、センサ部１において、その増幅率情報が表す増幅率での増幅が行われる画素で構成される領域である１画面を表す領域情報とを対応付け、画像補正部２２（図４）に供給する。
【０１１８】
この場合も、センサ部１からは、画像変換部２１の画像変換処理にとって、適正なレベルの画像信号が出力され、その結果、画像変換処理により、より画質の向上した第２の画像信号が得られるようになる。
【０１１９】
なお、第１の画像信号と閾値との比較を、画素単位で行い。その比較結果に応じて、画素ごとに増幅率を決定することも可能である。
【０１２０】
次に、図１１は、図４の画像変換処理２１の構成例を示すブロック図である。
【０１２１】
画像変換部２１は、そこに供給される第１の画像信号に対して、画像変換処理を施し、その画像変換処理によって得られる第２の画像信号を出力する。
【０１２２】
ここで、例えば、第１の画像信号を低解像度の画像信号とするとともに、第２の画像信号を高解像度の画像信号とすれば、画像変換処理は、解像度を向上させる解像度向上処理ということができる。また、例えば、第１の画像信号を低Ｓ／Ｎ(Siginal/Noise)の画像信号とするとともに、第２の画像信号を高Ｓ／Ｎの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第１の画像信号を所定のサイズの画像信号とするとともに、第２の画像信号を、第１の画像信号のサイズを大きくまたは小さくした画像信号とすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理ということができる。
【０１２３】
画像変換部２１においては、画像変換処理の対象である第１の画像信号が、予測タップ抽出部１２１および特徴抽出部１２２に供給される。
【０１２４】
予測タップ抽出部１２１は、第２の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる第１の画像信号を構成する画素（の画素値）の幾つかを、予測タップとして抽出する。
【０１２５】
具体的には、予測タップ抽出部１２１は、注目画素に対応する第１の画像信号の画素（例えば、注目画素に対して空間的および時間的に最も近い位置にある第１の画像信号の画素）に対して、空間的または時間的に近い位置にある複数の画素を、第１の画像信号の画素から、予測タップとして抽出する。そして、予測タップ抽出部１２１は、注目画素についての予測タップを、演算部１２５に供給する。
【０１２６】
特徴抽出部１２２は、注目画素の特徴を、第１の画像信号を用いて抽出し、クラス分類部１２３に供給する。ここで、注目画素の特徴としては、例えば、注目画素に対応する第１の画像信号の画素に対して、空間的または時間的に近い位置にある複数の画素の画素値（第１の画像信号）のレベル分布などを採用することができる。
【０１２７】
クラス分類部１２３は、特徴抽出部１２２からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部１２４に供給する。即ち、クラス分類部１２３は、注目画素の特徴がスカラー量で表される場合、そのスカラー量そのものや、そのスカラー量を量子化して得られる量子化値を、クラスコードとして出力する。また、注目画素の特徴が、複数のコンポーネントからなるベクトル量で表される場合、クラス分類部１２３は、そのベクトル量をベクトル量子化して得られる値や、ADRC(Adaptive Dynamic Range Coding)を行うことにより得られる値を、クラスコードとして出力する。
【０１２８】
ここで、KビットADRCにおいては、例えば、注目画素の特徴を表すベクトル量を構成するコンポーネントの最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、注目画素の特徴を構成するコンポーネントがKビットに再量子化される。即ち、注目画素の特徴を構成する各コンポーネントから、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、注目画素の特徴を構成するKビットの各コンポーネントを、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、注目画素の特徴を表すベクトル量が、例えば、１ビットADRC処理された場合には、その注目画素の特徴を構成する各コンポーネントは、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各コンポーネントが１ビットとされる（２値化される）。そして、その１ビットのコンポーネントを所定の順番で並べたビット列が、ADRCコードとして出力される。クラス分類部１２３は、例えば、注目画素の特徴をADRC処理して得られるADRCコードを、クラスコードとして出力する。
【０１２９】
係数出力部１２４は、クラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１２３から供給されるクラスコードのクラスのタップ係数を、演算部１２５に出力する。
【０１３０】
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
【０１３１】
演算部１２５は、予測タップ抽出部１２１が出力する予測タップと、係数出力部１２４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、演算部１２５は、注目画素の画素値（の予測値）、即ち、第２の画像信号を構成する画素の画素値を求めて出力する。
【０１３２】
次に、図１２は、図１１の係数出力部１２４の第１の構成例を示している。
【０１３３】
図１２においては、係数出力部１２４は、係数メモリ１８１で構成されている。
【０１３４】
係数メモリ１８１は、後述する学習によりあらかじめ求められたクラスごとのタップ係数を記憶している。そして、係数メモリ１８１は、クラス分類部１２３からクラスコードが与えられると、そのクラスコードのクラスのタップ係数を読み出し、演算部１２５に供給する。
【０１３５】
次に、図１１の演算部１２５における予測演算と、その予測演算に用いられる、図１２の係数メモリ１８１に記憶されるタップ係数の学習について説明する。
【０１３６】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、所定の予測演算によって求める（予測する）ことを考える。
【０１３７】
いま、所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
【０１３８】
【数１】
2005051639.tif 000003
・・・（１）
【０１３９】
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像信号の画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
【０１４０】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０１４１】
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０１４２】
【数２】
2005051639.tif 000004
・・・（２）
【０１４３】
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０１４４】
【数３】
2005051639.tif 000005
・・・（３）
【０１４５】
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０１４６】
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
【０１４７】
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０１４８】
【数４】
2005051639.tif 000006
・・・（４）
【０１４９】
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０１５０】
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（１４）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
【０１５１】
【数５】
2005051639.tif 000007
・・・（５）
【０１５２】
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
【０１５３】
【数６】
2005051639.tif 000008
・・・（６）
【０１５４】
式（５）と（６）から、次式が得られる。
【０１５５】
【数７】
2005051639.tif 000009
・・・（７）
【０１５６】
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
【０１５７】
【数８】
2005051639.tif 000010
・・・（８）
【０１５８】
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
【０１５９】
式（８）の正規方程式をクラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
【０１６０】
次に、図１３は、式（８）の正規方程式をたてて解くことによりクラスごとのタップ係数ｗnを求める学習を行う学習装置の構成例を示している。
【０１６１】
学習装置には、タップ係数ｗnの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【０１６２】
学習装置において、学習用画像信号は、教師データ生成部１３１と生徒データ生成部１３３に供給される。
【０１６３】
教師データ生成部１３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部１３２に供給する。即ち、ここでは、教師データ生成部１３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部１３２に供給する。
【０１６４】
教師データ記憶部１３２は、教師データ生成部１３１から供給される教師データとしての高画質画像信号を記憶する。
【０１６５】
生徒データ生成部１３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部１３４に供給する。即ち、生徒データ生成部１３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部１３４に供給する。
【０１６６】
生徒データ記憶部１３４は、生徒データ生成部１３３から供給される生徒データを記憶する。
【０１６７】
予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図１１の予測タップ抽出部１２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部１３８に供給する。
【０１６８】
特徴抽出部１３６は、注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素を用い、図１１の特徴抽出部１２２における場合と同様にして、注目教師画素の特徴を抽出し、クラス分類部１３７に供給する。
【０１６９】
クラス分類部１３７は、特徴抽出部１３６が出力する注目教師画素の特徴に基づき、図１１のクラス分類部１２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１３８に出力する。
【０１７０】
足し込み部１３８には、クラス分類部１３７が出力する注目教師画素についてのクラスコードが供給される。そして、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに行う。
【０１７１】
即ち、足し込み部１３８には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘn,k、クラス分類部１３７が出力するクラスコードが供給される。
【０１７２】
そして、足し込み部１３８は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０１７３】
さらに、足し込み部１３８は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０１７４】
即ち、足し込み部１３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０１７５】
そして、足し込み部１３８は、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１３９に供給する。
【０１７６】
タップ係数算出部１３９は、足し込み部１３８から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
【０１７７】
図１２の係数メモリ１８１には、図１３の学習装置で求められるクラスごとのタップ係数ｗmが記憶されている。
【０１７８】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、タップ係数の学習を行うようにしたことから、タップ係数としては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０１７９】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、タップ係数としては、各種の画像変換処理を行うものを得ることができる。
【０１８０】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、ノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０１８１】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を間引いた画像信号を生徒データとして、または、所定の画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、タップ係数としては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。その他、教師データおよび生徒データとする画像信号を所定のものとすることで、タップ係数としては、画素数の変換や、アスペクト比の変換、その他の任意の画像信号処理を行うものを得ることが可能である。
【０１８２】
次に、図１４のフローチャートを参照して、図１３の学習装置の処理（学習処理）について、説明する。
【０１８３】
まず最初に、ステップＳ６１において、教師データ生成部１３１と生徒データ生成部１３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部１３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部１３１は、学習用画像信号を、所定のカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、生徒データを生成して出力する。
【０１８４】
教師データ生成部１３１が出力する教師データは、教師データ記憶部１３２に供給されて記憶され、生徒データ生成部１３３が出力する生徒データは、生徒データ記憶部１３４に供給されて記憶される。
【０１８５】
その後、ステップＳ６２に進み、予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ６２では、予測タップ抽出部１３５が、注目教師画素について、生徒データ記憶部１３４に記憶された生徒データから予測タップを構成し、足し込み部１３８に供給して、ステップＳ６３に進む。
【０１８６】
ステップＳ６３では、特徴抽出部１３６が、注目教師画素の特徴を、生徒データ記憶部１３４に記憶された生徒データを用いて抽出し、クラス分類部１３７に供給して、ステップＳ６４に進む。
【０１８７】
ステップＳ６４では、クラス分類部１３７は、特徴抽出部１３６からの注目教師画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１３８に出力して、ステップＳ６５に進む。
【０１８８】
ステップＳ６５では、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１３７から供給されるクラスコードごとに行い、ステップＳ６６に進む。
【０１８９】
ステップＳ６６では、予測タップ抽出部１３５が、教師データ記憶部１３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ６６において、注目教師画素としていない教師データが、まだ、教師データ記憶部１３２に記憶されていると判定された場合、予測タップ抽出部１３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ６２に戻り、以下、同様の処理が繰り返される。
【０１９０】
また、ステップＳ６６において、注目教師画素としていない教師データが、教師データ記憶部１３２に記憶されていないと判定された場合、足し込み部１３８は、いままでの処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１３９に供給し、ステップＳ６７に進む。
【０１９１】
ステップＳ６７では、タップ係数算出部１３９は、足し込み部１３８から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
【０１９２】
なお、学習用画像信号の数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１３９は、例えば、デフォルトのタップ係数を出力するようになっている。
【０１９３】
図１２の係数メモリ１８１には、以上のようにして得られたクラスごとのタップ係数が記憶されている。
【０１９４】
次に、図１５のフローチャートを参照して、図１１の画像変換部２１による画像変換処理について説明する。なお、図１５で説明する画像変換処理は、図６のステップＳ６および図８のステップＳ３７で行われる処理である。
【０１９５】
ステップＳ５１において、予測タップ抽出部１２１は、第２の画像信号を構成する画素のうちの、まだ注目画素としていないものの１つを、注目画素とし、さらに、その注目画素の画素値（第２の画像信号）を予測するのに用いる第１の画像信号を構成する画素（の画素値（第１の画像信号））の幾つかを、予測タップとして抽出して、ステップＳ５２に進む。
【０１９６】
ステップＳ５２では、特徴抽出部１２２は、注目画素の特徴を、第１の画像信号を用いて抽出し、クラス分類部１２３に供給して、ステップＳ５３に進む。ステップＳ５３では、クラス分類部１２３は、特徴抽出部１２２からの注目画素の特徴に基づき、注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類を行い、その結果得られるクラスに対応するクラスコードを、係数出力部１２４に供給して、ステップＳ５４に進む。ステップＳ５４では、係数出力部１２４は、クラス分類部１２３から供給されるクラスコードのクラスに応じたタップ係数を読み出し、演算部１２５に出力して、ステップＳ５５に進む。
【０１９７】
ステップＳ５５では、演算部１２５は、予測タップ抽出部１２１から供給される予測タップと、係数出力部１２４が出力した、注目画素のクラスのタップ係数とを用い、式（１）の演算を行うことにより、注目画素（の画素値）を求める。
【０１９８】
なお、画像変換部２１では、以上のステップＳ５１乃至Ｓ５５の処理が、１画面の第２の画像信号の画素すべてを、注目画素として行われ、その後リターンする。
【０１９９】
次に、図１６は、図１１の係数出力部１２４の第２の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してある。
【０２００】
図１２では、係数出力部１２４に、あらかじめ学習により求めたクラスごとのタップ係数を記憶させておくようにしたが、図１６では、係数出力部１２４において、タップ係数の、いわば種となる係数種データと、所定のパラメータとから、所望の画質の画像を得ることができるクラスごとのタップ係数を生成するようになっている。
【０２０１】
係数メモリ１８１は、係数生成部１８２から供給されるクラスごとのタップ係数を記憶する。そして、係数メモリ１８１は、クラス分類部１２３からクラスコードが供給されると、そのクラスコードが表すクラスのタップ係数を、記憶しているクラスごとのタップ係数の中から読み出し、演算部１２５に出力する。
【０２０２】
係数生成部１８２は、係数種メモリ１８３に記憶されている係数種データと、パラメータメモリ１８４に記憶されたパラメータとに基づいて、クラスごとのタップ係数を生成し、係数メモリ１８１に供給して上書きする形で記憶させる。
【０２０３】
係数種メモリ１８３は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
【０２０４】
パラメータメモリ１８４は、例えば、ユーザが操作部１８５を操作した場合に、その操作に応じて、操作部１８５が出力するパラメータを上書きする形で記憶する。
【０２０５】
操作部１８５は、例えば、ユーザによって操作される操作つまみなどであり、その操作に対応したパラメータを、パラメータメモリ１８４に出力する。このパラメータは、演算部１２５で求められる画素値で構成される画像の解像度などに対応する。なお、図１１においては、操作部１８５の図示は省略してある。
【０２０６】
ここで、パラメータメモリ１８４に記憶させるパラメータは、その他、例えば、第１の画像信号に基づいて生成することが可能である。
【０２０７】
図１６の係数出力部１２４においては、ユーザによる操作部１８５の操作に応じて、係数メモリ１８１に記憶（セット）されるクラスごとのタップ係数、即ち、演算部１２５で用いられるクラスごとのタップ係数が更新される。
【０２０８】
そこで、図１７のフローチャートを参照して、図１６の係数出力部１２４で行われるクラスごとのタップ係数を更新する処理（タップ係数更新処理）について説明する。
【０２０９】
まず最初に、ステップＳ１７１において、パラメータメモリ１８４は、操作部１８５からパラメータが供給されたかどうかを判定し、供給されたと判定した場合、ステップＳ１７２に進み、パラメータメモリ１８４は、その供給されたパラメータを上書きする形で記憶し、ステップＳ１７３に進む。
【０２１０】
また、ステップＳ１７１において、操作部１８５からパラメータが供給されていないと判定された場合、ステップＳ１７２をスキップして、ステップＳ１７３に進む。
【０２１１】
従って、パラメータメモリ１８４では、ユーザにより操作部１８５が操作され、これにより、操作部１８５から、そのユーザによる操作に対応したパラメータが供給された場合、その供給されたパラメータによって、記憶内容が更新される。
【０２１２】
ステップＳ１７３では、係数生成部１８２が、係数種メモリ１８３からクラスごとの係数種データを読み出すとともに、パラメータメモリ１８４からパラメータを読み出し、その係数種データとパラメータに基づいて、クラスごとのタップ係数を求める。そして、ステップＳ１７４に進み、係数生成部１８２は、そのクラスごとのタップ係数を、係数メモリ１８１に供給し、上書きする形で記憶させる。そして、ステップＳ１７４からＳ１７１に戻り、以下、同様の処理が繰り返される。
【０２１３】
なお、図１７において、ステップＳ１７３およびＳ１７４の処理は、パラメータメモリ１８４に、新たなパラメータが上書きされた場合に行い、他の場合はスキップすることが可能である。
【０２１４】
次に、係数生成部１８２におけるタップ係数の生成と、係数種メモリ１８３に記憶させる係数種データの学習について説明する。
【０２１５】
いま、高画質の画像信号（高画質画像信号）を第２の画像信号とするとともに、その高画質画像信号をＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像信号（低画質画像信号）を第１の画像信号として、低画質画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、高画質画素の画素値を、例えば、式（１）の線形１次予測演算によって求める（予測する）ことを考える。
【０２１６】
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
【０２１７】
一方、係数生成部１８２では、タップ係数ｗnが、係数種メモリ１８３に記憶された係数種データと、パラメータメモリ１８４に記憶されたパラメータとから生成されるが、この係数生成部１８２におけるタップ係数ｗnの生成が、係数種データとパラメータを用いた、例えば次式によって行われることとする。
【０２１８】
【数９】
2005051639.tif 000011
・・・（９）
【０２１９】
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表し、ｚは、パラメータを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβn,1，βn,2，・・・，βn,Mを用いて求められるようになっている。
【０２２０】
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
【０２２１】
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
【０２２２】
【数１０】
2005051639.tif 000012
・・・（１０）
【０２２３】
式（１０）を、式（９）に代入することにより、次式が得られる。
【０２２４】
【数１１】
2005051639.tif 000013
・・・（１１）
【０２２５】
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
【０２２６】
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
【０２２７】
【数１２】
2005051639.tif 000014
・・・（１２）
【０２２８】
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
【０２２９】
【数１３】
2005051639.tif 000015
・・・（１３）
【０２３０】
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
【０２３１】
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
【０２３２】
【数１４】
2005051639.tif 000016
・・・（１４）
【０２３３】
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
【０２３４】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２３５】
【数１５】
2005051639.tif 000017
・・・（１５）
【０２３６】
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
【０２３７】
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２３８】
【数１６】
2005051639.tif 000018
・・・（１６）
【０２３９】
式（１３）を、式（１６）に代入することにより、次式が得られる。
【０２４０】
【数１７】
2005051639.tif 000019
・・・（１７）
【０２４１】
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
【０２４２】
【数１８】
2005051639.tif 000020
・・・（１８）
【０２４３】
【数１９】
2005051639.tif 000021
・・・（１９）
【０２４４】
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
【０２４５】
【数２０】
2005051639.tif 000022
・・・（２０）
【０２４６】
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０２４７】
図１６の係数種メモリ１８３においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、式（２０）を解く学習を行うことにより求められた係数種データβm,nが記憶されており、係数生成部１８２では、その係数種データβm,nと、パラメータメモリ１８４に記憶されたパラメータｚから、式（９）にしたがって、タップ係数ｗnが生成される。そして、演算部１２５において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像信号の画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
【０２４８】
次に、図１８は、式（２０）の正規方程式をたてて解くことにより係数種データβm,nを求める学習を行う学習装置の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０２４９】
学習装置には、係数種データβm,nの学習に用いられる学習用画像信号が入力されるようになっている。ここで、学習用画像信号としては、例えば、解像度の高い高画質画像信号を用いることができる。
【０２５０】
学習装置において、学習用画像信号は、教師データ生成部１３１と生徒データ生成部１３３に供給される。
【０２５１】
教師データ生成部１３１は、そこに供給される学習用画像信号から教師データを生成し、教師データ記憶部１３２に供給する。即ち、ここでは、教師データ生成部１３１は、学習用画像信号としての高画質画像信号を、そのまま教師データとして、教師データ記憶部１３２に供給する。
【０２５２】
教師データ記憶部１３２は、教師データ生成部１３１から供給される教師データとしての高画質画像信号を記憶する。
【０２５３】
生徒データ生成部１３３は、学習用画像信号から生徒データを生成し、生徒データ記憶部１３４に供給する。即ち、生徒データ生成部１３３は、学習用画像信号としての高画質画像信号をフィルタリングすることにより、その解像度を低下させることで、低画質画像信号を生成し、この低画質画像信号を、生徒データとして、生徒データ記憶部１３４に供給する。
【０２５４】
ここで、生徒データ生成部１３３には、学習用画像信号の他、図１６のパラメータメモリ１８４に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部１９１から供給されるようになっている。即ち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部１３３には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部１９１から供給されるようになっている。
【０２５５】
生徒データ生成部１３３は、学習用画像信号としての高画質画像信号を、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像信号を生成する。
【０２５６】
従って、この場合、生徒データ生成部１３３では、図１９に示すように、学習用画像信号としての高画質画像信号について、Ｚ＋１種類の、解像度の異なる生徒データとしての低画質画像信号が生成される。
【０２５７】
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像信号をフィルタリングし、生徒データとしての低画質画像信号を生成するものとする。従って、ここでは。値の大きいパラメータｚに対応する低画質画像信号ほど、解像度が高い。
【０２５８】
また、本実施の形態では、説明を簡単にするために、生徒データ生成部１３３において、高画質画像信号の水平方向および垂直方向の両方向の解像度を、パラメータｚに対応する分だけ低下させた低画質画像信号を生成するものとする。
【０２５９】
図１８に戻り、生徒データ記憶部１３４は、生徒データ生成部１３３から供給される生徒データを記憶する。
【０２６０】
予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データとしての高画質画像信号を構成する画素を、順次、注目教師画素とし、その注目教師画素について、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を構成する低画質画素のうちの所定のものを抽出することにより、図１１の予測タップ抽出部１２１が構成するのと同一のタップ構造の予測タップを構成し、足し込み部１９２に供給する。
【０２６１】
特徴抽出部１３６は、注目教師画素の特徴を、生徒データ記憶部１３４に記憶された生徒データとしての低画質画像信号を用い、図１１の特徴抽出部１２２における場合と同様に抽出し、クラス分類部１３７に供給する。
【０２６２】
なお、予測タップ抽出部１３５と特徴抽出部１３６には、パラメータ生成部１９１が生成するパラメータｚが供給されるようになっており、予測タップ抽出部１３５と特徴抽出部１３６は、パラメータ生成部１９１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像信号）を用いて、予測タップを構成し、あるいは、注目教師画素の特徴を抽出する。
【０２６３】
クラス分類部１３７は、特徴抽出部１３６が出力する注目教師画素の特徴に基づき、図１１のクラス分類部１２３と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９２に出力する。
【０２６４】
足し込み部１９２は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに行う。
【０２６５】
即ち、足し込み部１９２には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘi,k（ｘj,k）、およびクラス分類部１３７が出力するクラスコードの他、その予測タップを構成するのに用いられた生徒データを生成したときのパラメータｚも、パラメータ生成部１９１から供給されるようになっている。
【０２６６】
そして、足し込み部１９２は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
【０２６７】
さらに、足し込み部１９２は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
【０２６８】
即ち、足し込み部１９２は、前回、注目教師画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目教師画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
【０２６９】
そして、足し込み部１９２は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部１９３に供給する。
【０２７０】
係数種算出部１９３は、足し込み部１９２から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０２７１】
パラメータ生成部１９１は、図１６のパラメータメモリ１８４に供給されるパラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部１３３に供給する。また、パラメータ生成部１９１は、生成したパラメータｚを、予測タップ抽出部１３５および特徴抽出部１３６、並びに足し込み部１９２にも供給する。
【０２７２】
次に、図２０のフローチャートを参照して、図１８の学習装置の処理（学習処理）について、説明する。
【０２７３】
まず最初に、ステップＳ１８１において、教師データ生成部１３１と生徒データ生成部１３３が、学習用画像信号から、教師データと生徒データを、それぞれ生成して出力する。即ち、教師データ生成部１３１は、学習用画像信号を、そのまま、教師データとして出力する。また、生徒データ生成部１３１には、パラメータ生成部１９１が生成するＺ＋１個の値のパラメータｚが供給され、生徒データ生成部１３１は、学習用画像信号を、パラメータ生成部１９１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像信号）について、Ｚ＋１フレームの生徒データを生成して出力する。
【０２７４】
教師データ生成部１３１が出力する教師データは、教師データ記憶部１３２に供給されて記憶され、生徒データ生成部１３３が出力する生徒データは、生徒データ記憶部１３４に供給されて記憶される。
【０２７５】
その後、ステップＳ１８２に進み、パラメータ生成部１９１は、パラメータｚを、初期値としての、例えば０にセットし、予測タップ抽出部１３５および特徴抽出部１３６、並びに足し込み部１９２に供給して、ステップＳ１８３に進む。ステップＳ１８３では、予測タップ抽出部１３５は、教師データ記憶部１３２に記憶された教師データのうち、まだ、注目教師画素としていないものを、注目教師画素とする。さらに、ステップＳ１８３では、予測タップ抽出部１３５が、注目教師画素について、生徒データ記憶部１３４に記憶された、パラメータ生成部１９１が出力するパラメータｚに対する生徒データ（注目教師画素となっている教師データに対応する学習用画像信号を、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを構成し、足し込み部１９２に供給して、ステップＳ１８４に進む。
【０２７６】
ステップＳ１８４では、特徴抽出部１３６が、やはり、注目教師画素について、生徒データ記憶部１３４に記憶された、パラメータ生成部１９１が出力するパラメータｚに対する生徒データを用いて、注目教師画素の特徴を抽出し、クラス分類部１３７に供給して、ステップＳ１８５に進む。
【０２７７】
ステップＳ１８５では、クラス分類部１３７は、特徴抽出部１３６からの注目教師画素の特徴に基づき、注目教師画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１９２に出力して、ステップＳ１８６に進む。
【０２７８】
ステップＳ１８６では、足し込み部１９２は、教師データ記憶部１３２から注目教師画素を読み出し、その注目教師画素、予測タップ抽出部１３５から供給される予測タップ、パラメータ生成部１９１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部１９２は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部１３７からのクラスコードに対応するものに対して、注目教師画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ１８７に進む。
【０２７９】
ステップＳ１８７では、パラメータ生成部１９１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ１８７において、パラメータ生成部１９１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ１８８に進み、パラメータ生成部１９１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、予測タップ抽出部１３５および特徴抽出部１３６、並びに足し込み部１９２に出力する。そして、ステップＳ１８３に戻り、以下、同様の処理が繰り返される。
【０２８０】
また、ステップＳ１８７において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ１８９に進み、予測タップ抽出部１３５が、教師データ記憶部１３２に、まだ、注目教師画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１８９において、注目教師画素としていない教師データが、まだ、教師データ記憶部１３２に記憶されていると判定された場合、予測タップ抽出部１３５は、まだ注目教師画素としていない教師データを、新たに、注目教師画素として、ステップＳ１８２に戻り、以下、同様の処理が繰り返される。
【０２８１】
また、ステップＳ１８９において、注目教師画素としていない教師データが、教師データ記憶部１３２に記憶されていないと判定された場合、足し込み部１９２は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部１９３に供給し、ステップＳ１９０に進む。
【０２８２】
ステップＳ１９０では、係数種算出部１９３は、足し込み部１９２から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
【０２８３】
なお、学習用画像信号の数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部１９３は、例えば、デフォルトの係数種データを出力するようになっている。
【０２８４】
ところで、図１８の学習装置では、図１９に示したように、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号に、パラメータｚに対応して解像度を劣化させた低画質画像信号を生徒データとして、式（１１）によって係数種データβm,nとパラメータｚに対応する変数ｔmとで表されるタップ係数ｗn、並びに生徒データｘnから、式（１）の線形１次式で予測される教師データの予測値ｙの自乗誤差の総和を最小にする係数種データβm,nを直接求める学習を行うようにしたが、係数種データβm,nの学習は、その他、例えば、図２１に示すようにして行うことが可能である。
【０２８５】
即ち、図２１の実施の形態では、図１９の実施の形態における場合と同様に、学習用画像信号としての高画質画像信号を教師データとするとともに、その高画質画像信号を、パラメータｚに対応したカットオフ周波数のＬＰＦによってフィルタリングすることにより、その水平解像度および垂直解像度を低下させた低画質画像信号を生徒データとして、まず最初に、タップ係数ｗn、並びに生徒データｘnを用いて式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和を最小にするタップ係数ｗnが、パラメータｚの値（ここでは、ｚ＝０，１，・・・，Ｚ）ごとに求められる。さらに、図２１の実施の形態では、求められたタップ係数ｗnを教師データとするとともに、パラメータｚを生徒データとして、式（１１）によって係数種データβm,n、並びに生徒データであるパラメータｚに対応する変数ｔmから予測される教師データとしてのタップ係数ｗnの予測値の自乗誤差の総和を最小にする係数種データβm,nを求める学習が行われる。
【０２８６】
ここで、式（１）の線形１次予測式で予測される教師データの予測値ｙの自乗誤差の総和Ｅを最小（極小）にするタップ係数ｗnは、図１３の学習装置における場合と同様に、式（８）の正規方程式をたてて解くことにより、各クラスについて、パラメータｚの値（ｚ＝０，１，・・・，Ｚ）ごとに求めることができる。
【０２８７】
ところで、ここでは、式（１１）に示したように、係数種データβm,nと、パラメータｚに対応する変数ｔmとから、タップ係数が求められるが、いま、この式（１１）によって求められるタップ係数を、ｗn’と表すこととすると、次の式（２１）で表される、最適なタップ係数ｗnと式（１１）により求められるタップ係数ｗn’との誤差ｅnを０とする係数種データβm,nが、最適なタップ係数ｗnを求めるのに最適な係数種データとなるが、すべてのタップ係数ｗnについて、そのような係数種データβm,nを求めることは、一般には困難である。
【０２８８】
【数２１】
2005051639.tif 000023
・・・（２１）
【０２８９】
なお、式（２１）は、式（１１）によって、次式のように変形することができる。
【０２９０】
【数２２】
2005051639.tif 000024
・・・（２２）
【０２９１】
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、やはり、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
【０２９２】
【数２３】
2005051639.tif 000025
・・・（２３）
【０２９３】
式（２３）の自乗誤差の総和Ｅの最小値（極小値）は、式（２４）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
【０２９４】
【数２４】
2005051639.tif 000026
・・・（２４）
【０２９５】
式（２２）を、式（２４）に代入することにより、次式が得られる。
【０２９６】
【数２５】
2005051639.tif 000027
・・・（２５）
【０２９７】
いま、Ｘi,j,とＹiを、式（２６）と（２７）に示すように定義する。
【０２９８】
【数２６】
2005051639.tif 000028
・・・（２６）
【０２９９】
【数２７】
2005051639.tif 000029
・・・（２７）
【０３００】
この場合、式（２５）は、Ｘi,jとＹiを用いた式（２８）に示す正規方程式で表すことができる。
【０３０１】
【数２８】
2005051639.tif 000030
・・・（２８）
【０３０２】
式（２８）の正規方程式も、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
【０３０３】
次に、図２２は、式（２８）の正規方程式をたてて解くことにより係数種データβn,mを求める学習を行う学習装置の構成例を示している。なお、図中、図１３または図１８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０３０４】
足し込み部１３８には、クラス分類部１３７が出力する注目教師画素についてのクラスコードと、パラメータ生成部１９１が出力するパラメータｚが供給されるようになっている。そして、足し込み部１３８は、教師データ記憶部１３２から、注目教師画素を読み出し、その注目教師画素と、予測タップ抽出部１３５から供給される注目教師画素について構成された予測タップを構成する生徒データとを対象とした足し込みを、クラス分類部１３７から供給されるクラスコードごとに、かつパラメータ生成部１９１が出力するパラメータｚの値ごとに行う。
【０３０５】
即ち、足し込み部１３８には、教師データ記憶部１３２に記憶された教師データｙk、予測タップ抽出部１３５が出力する予測タップｘn,k、クラス分類部１３７が出力するクラスコード、およびパラメータ生成部１９１が出力する、予測タップｘn,kを構成するのに用いられた生徒データを生成したときのパラメータｚが供給される。
【０３０６】
そして、足し込み部１３８は、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
【０３０７】
さらに、足し込み部１３８は、やはり、クラス分類部１３７から供給されるクラスコードに対応するクラスごとに、かつパラメータ生成部１９１が出力するパラメータｚの値ごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
【０３０８】
即ち、足し込み部１３８は、前回、注目教師画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目教師画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
【０３０９】
そして、足し込み部１３８は、教師データ記憶部１３２に記憶された教師データすべてを注目教師画素として、上述の足し込みを行うことにより、各クラスについて、パラメータｚの各値ごとに、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１３９に供給する。
【０３１０】
タップ係数算出部１３９は、足し込み部１３８から供給される各クラスについての、パラメータｚの値ごとの正規方程式を解くことにより、各クラスについて、パラメータｚの値ごとの最適なタップ係数ｗnを求め、足し込み部２０１に供給する。
【０３１１】
足し込み部２０１は、各クラスごとに、パラメータｚ（に対応する変数ｔm）と、最適なタップ係数ｗnを対象とした足し込みを行う。
【０３１２】
即ち、足し込み部２０１は、パラメータｚから式（１０）によって求められる変数ｔi（ｔj）を用い、式（２８）の左辺の行列における、式（２６）で定義されるコンポーネントＸi,jを求めるためのパラメータｚに対応する変数ｔi（ｔj）どうしの乗算（ｔiｔj）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３１３】
ここで、コンポーネントＸi,jは、パラメータｚによってのみ決まるものであり、クラスとは関係がないので、コンポーネントＸi,jの計算は、実際には、クラスごとに行う必要はなく、１回行うだけで済む。
【０３１４】
さらに、足し込み部２０１は、パラメータｚから式（１０）によって求められる変数ｔiと、最適なタップ係数ｗnとを用い、式（２８）の右辺のベクトルにおける、式（２７）で定義されるコンポーネントＹiを求めるためのパラメータｚに対応する変数ｔiおよび最適なタップ係数ｗnの乗算（ｔiｗn）と、サメーション（Σ）に相当する演算を、クラスごとに行う。
【０３１５】
足し込み部２０１は、各クラスごとに、式（２６）で表されるコンポーネントＸi,jと、式（２７）で表されるコンポーネントＹiを求めることにより、各クラスについて、式（２８）の正規方程式をたてると、その正規方程式を、係数種算出部２０２に供給する。
【０３１６】
係数種算出部２０２は、足し込み部２０１から供給されるクラスごとの式（２８）の正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
【０３１７】
図１６の係数種メモリ１８３には、以上のようにして求められたクラスごとの係数種データβm,nを記憶させておくようにすることもできる。
【０３１８】
ここで、図１６の係数出力部１２４においては、例えば、係数種メモリ１８３を設けずに、図２２のタップ係数算出部１３９が出力するパラメータｚの各値ごとの最適なタップ係数ｗnをメモリに記憶させておき、パラメータメモリ１８４に記憶されたパラメータｚに応じて、メモリに記憶された最適なタップ係数を選択して、係数メモリ１８１にセットするようにすることも可能である。但し、この場合、パラメータｚが取り得る値の数に比例した大きな容量のメモリが必要となる。これに対して、係数種メモリ１８３を設け、係数種データを記憶させておく場合には、係数種メモリ１８３の記憶容量は、パラメータｚが取り得る値の数に依存しないので、係数種メモリ１８３として、小さな容量のメモリを採用することができる。さらに、係数種データβm,nを記憶させておく場合には、その係数種データβm,nと、パラメータｚの値とから、式（９）によりタップ係数ｗnが生成されることから、パラメータｚの値に応じた、いわば連続的なタップ係数ｗnを得ることができる。そして、その結果、演算部１２５が第２の画像信号として出力する高画質画像信号の画質を、無段階に滑らかに調整することが可能となる。
【０３１９】
なお、上述の場合には、学習用画像信号を、そのまま第２の画像信号に対応する教師データとするとともに、その学習用画像信号の解像度を劣化させた低画質画像信号を、第１の画像信号に対応する生徒データとして、係数種データの学習を行うようにしたことから、係数種データとしては、第１の画像信号を、その解像度を向上させた第２の画像信号に変換する解像度向上処理としての画像変換処理を行うものを得ることができる。
【０３２０】
この場合、画像変換部２１では、パラメータｚに対応して、画像信号の水平解像度および垂直解像度を向上させることができる。従って、この場合、パラメータｚは、解像度に対応するパラメータであるということができる。
【０３２１】
なお、信号処理部４がセンサ部１に制御信号として供給する増幅率情報が表す増幅率は、例えば、パラメータに応じて補正することが可能である。即ち、増幅率は、例えば、パラメータに対応する解像度が高いほど、大きな値に補正することが可能である。
【０３２２】
ここで、第１の画像信号に対応する生徒データと、第２の画像信号に対応する教師データとする画像信号の選択の仕方によって、係数種データとしては、各種の画像変換処理を行うものを得ることができる。
【０３２３】
即ち、例えば、高画質画像信号を教師データとするとともに、その教師データとしての高画質画像信号に対して、パラメータｚに対応するレベルのノイズを重畳した画像信号を生徒データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、そこに含まれるノイズを除去（低減）した第２の画像信号に変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
【０３２４】
また、例えば、ある画像信号を教師データとするとともに、その教師データとしての画像信号の画素数を、パラメータｚに対応して間引いた画像信号を生徒データとして、または、パラメータｚに対応するサイズの画像信号を生徒データとするとともに、その生徒データとしての画像信号の画素を所定の間引き率で間引いた画像信号を教師データとして、学習処理を行うことにより、係数種データとしては、第１の画像信号を、拡大または縮小した第２の画像信号に変換するリサイズ処理としての画像変換処理を行うものを得ることができる。
【０３２５】
係数種メモリ１８３に、ノイズ除去処理用の係数種データや、リサイズ処理用の係数種データを記憶させておく場合、画像変換部２１では、パラメータｚに対応して、画像信号のノイズ除去やリサイズ（拡大または縮小）を行うことができる。
【０３２６】
なお、上述の場合には、タップ係数ｗnを、式（９）に示したように、β1,nｚ0＋β2,nｚ1＋・・・＋βM,nｚM-1で定義し、この式（９）によって、水平および垂直方向の解像度を、いずれも、パラメータｚに対応して向上させるためのタップ係数ｗnを求めるようにしたが、タップ係数ｗnとしては、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるものを求めるようにすることも可能である。
【０３２７】
即ち、タップ係数ｗnを、式（９）に代えて、例えば、３次式β1,nｚx0ｚy0＋β2,nｚx1ｚy0＋β3,nｚx2ｚy0＋β4,nｚx3ｚy0＋β5,nｚx0ｚy1＋β6,nｚx0ｚy2＋β7,nｚx0ｚy3＋β8,nｚx1ｚy1＋β9,nｚx2ｚy1＋β10,nｚx1ｚy2で定義するとともに、式（１０）で定義した変数ｔmを、式（１０）に代えて、ｔ1＝ｚx0ｚy0，ｔ2＝ｚx1ｚy0，ｔ3＝ｚx2ｚy0，ｔ4＝ｚx3ｚy0，ｔ5＝ｚx0ｚy1，ｔ6＝ｚx0ｚy2，ｔ7＝ｚx0ｚy3，ｔ8＝ｚx1ｚy1，ｔ9＝ｚx2ｚy1，ｔ10＝ｚx1ｚy2で定義する。この場合も、タップ係数ｗnは、最終的には、式（１１）で表すことができ、従って、学習装置（図１８、図２２）において、パラメータｚxとｚyに対応して、教師データの水平解像度と垂直解像度をそれぞれ劣化させた画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、水平解像度と垂直解像度を、独立のパラメータｚxとｚyに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることができる。
【０３２８】
その他、例えば、水平解像度と垂直解像度それぞれに対応するパラメータｚxとｚyに加えて、さらに、時間方向の解像度に対応するパラメータｚtを導入することにより、水平解像度、垂直解像度、時間解像度を、独立のパラメータｚx，ｚy，ｚtに対応して、それぞれ独立に向上させるタップ係数ｗnを求めることが可能となる。
【０３２９】
また、リサイズ処理についても、解像度向上処理における場合と同様に、水平および垂直方向を、いずれもパラメータｚに対応する拡大率（または縮小率）でリサイズするタップ係数ｗnの他、水平と垂直方向を、それぞれパラメータｚxとｚyに対応する拡大率で、独立にリサイズするタップ係数ｗnを求めることが可能である。
【０３３０】
さらに、学習装置（図１８、図２２）において、パラメータｚxに対応して教師データの水平解像度および垂直解像度を劣化させるとともに、パラメータｚyに対応して教師データにノイズを付加した画像信号を、生徒データとして用いて学習を行って、係数種データβm,nを求めることにより、パラメータｚxに対応して水平解像度および垂直解像度を向上させるとともに、パラメータｚyに対応してノイズ除去を行うタップ係数ｗnを求めることができる。
【０３３１】
なお、上述の場合には、画像変換処理において、１フレームまたは１フィールド全体を、第１の画像信号から第２の画像信号に変換するようにしたが、その他、例えば、図２３に示すように、１フレームまたは１フィールドの一部の領域の第１の画像信号を第２の画像信号に変換することも可能である。
【０３３２】
次に、上述した信号処理部４の一連の処理は、専用のハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータや、汎用のコンピュータ等にインストールされる。
【０３３３】
そこで、図２４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０３３４】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やＲＯＭ３０３に予め記録しておくことができる。
【０３３５】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体３１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０３３６】
なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部３０８で受信し、内蔵するハードディスク３０５にインストールすることができる。
【０３３７】
コンピュータは、CPU(Central Processing Unit)３０２を内蔵している。CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されており、CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部３０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、また、CPU３０２は、ハードディスク３０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部３０８で受信されてハードディスク３０５にインストールされたプログラム、またはドライブ３０９に装着されたリムーバブル記録媒体３１１から読み出されてハードディスク３０５にインストールされたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
【０３３８】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３３９】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３４０】
なお、画像変換部２１では、上述した画像変換処理の他、例えば、第１の画像信号に対して、ディジタルクランプ処理、ホワイトバランス調整処理、ガンマ補正処理、線形補間処理その他の処理を施した第２の画像信号を得る画像変換処理を行うことが可能である。
【０３４１】
また、本実施の形態では、センサ部１の性能として、受光部１１で得られた信号の増幅率を変化させるようにしたが、その他、例えば、各画素の受光部１１における露光時間を変化させることなどにより、センサ部１に、後段の画像変換処理にとって適した画像信号を出力させることが可能である。
【図面の簡単な説明】
【０３４２】
【図１】本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【図２】信号処理部４が出力する制御信号によるセンサ部１の性能の変化について説明する図である。
【図３】センサ部１の構成例を示すブロック図である。
【図４】信号処理部４の構成例を示すブロック図である。
【図５】レベル評価部２３の第１の構成例を示すブロック図である。
【図６】撮像装置の動作を説明するフローチャートである。
【図７】レベル評価部２３の処理を説明するフローチャートである。
【図８】撮像装置の動作を説明するフローチャートである。
【図９】レベル評価部２３の第２の構成例を示すブロック図である。
【図１０】レベル評価部２３の第３の構成例を示すブロック図である。
【図１１】画像変換部２１の構成例を示すブロック図である。
【図１２】係数出力部１２４の第１の構成例を示すブロック図である。
【図１３】タップ係数を学習する学習装置の構成例を示すブロック図である。
【図１４】タップ係数を学習する学習処理を説明するフローチャートである。
【図１５】画像変換部２１の処理を説明するフローチャートである。
【図１６】係数出力部１２４の第２の構成例を示すブロック図である。
【図１７】タップ係数更新処理を説明するフローチャートである。
【図１８】係数種データを学習する学習装置の第１の構成例を示すブロック図である。
【図１９】係数種データを学習する学習方法を説明する図である。
【図２０】係数種データを学習する学習処理を説明するフローチャートである。
【図２１】係数種データを学習する学習方法を説明する図である。
【図２２】係数種データを学習する学習装置の第２の構成例を示すブロック図である。
【図２３】画像変換処理の対象とする領域を示す図である。
【図２４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０３４３】
１  センサ部，  ２  信号調整部，  ３  A/D変換部，  ４  信号処理部，  ５  出力部，  １１  受光部，  １２  制御部，  ２１  画質変換部，  ２２  画像補正部，  ２３  レベル評価部，  ３１  評価画素抽出部，  ３２  占有度算出部，  ３３  増幅率決定部，  ４１  アクティビティ算出部，  ４２  増幅率決定部，  ５１  比較部，  ５２  増幅率決定部，  １２１  予測タップ抽出部，  １２２  特徴抽出部，  １２３  クラス分類部，  １２４  係数出力部，  １２５  演算部，  １８１  係数メモリ，  １８２  係数生成部，  １８３  係数種メモリ，  １８４  パラメータメモリ，  １８５  操作部，  ３０１  バス，  ３０２  CPU，  ３０３  ROM，  ３０４  RAM，  ３０５  ハードディスク，  ３０６  出力部，  ３０７  入力部，  ３０８  通信部，  ３０９  ドライブ，  ３１０  入出力インタフェース，  ３１１  リムーバブル記録媒体
【図１】
2005051639.tif 000031
【図２】
2005051639.tif 000032
【図３】
2005051639.tif 000033
【図４】
2005051639.tif 000034
【図５】
2005051639.tif 000035
【図６】
2005051639.tif 000036
【図７】
2005051639.tif 000037
【図８】
2005051639.tif 000038
【図９】
2005051639.tif 000039
【図１０】
2005051639.tif 000040
【図１１】
2005051639.tif 000041
【図１２】
2005051639.tif 000042
【図１３】
2005051639.tif 000043
【図１４】
2005051639.tif 000044
【図１５】
2005051639.tif 000045
【図１６】
2005051639.tif 000046
【図１７】
2005051639.tif 000047
【図１８】
2005051639.tif 000048
【図１９】
2005051639.tif 000049
【図２０】
2005051639.tif 000050
【図２１】
2005051639.tif 000051
【図２２】
2005051639.tif 000052
【図２３】
2005051639.tif 000053
【図２４】
2005051639.tif 000054