(57)【特許請求の範囲】
【請求項１】
複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを合成する第１の周波数合成手段と、
前記第１の周波数合成手段から得られた信号を、その周波数成分に応じて複数に分解する第２の周波数分解手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第２の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第２の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段と、
を具備することを特徴とする信号処理装置。
【請求項２】
複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
送信又は記録された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、当該第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から生成された、当該第２番目以降の分光感度特性に関する信号の高周波成分信号を、再生又は受信して合成する第１の周波数合成手段と、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第２の周波数合成手段と、
を具備することを特徴とする信号処理装置。
【請求項３】
さらに上記複数の分光感度特性のうち、第１番目の分光感度特性に関する信号を発生する光電変換単位領域の数が、第２番目以降に関する分光感度特性に関する信号を発生する光電変換単位領域の数の複数倍存在する画像入力手段を有する、ことを特徴とする請求項１に記載の信号処理装置。
【請求項４】
さらに上記第１及び第２の周波数分解手段は、分布が局所的な関数を基底関数として周波数分解を行う、ことを特徴とする請求項１〜３のいずれか１つに記載の信号処理装置。
【請求項５】
さらに上記第１及び第２の周波数合成手段は、分布が局所的な関数を基底関数として周波数合成を行う、ことを特徴とする請求項１〜３のいずれか１つに記載の信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理装置に関し、特に、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置に関する。
【０００２】
【従来の技術】
特開平９−２８４７９８号公報は、入力された信号を分光感度特性により周波数分解し、情報量が多い分光感度特性の高周波成分を、情報量が少ない他の分光感度特性の高周波成分の推定に用いることで高精細な信号を得る信号処理装置を開示している。
【０００３】
また、特願平１１−３１８７２９号明細書は、上記した特開平９−２８４７９８号公報に記載の技術を用いて、画像入力手段の配列がベイヤー配列をなしている入力手段により、周波数分解による高周波成分の推定を行う信号処理装置を開示している。
【０００４】
また、特願平１１−３１８７３０号明細書は、上記した特開平９−２８４７９８号公報に記載の技術を用いて、周波数分解による高周波成分の推定を行ない、更に、ＤＣＴ係数を用いて圧縮又は伸長を行う信号処理装置を開示している。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した特開平９−２８４７９８号公報において、より高精細な信号を得る手法は単独で行われており、周波数分解による圧縮伸長と組み合わせた場合の利点については明確な開示をしていない。
【０００６】
本発明はこのような課題に着目してなされたものであり、周波数分解による圧縮伸長を行なって高周波成分が抑圧される事により画質が低下した場合であっても、周波数分解による高周波成分の推定を行うことにより、画質低下を軽減すると共に、回路の簡素化をも実現可能な信号処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを合成する第１の周波数合成手段と、前記第１の周波数合成手段から得られた信号を、その周波数成分に応じて複数に分解する第２の周波数分解手段と、前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第２の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第２の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段とを具備する。
【０００９】
また、第２の発明は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、送信又は記録された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、当該第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から生成された、当該第２番目以降の分光感度特性に関する信号の高周波成分信号を、再生又は受信して合成する第１の周波数合成手段と、信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第２の周波数合成手段と、を具備する。
【００１１】
また、第３の発明は、第１の発明において、さらに上記複数の分光感度特性のうち、第１番目の分光感度特性に関する信号を発生する光電変換単位領域の数が、第２番目以降に関する分光感度特性に関する信号を発生する光電変換単位領域の数の複数倍存在する画像入力手段を有する。
【００１２】
また、第４の発明は、第１から第３のいずれか１つの発明において、さらに上記第１及び第２の周波数分解手段は、分布が局所的な関数を基底関数として周波数分解を行う。
【００１３】
また、第５の発明は、第１から第３のいずれか１つの発明において、さらに上記第１及び第２の周波数合成手段は、分布が局所的な関数を基底関数として周波数合成を行う。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。本実施形態の信号処理装置は、複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置である。ここでは情報量が多い第１番目の分光感度特性に関する信号としてＧ（Ｇｒｅｅｎ）信号を、情報量が少ない第２番目の分光感度特性に関する信号としてＲ（Ｒｅｄ）信号を、情報量が少ない第３番目の分光感度特性に関する信号としてＢ（Ｂｌｕｅ）信号を想定する。
【００１５】
図１は、本発明の実施形態に係る、記録又は送信系の信号処理装置の構成を示す図である。図１において、画像入力部１は、処理すべき画像信号を入力する部分である。Ｒ用バッファ３−１は入力された画像信号のうちＲ信号を記憶する。また、Ｇ用バッファ３−２は入力された画像信号のうちＧ信号を記憶する。また、Ｂ用バッファ３−３は入力された画像信号のうちＢ信号を記憶する。
【００１６】
Ｒ用周波数分解部４−１は、Ｒ信号を、その周波数成分に応じて複数（ここでは高周波成分と低周波成分）に分解する。Ｒ高域用バッファ５−１は分解したＲ信号の高周波成分信号を記憶する部分であり、Ｒ低域用バッファ５−２は分解したＲ信号の低周波成分信号を記憶する部分である。
【００１７】
また、Ｇ用周波数分解部４−２は、Ｇ信号を、その周波数成分に応じて複数（ここでは高周波成分と低周波成分）に分解する。Ｇ高域用バッファ５−３は分解したＧ信号の高周波成分信号を記憶する部分であり、Ｇ低域用バッファ５−４は分解したＧ信号の低周波成分信号を記憶する部分である。
【００１８】
また、Ｂ用周波数分解部４−３は、Ｂ信号を、その周波数成分に応じて複数（ここでは高周波成分と低周波成分）に分解する。Ｂ高域用バッファ５−５は分解したＢ信号の高周波成分信号を記憶する部分であり、Ｂ低域用バッファ５−６は分解したＢ信号の低周波成分信号を記憶する部分である。
【００１９】
Ｇ、Ｒ用相関係数演算部６−１は、Ｒ低域用バッファ５−２からのＲ信号の低周波成分信号と、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号との間で、相関係数を演算する。
【００２０】
同様に、Ｇ、Ｂ用相関係数演算部６−２は、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号と、Ｂ低域用バッファ５−６からのＢ信号の低周波成分信号との間で、相関係数を演算する。
【００２１】
Ｒ用高周波成分信号生成部７−１は、Ｇ、Ｒ用相関係数演算部６−１からの相関係数と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とに基いて、Ｒ用高周波成分信号を生成する。
【００２２】
同様にして、Ｂ用高周波成分信号生成部７−４は、Ｇ、Ｂ用相関係数演算部６−２からの相関係数と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とに基いて、Ｂ用高周波成分信号を生成する。
【００２３】
また、Ｇ、Ｒ用高周波信号比較部７−２は、Ｒ高域用バッファ５−１からのＲ信号の高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とを比較する。
【００２４】
同様に、Ｇ、Ｂ用高周波信号比較部７−３は、Ｂ高域用バッファ５−５からのＢ信号の高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号とを比較する。
【００２５】
Ｒ用高周波成分信号切り替え部８−１は、Ｇ、Ｒ用高周波信号比較部７−２での比較結果に基いて、Ｒ高域用バッファ５−１からのＲ信号の高周波成分信号と、Ｒ用高周波成分信号生成部７−１からのＲ用高周波成分信号とを切り替えて出力する。
【００２６】
同様にして、Ｂ用高周波成分信号切り替え部８−２は、Ｇ、Ｂ用高周波信号比較部７−３での比較結果に基いて、Ｂ高域用バッファ５−５からのＢ信号の高周波成分信号と、Ｂ用高周波成分信号生成部７−４からのＢ用高周波成分信号とを切り替えて出力する。
【００２７】
信号圧縮部９は、Ｒ低域用バッファ５−２からのＲ信号の低周波成分信号と、Ｒ用高周波成分信号切り替え部８−１からの高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号と、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号と、Ｂ用高周波成分信号切り替え部８−２からの高周波成分信号と、Ｂ低域用バッファ５−６からのＢ信号の低周波成分信号に対して圧縮処理を施す。
【００２８】
記録又は送信部９は、圧縮された、Ｒ低域用バッファ５−２からのＲ信号の低周波成分信号と、Ｒ用高周波成分信号切り替え部８−１からの高周波成分信号と、Ｇ高域用バッファ５−３からのＧ信号の高周波成分信号と、Ｇ低域用バッファ５−４からのＧ信号の低周波成分信号と、Ｂ用高周波成分信号切り替え部８−２からの高周波成分信号と、Ｂ低域用バッファ５−６からのＢ信号の低周波成分信号とを記録あるいは送信する。
【００２９】
制御部２は上記した各部の動作を制御する部分であり、後述する補間、ブロック分割、ブロック制御を行なう。
【００３０】
なお、上記した画像入力部１は、Ｇ信号を発生する光電変換単位領域の数が、ＲまたはＢ信号を発生する光電変換単位領域の数の複数倍存在するものとする。さらに、画像入力部１の色フィルターの配列は図７に示すようなベイヤー配列をなしている。図７において、Ｒ（Ｒｅｄ）信号は輝度成分より色度成分を多く含み、所定領域の画素数が２番目に多い。Ｇ（Ｇｒｅｅｎ）信号は輝度成分を最も多く含み、所定領域の画素数が１番多い。Ｂ（Ｂｌｕｅ）信号は輝度成分より色度成分を多く含み、所定領域の画素数が２番目に多い。
【００３１】
図２は、本発明の実施形態に係る、再生又は受信系の信号処理装置の構成を示す図である。再生又は受信部１１は、Ｇ信号の低周波成分信号と、Ｇ信号の高周波成分信号と、ＢあるいはＲ信号の低周波成分信号と、Ｒ又はＢ用高周波成分信号切り替え部８−１，８−２からの高周波成分信号を再生又は受信する。
【００３２】
Ｒ高域用バッファ１３−１は、再生又は受信された信号のうち、Ｒ信号の高周波成分信号を記憶する部分である。Ｒ低域用バッファ１３−２は再生又は受信された信号のうち、Ｒ信号の低周波成分信号を記憶する部分である。
【００３３】
Ｇ高域用バッファ１３−３は、再生又は受信された信号のうち、Ｇ信号の高周波成分信号を記憶する部分である。Ｇ低域用バッファ１３−４は再生又は受信された信号のうち、Ｇ信号の低周波成分信号を記憶する部分である。
【００３４】
Ｂ高域用バッファ１３−５は、再生又は受信された信号のうち、Ｂ信号の高周波成分信号を記憶する部分である。Ｂ低域用バッファ１３−６は再生又は受信された信号のうち、Ｂ信号の低周波成分信号を記憶する部分である。
【００３５】
Ｇ、Ｒ用相関係数演算部１４−１は、Ｒ低域用バッファ１３−２からのＲ信号の低周波成分信号と、Ｇ低域用バッファ１３−４からのＧ信号の低周波成分信号との間で、相関係数を演算する。
【００３６】
同様にして、Ｇ、Ｂ用相関係数演算部１４−２は、Ｂ低域用バッファ１３−６からのＢ信号の低周波成分信号と、Ｇ低域用バッファ１３−４からのＧ信号の低周波成分信号との間で、相関係数を演算する。
【００３７】
Ｒ用高周波成分信号生成部１７−１は、Ｇ、Ｒ用相関係数演算部１４−１からの相関係数と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号に基いて、Ｒ用高周波成分信号を生成する。
【００３８】
Ｂ用高周波成分信号生成部１７−４は、Ｇ、Ｂ用相関係数演算部１４−２からの相関係数と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号に基いて、Ｂ用高周波成分信号を生成する。
【００３９】
Ｇ、Ｒ用高周波信号比較部１７−２は、Ｒ高域用バッファ１３−１からのＲ信号の高周波成分信号と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号とを比較する。
【００４０】
同様にして、Ｇ、Ｂ用高周波信号比較部１７−３は、Ｂ高域用バッファ１３−５からのＢ信号の高周波成分信号と、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号とを比較する。
【００４１】
Ｒ用高周波成分信号切り替え部１８−１は、Ｇ、Ｒ用高周波信号比較部１７−２からの比較結果に基いて、Ｒ高域用バッファ１３−１からのＲ信号の高周波成分信号と、Ｒ用高周波成分信号生成部１７−１からのＲ信号高周波成分信号とを切り替えて出力する。
【００４２】
同様にして、Ｂ用高周波成分信号切り替え部１８−２は、Ｇ、Ｂ用高周波信号比較部１７−３からの比較結果に基いて、Ｂ高域用バッファ１３−５からのＢ信号の高周波成分信号と、Ｂ用高周波成分信号生成部１７−４からのＢ信号高周波成分信号とを切り替えて出力する。
【００４３】
Ｒ用周波数合成部１９−１は、Ｒ低域用バッファ１３−２からのＲ信号の低周波成分信号と、Ｒ用高周波成分信号切り替え部１８−１からの高周波信号とを合成して、Ｒ信号の出力信号を生成する。
【００４４】
同様にして、Ｇ用周波数合成部１９−２は、Ｇ高域用バッファ１３−３からのＧ信号の高周波成分信号と、Ｇ低域用バッファ１３−４からのＧ信号の低周波成分信号とを合成して、Ｇ信号の出力信号を生成する。
【００４５】
同様にして、Ｂ用周波数合成部１９−３は、Ｂ低域用バッファ１３−６からのＢ信号の低周波成分信号と、Ｂ用高周波成分信号切り替え部１８−２からの高周波信号とを合成して、Ｂ信号の出力信号を生成する。
【００４６】
画像出力部２０は、Ｒ、Ｇ、Ｂの出力信号を画像信号として出力する。
【００４７】
制御部１２は上記した各部の動作を制御する部分であり、ブロック制御を行なう。
【００４８】
図３は、信号記録時に、周波数分解による圧縮記録と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図であり、ステップＳ１〜Ｓ８−２では周波数分解による高周波成分信号生成に関する処理を行ない、ステップＳ９−１〜Ｓ１３では周波数分解による圧縮記録に関する処理を行なう。（）内の信号の種類（Ｒ、Ｇ、Ｂ）は、理解を容易にするために代表例を示しており、それ以外には、「Ｃｒ、Ｙ、Ｃｂ」や「Ｐｒ、Ｙ、Ｐｂ」等の組合わせが考えられる。
【００４９】
ステップＳ１で入力された画像に対してＲ、Ｇ、Ｂ信号ごとの補間処理を行なう（ステップＳ２−１、Ｓ２−２、Ｓ２−３）。
【００５０】
図８はこの補間処理について説明するための図である。図８の（Ａ）は、Ｒ、Ｇ、Ｂ全画素についてのベイヤー配列を示している。図８の（Ｂ）は、補間前のＧ画素についてのベイヤー配列を示している。この場合、Ｇ信号の重心は２×２画素の中心（黒丸で示す部分）となる。また、図８の（Ｃ）は、補間前のＲ画素についてのベイヤー配列を示している。この場合、Ｒ信号の重心は各画素の中心（黒丸で示す部分）となる。図８の（Ｄ）は、補間前のＢ画素についてのベイヤー配列を示している。この場合、Ｂ信号の重心は、Ｒ信号の場合と同様に各画素の中心（黒丸で示す部分）となる。
【００５１】
このため、Ｇ信号の重心と、Ｒ又はＢ信号の重心との間で水平及び垂直方向に０．５画素のずれが生じ、これが原因となって方向性のある偽色が発生する。
【００５２】
そこで本実施形態では、Ｒ、Ｇ、Ｂの各信号について画素補間を行ない、補間後の２×２画素の重心は、Ｒ、Ｇ、Ｂ信号のどれもが２×２画素の中心になるようにしている（図８の（Ｂ’）、（Ｃ’）、（Ｄ’）。このような補間処理によれば、Ｒ、Ｇ、Ｂそれぞれの間で重心が異なることによる偽色は発生しない。
【００５３】
図３に戻って、次にステップＳ３−１、Ｓ３−２、Ｓ３−３ではＲ、Ｇ、Ｂそれぞれについて第１のブロック分割処理を行なう。以下に説明する第１のブロック分割処理の方法は、後述する第２以降のブロック分割処理にも適用される。
【００５４】
図９はこの第１のブロック分割処理について説明するための図である。このブロック分割処理では、図９の（Ａ）に示すような１画像をｍ×ｎ個の複数のブロックに分割して、分割した各ブロック毎に各色の高域情報の推定を行なう。以下、これについて詳細に説明する。図９の（Ｂ）は処理される１つの原画像を示している。この画像は、図９の（Ｃ）に示すような、高輝度画素だけからなる２×２画素のブロック（低周波成分）と、図９の（Ｄ）に示すような、低輝度画素だけからなる２×２画素のブロック（低周波成分）と、図９の（Ｅ）に示すような、高輝度画素と低輝度画素からなる２×２画素のブロック（高周波成分）とで構成されている。図９の（Ｂ）の画像では、最も右下のブロックが高周波成分であり、ここでは、（高輝度値−低輝度値）の絶対値＝Ｖpreであるとする。
【００５５】
このように、画像の一部にしか高周波成分が含まれていない場合において、複数ブロックに分割しないで処理を行なった場合には、画像全体における相関係数（高周波成分／低周波成分）が低いために、高周波成分は処理後に減少する。図９の（Ｆ）はこの処理後の画像を示しており、その最も右下のブロック部分に、図９の（Ｇ）に示すような、輝度値が低下した高輝度画素と輝度値が上昇した低輝度画素からなるブロックが発生する。このブロックでは（高輝度値−低輝度値）の絶対値＜Ｖpreとなるので、画像が不明瞭になってしまう。
【００５６】
そこで本実施形態では、図９の（Ｂ）に示す原画像を複数のブロック（１ブロック＝２×２画素）に分割した上で処理を行なうようにする。図９の（Ｈ）は処理後の画像を示している。複数のブロックに分割すると、最も右下のブロックでの相関係数（高周波成分／低周波成分）は高いため、高周波成分は処理後でも減少しない。すなわち、（高輝度値−低輝度値）の絶対値＝Ｖpreが成り立つ。
【００５７】
図１０は上記したブロック分割処理の変形例を説明するための図である。この変形例では上記したブロック分割処理において、図１０の（Ａ）で示されるような全画面の範囲にわたって、高周波成分信号生成部で処理されるブロック単位と、信号記録または送信処理あるいは信号再生または受信処理で処理されるブロック単位を同一単位とすることを特徴としている。
【００５８】
図３に戻って、ステップＳ４−１、Ｓ４−２、Ｓ４−３ではＲ、Ｇ、Ｂ信号それぞれについて第１の周波数分解処理により、低周波成分信号と高周波成分信号とに分解する。以下に説明する第１の周波数分解処理の方法は、後述する第２以降の周波数分解処理にも適用される。
【００５９】
図１１は、この第１の周波数分解処理の一例を説明するための図である。図１１の（Ａ）に示すようなグリーン画素を補間した画素配列のブロックにおいて、局所的関数を基底関数（ここではＨａｒｒ関数）としたウェーブレット変換による周波数域分解を行なう。Ｈａｒｒ関数を用いているので垂直方向の局所的関数は図１１の（Ｂ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用され、水平方向の局所的関数は図１１の（Ｃ）に示すようなＬＰＦ（ローパスフィルタ）とＨＰＦ（ハイパスフィルタ）とが適用される。また、このときのウェーブレット変換においては、例えば以下の演算式が用いられる。
【００６０】
ＧLL＝｛（ＧUL＋ＧUR）＋（ＧDL＋ＧDR）｝／４
ＧHL＝｛（ＧUL−ＧUR）＋（ＧDL−ＧDR）｝／４
ＧLH＝｛（ＧUL＋ＧUR）−（ＧDL＋ＧDR）｝／４
ＧHH＝｛（ＧUL−ＧUR）−（ＧDL−ＧDR）｝／４
上記ウェーブレット変換により、周波数分解されたＧ画素の４つの成分、ＧLL、ＧHL、ＧLH、ＧHHが得られる（図１１の（Ｄ））。
【００６１】
図３に戻って、次に、ステップＳ４−１で得られたＲ信号の低周波成分信号と、ステップＳ４−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ５−１）。同様にして、ステップＳ４−３で得られたＢ信号の低周波成分信号と、ステップＳ４−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ５−２）。
【００６２】
次に、ステップＳ４−１で得られたＲ信号の高周波成分信号と、ステップＳ４−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ６−１）。同様にして、ステップＳ４−３で得られたＢ信号の高周波成分信号と、ステップＳ４−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ６−２）。
【００６３】
次に、ステップＳ５−１で得られた相関係数と、ステップＳ４−２で得られたＧ信号の高周波成分信号とに基いて、Ｒ信号の高周波成分信号を生成する（ステップＳ７−１）。同様にして、ステップＳ５−２で得られた相関係数と、ステップＳ４−２で得られたＧ信号の高周波成分信号とに基いて、Ｂ信号の高周波成分信号を生成する（ステップＳ７−２）。
【００６４】
次に、ステップＳ６−１での比較結果に基いて、ステップＳ７−１で得られたＲ信号の高周波成分信号と、ステップＳ４−１で得られたＲ信号の高周波成分信号とを切り替えて出力する（ステップＳ８−１）。同様にして、ステップＳ６−２での比較結果に基いて、ステップＳ７−２で得られたＢ信号の高周波成分信号と、ステップＳ４−３で得られたＢ信号の高周波成分信号とを切り替えて出力する（ステップＳ８−２）。
【００６５】
図１２は上記した高周波成分信号の切替え処理の第１の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号とＲ信号またはＢ信号の高周波成分信号とを比較し、その差がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００６６】
図１３は上記した高周波成分信号の切替え処理の第２の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の分散値とＲ信号またはＢ信号の高周波成分信号の振幅の分散値とを比較し、その差がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００６７】
図１４は上記した振幅の分散の演算方法の一例を説明するための図である。図１４に示すような画素がベイヤー配列をなしている場合、分光感度特性に関する信号ごとに分散を求めることを考えると、Ｒ、Ｇ、Ｂ各色の信号振幅の分散は（ｐΣ（ｘ2）−（Σｘ）2）／（ｐ2）により求めることができる。但し、ｐ＝対象色の総画素数、ｘ＝対象画素値、である。
【００６８】
図１５は上記した高周波成分信号の切替え処理の第３の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の（最大値−最小値）の絶対値と、Ｒ信号またはＢ信号の高周波成分信号の振幅の（最大値−最小値）の絶対値とを比較し、その差がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００６９】
図１６は上記した高周波成分信号の切替え処理の第４の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の分散値としきい値とを比較し、分散値がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００７０】
図１７は上記した高周波成分信号の切替え処理の第５の実施形態を説明するための図である。この実施形態では、Ｇ信号の高周波成分信号の振幅の（最大値−最小値）の絶対値としきい値とを比較し、（最大値ー最小値）の絶対値がしきい値よりも小さい場合には周波数分解処理の出力を選択し、大きい場合には高周波成分信号生成処理の出力を選択する。
【００７１】
図３に戻って、次に、ステップＳ４−１で得られたＲ信号の低周波成分信号と、ステップＳ８−１で選択されたＲ信号の高周波成分信号に対して第１の周波数合成処理を行なう（ステップＳ９−１）。また、ステップＳ４−２で得られたＧ信号の低周波成分信号とＧ信号の高周波成分信号に対して第１の周波数合成を行なう（ステップＳ９−２）。さらに、ステップＳ４−３で得られたＢ信号の低周波成分信号と、ステップＳ８−２で選択されたＢ信号の高周波成分信号に対して第１の周波数合成を行なう（ステップＳ９−３）。
【００７２】
ここでの周波数合成処理では、上記周波数分解処理と同様に、分布が局所的な関数を基底関数として周波数合成を行なう（例えばウェーブレット変換）。この周波数合成処理は後述する第２以降の周波数合成処理にも適用される。
【００７３】
図３に戻って、次に、ステップＳ９−１で周波数合成されたＲ信号、ステップＳ９−２で周波数合成されたＧ信号、ステップＳ９−３で周波数合成されたＢ信号各々に対して第２のブロック分割処理を行なう（ステップＳ１０−１、Ｓ１０−２、Ｓ１０−３）。
【００７４】
次に、ステップＳ１０−１でブロック分割されたＲ信号に対して第２の周波数分解処理を行なうことにより、低周波成分信号と高周波成分信号に周波数分解する（ステップＳ１１−１）。同様にして、ステップＳ１０−２でブロック分割されたＧ信号に対して第２の周波数分解処理を行なうことにより、低周波成分信号と高周波成分信号に周波数分解する（ステップＳ１１−２）。同様にして、ステップＳ１０−３でブロック分割されたＢ信号に対して第２の周波数分解処理を行なうことにより、低周波成分信号と高周波成分信号に周波数分解する（ステップＳ１１−３）。
【００７５】
次に、ステップＳ１１−１、Ｓ１１−２、Ｓ１１−３での第２の周波数分解処理により得られたＲ、Ｇ、Ｂの各信号の高周波成分信号の量を、高周波数域側の信号を削除する量を制御することにより、可変する処理を行なう（ステップＳ１２−１、Ｓ１２−２、Ｓ１２−３）。
【００７６】
次に、ステップＳ１１−１で得られたＲ信号の低周波成分信号と、ステップＳ１２−１で可変されたＲ信号の高周波成分信号と、ステップＳ１１−２で得られたＧ信号の低周波成分信号と、ステップＳ１２−２で可変されたＧ信号の高周波成分信号と、ステップＳ１１−３で得られたＢ信号の低周波成分信号と、ステップＳ１２−３で可変されたＢ信号の高周波成分信号とを記録又は送信する（ステップＳ１３）。
【００７７】
図４は、図３に示す動作フローの変形例を示す図である。この変形例では図４における周波数合成処理（ステップＳ９−１、Ｓ９−２、Ｓ９−３）、第２のブロック分割処理（ステップＳ１０−１、Ｓ１０−２、Ｓ１０−３）、第２の周波数分解処理（ステップＳ１１−１、Ｓ１１−２、Ｓ１１−３）が省略されている。したがって、ステップＳ４−１で得られたＲ信号の低周波成分信号と、ステップＳ４−２で得られたＧ信号の低周波成分信号と、ステップＳ４−３で得られたＢ信号の低周波成分信号とはそのまま記録又は送信（ステップＳ１３）される。
【００７８】
また、ステップＳ８−１で選択されたＲ信号の高周波信号と、ステップＳ４−２で得られたＧ信号の高周波成分信号と、ステップＳ８−２で選択されたＢ信号の高周波信号に対して高周波成分信号量可変処理（ステップＳ１２−１、Ｓ１２−２、Ｓ１２−３）がなされる。
【００７９】
図５は、信号再生時に、周波数分解による再生と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図であり、ステップＳ２１〜Ｓ２３−３では周波数合成による伸長再生に関する処理を行ない、ステップＳ２４−１〜Ｓ３１では周波数分解による高周波成分信号生成に関する処理を行なう。
【００８０】
まず、記録又は送信された、Ｇ信号の低周波成分信号及び高周波成分信号と、Ｒ又はＢ信号の低周波成分信号と、高周波成分信号生成部で生成された、Ｒ又はＢ信号の高周波成分信号を再生又は受信し（ステップＳ２１）、Ｒ、Ｇ、Ｂ信号の各々の高周波成分信号と低周波成分信号とに対して第３のブロック分割を行なう（ステップＳ２２−１、Ｓ２２−２、Ｓ２２−３）。
【００８１】
次に、Ｒ、Ｇ、Ｂ信号の各々の高周波成分信号と低周波成分信号とに対して第２の周波数合成処理を行なう（ステップＳ２３−１、Ｓ２３−２、Ｓ２３−３）。次に、Ｒ、Ｇ、Ｂ信号の各々に対して第４のブロック分割処理を行なう（ステップＳ２４−１、Ｓ２４−２、Ｓ２４−３）。ブロック分割処理が施されたＲ、Ｇ、Ｂ信号の各々に対して第３の周波数分解処理が行なわれてＲ、Ｇ、Ｂ信号の各々について高周波成分信号と低周波成分信号とを取得する（ステップＳ２５−１、Ｓ２５−２、Ｓ２５−３）。
【００８２】
次に、ステップＳ２５−１で得られたＲ信号の低周波成分信号と、ステップＳ２５−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ２６−１）。同様にして、ステップＳ２５−３で得られたＢ信号の低周波成分信号と、ステップＳ２５−２で得られたＧ信号の低周波成分信号との間で相関係数を演算する（ステップＳ２６−２）。
【００８３】
次に、ステップＳ２５−１で得られたＲ信号の高周波成分信号と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ２７−１）。同様にして、ステップＳ２５−３で得られたＢ信号の高周波成分信号と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とを比較する（ステップＳ２７−２）。
【００８４】
次に、ステップＳ２６−１で得られた相関係数と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とに基いて、Ｒ信号の高周波成分信号を生成する（ステップＳ２８−１）。同様にして、ステップＳ２６−２で得られた相関係数と、ステップＳ２５−２で得られたＧ信号の高周波成分信号とに基いて、Ｂ信号の高周波成分信号を生成する（ステップＳ２８−２）。
【００８５】
次に、ステップＳ２７−１での比較結果に基いて、ステップＳ２８−１で得られたＲ信号の高周波成分信号と、ステップＳ２５−１で得られたＲ信号の高周波成分信号とを切り替えて出力する（ステップＳ２９−１）。同様にして、ステップＳ２７−２での比較結果に基いて、ステップＳ２８−２で得られたＢ信号の高周波成分信号と、ステップＳ２５−３で得られたＢ信号の高周波成分信号とを切り替えて出力する（ステップＳ２９−２）。
【００８６】
次にステップＳ２５−１で得られたＲ信号の低周波成分信号と、ステップＳ２９−１で選択されたＲ信号の高周波信号に対して第３の周波数合成を行なう（ステップＳ３０−１）。また、ステップＳ２５−２で得られたＧ信号の低周波成分信号と高周波成分信号に対して第３の周波数合成を行なう（ステップＳ３０−２）。さらに、ステップＳ２５−３で得られたＢ信号の低周波成分信号と、ステップＳ２９−２で選択されたＢ信号の高周波信号とに対して第３の周波数合成を行なう（ステップＳ３０−３）。
【００８７】
最後に周波数合成されたＲ、Ｇ、Ｂの信号を画像として出力する（ステップＳ３１）。
【００８８】
図６は、図５に示す動作フローの変形例を示す図である。この変形例では図５における第２の周波数合成処理（ステップＳ２３−１、Ｓ２３−２、Ｓ２３−３）、第４のブロック分割処理（ステップＳ２４−１、Ｓ２４−２、Ｓ２４−３）、第３の周波数分解処理（ステップＳ２５−１、Ｓ２５−２、Ｓ２５−３）が省略されている。したがって、ステップＳ２２−１、Ｓ２２−２、Ｓ２２−３で得られたＲ、Ｇ、Ｂの各色信号に対するブロック分割出力はステップＳ２６−１以降の処理にそのまま使用される。
【００８９】
なお、図３に示す信号記録時における動作フローと、図５に示す信号再生時における動作フローを組み合わせて用いることが可能である。
【００９０】
また、図４に示す信号記録時における動作フローと、図６に示す信号再生時における動作フローを組み合わせて用いることが可能である。
【００９１】
さらには、図３に示す信号記録時における動作フローと、図６に示す信号再生時における動作フローの組み合わせ、図４に示す信号記録時における動作フローと、図５に示す信号再生時における動作フローの組み合わせも可能である。
【００９２】
（付記）
上記した具体的な実施形態から以下のような構成の発明を抽出することが可能である。
【００９３】
（１）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを合成する第１の周波数合成手段と、
前記第１の周波数合成手段から得られた信号を、その周波数成分に応じて複数に分解する第２の周波数分解手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第２の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、
前記第２の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第２の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段と、
を具備することを特徴とする信号処理装置。
【００９４】
（従来の問題点）
信号記録又は送信時に「周波数分解手段を用いた信号圧縮」だけを行った場合、高周波成分が抑圧されている事により、画質が低下する（信号圧縮により、圧縮画像の細かい箇所が不鮮明になる）。
【００９５】
（効果）
信号記録又は送信時に「周波数分解手段を用いて高周波成分を抑圧する信号圧縮」と共に、「周波数分解手段を用いた高周波成分信号生成」を行うことにより、信号圧縮時に発生する、高周波成分の量の低下による画質低下を低減することが可能になる（信号圧縮前の操作により、圧縮後画像の細かい箇所が不鮮明になる度合いを軽減することができる）。
【００９６】
（１．１）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記第１の周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号について、高周波数域側の信号を削除する量を制御する事により高周波成分の信号量を可変する高周波成分信号量可変手段と、
前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の低周波成分信号と、前記第１の周波数分解手段から得られた情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、前記高周波成分信号量可変手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号と、前記高周波成分信号量可変手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号を記録又は送信する信号記録／送信手段と、
を具備することを特徴とする信号処理装置。
【００９７】
（従来の問題点）
（１）と同様。
【００９８】
（効果）
（１）の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能となる）。
【００９９】
（２）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
送信又は記録された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、当該第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から生成された、当該第２番目以降の分光感度特性に関する信号の高周波成分信号を、再生又は受信して合成する第１の周波数合成手段と、
信号を、その周波数成分に応じて複数に分解する第１の周波数分解手段と、
情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記第１の周波数分解手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、情報量の少ない第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第２の周波数合成手段と、
を具備することを特徴とする信号処理装置。
【０１００】
（従来の問題点）
記録時に「周波数分解手段を用いて高周波成分を抑圧する信号圧縮」を行い、高周波成分信号が抑圧されている記録信号に対して、信号再生又は受信時に「周波数合成手段を用いた信号伸長」だけを行った場合、高周波成分が抑圧されている事により、画質が低下する（事前に信号圧縮が行われていた場合、伸長画像の細かい箇所が不鮮明になる）。
【０１０１】
（効果）
信号再生又は受信時に「周波数合成手段を用いた信号伸長」と共に、「周波数分解手段を用いた高周波成分信号生成」を行うことにより、信号圧縮記録時に発生した高周波成分の量の低下による画質低下を、信号伸長時に低減することが可能になる（事前に信号圧縮が行われていた場合、信号伸長後の操作により、伸長後画像の細かい箇所が不鮮明になる度合いを軽減することができる）。
【０１０２】
（２．１）複数の分光感度特性のうち、少なくとも１つの分光感度特性に関する信号の情報量が、他の分光感度特性に関する信号の情報量より多い信号を処理する信号処理装置において、
記録又は再生された、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号と、高周波成分信号生成手段から得られた、第２番目以降の分光感度特性に関する信号の高周波成分信号を再生または受信する信号再生／受信手段と、
前記信号再生／受信手段から出力される信号のうち、情報量が多い第１番目の分光感度特性に関する信号の低周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の低周波成分信号との間で、相関係数を演算する相関係数演算手段と、
この相関係数演算手段から得られた相関係数と、前記信号再生／受信手段から得られた第１番目の分光感度特性に関する信号の高周波成分信号に基づいて、情報量の少ない第２番目以降の分光感度特性に関する信号の高周波成分信号を生成する高周波成分信号生成手段と、
この高周波成分信号生成手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号と、第２番目以降の分光感度特性に関する信号の低周波成分信号とを合成して、第２番目以降の分光感度特性に関する信号の出力信号を生成する第１の周波数合成手段と、
を具備することを特徴とする信号処理装置。
【０１０３】
（従来の問題点）
２．と同様
（効果）
（２）の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能になる）。
【０１０４】
（３）上記した（１）の構成と（２）の構成とを組合わせたことを特徴とする信号処理装置。
【０１０５】
（従来の問題点）
「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行なった場合、高周波成分が抑圧されていることにより、画質が低下する（圧縮画像と伸長画像の細かい箇所が不鮮明になる）。
【０１０６】
（効果）
「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」と共に、「周波数分解手段を用いた高周波成分信号生成」を行なうことにより、伸長後の信号において高周波成分の量の低下が軽減され、画質低下を軽減することが可能である（信号圧縮前又は伸長後の操作により、圧縮後画像の細かい箇所が不鮮明になる度合いが軽減される）。
【０１０７】
（３．１）上記した（１．１）の構成と（２．１）の構成とを組合わせたことを特徴とする信号処理装置。
【０１０８】
（従来の問題点）
（１）、（２）と同様。
【０１０９】
（効果）
（３）の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能になる）。
【０１１０】
（４）さらに上記複数の分光感度特性のうち、第１番目の分光感度特性に関する信号を発生する光電変換単位領域の数が、第２番目以降に関する分光感度特性に関する信号を発生する光電変換単位領域の数の複数倍存在する画像入力手段を有することを特徴とする（１）、（１．１）、（３）、（３．１）のいずれか１つに記載の信号処理装置。
【０１１１】
（従来の問題点）
「画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合、高周波成分が抑圧されている事により、画質が低下する（圧縮画像と伸長画像の細かい箇所が不鮮明になる）。
【０１１２】
（効果）
「画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合にでも、高周波成分の抑圧を低減する事により、画質の低下を低減可能である。従って圧縮画像において、より高画素な画像入力手段を用いることにより撮影した画像に近い画質を得ることが可能である（圧縮画像と伸長画像の細かい箇所が不鮮明になる度合いが低減される）。
【０１１３】
（５）さらに上記画像入力手段の色フィルターの配列が、ベイヤー配列をなしていることを特徴とする（４）に記載の信号処理装置。
【０１１４】
（従来の問題点）
「ベイヤー配列の色フィルターを持つ画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合、高周波成分が抑圧されている事により、画質が低下する（圧縮画像と伸長画像の細かい箇所が不鮮明になる）。
【０１１５】
（効果）
「ベイヤー配列の色フィルターを持つ画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合にでも、高周波成分の抑圧を低減する事により、画質の低下を低減可能である。
【０１１６】
従って、単板の画像入力手段を持つ装置の場合にでも、圧縮画像において、より高画素な画像入力手段を用いることにより撮影した画像に近い画質を得ることが可能となる（圧縮画像と伸長画像の細かい箇所が不鮮明になる度合いが低減）。
【０１１７】
（６）さらに上記相関係数演算手段の２つの入力信号の所定領域における各分光感度特性に関する信号の重心を等しくするための補間手段を具備することを特徴とする（５）に記載の信号処理装置。
【０１１８】
（従来の問題点）
「画像入力手段」の各分光感度毎（色）毎の重心の違いにより、擬色が発生した。
【０１１９】
（効果）
擬色の発生を押さえ、画質を向上させることが可能となる。
【０１２０】
（７）さらに、１つの信号を複数のブロックに分割するブロック分割手段を具備し、前記高周波成分信号生成手段は、前記ブロック分割手段により分割されたブロック毎に高周波成分を生成することを特徴とする（１）〜（６）のいずれか１つに記載の信号処理装置。
【０１２１】
（従来の問題点）
画像全体について相関係数と高周波成分信号生成を行った場合において、高周波成分の存在する範囲が少ない場合には、高周波成分の生成量が少ない（原画像の一部だけに高精細情報が存在する画像を圧縮伸長し、ブロック分割を行わずに高周波成分生成を行うと、高精細な箇所が不鮮明になる）。
【０１２２】
（効果）
高周波成分の推定が必要であるにもかかわらず、生成が行われない場合が少なくなる（原画像の一部だけに微細な情報が存在する場合にも、圧縮伸長後に高精細箇所が不鮮明になる度合いを低減することができる）。
【０１２３】
（７．１）さらに、前記信号記録／送信手段、及び前記信号再生／受信手段は、前記ブロック分割手段により分割されたブロック毎に信号処理を行うことを特徴とする（７）に記載の信号処理装置。
【０１２４】
（従来の問題点）
画像全体で、信号記録送信、及び信号記録受信を行った場合は、符号誤りや外来ノイズに対する耐性が低い（符号誤りが一カ所でも発生すれば、全信号が再生不可能となる）。
【０１２５】
（効果）
符号誤りや外来ノイズに対する耐性が上がる（誤り訂正等の技術を用いない場合には、符号誤りが一カ所発生しても、信号の１ブロックが再生不可能となるだけで、他のブロックは再生できる）。
【０１２６】
（７．２）さらに、前記高周波成分信号生成手段で処理されるブロック単位と、前記信号記録／送信手段、及び前記信号再生／受信手段で処理されるブロック単位は、同一単位であることを特徴とする（７）に記載の信号処理装置。
【０１２７】
（従来の問題点）
処理ブロックの範囲が異なると、システム構成が複雑になり、且つ回路規模が大きくなる場合がある。
【０１２８】
（効果）
処理ブロックの範囲が同一であれば、システム構成が簡易になり、且つ回路規模が縮小可能である。
【０１２９】
（８）さらに上記周波数分解手段から得られた、第１番目の分光感度特性に関する信号の高周波成分信号と、情報量が少ない第２番目以降の分光感度特性に関する信号の高周波成分信号とを比較する高周波信号比較手段と、上記高周波信号比較手段における比較結果に応じて、上記高周波成分信号生成手段から得られた高周波成分信号と、周波数分解手段から得られた第２番目以降の分光感度特性に関する信号の高周波成分信号とを、適応的に切り替える高周波成分信号切り替え手段とを特徴とする（１）〜（７．２）のいずれか１つに記載の信号処理装置。
【０１３０】
（従来の問題点）
例えば「Ｇｒｅｅｎを情報量が多い第１番目の分光感度特性に関する信号」とし、「Ｒｅｄ又はＢｌｕｅを第２番目以降の分光感度特性に関する信号」と仮定する。この時、Ｒｅｄ又はＢｌｕｅの高域情報よりも、Ｇｒｅｅｎの高域情報が少ない場合に、高周波成分生成を行うと、高域情報が減少し、画像の精細度が低下する（色依存性のある信号の場合に、精細度が低下する場合がある）。
【０１３１】
（効果）
（従来の問題点）の仮定条件で、Ｒｅｄ又はＢｌｕｅの高域情報よりも、Ｇｒｅｅｎの高域情報が少ない場合にも、Ｒｅｄ又はＢｌｕｅの元から持つ画像の高域情報が減少せず精細度が劣化しない。
【０１３２】
（９）さらに前記高周波信号比較手段及び前記高周波成分信号切り替え手段は、情報量が少ない第２番目以降の分光感度特性に関する信号毎に用意されることを特徴とする（８）に記載の信号処理装置。
【０１３３】
（従来の問題点）
例えば「Ｇｒｅｅｎを情報量が多い第１番目の分光感度特性に関する信号」とし、「Ｒｅｄ又はＢｌｕｅを第２番目以降の分光感度特性に関する信号」と仮定する。更に、Ｒｅｄの高域情報よりもＧｒｅｅｎの高域情報が少なく、且つＢｌｕｅの高域情報よりも、Ｇｒｅｅｎの高域情報が多いと仮定する。
【０１３４】
この場合に、高域情報生成を用いた画素補間処理を行うと、Ｒｅｄの高域情報が減少し、画像の精細度が悪くなる。即ち、特定色の高域情報が減少する（色依存性のある信号の場合に色によって精細度が低下する場合がある）。
【０１３５】
（効果）
「従来例とその問題点」の仮定条件下でも、特定色の高域情報が減少することがない（色依存性のある信号の場合に、色によって精細度が低下する場合を回避可能である）。
【０１３６】
（１０）さらに上記高周波信号比較手段は、第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の分散値を演算する分散演算手段と、得られたそれぞれの分散値を比較する比較手段とを具備することを特徴とする(８)に記載の信号処理装置。
【０１３７】
（従来の問題点）
高周波信号比較を正確に行うと、演算量が多く実処理時間が長くなってしまう。
【０１３８】
（効果）
高周波信号の比較を全信号について行なう場合と比べてほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能になる。
【０１３９】
（１１）さらに上記高周波信号比較手段は、第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の最大値と最小値の差を演算する演算手段と、得られたそれぞれの最大値と最小値の差を比較する比較手段とを具備することを特徴とする（８）に記載の信号処理装置。
【０１４０】
（従来の問題点）
「第１番目と第２番目以降の分光感度特性に関する高周波成分信号の振幅の分散値」を用いた場合でも、演算量が多く、実処理時間が長い。
【０１４１】
（効果）
「第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の分散値」を用いた場合と比較して、ほぼ同等の判断が可能で、演算量が少なく、少ない処理時間で実現可能になる。
【０１４２】
（１２）さらに上記高周波信号比較手段は、第１番目の分光感度特性に関する信号の高周波成分信号の振幅の分散値を演算する分散演算手段と、得られた分散値としきい値とを比較する比較手段とを具備することを特徴とする（８）に記載の信号処理装置。
【０１４３】
（従来の問題点）
「第１番目と第２番目以降の分光感度特性に関する信号の高周波成分信号の振幅の分散値」の比較を用いた場合でも、演算量が多く、実処理時間が長い。
【０１４４】
（効果）
少ない演算量で同等の効果が得られる。
【０１４５】
（１３）さらに上記高周波信号比較手段は、第１番目の分光感度特性に関する信号の高周波成分信号の振幅の最大値と最小値の差を演算する演算手段と、得られた最大値と最小値の差としきい値とを比較する比較手段とを具備することを特徴とする（８）に記載の信号処理装置。
【０１４６】
（従来の問題点）
「高周波信号比較手段」において、「第１番目の分光感度特性に関する信号の高周波成分信号の振幅の最大値と最小値の差」と「しきい値」との比較を用いた場合でも、演算量が多く、実処理時間が長い。
【０１４７】
（効果）
少ない演算利用で、同等の効果が得られる。
【０１４８】
（１４）さらに上記周波数分解手段は、分布が局所的な関数を基底関数として周波数分解を行うことを特徴とする（２．１）を除く（１）〜（１３）のいずれか１つに記載の信号処理装置。
【０１４９】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合、画質劣化が多かった。
【０１５０】
（効果）
ＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合よりも、精細度の優れた画質が得られる。
【０１５１】
（１５）さらに上記周波数合成手段は、分布が局所的な関数を基底関数として周波数合成を行うことを特徴とする（１．１）を除く（１）〜（１３）のいずれか１つに記載の信号処理装置。
【０１５２】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数合成手段による伸長を行った場合、画質劣化が多かった。
【０１５３】
（効果）
ＤＣＴ係数を用いた周波数分解手段による伸長を行った場合よりも、精細度の優れた画質が得られる。
【０１５４】
（１６）さらに上記分布が局所的な関数を基底関数として周波数分解を行う周波数分解手段は、ウェーブレット変換により周波数分解を行うことを特徴とする（１４）に記載の信号処理装置。
【０１５５】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合、画質劣化が多かった。
【０１５６】
（効果）
ＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合よりも、精細度の優れた画質が得られ、実現が容易である。
【０１５７】
（１７）さらに上記、分布が局所的な関数を基底関数として周波数合成を行う周波数合成手段は、逆ウェーブレット変換により周波数合成を行うことを特徴とする（１５）に記載の信号処理装置。
【０１５８】
（従来の問題点）
分布が局所的でない例えばＤＣＴ係数を用いた周波数合成手段による伸長を行った場合、画質劣化が多かった。
【０１５９】
（効果）
ＤＣＴ係数を用いた周波数合成手段による伸長を行った場合よりも、精細度の優れた画質が得られ、実現が容易である。
【０１６０】
【発明の効果】
請求項１に記載の発明によれば、信号圧縮時に発生する、高周波成分の量の低下による画質低下を低減することが可能である（信号圧縮前の操作により、圧縮後画像の細かい箇所が不鮮明になる度合いを軽減することができる）。
【０１６１】
請求項２に記載の発明によれば、請求項１の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能となる）。
【０１６２】
請求項３に記載の発明によれば、信号圧縮記録時に発生した高周波成分の量の低下による画質低下を、信号伸長時に低減することが可能になる（事前に信号圧縮が行われていた場合、信号伸長後の操作により、伸長後画像の細かい箇所が不鮮明になる度合いを軽減可能である）。
【０１６３】
請求項４に記載の発明によれば、請求項２の構成と比較して、回路規模が削減可能か、又は短いシーケンスで、同一の処理内容が実現可能である（装置の小型化、又は処理の高速化が可能になる）。
【０１６４】
請求項５に記載の発明によれば、「画像入力手段」を持った撮影装置において、「周波数分解手段を用いて高周波成分を抑圧する信号圧縮伸長」を行った場合にでも、高周波成分の抑圧を低減する事により、画質の低下を低減可能である。従って圧縮画像において、より高画素な画像入力手段を用いて撮影した画像に近い画質を得ることが可能である（圧縮画像と伸長画像の細かい箇所が不鮮明になる度合いが低減される）。
【０１６５】
請求項６に記載の発明によれば、ＤＣＴ係数を用いた周波数分解手段による圧縮を行った場合よりも、精細度の優れた画質が得られる。
【０１６６】
請求項７に記載の発明によれば、ＤＣＴ係数を用いた周波数合成手段による伸長を行った場合よりも、精細度の優れた画質が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る、記録又は送信系の信号処理装置の構成を示す図である。
【図２】本発明の実施形態に係る、再生又は受信系の信号処理装置の構成を示す図である。
【図３】信号記録時に、周波数分解による記録と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図である。
【図４】図３に示す動作フローの変形例を示す図である。
【図５】信号再生時に、周波数分解による再生と、周波数分解による高周波信号成分生成とを個別に行なう場合の動作フローの詳細を説明するための図である。
【図６】図５に示す動作フローの変形例を示す図である。
【図７】画像入力部１の色フィルターの配列の一例としてのベイヤー配列を示す図である。
【図８】本実施形態の補間処理について説明するための図である。
【図９】本実施形態のブロック分割処理について説明するための図である。
【図１０】本実施形態のブロック分割処理の変形例を説明するための図である。
【図１１】本実施形態の周波数分解処理の一例を説明するための図である。
【図１２】高周波成分信号の切替え処理の第１の実施形態を説明するための図である。
【図１３】高周波成分信号の切替え処理の第２の実施形態を説明するための図である。
【図１４】ｍ画素×ｎ画素からなる画像を示す図である。
【図１５】高周波成分信号の切替え処理の第３の実施形態を説明するための図である。
【図１６】高周波成分信号の切替え処理の第４の実施形態を説明するための図である。
【図１７】高周波成分信号の切替え処理の第５の実施形態を説明するための図である。
【符号の説明】
１  画像入力部
２  制御部
３−１  Ｒ用バッファ
３−２  Ｇ用バッファ
３−３  Ｂ用バッファ
４−１  Ｒ用周波数分解部
４−２  Ｇ用周波数分解部
４−３  Ｂ用周波数分解部
５−１  Ｒ高域用バッファ
５−２  Ｒ低域用バッファ
５−３  Ｇ高域用バッファ
５−４  Ｇ低域用バッファ
５−５  Ｂ高域用バッファ
５−６  Ｂ低域用バッファ
６−１  Ｇ、Ｒ用相関係数演算部
６−２  Ｇ、Ｂ用相関係数演算部
７−１  Ｒ用高周波成分信号生成部
７−２  Ｇ、Ｒ用高周波信号比較部
７−３  Ｇ、Ｂ用高周波信号比較部
７−４  Ｂ用高周波成分信号生成部
８−１  Ｒ用高周波成分信号切り替え部
８−２  Ｂ用高周波成分信号切り替え部
９  信号圧縮部
１０  記録又は送信部
【図１】
0004713794.tif 000002
【図２】
0004713794.tif 000003
【図３】
0004713794.tif 000004
【図４】
0004713794.tif 000005
【図５】
0004713794.tif 000006
【図６】
0004713794.tif 000007
【図７】
0004713794.tif 000008
【図８】
0004713794.tif 000009
【図９】
0004713794.tif 000010
【図１０】
0004713794.tif 000011
【図１１】
0004713794.tif 000012
【図１２】
0004713794.tif 000013
【図１３】
0004713794.tif 000014
【図１４】
0004713794.tif 000015
【図１５】
0004713794.tif 000016
【図１６】
0004713794.tif 000017
【図１７】
0004713794.tif 000018