(57)【特許請求の範囲】
【請求項１】
２次元配列された複数の画素を有し、前記複数の画素は、異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力し、前記各画素は１つの色成分の色情報を出力する撮像素子の第１色成分が欠落する画素に第１色成分の色情報を補間する補間処理装置において、
補間処理対象の画素における少なくとも２方向に対する類似度の各々を、前記補間処理対象の画素とその近傍の複数の画素とから選ばれる複数の画素の色情報に基づき、「異なる色成分の色情報を用いた異色間類似度成分を含む異色間類似度」と「同じ色成分の色情報のみを用いた同色間類似度成分を含む同色間類似度」との２種類に対して各々算出し、前記補間処理対象の画素が属する局所的な領域における画像の色彩に関する情報を画像内の方向を考慮して抽出し、前記色彩に関する情報に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより算出する類似度算出手段と、
前記類似度に基づき、各方向の類似性の強弱を判定する類似性判定手段と、
前記類似性判定手段による判定結果に応じて、補間処理対象の画素の補間量を算出する補間量算出手段と
を備えたことを特徴とする補間処理装置。
【請求項２】
請求項１に記載の補間処理装置において、
前記異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力する複数の画素は、異なる第１〜第３色成分の色情報を出力し、第１色成分が第２色成分および第３色成分に比べて空間周波数が高い場合、
前記類似度算出手段は、
（１）第１色成分の色情報と第２色成分の色情報とから成る異色間類似度成分と、
（２）第１色成分の色情報と第３色成分の色情報とから成る異色間類似度成分と
の少なくとも一方を含む類似度を異色間類似度とし、
（１）第１色成分の色情報のみから成る同色間類似度成分と、
（２）第２色成分の色情報のみから成る同色間類似度成分と、
（３）第３色成分の色情報のみから成る同色間類似度成分と
の少なくとも１つを含む類似度を同色間類似度とする
ことを特徴とする補間処理装置。
【請求項３】
請求項１または請求項２に記載の補間処理装置において、
前記類似度算出手段は、
前記色彩に関する情報を基準に、前記局所的な領域における画像が無彩色部であるか彩色部であるかを判別し、該局所的な領域における画像が無彩色部である場合には、補間処理対象の画素の複数の方向に対する類似度として前記異色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該異色間類似度の加重比率を該同色間類似度の加重比率よりも大きくし、該局所的な領域における画像が彩色部である場合には、補間処理対象の画素の複数の方向に対する類似度として該同色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該同色間類似度の加重比率を該異色間類似度の加重比率よりも大きくする
ことを特徴とする補間処理装置。
【請求項４】
請求項１または請求項３に記載の補間処理装置において、
前記類似度算出手段は、
前記色彩に関する情報として前記異色間類似度を用いる
ことを特徴とする補間処理装置。
【請求項５】
請求項４に記載の補間処理装置において、
前記類似度算出手段は、
前記異色間類似度が、少なくとも一方向に対して強い類似性を示す場合、前記局所的な領域における画像が無彩色部であると判断し、その他の場合、該局所的な領域における画像が彩色部であると判断する
ことを特徴とする補間処理装置。
【請求項６】
請求項１ないし請求項５の何れか１項に記載の補間処理装置において、
前記類似度算出手段は、
前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出する
ことを特徴とする補間処理装置。
【請求項７】
請求項１ないし請求項６の何れか１項に記載の補間処理装置において、
前記類似度算出手段は、
補間処理対象の画素の複数の方向に対する類似度として、補間処理対象の画素のみならず補間処理対象の画素の周辺の画素に対して算出した複数の方向に対する類似度を用いる
ことを特徴とする補間処理装置。
【請求項８】
請求項１ないし請求項７の何れか１項に記載の補間処理装置において、
前記類似性判定手段は、
各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定する
ことを特徴とする補間処理装置。
【請求項９】
２次元配列された複数の画素を有し、前記複数の画素は、異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力し、前記各画素は１つの色成分の色情報を出力する撮像素子の第１色成分が欠落する画素に第１色成分の色情報を補間する補間処理プログラムを記録した記録媒体において、
補間処理対象の画素における少なくとも２方向に対する類似度の各々を、前記補間処理対象の画素とその近傍の複数の画素とから選ばれる複数の画素の色情報に基づき、「異なる色成分の色情報を用いた異色間類似度成分を含む異色間類似度」と「同じ色成分の色情報のみを用いた同色間類似度成分を含む同色間類似度」との２種類に対して各々算出し、前記補間処理対象の画素が属する局所的な領域における画像の色彩に関する情報を画像内の方向を考慮して抽出し、前記色彩に関する情報に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより算出する類似度算出手順と、
前記類似度に基づき、各方向の類似性の強弱を判定する類似性判定手順と、
前記類似性判定手順による判定結果に応じて、補間処理対象の画素の補間量を算出する補間量算出手順と
をコンピュータに実行させることを特徴とする補間処理プログラムを記録した記録媒体。
【請求項１０】
請求項１に記載の補間処理装置において、
前記色彩に関する情報は、前記補間処理対象の画素における少なくとも２方向において、異なる色成分の色情報を使用して求める情報である
ことを特徴とする補間処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラーの画像データに対し、所定の色成分が欠落する画素に該色成分に相当する補間量を補う補間処理を行う補間処理装置および該補間処理をコンピュータに実行させる補間処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
電子カメラには、３色（ＲＧＢ：赤・緑・青）のカラーフィルタが所定の位置に配置（例えば、ベイア配列など）された撮像素子によって、カラーの画像データを生成するものがある。このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないため、画素単位で全ての色成分の色情報を得るために、補間処理を行う必要がある。
【０００３】
このような補間処理の方法としては、補間処理の対象となる補間対象画素の空間的な類似性を判定し、類似性の強い方向に位置する画素から出力される色情報を用いて補間量を算出する方法が従来から考えられている。また、このような補間処理では、通常、１画素置きに配置された同色の色情報を用いて類似度（以下、「同色間類似度」と称する）を算出し、その類似度に基づいて類似性の強弱が判定される。
【０００４】
しかし、このような類似性の強弱の判定では、同色の色情報が配置された間隔（１画素ピッチの２倍に相当する）よりも細かく変化する画像（空間周波数が高い画像）に対しては、類似性が強い方向を精度良く判定することはできない。そこで、空間周波数が高い画像に対して類似性の強い方向を判定するために、１画素ピッチに配置された異なる色の色情報を用いて類似度（以下、「異色間類似度」と称する）を算出し、その類似度に基づいて類似性の強弱を判定する技術を特願平１１−１４５４７３号などで取り入れるようになった。
【０００５】
ところが、異色間類似度は、色の違いを無視して算出されるので、取り扱いが非常に難しく、取り扱い方によっては、類似性の強弱を誤判定させるおそれがある。
そこで、本出願人は、特願平１１−１４５４７３号で、異色間類似度と同色間類似度とを加重加算して得られる類似度を用いて類似性の強弱を判定したり、異色間類似度と同色間類似度との何れか一方を画像の特徴に応じて選択して類似性の強弱を判定する発明を出願している。
【０００６】
【発明が解決しようとする課題】
しかし、特願平１１−１４５４７３号に記載の「異色間類似度と同色間類似度とを加重加算して得られる類似度を用いて類似性の強弱を判定する補間処理装置」は、大部分の画像に対して類似性の強弱を正しく判定することができるが、ある特殊な構造を示す画像に対しては、異色間類似度による弊害が回避できず、誤判定を生じる場合があった。
【０００７】
また、特願平１１−１４５４７３号に記載の「異色間類似度と同色間類似度との何れか一方を画像の特徴に応じて選択して類似性の強弱を判定する補間処理装置」では、画像の特徴の抽出が適切に行えず、類似性の強弱の判定に適した類似度を用いることができない可能性が高かった。
そこで、請求項１ないし請求項８、請求項１０に記載の発明は、類似性の強弱の判定に適した類似度を算出することによって、補間量を高い精度で算出することができる補間処理装置を提供することを目的とする。
【０００８】
また、請求項９に記載の発明は、類似性の強弱の判定に適した類似度を算出することによって、補間量を高い精度で算出することができる補間処理プログラムを記録した記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の補間処理装置は、  ２次元配列された複数の画素を有し、前記複数の画素は、異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力し、前記各画素は１つの色成分の色情報を出力する撮像素子の第１色成分が欠落する画素に第１色成分の色情報を補間する補間処理装置において、
補間処理対象の画素における少なくとも２方向に対する類似度の各々を、前記補間処理対象の画素とその近傍の複数の画素とから選ばれる複数の画素の色情報に基づき、「異なる色成分の色情報を用いた異色間類似度成分を含む異色間類似度」と「同じ色成分の色情報のみを用いた同色間類似度成分を含む同色間類似度」との２種類に対して各々算出し、前記補間処理対象の画素が属する局所的な領域における画像の色彩に関する情報を画像内の方向を考慮して抽出し、前記色彩に関する情報に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより算出する類似度算出手段と、前記類似度に基づき、各方向の類似性の強弱を判定する類似性判定手段と、前記類似性判定手段による判定結果に応じて、補間処理対象の画素の補間量を算出する補間量算出手段とを備えたことを特徴とする。
【００１０】
請求項２に記載の補間処理装置は、請求項１に記載の補間処理装置において、前記異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力する複数の画素は、異なる第１〜第３色成分の色情報を出力し、第１色成分が第２色成分および第３色成分に比べて空間周波数が高い場合、前記類似度算出手段は、
（１）第１色成分の色情報と第２色成分の色情報とから成る異色間類似度成分と、
（２）第１色成分の色情報と第３色成分の色情報とから成る異色間類似度成分と
の少なくとも一方を含む類似度を異色間類似度とし、
（１）第１色成分の色情報のみから成る同色間類似度成分と、
（２）第２色成分の色情報のみから成る同色間類似度成分と、
（３）第３色成分の色情報のみから成る同色間類似度成分と
の少なくとも１つを含む類似度を同色間類似度とすることを特徴とする。
【００１１】
請求項３に記載の補間処理装置は、請求項１または請求項２に記載の補間処理装置において、前記類似度算出手段は、前記色彩に関する情報を基準に、前記局所的な領域における画像が無彩色部であるか彩色部であるかを判別し、該局所的な領域における画像が無彩色部である場合には、補間処理対象の画素の複数の方向に対する類似度として前記異色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該異色間類似度の加重比率を該同色間類似度の加重比率よりも大きくし、該局所的な領域における画像が彩色部である場合には、補間処理対象の画素の複数の方向に対する類似度として該同色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該同色間類似度の加重比率を該異色間類似度の加重比率よりも大きくすることを特徴とする。
請求項４に記載の補間処理装置は、請求項１または請求項３に記載の補間処理装置において、前記類似度算出手段は、前記色彩に関する情報として前記異色間類似度を用いることを特徴とする。
【００１２】
請求項５に記載の補間処理装置は、請求項４に記載の補間処理装置において、前記類似度算出手段は、前記異色間類似度が、少なくとも一方向に対して強い類似性を示す場合、前記局所的な領域における画像が無彩色部であると判断し、その他の場合、該局所的な領域における画像が彩色部であると判断することを特徴とする。
【００１３】
請求項６に記載の補間処理装置は、請求項１ないし請求項５の何れか１項に記載の補間処理装置において、前記類似度算出手段は、前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出することを特徴とする。
【００１４】
請求項７に記載の補間処理装置は、請求項１ないし請求項６の何れか１項に記載の補間処理装置において、前記類似度算出手段は、補間処理対象の画素の複数の方向に対する類似度として、補間処理対象の画素のみならず補間処理対象の画素の周辺の画素に対して算出した複数の方向に対する類似度を用いることを特徴とする。
請求項８に記載の補間処理装置は、請求項１ないし請求項７の何れか１項に記載の補間処理装置において、前記類似性判定手段は、各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定することを特徴とする。
【００１５】
請求項９に記載の補間処理プログラムを記録した記録媒体は、２次元配列された複数の画素を有し、前記複数の画素は、異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力し、前記各画素は１つの色成分の色情報を出力する撮像素子の第１色成分が欠落する画素に第１色成分の色情報を補間する補間処理プログラムを記録した記録媒体において、補間処理対象の画素における少なくとも２方向に対する類似度の各々を、前記補間処理対象の画素とその近傍の複数の画素とから選ばれる複数の画素の色情報に基づき、「異なる色成分の色情報を用いた異色間類似度成分を含む異色間類似度」と「同じ色成分の色情報のみを用いた同色間類似度成分を含む同色間類似度」との２種類に対して各々算出し、前記補間処理対象の画素が属する局所的な領域における画像の色彩に関する情報を画像内の方向を考慮して抽出し、前記色彩に関する情報に応じて、どちらか一方の類似度に切り換える、もしくは、各類似度を加重加算するときの加重比率を切り換えることにより算出する類似度算出手順と、前記類似度に基づき、各方向の類似性の強弱を判定する類似性判定手順と、前記類似性判定手順による判定結果に応じて、補間処理対象の画素の補間量を算出する補間量算出手順とをコンピュータに実行させることを特徴とする補間処理プログラムを記録したことを特徴とする。
請求項１０に記載の補間処理装置は、請求項１に記載の補間処理装置において、前記色彩に関する情報は、前記補間処理対象の画素における少なくとも２方向において、異なる色成分の色情報を使用して求める情報であることを特徴とする。
【００１９】
ここで、上記の発明に関連する発明（《１》〜《８》）を開示する。
【００２０】
《１》：請求項９に記載の補間処理プログラムを記録した記録媒体において、前記異なる第１〜第ｎ（ｎ≧２）色成分の色情報を出力する複数の画素は、異なる第１〜第３色成分の色情報を出力し、第１色成分が第２色成分および第３色成分に比べて空間周波数が高い場合、
前記類似度算出手段は、
（１）第１色成分の色情報と第２色成分の色情報とから成る異色間類似度成分と、
（２）第１色成分の色情報と第３色成分の色情報とから成る異色間類似度成分と
の少なくとも一方を含む類似度を異色間類似度とし、
（１）第１色成分の色情報のみから成る同色間類似度成分と、
（２）第２色成分の色情報のみから成る同色間類似度成分と、
（３）第３色成分の色情報のみから成る同色間類似度成分と
の少なくとも１つを含む類似度を同色間類似度とする
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２１】
《２》：《１》または請求項９に記載の補間処理プログラムを記録した記録媒体において、
前記類似度算出手段は、
前記色彩に関する情報を基準に、前記局所的な領域における画像が無彩色部であるか彩色部であるかを判別し、該局所的な領域における画像が無彩色部である場合には、補間処理対象の画素の複数の方向に対する類似度として前記異色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該異色間類似度の加重比率を該同色間類似度の加重比率よりも大きくし、該局所的な領域における画像が彩色部である場合には、補間処理対象の画素の複数の方向に対する類似度として該同色間類似度を選択する、または、該異色間類似度と前記同色間類似度とを加重加算する際の該同色間類似度の加重比率を該異色間類似度の加重比率よりも大きくする
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２２】
《３》：《１》、請求項９、《２》の何れか１つに記載の補間処理プログラムを記録した記録媒体において、
前記類似度算出手順は、
前記色彩に関する情報として前記異色間類似度を用いる
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２３】
《４》：《３》に記載の補間処理プログラムを記録した記録媒体において、前記類似度算出手順は、前記異色間類似度が、少なくとも一方向に対して強い類似性を示す場合、前記局所的な領域における画像が無彩色部であると判断し、その他の場合、該補間処理対象の画素とその近傍の複数の画素とから選ばれる複数の画素における画像が彩色部であると判断する
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２４】
《５》：請求項９、《１》ないし《４》の何れか１つに記載の補間処理プログラムを記録した記録媒体において、
前記類似度算出手順は、
前記異色間類似度を前記同色間類似度よりも短い距離間隔で存在する色情報を用いて算出する
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２５】
《６》：請求項９、《１》ないし《５》の何れか１つに記載の補間処理プログラムを記録した記録媒体において、
前記類似度算出手順は、
補間処理対象の画素の複数の方向に対する類似度として、補間処理対象の画素のみならず補間処理対象の画素の周辺の画素に対して算出した複数の方向に対する類似度を用いる
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２６】
《７》：請求項９、《１》ないし《６》の何れか１つに記載の補間処理プログラムを記録した記録媒体において、
前記類似性判定手順は、
各方向間の類似度の差異が所定の閾値よりも小さい場合、各方向の類似性が同程度であると判定する
ことを特徴とする補間処理プログラムを記録した記録媒体。
【００２７】
なお、上述した異色間類似度は、複数の異色画素の色情報の差分の絶対値や、そのべき乗等により算出される類似度の要素により構成され、１つ以上の類似度の要素で構成される類似度成分を用いて算出される。同様に、同色間類似度は、複数の同色画素の色情報の差分の絶対値や、そのべき乗等により算出される類似度の要素により構成され、１つ以上の類似度の要素で構成される類似度成分を用いて算出される。
【００２８】
【発明の実施の形態】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
図１は、第１の実施形態および第２の実施形態に対応する電子カメラの機能ブロック図である。
なお、第１の実施形態に対応する電子カメラは、請求項１ないし請求項８と、請求項１０とに記載の補間処理装置が行う補間処理の機能を備えた電子カメラに相当し、第２の実施形態に対応する電子カメラは、請求項１ないし請求項８と、請求項１０とに記載の補間処理装置が行う補間処理の機能を備えた電子カメラに相当する。
【００２９】
図１において、電子カメラ１０は、制御部１１、撮影光学系１２、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６を有する。また、画像処理部１５は、補間処理部（例えば、補間処理専用の１チップ・マイクロプロセッサ）１７を有する。さらに、撮像部１３は、ＲＧＢのカラーフィルタがベイア配列された撮像素子（図示省略）を有している。
【００３０】
なお、図１では、説明を簡単にするため、画像処理部１５内に補間処理部１７のみを記載しているが、画像処理部１５内には、例えば、階調変換処理など他の画像処理を行う機能ブロックが設けられても良い。
【００３１】
図１において、制御部１１は、撮像部１３、Ａ／Ｄ変換部１４、画像処理部１５および記録部１６に接続される。また、撮影光学系１２で取得された光学像は、撮像部１３内の撮像素子に結像する。撮像部１３の出力は、Ａ／Ｄ変換部１４によって量子化され、画像データとして画像処理部１５に供給される。画像処理部１５に供給された画像データは、補間処理部１７によって補間処理が施され、必要に応じてJPEG圧縮など画像圧縮を行ってから、記録部１６を介して記録される。補間処理により各色成分の解像度が高められた画像データは、最終的に、ディスプレイ、プリンタなど各接続機器に応じた表色系データとして出力される。
【００３２】
図２は、第１の実施形態および第２の実施形態における画像データの色成分の配列を示す図である。
図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、ｉ、ｊを用いて各々の色成分が存在する画素の位置を示しており、図２（１）は、赤色成分が存在する画素を補間対象画素とした場合の配列を示し、図２（２）は、青色成分が存在する画素を補間対象画素とした場合の配列を示す。
【００３３】
なお、以下では、補間処理として緑色の補間量を求めるものとし、座標[i,j]に位置する画素を補間対象画素とする。また、以下に示す補間処理では、補間対象画素の色成分の種類（赤または青）に関係なく、緑色の補間量を算出することができるため、図２のＲおよびＢをＺに置き換えて、補間対象画素の色情報をZ[i,j]によって表現し、他の画素の色情報についても同様に表現する。
【００３４】
《第１の実施形態》
図３は、第１の実施形態における補間処理部１７の動作フローチャートである。  以下、第１の実施形態の動作を説明するが、ここでは、図３を参照して補間処理部１７の動作を説明する。
まず、補間処理部１７は、縦方向と横方向とに対する異色間類似度成分と、縦方向と横方向とに対する同色間類似度成分とを算出する（図３Ｓ１）。
【００３５】
なお、第１の実施形態では、縦方向と横方向とに対する異色間類似度成分として、以下の式10〜式13によって定義される複数種類の類似度成分を算出し、縦方向と横方向とに対する同色間類似度成分として、以下の式14〜式19によって定義される複数種類の類似度成分を算出する。
（ａ）異色間類似度成分
縦方向のGR(GB)間類似度成分：
Cv1[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式10
横方向のGR(GB)間類似度成分：
Ch1[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2 ・・・式11
縦方向のBG(RG)間類似度成分：
Cv2[i,j]=(|Z[i-1,j-1]-G[i-1,j]|+|Z[i-1,j+1]-G[i-1,j]|
+|Z[i+1,j-1]-G[i+1,j]|+|Z[i+1,j+1]-G[i+1,j]|)/4 ・・・式12
横方向のBG(RG)間類似度成分：
Ch2[i,j]=(|Z[i-1,j-1|-G[i,j-1]|+|Z[i-1,j+1]-G[i,j+1]|
+|Z[i+1,j-1]-G[i,j-1]|+|Z[i+1,j+1]-G[i,j+1]|)/4 ・・・式13
（ｂ）同色間類似度成分
縦方向のGG間類似度成分：
Cv3[i,j]=|G[i,j-1]-G[i,j+1]| ・・・式14
横方向のGG間類似度成分：
Ch3[i,j]=|G[i-1,j]-G[i+1,j]| ・・・式15
縦方向のBB(RR)間類似度成分：
Cv4[i,j]=(|Z[i-1,j-1]-Z[i-1,j+1]|+|Z[i+1,j-1]-Z[i+1,j+1]|)/2 ・・・式16
横方向のBB(RR)間類似度成分：
Ch4[i,j]=(|Z[i-1,j-1]-Z[i+1,j-1]|+|Z[i-1,j+1]-Z[i+1,j+1]|)/2 ・・・式17
縦方向のRR(BB)間類似度成分：
Cv5[i,j]=(|Z[i,j-2]-Z[i,j]|+|Z[i,j+2]-Z[i,j]|)/2 ・・・式18
横方向のRR(BB)間類似度成分：
Ch5[i,j]=(|Z[i-2,j]-Z[i,j]|+|Z[i+2,j]-Z[i,j]|)/2 ・・・式19
なお、上述した各々の類似度成分を構成する類似度の要素は、差分の絶対値を用いて算出されているが、絶対値の２乗やべき乗等によって算出しても良い。
【００３６】
次に、補間処理部１７は、以下の式20、式21に示すようにして、複数種類の異色間類似度成分を方向別に加重加算して異色間類似度を算出すると共に、以下の式22、式23に示すようにして、複数種類の同色間類似度成分についても方向別に加重加算して同色間類似度を算出する（図３Ｓ２）。
CvN0[i,j]=α・Cv1[i,j]+β・Cv2[i,j] ・・・式20
ChN0[i,j]=α・Ch1[i,j]+β・Ch2[i,j] ・・・式21
ただし、α,βは、０または正の定数であり、α+β=1を満たす。
【００３７】
Cv0[i,j]=γ・Cv3[i,j]+δ・Cv4[i,j]+ε・Cv5[i,j] ・・・式22
Ch0[i,j]=γ・Ch3[i,j]+δ・Ch4[i,j]+ε・Ch5[i,j] ・・・式23
ただし、γ,δ,εは、０または正の定数であり、γ+δ+ε=1を満たす。
なお、式20、式21において、α=1,β=0とすると、異色間類似度は、「補間対象画素と同色の色情報」と緑色成分の色情報とから構成されることになり、α=0,β=1とすると、異色間類似度は、「赤色成分と青色成分とのうち、補間対象画素とは異なる色成分の色情報」と緑色成分の色情報とから構成されることになる。また、式22、式23において、γ=0とすると、同色間類似度は、「赤色成分の色情報のみから成る類似度成分」と「青色成分の色情報のみから成る間類似度成分」との少なくとも一方を含むことになる。
【００３８】
次に、補間処理部１７は、補間対象画素と周辺画素とにおける各々の類似度成分の加重加算によって得られた値（CvN0[i,j],CvN0[i-1,j-1],CvN0[i-1,j+1],CvN0[i+1,j-1],CvN0[i+1,j+1]など）を、以下の《方法１》または《方法２》のように方向別に加重加算（以下、「周辺加算」と称する。）して、最終的な補間対象画素における縦方向と横方向とに対する異色間類似度と縦方向と横方向とに対する同色間類似度とを算出する（図３Ｓ３）。
【００３９】
ただし、《方法１》または《方法２》において、CvN[i,j]は縦方向の異色間類似度を示し、ChN[i,j]は横方向の異色間類似度を示し、Cv[i,j]は縦方向の同色間類似度を示し、Ch[i,j]は横方向の同色間類似度を示す。
《方法１》
CvN[i,j]=(4・CvN0[i,j]+CvN0[i-1,j-1]+CvN0[i-1,j+1]
+CvN0[i+1,j-1]+CvN0[i+1,j+1])/8 ・・・式24
ChN[i,j]=(4・ChN0[i,j]+ChN0[i-1,j-1]+ChN0[i-1,j+1]
+ChN0[i+1,j-1]+ChN0[i+1,j+1])/8 ・・・式25
Cv[i,j]=(4・Cv0[i,j]+Cv0[i-1,j-1]+Cv0[i-1,j+1]
+Cv0[i+1,j-1]+Cv0[i+1,j+1])/8 ・・・式26
Ch[i,j]=(4・Ch0[i,j]+Ch0[i-1,j-1]+Ch0[i-1,j+1]
+Ch0[i+1,j-1]+Ch0[i+1,j+1])/8 ・・・式27
《方法２》
CvN[i,j]=(4・CvN0[i,j]
+2(CvN0[i-1,j-1]+CvN0[i+1,j-1]+CvN0[i-1,j+1]+CvN0[i+1,j+1])
+CvN0[i,j-2]+CvN0[i,j+2]+CvN0[i-2,j]+CvN0[i+2,j])/16 ・・・式28
ChN[i,j]=(4・ChN0[i,j]
+2(ChN0[i-1,j-1]+ChN0[i+1,j-1]+ChN0[i-1,j+1]+ChN0[i+1,j+1])
+ChN0[i,j-2]+ChN0[i,j+2]+ChN0[i-2,j]+ChN0[i+2,j])/16 ・・・式29
Cv[i,j]=(4・Cv0[i,j]
+2(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ・・・式30
Ch[i,j]=(4・Ch0[i,j]
+2(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ・・・式31
なお、《方法１》は、図４（１）に示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当し、《方法２》は、図４（２）に示すようにして補間対象画素と周辺画素とにおける類似度成分の加重加算を行うことに相当する。
【００４０】
このようにして、第１の実施形態では、補間対象画素における異色間類似度および同色間類似度を周辺加算して算出することにより、後述する類似性の強弱の判定において、補間対象画素と周辺画素との連続性が考慮されて精度が高められる。
ただし、演算を簡略化する場合は、
CvN[i,j]=CvN0[i,j]
ChN[i,j]=ChN0[i,j]
Cv[i,j]=Cv0[i,j]
Ch[i,j]=Ch0[i,j]
とする。
【００４１】
ところで、上述した異色間類似度成分は、縦方向または横方向に隣接する画素の色情報を比較することによって算出されるので、このような異色間類似度成分から成る異色間類似度は、同色間類似度よりも短い距離間隔で類似性の強弱の判定が可能である。すなわち、異色間類似度には、同色間類似度よりも細かい画像の構造が反映されることになる。
【００４２】
とりわけ、異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において、信頼性が高い。一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。
【００４３】
したがって、補間処理の対象となる画像全体に対して、信頼性の高い類似性の判定を行うには、画像全体を、無彩色部と彩色部に分け、各々の部分に適した類似度を用いる方法が優れている。
補間処理部１７は、縦方向と横方向とに対する異色間類似度と縦方向と横方向とに対する同色間類似度とを算出すると、補間対象画素の近傍の画像が無彩色部であるか否かを判定する（図３Ｓ４）。
【００４４】
そして、このような判定によって、補間処理部１７は、補間対象画素の近傍の画像が無彩色部であると判断した場合、異色間類似度を用いて補間対象画素における類似性の強弱を判定し（図３Ｓ５）、補間対象画素の近傍の画像が彩色部であると判断した場合、同色間類似度を用いて補間対象画素における類似性の強弱を判定する（図３Ｓ６）。
【００４５】
ところで、補間対象画素の近傍の画像が無彩色部であるか否かの判定には、局所的な色彩の有無を示す色指標が必要となるが、このような色指標として、局所的な色差情報を用いる。上述したように算出した異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されているので、色指標として、異色間類似度を直接利用することが可能である。
【００４６】
ただし、異色間類似度は、値が小さい程、類似性が強いことを示すので、縦方向および横方向に対する異色間類似度が共に大きな値である場合には、無彩色部で縦横両方向に対する類似性が弱いか、または、補間対象画素の近傍の画像が彩色部であることを意味する。逆に、縦方向と横方向との少なくとも１つの方向に対する異色間類似度が比較的小さな値であれば、補間対象画素の近傍の画像が無彩色部であり、類似性の強い方向が存在していることを意味する。
【００４７】
ここで、異色間類似度と同色間類似度とを切り換えて、類似性の強弱を判定する処理の詳細を説明する。
図５は、類似性の強弱を判定する処理の詳細を示すフローチャートであり、図６は、類似度と類似性の強弱の関係を示す図である。
なお、図５Ｓ１は、図３Ｓ４に対応し、図５Ｓ２〜Ｓ６は、図３Ｓ５に対応し、図５Ｓ７〜Ｓ１１は、図３Ｓ６に対応する。
【００４８】
まず、補間処理部１７は、閾値ThNv,ThNhについて、
CvN[i,j]≦ThNv  または  ChN[i,j]≦ThNh ・・・条件１
が成り立つか否かを判定する（図５Ｓ１）。ただし、閾値ThNv,ThNhは、階調数が256のとき10程度以下の値をとるものとする。
補間処理部１７は、条件１が成り立つ場合、閾値Th0について、
|CvN[i,j]-ChN[i,j]|≦Th0 ・・・条件２
が成り立つか否かを判定する（図５Ｓ２）。なお、条件２は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]とが同程度であるか否かを判定するための条件であり、閾値Th0は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th0の値を高く設定することによって、類似性の判定の精度が高められる。
【００４９】
補間処理部１７は、条件１および条件２が成り立つ場合（図６の領域１に相当する）、補間対象画素の近傍の画像が無彩色部であり、縦横両方向に類似性が強いと判断し、類似性を示す指標HV[i,j]に０を設定する（図５Ｓ３）。
補間処理部１７は、条件１が成り立ち、条件２が成り立たない場合、
CvN[i,j]＜ChN[i,j] ・・・条件３
が成り立つか否かを判定する（図５Ｓ４）。
【００５０】
補間処理部１７は、条件１および条件３が成り立ち、条件２が成り立たない場合（図６の領域２に相当する）、補間対象画素の近傍の画像が無彩色部であり、縦方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図５Ｓ５）。
補間処理部１７は、条件１が成り立ち、条件２および条件３が成り立たない場合（図６の領域３に相当する）、補間対象画素の近傍の画像が無彩色部であり、横方向に類似性が強いと判断し、指標HV[i,j]に−１を設定する（図５Ｓ６）。
【００５１】
補間処理部１７は、条件１が成り立たない場合、閾値Th1について、
|Cv[i,j]-Ch[i,j]|≦Th1 ・・・条件４
が成り立つか否かを判定する（図５Ｓ７）。なお、条件４は、縦方向の同色間類似度Cv[i,j]と横方向の同色間類似度Ch[i,j]とが同程度であるか否かを判定するための条件であり、閾値Th1は、縦方向の同色間類似度Cv[i,j]と横方向の同色間類似度Ch[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果し、閾値Th0と同様に、ノイズの多いカラー画像に対して値を高く設定することによって、類似性の判定の精度が高められる。
【００５２】
補間処理部１７は、条件１が成り立たず、条件４が成り立つ場合（図６の領域４に相当する）、補間対象画素の近傍の画像が彩色部であり、縦横両方向に類似性が強い（または、弱い）と判断し、指標HV[i,j]に０を設定する（図５Ｓ８）。
補間処理部１７は、条件１および条件４が成り立たない場合、
Cv[i,j]＜Ch[i,j] ・・・条件５
が成り立つか否かを判定する（図５Ｓ９）。
【００５３】
補間処理部１７は、条件１が成り立たず、条件５が成り立つ場合（図６の領域５に相当する）、補間対象画素の近傍の画像が彩色部であり、縦方向に類似性が強いと判断し、指標HV[i,j]に１を設定する（図５Ｓ１０）。
補間処理部１７は、条件１および条件５が成り立たない場合（図６の領域６に相当する）、補間対象画素の近傍の画像が彩色部であり、横方向に類似性が強いと判断し、指標HV[i,j]に−１を設定する（図５Ｓ１１）。
【００５４】
以上説明したようにして類似性の強弱が判定されると、補間処理部１７は、類似性の強弱の判定結果に応じて、補間量を算出する（図３Ｓ７）。
例えば、補間処理部１７は、以下のようにして緑の補間量G[i,j]を算出する。
HV[i,j]が１の場合    G[i,j]=Gv[i,j] ・・・式32
HV[i,j]が−１の場合  G[i,j]=Gh[i,j] ・・・式33
HV[i,j]が０の場合    G[i,j]=(Gv[i,j]+Gh[i,j])/2 ・・・式34
ただし、Gv[i,j],Gh[i,j]は、以下の《方法１》または《方法２》のようにして算出される値である。
【００５５】
《方法１》
Gv[i,j]=(G[i,j-1]+G[i,j+1])/2 ・・・式35
Gh[i,j]=(G[i-1,j]+G[i+1,j])/2 ・・・式36
《方法２》
Gv[i,j]=(G[i,j-1]+G[i,j+1])/2+(2・Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ・・・式37
Gh[i,j]=(G[i-1,j]+G[i+1,j])/2+(2・Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ・・・式38
以上説明したように、第１の実施形態では、局所的な色差情報が反映される異色間類似度を利用して画像全体を無彩色部と彩色部に分け、各々の部分に適した類似度に基づいて類似性の強弱を判定することができるため、従来の技術に比べて補間量を高い精度で算出することができる。
【００５６】
なお、第１の実施形態では、類似性の強弱を判定する際に、異色間類似度と同色間類似度とを切り換えているが、類似性の判定に用いる類似度としては、異色間類似度と同色間類似度とを完全に切り換える以外に、無彩色部では異色間類似度の加算比率を上げ、彩色部では同色間類似度の加算比率を上げて、異色間類似度と同色間類似度とを加重加算して得られる類似度でも良い。
【００５７】
また、第１の実施形態では、局所的な色彩の有無を調べる方法として異色間類似度に含まれる色差を用いたが、色の比など他の色指標を用いても良い。
以下、ＲＢ補間処理の動作を説明するが、ここでは、従来から行われているＲＢ補間処理を説明する（Ｂ補間処理の説明は省略する）。
まず、従来から行われているＲＢ補間処理としては、色差空間における線形補間処理が知られており、全ての画素の色差（赤色成分（または、青色成分）の色情報から緑色成分の色情報を減算した値）を算出した後に、補間対象画素毎に、以下の（１）〜（３）の何れかの処理を行って、補間量が算出される。
【００５８】
（１）補間対象画素に欠落する色成分が、補間対象画素の上下方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間量とする。
（２）補間対象画素に欠落する色成分が、補間対象画素の左右方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間量とする。
【００５９】
（３）補間対象画素に欠落する色成分が、補間対象画素の斜め方向に隣接する４つの画素に存在する場合、それらの４つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間量とする。
《第２の実施形態》
図７は、第２の実施形態における補間処理部１７の動作フローチャートである。
以下、第２の実施形態の動作を説明するが、ここでは、図７を参照して補間処理部１７の動作を説明する。
【００６０】
まず、補間処理部１７は、以下の式39と式40とによって定義される縦方向と横方向とに対する異色間類似度を算出する（図７Ｓ１）。
縦方向の異色間類似度：
CvN[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式39
横方向の異色間類似度：
ChN[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2 ・・・式40
次に、補間処理部１７は、補間対象画素の近傍の画像の彩度が高いか否かを判定する（図７Ｓ２）。
【００６１】
そして、このような判定によって、補間処理部１７は、補間対象画素の近傍の画像の彩度が高いと判断した場合、異色間類似度と同色間類似度とを加重加算する際の同色間類似度の重み係数da1に異色間類似度の重み係数da2よりも大きい値を設定する（図７Ｓ３）。一方、補間処理部１７は、補間対象画素の近傍の画像の彩度が低いと判断した場合、異色間類似度の重み係数da2に同色間類似度の重み係数da1よりも大きい値を設定する（図７Ｓ４）。
【００６２】
ところで、補間対象画素の近傍の画像の彩度が高いか否かの判定は、第１の実施形態における「補間対象画素の近傍の画像が無彩色部であるか否かの判定」と同様に、異色間類似度を利用することによって行える。
すなわち、縦方向および横方向に対する異色間類似度が共に大きな値である場合には、補間対象画素の近傍の画像の彩度が高いか、または、彩度が低くても、縦横両方向に対する類似性が弱いことを意味する。逆に、縦方向と横方向との少なくとも１つの方向に対する異色間類似度が比較的小さな値であれば、補間対象画素の近傍の画像の彩度が低く、類似性の強い方向が存在していることを意味する。
【００６３】
例えば、補間処理部１７は、閾値BWthについて、
CvN[i,j]＞BWth  かつ  ChN[i,j]＞BWth ・・・条件６
が成り立つ場合、彩度が高いと判断し、条件６が成り立たない場合、彩度が低いと判断と判断する。ただし、閾値BWthは、階調数が256のとき5程度の値をとるものとする。
【００６４】
そして、補間処理部１７は、条件６が成り立つ場合（補間対象画素の近傍の画像の彩度が高い場合）、同色間類似度の重み係数da1および異色間類似度の重み係数da2に以下のような値を設定し、
da1=da1s
da2=da2s
条件６が成り立たない場合（補間対象画素の近傍の画像の彩度が低い場合）、同色間類似度の重み係数da1および異色間類似度の重み係数da2に以下のような値を設定する。
【００６５】
da1=da1d
da2=da2d
ただし、da1s,da2s,da1d,da2dは、０または正の定数であり、「da1s＞da2s  かつ  da1d＜da2d」を満たす。例えば、(da1s,da2s,da1d,da2d)=(1,0,0,1)や(2,1,1,2)等が考えられる。なお、(da1s,da2s,da1d,da2d)=(1,0,0,1)が成り立つ場合、異色間類似度と同色間類似度との一方を用いて類似性の強弱が判定されることになる。
【００６６】
以上説明したようにして重み係数を設定すると、補間処理部１７は、縦方向と横方向とに対する同色間類似度を算出すると共に、同色間類似度と異色間類似度とを方向別に加重加算する（図７Ｓ５）。
例えば、補間処理部１７は、以下のようにして、同色間類似度と異色間類似度との加重加算を行う。
【００６７】
Cv0[i,j]=(|G[i,j-1]-G[i,j+1]|・da1+CvN[i,j]・da2)/(da1+da2) ・・・式41
Ch0[i,j]=(|G[i-1,j]-G[i+1,j]|・da1+ChN[i,j]・da2)/(da1+da2) ・・・式42
なお、式41、式42では、縦方向の同色間類似度として、
|G[i,j-1]-G[i,j+1]|
が算出され、横方向の同色間類似度として、
|G[i-1,j]-G[i+1,j]|
が算出されることを意味する。
【００６８】
ところで、第２の実施形態において、Cv0[i,j]、Ch0[i,j]を直接、類似度として用いても良いが、類似度の精度を高めるため、異色間類似度と同色間類似度とを算出して加重加算する処理は、補間対象画素だけでなく周辺画素でも行う。
補間処理部１７は、補間対象画素と周辺画素とにおける各々の類似度成分の方向別の加重加算によって得られた値（Cv0[i,j],Cv0[i-1,j-1],Cv0[i+1,j-1],Cv0[i-1,j+1],Cv0[i+1,j+1]など）を、以下のように加重加算（以下、「周辺加算」と称する。）して、補間対象画素における縦方向の類似度Cv[i,j]と横方向の類似度Ch[i,j]とを算出する（図７Ｓ６）。
【００６９】
縦方向の類似度：
Cv[i,j]=(4・Cv0[i,j]+Cv0[i-1,j-1]
+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])/8 ・・・式43
横方向の類似度：
Ch[i,j]=(4・Ch0[i,j]+Ch0[i-1,j-1]
+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])/8 ・・・式44
次に、補間処理部１７は、縦方向の類似度と横方向の類似度とを用いて類似性の強弱を判定し、類似性の強弱の判定結果に応じて、補間量を算出する（図７Ｓ７）。
【００７０】
例えば、補間処理部１７は、閾値Th1について、
Ch[i,j]-Cv[i,j]＞Th1 ・・・条件７
が成り立つ場合、縦方向の類似性が強いと判断し、条件７が成り立たず、
Cv[i,j]-Ch[i,j]＞Th1 ・・・条件８
が成り立つ場合、横方向の類似性が強いと判断し、条件７および条件８が成り立たない場合、縦横両方向に類似性が強い（または、弱い）と判断する。ただし、閾値Th1は、階調数が256のとき5程度の値をとるものとする。
【００７１】
そして、補間処理部１７は、以下のようにして緑の補間量G[i,j]を算出する。
縦方向の類似性が強い場合：G[i,j]=Gv[i,j] ・・・式45
横方向の類似性が強い場合：G[i,j]=Gh[i,j] ・・・式46
縦横両方向に類似性が強い（または、弱い）場合：
G[i,j]=(Gv[i,j]+Gh[i,j])/2 ・・・式47
ただし、Gv[i,j],Gh[i,j]は、第１の実施形態（式35〜式38）と同様に算出される値である。
【００７２】
ところで、類似性の強弱を判定する際、第２の実施形態では、縦方向の類似度Cv[i,j]および横方向の類似度Ch[i,j]を用いるので、補間量を算出すべき画素毎に、縦方向と横方向とに対して１種類ずつの類似度を記録しておけば良いのに対し、第１の実施形態では、「縦方向の異色間類似度CvN[i,j]および横方向の異色間類似度ChN[i,j]」または「縦方向の同色間類似度Cv[i,j]および横方向の同色間類似度Ch[i,j]」を用いるので、補間量を算出すべき画素毎に、縦方向と横方向とに対して２種類ずつの類似度を記録しておく必要がある。
【００７３】
すなわち、第２の実施形態では、類似性の強弱の判定に要する記憶領域を第１の実施形態に比べて小さく抑えることができると共に、第１の実施形態と同様に補間量を精度良く算出することができる。
以下、ＲＢ補間処理の動作を説明するが、ここでは、従来から行われているＲＢ補間処理を説明する（Ｂ補間処理の説明は省略する）。
【００７４】
まず、従来から行われているＲＢ補間処理としては、色差空間における線形補間処理が知られており、全ての画素の色差（赤色成分（または、青色成分）の色情報から緑色成分の色情報を減算した値）を算出した後に、補間対象画素毎に、以下の（１）〜（３）の何れかの処理を行って、補間量が算出される。
（１）補間対象画素に欠落する色成分が、補間対象画素の上下方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間量とする。
【００７５】
（２）補間対象画素に欠落する色成分が、補間対象画素の左右方向に隣接する２つの画素に存在する場合、それらの２つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間量とする。
（３）補間対象画素に欠落する色成分が、補間対象画素の斜め方向に隣接する４つの画素に存在する場合、それらの４つの画素の色差の平均値に補間対象画素の緑色成分の色情報を加算した値を補間量とする。
【００７６】
《第３の実施形態》
以下、第３の実施形態の動作を説明する。
図８は、第３の実施形態の機能ブロック図である。
なお、第３の実施形態は、請求項９に記載の補間処理プログラムを記録した記録媒体を用いて、パーソナルコンピュータによって補間処理を実行することに相当する。
【００７７】
図８において、機能が図１に示す機能ブロック図と同じものについては、同じ符号を付与して示し、構成の説明については省略する。
なお、図８に示す電子カメラ２０と図１に示した電子カメラ１０との構成の相違点は、図８の制御部２１と画像処理部２２とが図１の制御部１１と画像処理部１５とに代えて設けられ、図８のインタフェース部２３が新たに設けられた点である。
【００７８】
また、図８において、パーソナルコンピュータ３０は、ＣＰＵ３１、インタフェース部３２、ハードディスク３３およびメモリ３４を有し、ＣＰＵ３１は、バスを介してインタフェース部３２、ハードディスク３３およびメモリ３４に接続される。
なお、パーソナルコンピュータ３０には、ＣＤ−ＲＯＭなどの記録媒体に記録された補間処理プログラム（前述した各実施形態の補間処理部１７と同様にして補間処理を実行する補間処理プログラム）が予めインストールされているものとする。すなわち、ハードディスク３３には、このような補間処理プログラムが実行可能な状態で格納されている。
【００７９】
以下、図８を参照して第３の実施形態の動作を説明する。
まず、電子カメラ２０では、図１に示した電子カメラ１０と同様にして生成された画像データが画像処理部２２に供給される。画像処理部２２は、画像データに補間処理以外の画像処理（例えば、階調変換処理など）を施し、記録部１６では、画像処理が施された画像データが画像ファイルの形式で記録される。
【００８０】
このような画像ファイルは、インタフェース部２３を介してパーソナルコンピュータ３０に供給される。
パーソナルコンピュータ３０内のＣＰＵ３１は、インタフェース部３２を介して画像ファイルを取得すると、前述した補間処理プログラムを実行する。補間処理により各色成分の解像度が高められた画像データは、必要に応じて画像圧縮等を行ってから、ハードディスク３３などに記録され、最終的に、ディスプレイ、プリンタなどの各接続機器に応じた表色系データとして出力される。
【００８１】
すなわち、第３の実施形態では、前述した各実施形態と同様の補間処理をパーソナルコンピュータ３０によって行うことができる。
【００８２】
【発明の効果】
上述したように、請求項１、請求項３、請求項９および請求項１０に記載の発明は、方向性を考慮した色彩に関する情報を用いることによって、補間処理対象の画素が属する局所的な領域における画像の色に関する特徴を抽出するので、異色間類似度と同色間類似度との使い分けや、異色間類似度と同色間類似度との加重比率の設定に際し、従来よりも適切な指標に基づいて画像の特徴抽出が行える。そのため、類似性の強弱の判定に適した類似度を算出することができ、補間量の精度が高められる。
【００８４】
請求項２に記載の発明は、色彩に関する情報を用いることによって、異色間類似度と同色間類似度との使い分けや、異色間類似度と同色間類似度との加重比率を設定できると共に、従来よりも多くの色成分を用いて異色間類似度および同色間類似度の算出することができる。そのため、類似性の強弱の判定に適した類似度を高い精度で算出することができ、補間量の精度が高められる。
【００８５】
請求項４および請求項５に記載の発明は、補間処理対象の画素が属する局所的な領域における画像の特徴を抽出する際、色彩に関する情報として異色間類似度を用いるので、類似性の強弱の判定のために異色間類似度を算出してしまえば、色彩に関する情報を改めて求める必要がない。すなわち、補間処理全体を効率良く行うことができる。
【００８６】
請求項６に記載の発明では、異色間類似度を同色間類似度よりも短い距離間隔で存在する色情報を用いて算出するので、異色間類似度に空間周波数が高い画像の類似性が反映される。すなわち、異色間類似度を用いて類似性の強弱を判定する際や、色彩に関する情報として異色間類似度を用いて補間処理対象の画素が属する局所的な領域における画像の特徴を抽出する際に、高周波部分の解像能力が効果的に引き出すことができる。そのため、類似性の強弱の判定精度を上げることができ、補間量の精度が高められる。
【００８７】
請求項７に記載の発明では、補間処理対象の画素と周辺部分との間で、類似性が強い方向の連続性を考慮しつつ、補間処理対象の画素の類似度を算出することができ、請求項８に記載の発明では、ノイズなどによって発生する類似性の誤判定を低減することができる。すなわち、請求項７および請求項８に記載の発明では、類似性の強弱の判定精度を上げることができるので、補間量の精度が高められる。
【図面の簡単な説明】
【図１】第１の実施形態および第２の実施形態に対応する電子カメラの機能ブロック図である。
【図２】第１の実施形態および第２の実施形態における画像データの色成分の配列を示す図である。
【図３】第１の実施形態における補間処理部の動作フローチャートである。
【図４】類似度成分の加重加算を説明する図である。
【図５】類似性の強弱を判定する処理の詳細を示すフローチャートであり。
【図６】類似度と類似性の強弱の関係を示す図である。
【図７】第２の実施形態における補間処理部１７の動作フローチャートである。
【図８】第３の実施形態の機能ブロック図である。
【符号の説明】
１０、２０  電子カメラ
１１、２１  制御部
１２  撮影光学系
１３  撮像部
１４  Ａ／Ｄ変換部
１５、２２  画像処理部
１６  記録部
１７  補間処理部
２３、３２  インタフェース部
３０  パーソナルコンピュータ
３１  ＣＰＵ
３３  ハードディスク
３４  メモリ
【図１】
0004581191.tif 000002
【図２】
0004581191.tif 000003
【図３】
0004581191.tif 000004
【図４】
0004581191.tif 000005
【図５】
0004581191.tif 000006
【図６】
0004581191.tif 000007
【図７】
0004581191.tif 000008
【図８】
0004581191.tif 000009