(57)【要約】【課題】デモザイク処理の際、様々な被写体に対してより自然に表示されるよう補間処理を行う。【解決手段】補間処理のために、補間対象画素の周辺領域における画素値の各方向の変化量が検出される。例えば、垂直方向については、２次微分変化量算出部２１１によって画素値の２次微分値に基づいた変化量が算出され、１次微分変化量算出部２１２によって画素値の１次微分値に基づいた変化量が算出され、色差変化量算出部２１３によって色差の２次微分値に基づいた変化量が算出される。これら各変化量のそれぞれは、変化量積和演算部２１４によって重み付け係数が乗ぜられ、加算される。このようにして求められた各方向の変化量に従って、補間対象画素の画素値が補間される。【選択図】図５
2009049533.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、
前記検出された変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する相関度決定手段と、
前記決定された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手段とを具備し、
前記変化量検出手段は、
前記複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、
前記複数の方向ごとに前記画素値の１次微分値に基づいた変化量を算出する１次微分変化量算出手段と、
前記画素値の２次微分値に基づいた変化量および前記画素値の１次微分値に基づいた変化量を合成して前記複数の方向に対する変化量を出力する変化量合成手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記変化量合成手段は、前記画素値の２次微分値に基づいた変化量に第１の係数を乗じた値と、前記画素値の１次微分値に基づいた変化量に第２の係数を乗じた値とを加算して前記複数の方向に対する変化量として出力する積和演算手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の係数は、前記第１の係数以下であることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記第１の係数および前記第２の係数は等しいことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記変化量検出手段は、前記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手段をさらに備え、
前記変化量合成手段は、前記画素値の２次微分値に基づいた変化量および前記画素値の１次微分値に基づいた変化量に加えて前記色差の２次微分値に基づいた変化量を合成して前記複数の方向に対する変化量を出力する
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記変化量合成手段は、前記画素値の２次微分値に基づいた変化量に第１の係数を乗じた値と、前記画素値の１次微分値に基づいた変化量に第２の係数を乗じた値と、前記色差の２次微分値に基づいた変化量に第３の係数を乗じた値とを加算して前記複数の方向に対する変化量として出力する積和演算手段を備えることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記第３の係数は、前記第１の係数の略半分であることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記変化量合成手段は、前記画素値の２次微分値に基づいた変化量、前記画素値の１次微分値に基づいた変化量、前記色差の２次微分値に基づいた変化量のうち前記複数の方向ごとに最大値を示すものを当該方向に対する変化量として出力する最大値選択手段を備えることを特徴とする請求項５記載の画像処理装置。
【請求項９】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、
前記検出された変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する相関度決定手段と、
前記決定された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手段とを具備し、
前記変化量検出手段は、
前記複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、
前記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手段と、
前記画素値の２次微分値に基づいた変化量および前記色差の２次微分値に基づいた変化量を合成して前記複数の方向に対する変化量を出力する変化量合成手段とを備える
ことを特徴とする画像処理装置。
【請求項１０】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、
前記検出された変化量の逆数に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手段とを具備し、
前記変化量検出手段は、
前記複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、
前記複数の方向ごとに前記画素値の１次微分値に基づいた変化量を算出する１次微分変化量算出手段と、
前記画素値の２次微分値に基づいた変化量および前記画素値の１次微分値に基づいた変化量を合成して前記複数の方向に対する変化量を出力する変化量合成手段とを備える
ことを特徴とする画像処理装置。
【請求項１１】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、
前記検出された変化量の逆数に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手段とを具備し、
前記変化量検出手段は、
前記複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、
前記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手段と、
前記画素値の２次微分値に基づいた変化量および前記色差の２次微分値に基づいた変化量を合成して前記複数の方向に対する変化量を出力する変化量合成手段とを備える
ことを特徴とする画像処理装置。
【請求項１２】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手順と、
前記複数の方向ごとに前記画素値の１次微分値に基づいた変化量を算出する１次微分変化量算出手順と、
前記画素値の２次微分値に基づいた変化量および前記画素値の１次微分値に基づいた変化量を合成して複数の方向に対する変化量として出力する変化量合成手順と、
前記合成された変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する相関度決定手順と、
前記決定された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手順と
を具備することを特徴とする画像処理方法。
【請求項１３】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手順と、
前記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手順と、
前記画素値の２次微分値に基づいた変化量および前記色差の２次微分値に基づいた変化量を合成して複数の方向に対する変化量として出力する変化量合成手順と、
前記合成された変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する相関度決定手順と、
前記決定された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手順と
を具備することを特徴とする画像処理方法。
【請求項１４】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手順と、
前記複数の方向ごとに前記画素値の１次微分値に基づいた変化量を算出する１次微分変化量算出手順と、
前記画素値の２次微分値に基づいた変化量および前記画素値の１次微分値に基づいた変化量を合成して複数の方向に対する変化量として出力する変化量合成手順と、
前記合成された変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する相関度決定手順と、
前記決定された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手順と
をコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向ごとに前記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手順と、
前記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手順と、
前記画素値の２次微分値に基づいた変化量および前記色差の２次微分値に基づいた変化量を合成して複数の方向に対する変化量として出力する変化量合成手順と、
前記合成された変化量に基づいて前記周辺領域における画素値の前記複数の方向に対する相関度を決定する相関度決定手順と、
前記決定された相関度に従って前記特定の画素に隣接する画素値から前記特定の画素の画素値を補間する補間手順と
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特にデモザイク処理を行う画像処理装置、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラの撮像素子では、２次元に配列された各画素の受光面に色フィルタが配置され、この色フィルタのコーディング仕様として様々なものが提案されている。代表的なものとして赤（Ｒ）、緑（Ｇ）、青（Ｂ）といった原色フィルタを３枚の撮像素子の同空間位相に配置することで高解像度なＲＧＢ信号を得ることができ、高画質を実現可能な３ＣＣＤカメラと呼ばれるものがある。しかし、この３ＣＣＤカメラは３つの撮像素子を用い、入射光をＲＧＢの色ごとに光を分けるプリズムを用いる必要があるため、小型化および低コスト化には向いていない。
【０００３】
一方、１つの撮像素子にＲＧＢの色フィルタをうまく配列することにより、小型でコストの低いデジタルスチルカメラを実現するものもある。１つの撮像素子に複数の色フィルタを配置し、３ＣＣＤに近い性能を実現するものである。例えばベイヤー配列といったものでは奇数行目にＲ画素およびＧ画素を交互に配列し、偶数行目にＧ画素およびＢ画素を交互に配列している。この配列ではＲ画素およびＢ画素に対してＧ画素を多く配列しているため、Ｒ画素およびＧ画素の解像度よりもＧ画素の解像度が高いという特性を有している。Ｇ画素は輝度信号を生成する際に主成分となる色成分であり、人間は輝度に対しての解像度が高く、色に対する解像度が低いことをうまく利用した配列といえる。
【０００４】
また、カメラ信号処理において空間的に位相およびサンプリングレートが異なるＲＧＢ信号から輝度信号Ｙや色差信号ＣｒおよびＣｂを単純に生成することは偽信号を作る原因となるため、同じ空間位相のＲＧＢ信号を生成した上で輝度信号Ｙ、色差信号ＣｒおよびＣｂを生成する必要がある。このように、空間的に位相およびサンプリングレートが異なるＲＧＢ信号を、３ＣＣＤ（以後、３板と呼ぶ）のように同空間位相ＲＧＢ信号が存在するかのように補間する処理をデモザイク処理と呼ぶ。このデモザイク処理の際には、解像度や色偽に注意する必要がある。
【０００５】
従来のデモザイク処理では、補間対象画素の周囲画素から相関方向を判定し、その相関方向に基づいて補間処理が行われている。例えば、ベイヤー配列において２次微分フィルタにより水平方向および垂直方向に相関方向を判定して、その相関方向に基づいて補間処理を行う技術が提案されている（例えば、特許文献１参照。）。また、ベイヤー配列または斜め画素配列において２次微分フィルタにより水平方向、垂直方向、水平方向に対して４５度右回転した方向、および、水平方向に対して４５度左回転した方向に相関方向を判定して、その相関方向に基づいて補間処理を行う技術が提案されている（例えば、特許文献２参照。）。
【特許文献１】特開平１１−２２０７４２号公報（図２）
【特許文献２】特開２００７−０３７１０４号公報（図１６）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の従来技術では、２次微分フィルタにより相関方向を判定して補間処理を行っている。しかしながら、この２次微分フィルタでは、縦線などの幾何学的な模様や、解像度チャート等の人工被写体においてはかなりの精度で補間が可能であるものの、自然画における木の葉や、文字などについては相関方向を判別できないことがある。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、デモザイク処理の際、様々な被写体に対してより自然に表示されるよう補間処理を行うことを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、上記検出された変化量に基づいて上記周辺領域における画素値の上記複数の方向に対する相関度を決定する相関度決定手段と、上記決定された相関度に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間する補間手段とを具備し、上記変化量検出手段は、上記複数の方向ごとに上記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、上記複数の方向ごとに上記画素値の１次微分値に基づいた変化量を算出する１次微分変化量算出手段と、上記画素値の２次微分値に基づいた変化量および上記画素値の１次微分値に基づいた変化量を合成して上記複数の方向に対する変化量を出力する変化量合成手段とを備えることを特徴とする画像処理装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、複数の方向ごとの画素値の２次微分値に基づいた変化量および画素値の１次微分値に基づいた変化量に基づいて相関度を決定し、その相関度に従って補間対象画素の画素値を補間させるという作用をもたらす。１次微分値に基づいた変化量は、２次微分値に基づいた変化量よりも敏感に反応するため、木の葉や文字などの被写体において特に有効に動作する可能性がある。
【０００９】
また、この第１の側面において、上記変化量合成手段は、上記画素値の２次微分値に基づいた変化量に第１の係数を乗じた値と、上記画素値の１次微分値に基づいた変化量に第２の係数を乗じた値とを加算して上記複数の方向に対する変化量として出力する積和演算手段を備えてもよい。これにより、補間対象となる画像の特徴に応じて第１の係数および第２の係数の組合せを変更することによって最適な状態で補間させるという作用をもたらす。また、この場合において、上記第２の係数は上記第１の係数以下であることが好ましく、また、上記第１の係数および上記第２の係数は等しくてもよい。例えば、第１の係数を「１」とした場合に第２の係数を「１」以下とすることが考えられる。
【００１０】
また、この第１の側面において、上記変化量検出手段は、上記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手段をさらに備え、上記変化量合成手段は、上記画素値の２次微分値に基づいた変化量および上記画素値の１次微分値に基づいた変化量に加えて上記色差の２次微分値に基づいた変化量を合成して上記複数の方向に対する変化量を出力してもよい。これにより、さらに色差の２次微分値に基づいた変化量を加味して相関度を決定し、その相関度に従って補間対象画素の画素値を補間させるという作用をもたらす。また、この場合において、上記変化量合成手段は、上記画素値の２次微分値に基づいた変化量に第１の係数を乗じた値と、上記画素値の１次微分値に基づいた変化量に第２の係数を乗じた値と、上記色差の２次微分値に基づいた変化量に第３の係数を乗じた値とを加算して上記複数の方向に対する変化量として出力する積和演算手段を備えてもよい。これにより、補間対象となる画像の特徴に応じて第１乃至第３の係数の組合せを変更することによって最適な状態で補間させるという作用をもたらす。特に、上記第３の係数は、上記第１の係数の略半分にすることができる。例えば、第１の係数を「１」とした場合に第３の係数を「０．６」程度とすることが考えられる。
【００１１】
また、この第１の側面において、上記変化量合成手段は、上記画素値の２次微分値に基づいた変化量、上記画素値の１次微分値に基づいた変化量、上記色差の２次微分値に基づいた変化量のうち上記複数の方向ごとに最大値を示すものを当該方向に対する変化量として出力する最大値選択手段を備えてもよい。これにより、変化量の影響の大きいものを選択して、補間対象画素の画素値を補間させるという作用をもたらす。
【００１２】
また、本発明の第２の側面は、複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、上記検出された変化量に基づいて上記周辺領域における画素値の上記複数の方向に対する相関度を決定する相関度決定手段と、上記決定された相関度に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間する補間手段とを具備し、上記変化量検出手段は、上記複数の方向ごとに上記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、上記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手段と、上記画素値の２次微分値に基づいた変化量および上記色差の２次微分値に基づいた変化量を合成して上記複数の方向に対する変化量を出力する変化量合成手段とを備えることを特徴とする画像処理装置である。これにより、複数の方向ごとの画素値の２次微分値に基づいた変化量および色差の２次微分値に基づいた変化量に基づいて相関度を決定し、その相関度に従って補間対象画素の画素値を補間させるという作用をもたらす。色差変化量は、一般に局所的な領域で見たときには色の変化は少ないという特性を利用して精度を向上させるものであり、色変化量が少ない被写体において特に有効に動作する可能性がある。
【００１３】
また、本発明の第３の側面は、複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、上記検出された変化量の逆数に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間する補間手段とを具備し、上記変化量検出手段は、上記複数の方向ごとに上記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、上記複数の方向ごとに上記画素値の１次微分値に基づいた変化量を算出する１次微分変化量算出手段と、上記画素値の２次微分値に基づいた変化量および上記画素値の１次微分値に基づいた変化量を合成して上記複数の方向に対する変化量を出力する変化量合成手段とを備えることを特徴とする画像処理装置である。これにより、複数の方向ごとの画素値の２次微分値に基づいた変化量および画素値の１次微分値に基づいた変化量の逆数に基づいて補間対象画素の画素値を補間させるという作用をもたらす。
【００１４】
また、本発明の第４の側面は、複数の画素からなる画像データにおいて特定の画素の周辺領域における画素値の複数の方向に対する変化量を検出する変化量検出手段と、上記検出された変化量の逆数に従って上記特定の画素に隣接する画素値から上記特定の画素の画素値を補間する補間手段とを具備し、上記変化量検出手段は、上記複数の方向ごとに上記画素値の２次微分値に基づいた変化量を算出する２次微分変化量算出手段と、上記複数の方向ごとに色差の２次微分値に基づいた変化量を算出する色差変化量算出手段と、上記画素値の２次微分値に基づいた変化量および上記色差の２次微分値に基づいた変化量を合成して上記複数の方向に対する変化量を出力する変化量合成手段とを備えることを特徴とする画像処理装置である。これにより、複数の方向ごとの画素値の２次微分値に基づいた変化量および色差の２次微分値に基づいた変化量の逆数に基づいて補間対象画素の画素値を補間させるという作用をもたらす。
【発明の効果】
【００１５】
本発明によれば、デモザイク処理の際、様々な被写体に対してより自然に表示されるよう補間処理を行うことができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１６】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
図１は、本発明の実施の形態における画像処理装置の一例である撮像装置の構成例を示す図である。この撮像装置は、レンズ１１０と、撮像素子１２０と、Ａ／Ｄ（アナログ／デジタル）変換器１３０と、カメラ信号処理部１４０とを備えている。
【００１８】
レンズ１１０は、被写体からの光を撮像素子１２０に合焦させるものである。撮像素子１２０は、レンズ１１０から受光した光を電気信号に変換する光電変換回路である。この撮像素子１２０には、各画素の受光素子毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色フィルタが設けられ、各色成分の光のみが色フィルタを通過して受光素子に入射するようになっている。受光素子に入射した光は、フォトダイオードにより光電変換され、アナログ信号として読み出される。撮像素子１２０は、例えば、ＣＣＤ（Charge Coupled Device：電荷結合素子）に代表される電荷転送型固体撮像素子や、ＭＯＳ（Metal Oxide Semiconductor：金属酸化型半導体）に代表されるＸ−Ｙアドレス型固体撮像素子などにより実現される。Ａ／Ｄ変換器１３０は、撮像素子１２０によって光電変換された電気信号をアナログ信号からデジタル信号に変換するものである。このデジタル信号は、カメラ信号処理部１４０に入力される。
【００１９】
カメラ信号処理部１４０は、光学系補正回路１４１と、ＷＢ（ホワイトバランス）回路１４２と、補間処理回路２００と、ガンマ補正回路１４４と、Ｙ信号処理回路１４５と、Ｃ信号処理回路１４６と、ＬＰＦ（ローパスフィルタ）１４７と、間引き処理回路１４８とを備える。
【００２０】
光学系補正回路１４１は、カメラ信号処理部１４０に入力されるデジタル信号（画像信号）に対して黒レベルを合わせるデジタルクランプ、撮像素子１２０の欠陥を補正する欠陥補正、レンズ１１０の周辺光量落ちを補正するシェーディング補正など、撮像素子１２０や光学系の補正を行うものである。
【００２１】
ホワイトバランス回路１４２は、光学系補正回路１４１を経た画像信号に対して、白い被写体に対してＲＧＢの各色が同じレベルになるようにホワイトバランス処理を行うものである。
【００２２】
補間処理回路２００は、それぞれ空間的に位相がずれたＲＧＢ信号から３枚のプレーン（同じ空間位置のＲＧＢ信号）を生成する補間処理を行うものである。この補間処理は、デモザイク処理とも呼ばれる。この補間処理回路２００における補間処理は、本発明の特徴部分であり、その詳細については後述する。
【００２３】
ガンマ補正回路１４４は、同じ空間位置のＲＧＢ信号に対してガンマ補正を施すものである。このガンマ補正は、被写体の色の階調を正しく表現するために、撮像素子１２０および後段の映像再生を行うシステム全体の光電変換特性を１とするように、ホワイトバランス回路１４２から出力されるＲＧＢの各色信号に対してそれぞれ所定のゲインを掛ける処理である。このガンマ補正の施された画像信号は、Ｙ信号処理回路１４５およびＣ信号処理回路１４６に供給される。
【００２４】
Ｙ信号処理回路１４５は、ＲＧＢ信号から輝度信号（Ｙ）を生成するものである。Ｃ信号処理回路１４６は、ＲＧＢ信号から色差信号（ＣｒおよびＣｂ）を生成するものである。Ｙ信号処理回路１４５およびＣ信号処理回路１４６は、例えばＳＤ（Standard Definition）の場合、次式より輝度信号（Ｙ）色差信号（ＣｒおよびＣｂ）を生成する。但し、この式の係数はおおまかな数値を示すものであり、厳密なものではない。
Ｙ  ＝          ０．３Ｒ＋０．６Ｇ＋０．１Ｂ
Ｃｒ＝Ｒ−Ｙ＝  ０．７Ｒ−０．６Ｇ−０．１Ｂ
Ｃｂ＝Ｂ−Ｙ＝−０．３Ｒ−０．６Ｇ＋０．９Ｂ
【００２５】
ローパスフィルタ１４７は、Ｃ信号処理回路１４６によって生成された色差信号について、その通過帯域を制限するフィルタである。このローパスフィルタ１４７は、例えば色差信号（ＣｒおよびＣｂ）の通過帯域をサンプリング周波数ｆｓの１／４まで落として、Ｙ：Ｃｒ：Ｃｂ＝４：２：２とする。間引き処理回路１４８は、色差信号（ＣｒおよびＣｂ）のサンプリングの間引きを行うものである。
【００２６】
ここで、本発明の特徴部分である補間処理回路２００におけるデモザイク処理について説明する。
【００２７】
図２は、本発明の実施の形態のデモザイク処理の対象となる色フィルタ配列の一例を示す図である。この配列は、水平および垂直方向の各画素ピッチを√２ｄとし、各画素が１行毎および１列毎に画素ピッチ√２ｄの１／２ずつずれた、いわゆる斜め画素配列であり、ＧとＲが交互に配列されたＲＧラインと、Ｇのみが配列されたＧラインと、ＢとＧが交互に配列されたＧＢラインと、Ｇのみが配列されたＧラインの４行を単位として繰り返し配列されている。
【００２８】
本発明の実施の形態では、デモザイク処理として、Ｇ画素が存在しない位置のＧ画素成分（以下、「補間対象画素」ともいう。）を他のＧ画素成分から補間することを想定する。これは、高解像度を実現するためには輝度成分が重要であり、Ｇ画素は輝度信号を生成する際に主成分となる色成分だからである。もっとも、同様の方法をＲ画素またはＢ画素にも適用可能である。また、輝度信号を生成する際に主成分となる他の色成分として、他にも、Ｃｙ（シアン）やＹｅ（イエロー）などを利用することができる。
【００２９】
例えば、図３に示すような解像度チャートからなる入力画像（ＣＰＺ：Circular Zone Plate）を例にとって、画素の補間処理について考える。解像度チャートは、中心部分が低周波の信号であり、中心からの距離が大きくなるにつれて高周波の信号となるチャートである。解像度チャートは、同じ周波数の信号でも様々な方向を持っており、解像度チャートの信号を信号処理回路に入力することで、様々な信号に対してどのような処理が適するかを分析することができる。同図において、縦軸上のＡ点のように横線の被写体のときは、縦方向には画像信号にうねりが観察される一方、横方向の画像信号の相関は高いことから、横方向の画素を用いて補間する。また、横軸上のＢ点のように縦線の被写体のときは、横方向にはうねりが観察される一方、縦方向の画像信号の相関が高いことから、縦方向の画素を用いて補間する。このように相関が高い方向の周囲画像を用いて補間処理を行うことができれば、より高い解像度を実現することができる。
【００３０】
図４は、本発明の実施の形態における補間処理回路２００の第１の構成例を示す図である。この補間処理回路２００は、垂直方向変化量検出部２１０と、水平方向変化量検出部２２０と、右斜方向変化量検出部２３０と、左斜方向変化量検出部２４０と、相関度決定部２５０と、補間生成部２９１とを備えている。
【００３１】
垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０は、補間対象画素の周辺領域における画素値の各方向の変化量を検出するものである。ここでは、図２により説明した斜め画素配列を想定して、垂直方向、水平方向、右斜方向および左斜方向の４方向の画素値の変化量を、それぞれ垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０により検出するものとしている。
【００３２】
相関度決定部２５０は、垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０により検出された各方向の変化量に基づいて画素値の各方向に対する相関度を決定するものである。例えば、各方向のうち変化量が最小の方向を、最も相関の高い方向として決定する。
【００３３】
補間生成部２９１は、相関度決定部２５０により決定された相関度に従って、補間対象画素に隣接する画素値を補間するものである。
【００３４】
図５は、本発明の実施の形態における垂直方向変化量検出部２１０の第１の構成例を示す図である。この垂直方向変化量検出部２１０は、２次微分変化量算出部２１１と、１次微分変化量算出部２１２と、色差変化量算出部２１３と、変化量積和演算部２１４とを備えている。
【００３５】
２次微分変化量算出部２１１は、画素値の２次微分値に基づいた変化量を算出するものである。例えば、図６において中心のＲｘを補間対象画素とすると、垂直方向の２次微分変化量ＢＰＦ＿Ｖ＿２は、次式により算出される。
BPF_V_2＝｜−Ga＋2×Ge−Gk｜＋｜−Ge＋2×Gk−Go｜
＋｜−Gb＋2×Gf−Gl｜＋｜−Gf＋2×Gl−Gp｜
【００３６】
すなわち、この２次微分変化量算出部２１１は、補間対象画素の周囲の画素値に対して２次微分フィルタによる高周波検出を行うことにより、各方向（この場合、垂直方向）にどれ位のＧ画素の変化があるかを検出する。２次微分フィルタは、２次曲線的なデータ変化に対して値を出力するフィルタであり、勾配のある平面に対しては「０」を出力する。
【００３７】
１次微分変化量算出部２１２は、画素値の１次微分値に基づいた変化量を算出するものである。例えば、図６において中心のＲｘを補間対象画素とすると、垂直方向の１次微分変化量ＢＰＦ＿Ｖ＿１は、次式により算出される。但し、ＭＡＸは、最大値を出力する関数である。
BPF_V_1＝MAX(｜Ga−Ge｜,｜Ge−Gk｜)＋MAX(｜Ge−Gk｜,｜Gk−Go｜)
＋MAX(｜Gb−Gf｜,｜Gf−Gl｜)＋MAX(｜Gf−Gl｜,｜Gl−Gp｜)
【００３８】
すなわち、この１次微分変化量算出部２１２は、補間対象画素の周囲の画素値に対して１次微分フィルタによる高周波検出を行うことにより、周囲の画素値との差分のうち、差分の大きい方を選択する。１次微分フィルタは、補間対象画素の画素値と周囲の画素値の差分しか見ていないため、２次微分フィルタに比べて敏感に反応し、勾配に対しても「０」以外の値を出力する。したがって、木の葉や文字などの被写体において、２次微分フィルタでは相関が分かり難い場合に、この１次微分フィルタが有効に動作する可能性がある。
【００３９】
色差変化量算出部２１３は、色差の２次微分値に基づいた変化量を算出するものである。例えば、例えば、図６において中心のＲｘを補間対象画素とすると、垂直方向の色差変化量ＢＰＦ＿Ｖ＿Ｃは、次式により算出される。
BPF_V_C＝｜BPF_V_L｜＋｜BPF_V_V｜＋｜BPF_V_R｜＋｜BPF_V_H｜
BPF_V_L＝−C_V_1＋2×C_V_5−C_V_9
BPF_V_V＝−C_V_2＋2×C_V_5−C_V_8
BPF_V_R＝−C_V_3＋2×C_V_5−C_V_7
BPF_V_H＝−C_V_4＋2×C_V_5−C_V_6
C_V_1＝Ra−(G1＋G18)／2
C_V_2＝Rb−(G2＋Gc)／2
C_V_3＝Rc−(G3＋G19)／2
C_V_4＝Rd−(G18＋G26)／2
C_V_5＝Rx−(Gc＋Gn)／2
C_V_6＝Re−(G19＋G27)／2
C_V_7＝Rf−(G26＋G42)／2
C_V_8＝Rg−(Gn＋G43)／2
C_V_9＝Rh−(G27＋G44)／2
【００４０】
すなわち、この色差変化量算出部２１３は、各方向（この場合、垂直方向）のＧ画素の画素値から作ったＲ画素の色差に対して、２次微分フィルタによる高周波検出を行うことにより、どの方向のＧ画素から作った色差が一番正しいかを検波している。これは、ほとんどの被写体において局所的な領域で見たときには色の変化は少ないという特性を利用したものであり、補間された画像を自然に見せる効果がある。
【００４１】
変化量積和演算部２１４は、２次微分変化量算出部２１１によって算出された２次微分変化量、１次微分変化量算出部２１２によって算出された１次微分変化量および色差変化量算出部２１３によって算出された色差変化量のそれぞれに重み付け係数を乗じて加算するものである。例えば、変化量積和演算部２１４は、次式により積和演算を行い、各方向（この場合、垂直方向）の変化量ＢＰＦ＿Ｖを出力する。
BPF_V＝α×BPF_V_2＋β×BPF_V_1＋γ×BPF_V_C
【００４２】
但し、α、βおよびγは、重み付け係数であり、例えば、幾何学的な模様に強くしたい場合はαの値を大きくし、相関がないような場所での自然な補間方向を求めるにはβの値を大きくし、色収差が少ないレンズにおいて色変化量が少ない被写体の場合にはγを大きくすることで、補間方向の検出精度を向上させることができる。
【００４３】
ここで、重み付け係数の値について検討する。図７は、２次微分フィルタおよび１次微分フィルタの出力ゲインの周波数特性を示す図である。図７（ａ）から分かるように、重み付け係数αおよびβをともに「１」にすると、高周波部における検出レベルは１次微分フィルタの出力７０１と２次微分フィルタの出力７０２との間で等しくなる。一方、図７（ｂ）のようにαを「１」のままβを「２」にすると、全帯域において１次微分フィルタの出力７０１が大きくなってしまい、幾何学的な模様に強い２次微分フィルタの変化量算出の効果を打ち消してしまうおそれがある。また、図７（ｂ）のようにαを「１」のままβを「０．５」にすると、高周波部では２次微分フィルタの出力７０２が大きく、低周波部では図７（ａ）と比べて１次微分フィルタの出力７０１と２次微分フィルタの出力７０２との差が小さくなっている。したがって、重み付け係数αとβの関係としては、α＝１とした場合にβ≦１とするのが好ましいと考えられる。
【００４４】
また、色差変化量については、２次微分フィルタおよび１次微分フィルタの補助的意味合いを持つため、γはαの半分程度、例えばα＝１とした場合にγ＝０．６とするのが好ましいと考えられる。
【００４５】
なお、図５の例では重み付け係数による積和演算により変化量を求めたが、以下のように各変化量の最大値を選択するようにしてもよい。図８は、本発明の実施の形態における垂直方向変化量検出部２１０の第２の構成例を示す図である。この第２の構成例では、図５における変化量積和演算部２１４に代えて、最大値選択部２１５を備えている。
【００４６】
最大値選択部２１５は、２次微分変化量算出部２１１によって算出された２次微分変化量、１次微分変化量算出部２１２によって算出された１次微分変化量および色差変化量算出部２１３によって算出された色差変化量のうち、重み付け係数を乗じた値が最も大きいものを選択するものである。この場合の出力は次式のようになる。
BPF_V＝MAX(α×BPF_V_2, β×BPF_V_1, γ×BPF_V_C)
【００４７】
図５以降では、垂直方向変化量検出部２１０の内部構成を一例として説明したが、他の水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０についても同様である。
【００４８】
他の方向の２次微分変化量、すなわち水平方向２次微分変化量ＢＰＦ＿Ｈ＿２、右斜方向２次微分変化量ＢＰＦ＿Ｒ＿２、および、左斜方向２次微分変化量ＢＰＦ＿Ｌ＿２は、それぞれ以下のように算出される。
BPF_H_2＝｜−Gd＋2×Ge−Gf｜＋｜−Ge＋2×Gf−Gg｜
＋｜−Gj＋2×Gk−Gl｜＋｜−Gk＋2×Gl−Gm｜
BPF_R_2＝｜−Gb＋2×Gc−Ge｜＋｜−Ge＋2×Gh−Gj｜
＋｜−Gg＋2×Gi−Gl｜＋｜−Gl＋2×Gn−Go｜
BPF_L_2＝｜−Ga＋2×Gc−Gf｜＋｜−Gf＋2×Gi−Gm｜
＋｜−Gd＋2×Gh−Gk｜＋｜−Gk＋2×Gn−Gp｜
【００４９】
また、他の方向の１次微分変化量、すなわち水平方向１次微分変化量ＢＰＦ＿Ｈ＿１、右斜方向１次微分変化量ＢＰＦ＿Ｒ＿１、および、左斜方向１次微分変化量ＢＰＦ＿Ｌ＿１は、それぞれ以下のように算出される。
BPF_H_1＝MAX(｜Gd−Ge｜,｜Ge−Gf｜)＋MAX(｜Ge−Gf｜,｜Gf−Gg｜)
＋MAX(｜Gj−Gk｜,｜Gk−Gl｜)＋MAX(｜Gk−Gl｜,｜Gl−Gm｜)
BPF_R_1＝MAX(｜Gb−Gc｜,｜Gc−Ge｜)＋MAX(｜Ge−Gh｜,｜Gh−Gj｜)
＋MAX(｜Gg−Gi｜,｜Gi−Gl｜)＋MAX(｜Gl−Gn｜,｜Gn−Go｜)
BPF_L_1＝MAX(｜Ga−Gc｜,｜Gc−Gf｜)＋MAX(｜Gf−Gi｜,｜Gi−Gm｜)
＋MAX(｜Gd−Gh｜,｜Gh−Gk｜)＋MAX(｜Gk−Gn｜,｜Gn−Gp｜)
【００５０】
また、他の方向の色差変化量、すなわち水平方向色差変化量ＢＰＦ＿Ｈ＿Ｃ、右斜方向色差変化量ＢＰＦ＿Ｒ＿Ｃ、および、左斜方向色差変化量ＢＰＦ＿Ｌ＿Ｃは、それぞれ以下のように算出される。
BPF_H_C＝｜BPF_H_L｜＋｜BPF_H_V｜＋｜BPF_H_R｜＋｜BPF_H_H｜
BPF_H_L＝−C_H_1＋2×C_H_5−C_H_9
BPF_H_V＝−C_H_2＋2×C_H_5−C_H_8
BPF_H_R＝−C_H_3＋2×C_H_5−C_H_7
BPF_H_H＝−C_H_4＋2×C_H_5−C_H_6
C_H_1＝Ra−(G10＋G11)／2
C_H_2＝Rb−(G11＋G12)／2
C_H_3＝Rc−(G12＋G13)／2
C_H_4＝Rd−(G22＋Gh)／2
C_H_5＝Rx−(Gh＋Gi)／2
C_H_6＝Re−(Gi＋G23)／2
C_H_7＝Rf−(G32＋G33)／2
C_H_8＝Rg−(G33＋G34)／2
C_H_9＝Rh−(G34＋G35)／2
【００５１】
BPF_R_C＝｜BPF_R_L｜＋｜BPF_R_V｜＋｜BPF_R_R｜＋｜BPF_R_H｜
BPF_R_L＝−C_R_1＋2×C_R_5−C_R_9
BPF_R_V＝−C_R_2＋2×C_R_5−C_R_8
BPF_R_R＝−C_R_3＋2×C_R_5−C_R_7
BPF_R_H＝−C_R_4＋2×C_R_5−C_R_6
C_R_1＝Ra−(G5＋G14)／2
C_R_2＝Rb−(G7＋Ga)／2
C_R_3＝Rc−(G9＋G16)／2
C_R_4＝Rd−(Gd＋G24)／2
C_R_5＝Rx−(Gf＋Gk)／2
C_R_6＝Re−(G21＋Gm)／2
C_R_7＝Rf−(G29＋G36)／2
C_R_8＝Rg−(Gp＋G38)／2
C_R_9＝Rh−(G31＋G40)／2
【００５２】
BPF_L_C＝｜BPF_L_L｜＋｜BPF_L_V｜＋｜BPF_L_R｜＋｜BPF_L_H｜
BPF_L_L＝−C_L_1＋2×C_L_5−C_L_9
BPF_L_V＝−C_L_2＋2×C_L_5−C_L_8
BPF_L_R＝−C_L_3＋2×C_L_5−C_L_7
BPF_L_H＝−C_L_4＋2×C_L_5−C_L_6
C_L_1＝Ra−(G4＋G15)／2
C_L_2＝Rb−(G6＋Gb)／2
C_L_3＝Rc−(G8＋G17)／2
C_L_4＝Rd−(G20＋Gj)／2
C_L_5＝Rx−(Ge＋Gl／2
C_L_6＝Re−(Gg＋G25)／2
C_L_7＝Rf−(G28＋G37)／2
C_L_8＝Rg−(Go＋G39)／2
C_L_9＝Rh−(G30＋G41)／2
【００５３】
このようにして得られた各方向の変化量に基づいて、例えば、各方向のうち変化量が最小の方向が、最も相関の高い方向（相関方向）として決定される。そして、補間生成部２９１は、その相関方向に従って補間対象画素ＲｘにおけるＧ画素の画素値（補間値ＧＸ）を補間する。すなわち、垂直方向の変化量が最小であればＧＸ＝（Ｇｃ＋Ｇｎ）／２、水平方向の変化量が最小であればＧＸ＝（Ｇｈ＋Ｇｉ）／２、右斜方向の変化量が最小であればＧＸ＝（Ｇｆ＋Ｇｋ）／２、左斜方向の変化量が最小であればＧＸ＝（Ｇｅ＋Ｇｌ）／２のように算出される。
【００５４】
なお、図４の例では、画素値の各方向に対する変化量を比較することにより相関度を求めて、その相関度に従って補間値を生成する例について説明したが、変化量から直接、重み付け補間を行うようにしてもよい。この場合の構成例を図９に示す。
【００５５】
図９は、本発明の実施の形態における補間処理回路２００の第２の構成例を示す図である。この補間処理回路２００の第２の構成例では、図４の第１の構成例とは異なり、垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０の出力が直接、補間生成部２９２に入力されている。この補間生成部２９２は、以下のように、画素値の各方向に対する変化量の逆数を重みとして、加重平均により補間値ＧＸを求めることができる。
【数１】
2009049533.tif 000003
【００５６】
但し、各方向の補間値は、図６において、以下のように算出される。
水平方向補間値＝（Ｇｈ＋Ｇｉ）／２
垂直方向補間値＝（Ｇｃ＋Ｇｎ）／２
右斜方向補間値＝（Ｇｆ＋Ｇｋ）／２
左斜方向補間値＝（Ｇｅ＋Ｇｌ）／２
【００５７】
図１０は、本発明の実施の形態における補間処理回路２００の第１の構成例による画像処理方法の処理手順を示す図である。
【００５８】
まず、垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０のそれぞれにおいて、２次微分変化量算出部２１１（垂直方向の場合）により２次微分変化量が算出される（ステップＳ９１１）。
【００５９】
そして、垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０のそれぞれにおいて、１次微分変化量算出部２１２（垂直方向の場合）により１次微分変化量が算出される（ステップＳ９１２）。
【００６０】
さらに、垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０のそれぞれにおいて、色差変化量算出部２１３（垂直方向の場合）により色差変化量が算出される（ステップＳ９１３）。
【００６１】
その結果、垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０および左斜方向変化量検出部２４０のそれぞれにおいて、２次微分変化量、１次微分変化量および色差変化量が合成される（ステップＳ９１４）。この変化量の合成は、図５の例のように各方向において各変化量を積和演算することにより実現可能であり、また、図８の例のように各方向において各変化量から最大値を選択することにより実現することもできる。
【００６２】
そして、各方向について合成された変化量に基づいて、相関度決定部２５０によって相関度が決定される（ステップＳ９１５）。例えば、各方向のうち変化量が最小の方向が相関方向として決定される。
【００６３】
このようにして決定された相関度に従って補間対象画素ＲｘにおけるＧ画素の画素値が補間生成部２９１によって補間される（ステップＳ９１６）。但し、図９の補間生成部２９２のように、画素値の各方向に対する変化量の逆数を重みとして、加重平均により補間することも可能である。
【００６４】
ここまでは、本発明の実施の形態におけるデモザイク処理の斜め配列への適用例について説明したが、本発明は他の色フィルタ配列にも適用可能である。以下では、ベイヤー配列への適用例について説明する。
【００６５】
図１１は、本発明の実施の形態のデモザイク処理の対象となる他の色フィルタ配列の一例を示す図である。この配列はベイヤー配列と呼ばれ、Ｒ画素およびＧ画素が交互に配列された行と、Ｇ画素およびＢ画素が交互に配列された行とが交互に繰り返されている。Ｇ画素に着目すると、Ｇ画素は市松状に配置されており、Ｇ画素が存在しない空間位置にＲ画素またはＢ画素が配置されていることになる。これらの画素のサンプリング周波数をｆｓとすると画素ピッチは「１／ｆｓ」となる。
【００６６】
図１２は、本発明の実施の形態における補間処理回路２００の第１の変形例を示す図である。この補間処理回路２００は、基本的には図４の例と同様であり、ベイヤー配列に対応して、垂直方向の変化量を垂直方向変化量検出部２１０により検出し、水平方向の変化量を水平方向変化量検出部２２０により検出するものである。相関度決定部２５０および補間生成部２９１についても同様である。
【００６７】
この場合の垂直方向変化量検出部２１０および水平方向変化量検出部２２０においても、図５または図８の例のように２次微分変化量、１次微分変化量および色差変化量の各変化量が算出される。
【００６８】
例えば、図６において中心のＲｘを補間対象画素とすると、垂直方向の２次微分変化量ＢＰＦ＿Ｖ＿２および水平方向の２次微分変化量ＢＰＦ＿Ｈ＿２は、次式により算出される。
BPF_V_2＝｜−(Ga＋Gb)＋2×(Gf＋Gg)−(Gk＋Gl)｜
BPF_H_2＝｜−(Gc＋Gh)＋2×(Gd＋Gi)−(Ge＋Gj)｜
【００６９】
また、垂直方向の１次微分変化量ＢＰＦ＿Ｖ＿１および水平方向の１次微分変化量ＢＰＦ＿Ｈ＿１は、次式により算出される。
BPF_V_1＝MAX(｜(Ga＋Gb)−(Gf＋Gg)｜,｜(Gf＋Gg)−(Gk＋Gl)｜)
BPF_H_1＝MAX(｜(Gc＋Gh)−(Gd＋Gi)｜,｜(Gd＋Gi)−(Ge＋Gj)｜)
【００７０】
また、垂直方向の色差変化量ＢＰＦ＿Ｖ＿Ｃおよび水平方向の色差変化量ＢＰＦ＿Ｈ＿Ｃは、次式により算出される。
BPF_V_C＝｜BPF_V_L｜＋｜BPF_V_V｜＋｜BPF_V_R｜＋｜BPF_V_H｜
BPF_V_L＝−(Ra−(Gm＋Gc)／2)＋2×(Rx−(Gd＋Gi)／2)−(Rh−(Gj＋Gx)／2)
BPF_V_V＝−(Rb−(Gn＋Gd)／2)＋2×(Rx−(Gd＋Gi)／2)−(Rg−(Gi＋Gw)／2)
BPF_V_R＝−(Rc−(Go＋Ge)／2)＋2×(Rx−(Gd＋Gi)／2)−(Rf−(Gh＋Gv)／2)
BPF_V_H＝−(Rd−(Gc＋Gh)／2)＋2×(Rx−(Gd＋Gi)／2)−(Re−(Ge＋Gj)／2)
【００７１】
BPF_H_C＝｜BPF_H_L｜＋｜BPF_H_V｜＋｜BPF_H_R｜＋｜BPF_H_H｜
BPF_H_L＝−(Ra−(Gp＋Ga)／2)＋2×(Rx−(Gf＋Gg)／2)−(Rh−(Gl＋Gu)／2)
BPF_H_V＝−(Rb−(Ga＋Gb)／2)＋2×(Rx−(Gf＋Gg)／2)−(Rg−(Gk＋Gl)／2)
BPF_H_R＝−(Rc−(Gb＋Gq)／2)＋2×(Rx−(Gf＋Gg)／2)−(Rf−(Gt＋Gk)／2)
BPF_H_H＝−(Rd−(Gr＋Gf)／2)＋2×(Rx−(Gf＋Gg)／2)−(Re−(Gg＋Gs)／2)
【００７２】
このようにして得られた各方向の変化量に基づいて、例えば、各方向のうち変化量が最小の方向が、相関方向として決定される。そして、補間生成部２９１は、その相関方向に従って補間対象画素ＲｘにおけるＧ画素の画素値（補間値ＧＸ）を補間する。すなわち、垂直方向の変化量が最小であればＧＸ＝（Ｇｄ＋Ｇｉ）／２、水平方向の変化量が最小であればＧＸ＝（Ｇｆ＋Ｇｇ）／２のように算出される。
【００７３】
なお、図１２の例では、画素値の各方向に対する変化量を比較することにより相関度を求めて、その相関度に従って補間値を生成する例について説明したが、図９の場合と同様に、変化量から直接、重み付け補間を行うようにしてもよい。この場合の構成例を図１４に示す。
【００７４】
図１４は、本発明の実施の形態における補間処理回路２００の第２の変形例を示す図である。この補間処理回路２００の第２の変形例では、図１２の第１の変形例とは異なり、垂直方向変化量検出部２１０および水平方向変化量検出部２２０の出力が直接、補間生成部２９２に入力されている。この補間生成部２９２は、以下のように、画素値の各方向に対する変化量の逆数を重みとして、加重平均により補間値ＧＸを求めることができる。
ＧＸ＝水平方向相関係数×(Gf＋Gg)／2＋（１−水平方向相関係数）×(Gd＋Gi)／2
水平方向相関係数＝垂直方向変化量／（垂直方向変化量＋水平方向変化量）
【００７５】
このように、本発明の実施の形態によれば、デモザイク処理において補間値を生成するための変化量検出の際に、２次微分変化量だけでなく、１次微分変化量または色差変化量を加味することにより、様々な被写体に対してより自然に表示されるよう補間処理を行うことができる。
【００７６】
なお、本発明の実施の形態では、２次微分変化量、１次微分変化量および色差変化量を同時に用いる例について説明したが、２次微分変化量と１次微分変化量との組合せ、または、２次微分変化量と色差変化量との組合せを適宜用いることができる。
【００７７】
また、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００７８】
すなわち、請求項１において、変化量検出手段は例えば垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０または左斜方向変化量検出部２４０に対応する。また、相関度決定手段は例えば相関度決定部２５０に対応する。また、補間手段は例えば補間生成部２９１に対応する。また、２次微分変化量算出手段は例えば２次微分変化量算出部２１１に対応する。また、１次微分変化量算出手段は例えば１次微分変化量算出部２１２に対応する。また、変化量合成手段は例えば変化量積和演算部２１４または最大値選択部２１５に対応する。
【００７９】
また、請求項２において、積和演算手段は例えば変化量積和演算部２１４に対応する。また、第１の係数は例えばαに対応する。また、第２の係数は例えばβに対応する。
【００８０】
また、請求項５において、色差変化量算出手段は例えば色差変化量算出部２１３に対応する。
【００８１】
また、請求項６において、積和演算手段は例えば変化量積和演算部２１４に対応する。また、第３の係数は例えばγに対応する。
【００８２】
また、請求項８において、最大値選択手段は例えば最大値選択部２１５に対応する。
【００８３】
また、請求項９において、変化量検出手段は例えば垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０または左斜方向変化量検出部２４０に対応する。また、相関度決定手段は例えば相関度決定部２５０に対応する。また、補間手段は例えば補間生成部２９１に対応する。また、２次微分変化量算出手段は例えば２次微分変化量算出部２１１に対応する。また、色差変化量算出手段は例えば色差変化量算出部２１３に対応する。また、変化量合成手段は例えば変化量積和演算部２１４または最大値選択部２１５に対応する。
【００８４】
また、請求項１０において、変化量検出手段は例えば垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０または左斜方向変化量検出部２４０に対応する。また、補間手段は例えば補間生成部２９１に対応する。また、２次微分変化量算出手段は例えば２次微分変化量算出部２１１に対応する。また、１次微分変化量算出手段は例えば１次微分変化量算出部２１２に対応する。また、変化量合成手段は例えば変化量積和演算部２１４または最大値選択部２１５に対応する。
【００８５】
また、請求項１１において、変化量検出手段は例えば垂直方向変化量検出部２１０、水平方向変化量検出部２２０、右斜方向変化量検出部２３０または左斜方向変化量検出部２４０に対応する。また、補間手段は例えば補間生成部２９１に対応する。また、２次微分変化量算出手段は例えば２次微分変化量算出部２１１に対応する。また、色差変化量算出手段は例えば色差変化量算出部２１３に対応する。また、変化量合成手段は例えば変化量積和演算部２１４または最大値選択部２１５に対応する。
【００８６】
また、請求項１２および１３において、２次微分変化量算出手順は例えばステップＳ９１１に対応する。また、１次微分変化量算出手順は例えばステップＳ９１２に対応する。また、変化量合成手順は例えばステップＳ９１４に対応する。また、相関度決定手順は例えばステップＳ９１５に対応する。また、補間手順は例えばステップＳ９１６に対応する。
【００８７】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態における画像処理装置の一例である撮像装置の構成例を示す図である。
【図２】本発明の実施の形態のデモザイク処理の対象となる色フィルタ配列の一例を示す図である。
【図３】解像度チャート（ＣＰＺ）を示す図である。
【図４】本発明の実施の形態における補間処理回路２００の第１の構成例を示す図である。
【図５】本発明の実施の形態における垂直方向変化量検出部２１０の第１の構成例を示す図である。
【図６】斜め画素配列においてＧ画素およびＲ画素を抜き出した図である。
【図７】２次微分フィルタおよび１次微分フィルタの出力ゲインの周波数特性を示す図である。
【図８】本発明の実施の形態における垂直方向変化量検出部２１０の第２の構成例を示す図である。
【図９】本発明の実施の形態における補間処理回路２００の第２の構成例を示す図である。
【図１０】本発明の実施の形態における補間処理回路２００の第１の構成例による画像処理方法の処理手順を示す図である。
【図１１】本発明の実施の形態のデモザイク処理の対象となる他の色フィルタ配列の一例を示す図である。
【図１２】本発明の実施の形態における補間処理回路２００の第１の変形例を示す図である。
【図１３】ベイヤー配列においてＧ画素およびＲ画素を抜き出した図である。
【図１４】本発明の実施の形態における補間処理回路２００の第２の変形例を示す図である。
【符号の説明】
【００８９】
１１０  レンズ
１２０  撮像素子
１３０  Ａ／Ｄ変換器
１４０  カメラ信号処理部
１４１  光学系補正回路
１４２  ホワイトバランス回路
１４４  ガンマ補正回路
１４５  Ｙ信号処理回路
１４６  Ｃ信号処理回路
１４７  ローパスフィルタ
１４８  間引き処理回路
２００  補間処理回路
２１０  垂直方向変化量検出部
２１１  ２次微分変化量算出部
２１２  １次微分変化量算出部
２１３  色差変化量算出部
２１４  変化量積和演算部
２１５  最大値選択部
２２０  水平方向変化量検出部
２３０  右斜方向変化量検出部
２４０  左斜方向変化量検出部
２５０  相関度決定部
２９１、２９２  補間生成部
【図１】
2009049533.tif 000004
【図２】
2009049533.tif 000005
【図４】
2009049533.tif 000006
【図５】
2009049533.tif 000007
【図６】
2009049533.tif 000008
【図８】
2009049533.tif 000009
【図９】
2009049533.tif 000010
【図１０】
2009049533.tif 000011
【図１１】
2009049533.tif 000012
【図１２】
2009049533.tif 000013
【図１３】
2009049533.tif 000014
【図１４】
2009049533.tif 000015
【図３】
2009049533.tif 000016
【図７】
2009049533.tif 000017