(57)【要約】【課題】画像の各構成画素の像高等に応じた最適なぼけ補正処理を実行する装置、方法を提供する。【解決手段】画像のぼけ補正処理を実行する画像信号補正部を有し、画像信号補正部は、基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じたブレンド係数を適用してブレンドし、ブレンド処理によって生成したフィルタを適用してぼけ補正を実行する。例えば、ぼけ補正対象画素の画素位置が、画像中心から遠く像高が大きくなるに従って、座標位置対応ハイパスフィルタのブレンド率を減少させたブレンドを実行する。あるいは、さらに、像高に応じた強度調整を行った強度調整ぼけ補正フィルタを生成してぼけ補正を行う。【選択図】図４
2013055622.tif 000002
【特許請求の範囲】
【請求項１】
画像のぼけ補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行するぼけ補正処理部を有する画像処理装置。
【請求項２】
前記ぼけ補正処理部は、
前記基本フィルタと、前記座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高とフォーカス位置情報に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記ぼけ補正処理部は、
前記ブレンド処理において、ぼけ補正対象画素の画素位置が、画像中心から遠く、像高が大きくなるに従って、前記座標位置対応ハイパスフィルタのブレンド率を減少させたブレンド処理を実行する請求項１に記載の画像処理装置。
【請求項４】
前記ぼけ補正処理部は、
予めメモリに保持されたｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）と、ｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）と、画角中央位置［（ｘ，ｙ）＝（０，０）］に対応する中心フィルタ（ＨＰＦ＿ｃｅｎｔｅｒ）を、ぼけ補正対象画素の画素位置に応じてブレンドすることで、前記座標位置対応ハイパスフィルタを生成する請求項１に記載の画像処理装置。
【請求項５】
前記ぼけ補正処理部は、
さらに、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じてエンハンス強度調整を実行して強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正処理を行う請求項１に記載の画像処理装置。
【請求項６】
前記ぼけ補正処理部は、
前記座標位置対応ハイパスフィルタを、直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じた強度調整パラメータを適用した調整処理を行い、調整処理を行った交流成分と前記直流成分の再合成により、前記強度調整フィルタを生成する請求項５に記載の画像処理装置。
【請求項７】
前記ぼけ補正処理部は、
前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高と、フォーカス位置情報に応じた強度調整パラメータを適用したエンハンス強度調整を実行して前記強度調整フィルタを生成する請求項５に記載の画像処理装置。
【請求項８】
前記画像信号補正部は、さらに、
画像のエッジ情報を検出するエッジ検出部と、
画像信号補正結果を出力するブレンド処理部を有し、
前記ブレンド処理部は、
前記エッジ検出部の出力するエッジ情報と、
前記ぼけ補正処理部におけるぼけ補正処理によって生成したぼけ補正済み信号と、
ぼけ補正処理を実行する前のぼけ補正前信号、
を入力して、
前記エッジ情報に応じて決定するブレンド比率に応じて、前記ぼけ補正済み信号と前記ぼけ補正前信号とのブレンド処理を実行して出力信号を生成する請求項１に記載の画像処理装置。
【請求項９】
前記画像信号補正部は、
ＲＧＢ画素とＷ（ホワイト）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を実行する構成であり、
Ｗ画素信号に対するぼけ補正処理に際して、補正対象のＷ画素信号を含む局所領域の色比率を反映した色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する請求項１に記載の画像処理装置。
【請求項１０】
前記ぼけ補正処理部は、
前記撮像素子の出力信号に含まれるＷ画素信号を利用した補間処理により、全画素対応のＷ画素信号を持つ補間画像を生成し、生成した補間画像を構成するＷ画素各々について前記色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する請求項９に記載の画像処理装置。
【請求項１１】
前記ぼけ補正処理部は、
前記局所領域のＲＧＢ各色の低周波成分を算出し、算出したＲＧＢ各色の低周波成分の値の比率を前記局所領域の色比率とする請求項９に記載の画像処理装置。
【請求項１２】
前記ぼけ補正処理部は、
前記局所領域のＲＧＢの各色比率に応じて決定するブレンド比率に応じて、予めメモリに保持されたＲ対応ぼけ補正フィルタと、Ｇ対応ぼけ補正フィルタと、Ｂ対応ぼけ補正フィルタとをブレンドして前記色比率反映ぼけ補正フィルタを生成する請求項９に記載の画像処理装置。
【請求項１３】
前記画像信号補正部は、
ぼけ補正対象画素を含む複数画素からなる局所領域に飽和画素が含まれるか否かを検出する飽和検出部を有し、
前記ぼけ補正処理部は、
前記飽和検出部からの検出情報を入力し、前記局所領域に飽和画素が含まれる場合には、前記ぼけ補正対象画素のぼけ補正を実行せず、飽和画素が含まれない場合にのみ、前記ぼけ補正対象画素のぼけ補正を実行する請求項１に記載の画像処理装置。
【請求項１４】
画像のぼけ補正を実行する画像信号補正部を有し、
前記画像信号補正部は、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理装置。
【請求項１５】
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する画像処理方法。
【請求項１６】
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理方法。
【請求項１７】
画像処理装置において画像のぼけ補正処理を実行させるプログラムであり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラム。
【請求項１８】
画像処理装置において画像のぼけ補正処理を実行させるプログラムを記録した記録媒体であり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムに関する。特に、画像のぼけ補正を実行する画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において撮影される画像には、例えば、フォーカスずれや、レンズの収差、さらに、撮像素子であるＣＣＤやＣＭＯＳ等で発生するノイズなどに起因して、ノイズやぼけが発生する。
特に、安価なレンズを用いたカメラでは、像高（光学中心からの距離）が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。
【０００３】
このような様々な要因に基づく画像のノイズやぼけの補正処理について開示した従来技術として、例えば、特許文献１（特開２００６−２４６０８０号公報）、特許文献２（特開２００９−１５９６０３号公報）、特許文献３（特開２０１０−０８１２６３号公報）などがある。
【０００４】
特許文献１（特開２００６−２４６０８０号公報）は、撮影画像の領域単位で異なる先鋭化パラメータを用いた補正処理構成を開示している。具体的には、像高（光学中心からの距離）が大きくなるほど、先鋭化パラメータを強くして画像補正を行う構成である。
しかし、この特許文献１の処理は、像高に応じて高周波成分の強度を強める処理を施すのみであり、例えば倍率色収差やぼけの周波数特性の変化等については考慮しておらず、適切な補正が実行されない場合が発生するという問題がある
【０００５】
また、特許文献２（特開２００９−１５９６０３号公報）は、レンズの固体差や製造誤差によって変化するぼけに対応するため、それぞれのレンズ特性に応じたフィルタを選択してぼけ補正処理を実行する構成を開示している。
しかし、上述の像高依存型のぼけのように像高に応じてぼけ方が連続的に変化するぼけに対して、この補正処理を適用しようとすると、ぼけ補正用のフィルタの種類が膨大な数になるという問題が発生する。
【０００６】
さらに、特許文献３（特開２０１０−０８１２６３号公報）は、像高によって偏りの発生するぼけ方を示すいわゆる片ぼけに対して、像高ごとに重心位置をずらしたフィルタを適用することで、像高に応じた適切な補正を実行する構成を開示している。
具体的には、フィルタの重心位置の補正によって片ぼけに対応した補正を行うものである。しかし、重心位置の補正に主眼をおいており、補正強度の制御については示されておらず、ぼけの強い部分や弱い部分に対応した個別の処理が実行されず、適切な補正がなされない場合が発生する。
【０００７】
さらに、撮像素子に付属するフィルタとしてＲＧＢの各色に加え、全波長透過型のＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを備えた撮像装置の撮影画像に対する補正処理について、特許文献４（特開２０１１−５５０３８号公報）に記載がある。
【０００８】
Ｗ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを利用した場合、Ｗ画素が波長領域の広い可視光を透過するため、被写体の色によってぼけ方が異なる。
上記特許文献４の処理は、被写体色に依存しない一律な補正を行う構成であり、被写体の色によって異なるぼけ方に対して十分な補正効果が得られない場合が発生するという問題がある。
【０００９】
また、上述した上記従来技術の構成の多くは、例えば、畳み込み演算によるフィルタリングに基づく画素値補正を行うものであるが、様々な補正を行うために、このフィルタリングを行うためのフィルタを多数、格納するため容量の大きなメモリを必要とするなど、小型かつ低コストのカメラに実装するには問題がある。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００６−２４６０８０号公報
【特許文献２】特開２００９−１５９６０３号公報
【特許文献３】特開２０１０−０８１２６３号公報
【特許文献４】特開２０１１−０５５０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本開示は、例えば上記問題点に鑑みてなされたものであり、画像のぼけ補正を行う構成において、特に像高に応じた適切な補正を実現する画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムを提供することを目的とする。
また、本開示の一実施例では、様々な態様のぼけに応じたぼけ補正フィルタを、基本的なフィルタに基づいて適宜算出して利用する構成とすることで、予めメモリに格納するフィルタの数を削減可能とした画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本開示の第１の側面は、
画像のぼけ補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行するぼけ補正処理部を有する画像処理装置にある。
【００１３】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記基本フィルタと、前記座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高とフォーカス位置情報に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する。
【００１４】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記ブレンド処理において、ぼけ補正対象画素の画素位置が、画像中心から遠く、像高が大きくなるに従って、前記座標位置対応ハイパスフィルタのブレンド率を減少させたブレンド処理を実行する。
【００１５】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、予めメモリに保持されたｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）と、ｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）と、画角中央位置［（ｘ，ｙ）＝（０，０）］に対応する中心フィルタ（ＨＰＦ＿ｃｅｎｔｅｒ）を、ぼけ補正対象画素の画素位置に応じてブレンドすることで、前記座標位置対応ハイパスフィルタを生成する。
【００１６】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、さらに、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じてエンハンス強度調整を実行して強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正処理を行う。
【００１７】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じた強度調整パラメータを適用した調整処理を行い、調整処理を行った交流成分と前記直流成分の再合成により、前記強度調整フィルタを生成する。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高と、フォーカス位置情報に応じた強度調整パラメータを適用したエンハンス強度調整を実行して前記強度調整フィルタを生成する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、さらに、画像のエッジ情報を検出するエッジ検出部と、画像信号補正結果を出力するブレンド処理部を有し、前記ブレンド処理部は、前記エッジ検出部の出力するエッジ情報と、前記ぼけ補正処理部におけるぼけ補正処理によって生成したぼけ補正済み信号と、ぼけ補正処理を実行する前のぼけ補正前信号、を入力して、前記エッジ情報に応じて決定するブレンド比率に応じて、前記ぼけ補正済み信号と前記ぼけ補正前信号とのブレンド処理を実行して出力信号を生成する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ＲＧＢ画素とＷ（ホワイト）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を実行する構成であり、Ｗ画素信号に対するぼけ補正処理に際して、補正対象のＷ画素信号を含む局所領域の色比率を反映した色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記撮像素子の出力信号に含まれるＷ画素信号を利用した補間処理により、全画素対応のＷ画素信号を持つ補間画像を生成し、生成した補間画像を構成するＷ画素各々について前記色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記局所領域のＲＧＢ各色の低周波成分を算出し、算出したＲＧＢ各色の低周波成分の値の比率を前記局所領域の色比率とする。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記ぼけ補正処理部は、前記局所領域のＲＧＢの各色比率に応じて決定するブレンド比率に応じて、予めメモリに保持されたＲ対応ぼけ補正フィルタと、Ｇ対応ぼけ補正フィルタと、Ｂ対応ぼけ補正フィルタとをブレンドして前記色比率反映ぼけ補正フィルタを生成する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画像信号補正部は、ぼけ補正対象画素を含む複数画素からなる局所領域に飽和画素が含まれるか否かを検出する飽和検出部を有し、前記ぼけ補正処理部は、前記飽和検出部からの検出情報を入力し、前記局所領域に飽和画素が含まれる場合には、前記ぼけ補正対象画素のぼけ補正を実行せず、飽和画素が含まれない場合にのみ、前記ぼけ補正対象画素のぼけ補正を実行する。
【００２５】
さらに、本開示の第２の側面は、
画像のぼけ補正を実行する画像信号補正部を有し、
前記画像信号補正部は、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理装置にある。
【００２６】
さらに、本開示の第３の側面は、
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する画像処理方法にある。
【００２７】
さらに、本開示の第４の側面は、
画像処理装置において画像のぼけ補正処理を実行する画像処理方法であり、
画像信号補正部が、
ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理方法にある。
【００２８】
さらに、本開示の第５の側面は、
画像処理装置において画像のぼけ補正処理を実行させるプログラムであり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラムにある。
【００２９】
さらに、本開示の第６の側面は、
画像処理装置において画像のぼけ補正処理を実行させるプログラムを記録した記録媒体であり、
画像信号補正部に、
ぼけ補正対象画素の像高に応じて決定するブレンド比率に応じて、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタとをブレンドするブレンド処理を実行させ、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行させるプログラムを記録した記録媒体にある。
【００３０】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００３１】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３２】
本開示の一実施例の構成によれば、画像の各構成画素の像高等に応じた最適なぼけ補正処理を実行する装置、方法が実現される。
具体的には、画像のぼけ補正処理を実行する画像信号補正部を有し、画像信号補正部は、基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じたブレンド係数を適用してブレンドし、ブレンド処理によって生成したフィルタを適用してぼけ補正を実行する。例えば、ぼけ補正対象画素の画素位置が、画像中心から遠く像高が大きくなるに従って、座標位置対応ハイパスフィルタのブレンド率を減少させたブレンドを実行する。あるいは、さらに、像高に応じた強度調整を行った強度調整ぼけ補正フィルタを生成してぼけ補正を行う。
これらの処理により、画像の各構成画素の像高等に応じた最適なぼけ補正処理が実現される。
【図面の簡単な説明】
【００３３】
【図１】像高に応じて発生するぼけの態様について説明する図である。
【図２】ウィナーフィルタによるぼけ補正処理の一例について説明する図である。
【図３】本開示の画像処理装置の構成例について説明する図である。
【図４】本開示の画像処理装置の構成例について説明する図である。
【図５】画像信号補正部の実行する処理の全体シーケンスを説明するフローチャートを示す図である。
【図６】飽和画素が含まれる画素領域に対するぼけ補正と偽色発生について説明する図である。
【図７】ぼけ補正対象画素の周囲に飽和画素が含まれる場合、補正対象画素のぼけ補正を行わない設定とする処理について説明する図である。
【図８】平坦度（ｗｅｉｇｈｔＦｌａｔ）について説明する図である。
【図９】フィルタ生成処理の詳細シーケンスについて説明するフローチャートを示す図である。
【図１０】座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を生成するシーケンスについて説明するフローチャートを示す図である。
【図１１】座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を生成するために適用するハイパスフィルタの例について説明する図である。
【図１２】フィルタのエンハンス特性を示す図である。
【図１３】（ａ）レンズＭＴＦ特性、（ｂ）ウィナー（Ｗｉｅｎｅｒ）フィルタ特性、（ｃ）ブレンド係数αの設定例について説明する図である。
【図１４】エンハンス強度調整したぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する処理について説明する図である。
【図１５】エンハンス強度調整したぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する処理について説明する図である。
【図１６】フィルタのエンハンス特性を示す図である。
【図１７】（ａ）レンズＭＴＦ特性、（ｂ）ウィナー（Ｗｉｅｎｅｒ）フィルタ特性、（ｃ）エンハンス強度調整パラメータβの設定例について説明する図である。
【図１８】ＲＧＢＷフィルタにおける各色の分光強度特性を示す図である。
【図１９】ＲＧＢＷ各色のＭＴＦ特性を示す図である。
【図２０】ＲＧＢＷ画像のＲＧＢ画像への変換処理について説明する図である。
【図２１】画像処理装置の一実施例について説明する図である。
【図２２】画像処理装置の一実施例について説明する図である。
【図２３】画像信号補正部の実行する処理の全体シーケンスを説明するフローチャートを示す図である。
【図２４】低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成例について説明する図である。
【図２５】低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成例について説明する図である。
【図２６】低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成例について説明する図である。
【図２７】低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成例について説明する図である。
【図２８】Ｗ対応ぼけ補正フィルタの算出処理例について説明する図である。
【図２９】低周波成分ｍＷを算出する低周波成分算出フィルタ、ノイズ信号を除去したＷ信号Ｗｎを算出するフィルタの例について説明する図である。
【図３０】局所領域におけるＷとＧの画素値比率の対応関係例について説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、情報記録媒体、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮影画像に発生するぼけの特性と、ぼけ補正に適用可能なフィルタの概要について
２．（実施例１）画像処理装置の構成例について
３．実施例１に係る画像処理装置のぼけ補正処理の詳細について
４．（実施例２）色比率を考慮したぼけ補正を実行する画像処理装置の構成例について
５．実施例２に係る画像処理装置のぼけ補正処理の詳細について
６．本開示の構成のまとめ
【００３５】
［１．撮影画像に発生するぼけの特性と、ぼけ補正に適用可能なフィルタの概要について］
本開示の画像処理装置の具体的な説明の前に、撮影画像に発生するぼけの特性と、ぼけ補正に適用可能な基本的なフィルタの概要について説明する。
【００３６】
前述したように、デジタルカメラ等の撮像装置によって撮影された画像には、レンズ特性やＣＣＤ、ＣＭＯＳ等の撮像素子の特性に応じたぼけが発生する。
特に、安価なレンズを用いたカメラでは、像高（光学中心からの距離）が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。
【００３７】
像高に応じて発生するぼけの態様について、図１を参照して説明する。
図１は、矩形の白領域と黒領域が交互に設定されたチェッカーパターンの撮影画像を示している。
図１に示すように、画像の中心領域は、ぼけが小さい。すなわち、光学中心に近い（像高が小さい）ほど、ぼけが小さい。
一方、光学中心からの距離が大きくなるほど、すなわち像高が大きくなるほど、ぼけが大きくなる。
このように、カメラによる撮影画像に発生するぼけは、カメラのレンズの光学中心に近い画像領域の中心部ほど小さく、レンズの光学中心から遠い画像の周辺領域ほど大きくなる傾向がある。
【００３８】
次に、画像のぼけ補正に利用されるフィルタの一例としてウィナー（Ｗｉｅｎｅｒ）フィルタについて簡単に説明する。
（１）ぼけのない理想画像（原画像）、
（２）ぼけのある撮影画像、
（３）撮影画像に対するフィルタの適用処理によって復元される復元画像、
これらの３つの画像を想定する。
ここで、
（１）ぼけのない理想画像（原画像）と、
（３）撮影画像に対するフィルタの適用処理によって復元される復元画像、
これらの２つの画像の二乗誤差を最小とするフィルタが、最小二乗フィルタ、またはウィナー（Ｗｉｅｎｅｒ）フィルタと呼ばれる。
【００３９】
ｆ（ｘ，ｙ）を、ぼけのない理想画像（原画像）、
ｇ（ｘ，ｙ）を、ぼけを含む撮影画像、
ｈ（ｘ，ｙ）を、レンズ収差や手ぶれによる劣化関数、
ｎ（ｘ，ｙ）を、ノイズ成分、
とする。
（ｘ，ｙ）は各画像の画素位置であり、ｆ（ｘ，ｙ）〜ｎ（ｘ，ｙ）は各画像の座標位置（ｘ，ｙ）の画素値を示す場合もある。
ここで、レンズ収差や手ぶれによる劣化関数ｈ（ｘ，ｙ）が、固定値であると仮定すると、以下の（式１）の関係が成り立つ。
【００４０】
【数１】
2013055622.tif 000003
・・・・（式１）
【００４１】
上記式の両辺をフーリエ変換すると、
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）×Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）・・・・（式２）
となる。
ここで、Ｇ（ｕ，ｖ），Ｈ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｎ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ），ｈ（ｘ，ｙ），ｆ（ｘ，ｙ），ｎ（ｘ，ｙ）のフーリエ変換を表す。
この式からレンズ収差や手ぶれによる劣化関数に零点がなく、ノイズ成分が既知であるとき、Ｆ（ｕ，ｖ）は、以下の（式３）から求めることが可能である。
【００４２】
【数２】
2013055622.tif 000004
・・・・（式３）
【００４３】
しかしながら、一般にノイズ成分は未知であるため、上記（式３）を厳密に解くことはできない。そこで、理想画像（Ｆ）と、ぼけの補正された復元画像（Ｆ'）の誤差を最小とする以下の（式４）のウィナー（Ｗｉｅｎｅｒ）フィルタＫ（ｕ，ｖ）を用いてぼけ補正が行われる。
【００４４】
【数３】
2013055622.tif 000005
・・・・（式４）
ただし、上記（式４）において、
（Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ））：理想画像（原画像）Ｆと、ノイズＮとのパワースペクトル密度（Γ）を示す。
（Γ＝Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ））
【００４５】
以下に示す（式５）のとおり、このフィルタを逆フーリエ変換したものｋ（ｘ，ｙ）と、観測画像を実空間で畳み込むことで、ぼけ補正のされた画像ｆ'（ｘ，ｙ）を得ることができる。
【００４６】
【数４】
2013055622.tif 000006
・・・・（式５）
【００４７】
上記（式５）に従ったウィナーフィルタによるぼけ補正処理の一例を図２に示す。
図２には、
（ａ）撮影画像Ｇ
（ｂ）ウィナーフィルタＫ
これらを示している。
【００４８】
（ａ）撮影画像は、Ｗ（Ｗｈｉｔｅ）画素を含むＲＧＢＷ画素からなるＲＡＷ画像である。
ここで、補正対象画素は図２（ａ）に示す７×７画素の中心のＷ画素である。
（ｂ）に示すウィナーフィルタＫは、７×７画素に含まれる複数のＷ画素各々に対する乗算係数を示したものである。７×７画素に含まれるＷ画素の画素値に各係数を乗算して加算する畳み込み演算を実行して、中心のＷ画素の補正画素値を算出する。
【００４９】
なお、図２に示す例はＲＧＢＷ構成の画像のＷ画素に対する処理例を示しているが、Ｒ，Ｇ，Ｂの各画素に対しても同様のフィルタ処理が行われる。
またＲＧＢＷ構成ではなくＲＧＢ構成の画像に対しても同様のウィナーフィルタ適用処理によるぼけ補正が行われる。
【００５０】
［２．（実施例１）画像処理装置の構成例について］
図３、図４を参照して、本開示の画像処理装置の構成例について説明する。
図３は、本開示の画像処理装置の一実施例である撮像装置１００の構成例を示す図である。撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。なお、撮像装置は画像処理装置の一態様である。
【００５１】
なお、本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図３に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。
【００５２】
以下では、図３に示す撮像装置１００を本開示の画像処理装置の代表例として説明する。なお、図３に示す撮像装置１００は、例えばスチルカメラ、ビデオカメラなどである。
【００５３】
図３に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、ＲＧＢ配列からなるベイヤ配列を持つカラーフィルタを備えた構成である。
まず、ＲＧＢ配列からなる撮像素子１１０を利用した構成と処理について説明する。
後段で、ＲＧＢＷ配列を持つ撮像素子を利用した構成と処理例について説明する。
【００５４】
図３に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、ＲＧＢ配列１８１を持つ。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これら３種類の分光特性を持つフィルタを備えた撮像素子である。
【００５５】
このＲＧＢ配列１８１を持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
【００５６】
撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０の画像信号補正部２００に入力される。
画像信号補正部２００は、例えば像高（光学中心からの距離）やフォーカス位置に応じて変化するぼけ方を考慮したぼけ補正処理を実行する。この画像信号補正部２００の構成と処理の詳細については後述する。
【００５７】
画像信号補正部２００においてぼけ補正のなされたＲＧＢ画像はＲＧＢ信号処理部２５０に出力される。
画像信号補正部２００の出力は、撮像素子１１０からの出力と同様、ベイヤ配列を持つデータである。
【００５８】
ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。
【００５９】
制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。
なお、メモリ１３０は、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。
【００６０】
画像信号補正部２００の詳細構成について図４を参照して説明する。
画像信号補正部２００は、図４に示すように、ラインメモリ２０１、像高算出部２０２、飽和検出部２０３、ぼけ補正処理部２１０、エッジ検出部２２１、ブレンド処理部２３０を有する。
ブレンド処理部２３０は、加重加算処理部２３５を有する。
【００６１】
撮像素子１１０から出力された各画素対応の画素値信号は一旦、ラインメモリ２０１に蓄えられる。
また、各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスが像高算出部２０２に出力される。
ラインメモリ２０１は撮像素子の水平７ライン分のラインメモリを有する。ラインメモリ２０１からは７つの水平ライン分のデータを並列に順次出力する。出力先は、ぼけ補正処理部２１０、エッジ検出部２２１、飽和検出部２０３である。これらの各処理部に対して、ＲＧＢ配列１８１の撮像データが７ライン単位で出力される。
【００６２】
エッジ検出部２２１は、ラインメモリ２０１からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成してブレンド処理部２３０に出力する。
具体的には、例えば、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出してブレンド処理部２３０に出力する。
なお、この平坦度（ｗｅｉｇｈｔＦｌａｔ）算出処理は、本出願人の先の出願である特開２０１１−５５０３８号公報に記載の処理と同様の処理として実行可能である。
【００６３】
ぼけ補正処理部２１０は、ラインメモリ２０１からの入力信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を検証して、画像ぼけを削減する処理を行い、その処理結果として得られるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を算出してブレンド処理部２３０に出力する。
【００６４】
ブレンド処理部２３０は、ラインメモリ２０１からの出力信号中のＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と、エッジ検出部２２１から出力されるエッジ情報、およびぼけ補正処理部２１０から出力されるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を入力する。
ブレンド処理部２３０は、これらの情報を利用して、エッジを考慮したぼけ補正のなされた出力信号ＲＧＢを生成してＲＧＢ信号処理部２５０に出力する。
【００６５】
ブレンド処理部２３０は、加重加算処理部２３５を有し、加重加算処理部２３５は、エッジ検出部２２１で算出した処理対象画素のエッジ情報、すなわち、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて、ぼけ補正処理部２１０から出力されるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１８１のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｉｎ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｉｎ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｉｎ
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢ信号処理部２５０に出力する。
【００６６】
ＲＧＢ信号処理部２５０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部２５０は、ブレンド処理部２３０から出力されるＲＧＢ配列（ベイヤ配列）信号に対する信号処理を実行してカラー画像１８３（図３参照）を生成する。ＲＧＢ信号処理部２５０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像１８３を生成する。
【００６７】
図５に画像信号補正部２００の実行する処理の全体シーケンスを説明するフローチャートを示す。
まず、ステップＳ１０１において、像高等に応じたぼけ補正フィルタを生成する。この処理は、ぼけ補正処理部２１０において実行される。
ぼけ補正処理部２１０は、像高算出部２０２から、ぼけ補正対象画素のｘｙアドレスに基づいて算出された像高（画像中心（＝光学中心）からの距離）情報を入力して、像高等に応じたぼけ補正フィルタを生成する。
なお、この具体的な処理については後述する。
【００６８】
次に、ステップＳ１０２において、ぼけ補正対象画素が飽和しているか否かが判定される。
具体的には、図４に示す飽和検出部２０３において、ぼけ補正対象画素の飽和検出が実行され、この検出情報がぼけ補正処理部２１０に入力される。
補正対象画素が飽和している場合、ぼけ補正を実行すると偽色が発生する可能性がある。これは、ぼけ補正処理には、ぼけ補正対象となる画素の周囲の画素の画素値を参照して、補正対象画素の画素値を設定する処理を含むからである。
【００６９】
例えば、図６（ａ）に示す画像の画素領域２７１ａはハイライト画素、すなわち飽和画素が含まれる画素領域である。
このような飽和画素を含む画素領域２７１ａに対して、ぼけ補正処理を施すと、図６（ｂ）の画素領域２７１ｂに示すようにぼけは減少するが、本来の被写体の色と異なる色が設定される偽色が発生する。
このような偽色発生を防止するため、図７に示すように、ぼけ補正対象画素の周囲、例えば補正対象画素を中心とする７×７画素に飽和画素が含まれる場合、補正対象画素のぼけ補正を行わない設定とする。
【００７０】
このように、ぼけ補正処理部２１０は、飽和検出部２０３における飽和画素（ハイライト）領域の検出情報に応じて、飽和画素領域は、ぼけ補正処理なし信号に置き換える処理を行う。
飽和検出部２０３は、例えば、ぼけ処理対象画素を中心とした７×７画素領域の画素に対して、予め既定したしきい値を超えてないか判断する。７×７画素領域の１画素でもしきい値を超えていれば、飽和検出情報をぼけ補正処理部２１０に出力する。
ぼけ補正処理部２１０は、７×７画素領域の１画素でもしきい値を超えていれば、偽色が発生する可能性が高いため、補正処理なし信号に置き換える処理を行う。
【００７１】
この処理は、図５に示すフローのステップＳ１０２の判定がＹｅｓと判定された場合の処理に対応し、この場合は、ステップＳ１０３，Ｓ１０４を実行せず、ステップＳ１０５に進む。
すなわち、処理対象画素（７×７画素の中心画素）に対するぼけ補正処理は実行しない。
【００７２】
ぼけ処理対象画素を中心とした７×７画素領域の画素のいすれも、予め既定したしきい値を超えず、飽和検出がなされなかった場合は、ステップＳ１０２の判定はＮｏとなり、ステップＳ１０３においてフィルタを適用したぼけ補正処理を実行する。
このぼけ補正処理は、図４に示すぼけ補正処理部２１０において実行する処理であり、ステップＳ１０１において生成した像高等に応じて生成されたぼけ補正フィルタを適用してぼけ補正処理が行われる。
【００７３】
次に、ステップＳ１０４においてエッジ検出処理が実行される。
この処理は、図４に示すエッジ検出部２２１において実行される。エッジ検出部２２１は、ラインメモリ２０１からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成する。
具体的には、前述したように、例えば、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出してブレンド処理部２３０に出力する。
【００７４】
平坦度（ｗｅｉｇｈｔＦｌａｔ）は、図８に示すように、０〜１の範囲の値を持ち、
１に近いほど、平坦度が低い（テクスチャが多い）
０に近いほど、平坦度が高い（テクスチャが少ない）
このような画像状態を示す、平坦度の指標値である。
【００７５】
図８に示すように、予め設定した２つの閾値（Ｌｉｍｉｔ０，Ｌｉｍｉｔ１）を用いて、平坦度（ｗｅｉｇｈｔＦｌａｔ）を以下のように算出する。
０≦（ｒａｔｉｏＦｌａｔ）＜Ｌｉｍｉｔ０であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝０
Ｌｉｍｉｔ０≦（ｒａｔｉｏＦｌａｔ）＜Ｌｉｍｉｔ１であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝０〜１
Ｌｉｍｉｔ１≦（ｒａｔｉｏＦｌａｔ）であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝１
とする。
【００７６】
エッジ検出部２２１は、例えば、上記の平坦度（ｗｅｉｇｈｔＦｌａｔ）情報をエッジ情報として、ブレンド処理部２３０に出力する。
なお、前述したように、この平坦度（ｗｅｉｇｈｔＦｌａｔ）算出処理は、本出願人の先の出願である特開２０１１−５５０３８号公報に記載の処理と同様の処理として実行可能であり、詳細は、特開２０１１−５５０３８号公報を参照されたい。
【００７７】
次に、ステップＳ１０５において、ブレンド処理が実行される。
この処理は、図４に示すブレンド処理部２３０の実行する処理である。ブレンド処理部２３０は、ラインメモリ２０１からの出力信号中のＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と、エッジ検出部２２１から出力されるエッジ情報、およびぼけ補正処理部２１０から出力されるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を入力する。
ブレンド処理部２３０は、これらの情報を利用して、エッジを考慮したぼけ補正のなされた出力信号ＲＧＢを生成してＲＧＢ信号処理部２５０に出力する。
【００７８】
ブレンド処理部２３０は、加重加算処理部２３５を有し、加重加算処理部２３５は、エッジ検出部２２１で算出した処理対象画素のエッジ情報、すなわち、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて、ぼけ補正処理部２１０から出力されるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１８１のＲＧＢ各画素値を算出する。具体的には、以下の式に従ってＲＧＢ画素値を決定する。
Ｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｉｎ
Ｇ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｉｎ
Ｂ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｉｎ
この式の算出結果として得られるＲ、Ｇ、ＢをＲＧＢ信号処理部２５０に出力する。
【００７９】
ブレンド処理部２３０の加重加算処理部２３５は、具体的には、例えば、エッジ検出部２２１で算出した処理対象画素のエッジ情報により、エッジ強度が大であると判定した画素位置ではぼけ補正信号のブレンド比率を高くし、エッジ強度が小であると判定した画素位置ではぼけ補正なし信号のブレンド比率を高く設定したブレンド処理を行う。
エッジの近傍においては高周波成分の復元されたシャープな信号であることが望ましいが、平坦部においては、元々高周波成分が含まれていないため、ノイズの抑制された信号であることが望ましいからである。
【００８０】
ただし、前述したように、所定単位の画素領域、例えばぼけ補正処理対象となる画素を中心とした７×７画素領域に飽和画素が検出された場合、その画素については、ぼけ補正は実行されないので、撮像素子１１０からの入力画素値Ｒｉｎ，Ｇｉｎ，Ｂｉｎがそのまま、出力される。
【００８１】
最後に、ステップＳ１０６において、すべての入力画素についての処理が完了したか否かを判定し、未処理画素が存在する場合は、未処理画素について、ステップＳ１０１からステップＳ１０５の処理を繰り返し実行する。
ステップＳ１０６において、すべての入力画素についての処理が完了したと判定した場合に、画像信号補正部２００の処理が終了する。
【００８２】
［３．実施例１に係る画像処理装置のぼけ補正処理の詳細について］
次に、図４に示す画像信号補正部２００において実行するぼけ補正処理の具体例について説明する。
図４に示す画像信号補正部２００のぼけ補正処理部２１０は、ラインメモリ２０１からの入力信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を検証して、画像ぼけを削減する処理を行い、その処理結果として得られるぼけ補正信号（Ｒｄ，Ｇｄ，Ｂｄ）を算出してブレンド処理部２３０に出力する。
【００８３】
ぼけ補正処理部２１０は、図５に示すフローのステップＳ１０１において、ぼけ補正対象画素の像高等に応じたぼけ補正フィルタを生成し、生成したフィルタを適用してステップＳ１０３においてぼけ補正処理を実行する。
【００８４】
図５のステップＳ１０１におけるフィルタ生成処理の詳細シーケンスを説明するフローチャートを図９に示す。
図９に示すフローチャートに従ってぼけ補正フィルタの生成処理の詳細について説明する。
【００８５】
まず、ステップＳ１２１において、ぼけ補正対象画素のｘｙアドレス、すなわち座標（ｘ，ｙ）に応じたハイパスフィルタ、すなわち座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を生成する。
【００８６】
ぼけ補正処理部２１０は、図４に示す像高算出部２０２から、補正対象画素の座標（ｘ，ｙ）と像高（画像中心からの距離）を入力して、座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を生成する。
この処理について、図１０を参照して説明する。
【００８７】
図１０には、座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）の生成処理シーケンスを説明するフローチャートと、このフィルタ生成に適用するパラメータ等各を説明する図を示している。
【００８８】
まず、ぼけ補正処理部２１０は、図１０に示すフローのステップＳ１３１において、ぼけ補正対象画素の座標（ｘ，ｙ）に応じて、
（１）ｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）と、
（２）ｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）を
ブレンドする処理を実行して、
（３）座標位置反映フィルタ（ＨＰＦ＿ｘｙ）
を生成する。
【００８９】
なお、
（１）ｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）、
（２）ｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）、
画像処理装置内のメモリに保持されたフィルタであり、ぼけ補正処理部２１０がメモリから取得するフィルタである。
これらのフィルタの具体例について、図１１を参照して説明する。
【００９０】
図１１には、以下の３つのハイパスフィルタを示している。
（Ａ）重心を変化させないハイパスフィルタ（ＨＰＦ＿ｃｅｎｔｅｒ）
（Ｂ）重心をｘ方向（水平方向）へ変化させるｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）
（Ｃ）重心をｙ方向（垂直方向）へ変化させるｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）
【００９１】
図１０に示すフローのステップＳ１３１では、
図１１に示す（Ｂ）ｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）と、（Ｃ）ｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）を、ぼけ補正対象画素の座標（ｘ，ｙ）に応じて、ブレンドする処理を実行して、
座標位置反映フィルタ（ＨＰＦ＿ｘｙ）
を生成する。
【００９２】
具体的には、以下の式に従って、座標位置反映フィルタ（ＨＰＦ＿ｘｙ）
を生成する。
ＨＰＦ＿ｘｙ＝（ｘ×ＨＰＦ＿ｘ＋ｙ×ＨＰＦ＿ｙ）／（ｘ＋ｙ）
【００９３】
図１０のステップＳ１３１では、このようにして、ぼけ補正対象画素の座標（ｘ，ｙ）に応じて、座標位置反映フィルタ（ＨＰＦ＿ｘｙ）を生成する。
【００９４】
次にステップＳ１３２において、ぼけ補正対象画素の座標（ｘ，ｙ）と、画角中央位置［（ｘ，ｙ）＝（０，０）］との距離（ｒ）に基づいて、
（１）座標位置反映フィルタ（ＨＰＦ＿ｘｙ）と、
（２）画角中央位置［（ｘ，ｙ）＝（０，０）］に対応する中心フィルタ（ＨＰＦ＿ｃｅｎｔｅｒ）
をブレンドして、
（３）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）
を生成する。
【００９５】
（１）座標位置反映フィルタ（ＨＰＦ＿ｘｙ）は、ステップＳ１３１において算出したフィルタである。
（２）画角中央位置［（ｘ，ｙ）＝（０，０）］に対応する中心フィルタ（ＨＰＦ＿ｃｅｎｔｅｒ）は、図１１（Ａ）に示すフィルタであり、画像処理装置内のメモリに保持されたフィルタであり、ぼけ補正処理部２１０がメモリから取得するフィルタである。
【００９６】
なお、図１０の（ａ）パラメータ説明に示すように、
ぼけ補正対象画素の座標を（ｘ，ｙ）としたとき、
画像中心（０，０）からの距離ｒが像高として算出される。
また画角端（ｘｍｚｘ，ｙｍａｘ）までの像高最大値をｒｍａｘとする。
【００９７】
ぼけ補正処理部２１０は、この設定の下で、
座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を以下の式に従って算出する。
ＨＰＦ＿ｄｉｓｔ＝［（ＨＰＦ＿ｘｙ×ｒ）＋（ＨＰＦ＿ｃｅｎｔｅｒ×（ｒｍａｘ−ｒ））］／ｒｍａｘ
ぼけ補正処理部２１０は、ステップＳ１３２において、上記の処理に従って、座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を算出する。
【００９８】
この図１０のフローのステップＳ１３１〜Ｓ１３２の処理が、図９に示すフローのステップＳ１２１における処理であり、
これらの処理によって、座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）が生成される。
【００９９】
次に、図９に示すフローのステップＳ１２２において、
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、
（２）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を、
像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数α（ｆｏｃｕｓ，ｒ）に応じて、ブレンドし、
（３）座標位置対応基本フィルタ（Ｆｂａｓｅ）、
を生成する。
【０１００】
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）は、画像処理装置内のメモリに保持されたフィルタであり、ぼけ補正処理部２１０がメモリから取得するフィルタである。
具体的には、先に図２を参照して説明した最小二乗フィルタ、またはウィナー（Ｗｉｅｎｅｒ）フィルタと呼ばれるフィルタが適用可能である。
【０１０１】
画像処理装置は、例えばウィナーフィルタ等のぼけ補正フィルタを基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）としてメモリに保持しており、
図９に示すフローチャートのステップＳ１２２において、この基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、ステップＳ１２１において生成した座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）をブレンドして、座標位置対応基本フィルタ（Ｆｂａｓｅ）を生成する。
【０１０２】
座標位置対応基本フィルタ（Ｆｂａｓｅ）は、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数αに基づいて、以下の式で算出する。
Ｆｂａｓｅ＝（１．０−α）×（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）＋α（ＨＰＦ＿ｄｉｓｔ）
【０１０３】
さらに、ステップ１２３において、ステップＳ１２２で生成した座標位置対応基本フィルタ（Ｆｂａｓｅ）に対して、像高とフォーカス位置に応じた強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用して、エンハンス強度調整した、実際のぼけ補正に適用するぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
このステップＳ１２３で生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）が、処理対象画素（ｘ，ｙ）の画素に対する実際のぼけ補正処理に適用されるフィルタとなる。
【０１０４】
まず、ステップＳ１２２において実行する処理、すなわち、
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、
（２）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を、
像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数α（ｆｏｃｕｓ，ｒ）に応じて、ブレンドし、
（３）座標位置対応基本フィルタ（Ｆｂａｓｅ）、
を生成する。
この処理について図１２他を参照して説明する。
【０１０５】
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、
（２）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）との、
像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数αに基づくブレンド処理は、フィルタ周波数特性の調整（チューニング）処理に相当する処理である。
【０１０６】
すなわち、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数αに基づいて、フィルタの周波数特性を変更する処理として行われる。
図１２に示すグラフは、フィルタのエンハンス特性を示す図であり、横軸に空間周波数、縦軸に、フィルタ適用後の画素値出力に相当する強度（Ｍａｇｎｉｔｕｄｅ）を示している。
上述したブレンド処理に適用するブレンド係数：αの様々な設定（α＝−０．５〜１．５）において生成されるフィルタのエンハンス特性を示している。
【０１０７】
前述したように、座標位置対応基本フィルタ（Ｆｂａｓｅ）は、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数αに基づいて、以下の式で算出する。
Ｆｂａｓｅ＝（１．０−α）×（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）＋α（ＨＰＦ＿ｄｉｓｔ）
【０１０８】
上記式において、
ブレンド係数：α＝０とした場合、
Ｆｂａｓｅ＝（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）
であり、
図１２に示すα＝０．０に示す特性を持つラインのフィルタとなる。
【０１０９】
また、上記式において、
ブレンド係数：α＝１．０とした場合、
Ｆｂａｓｅ＝（ＨＰＦ＿ｄｉｓｔ）
であり、
図１２に示すα＝１．０に示す特性を持つラインのフィルタとなる。
【０１１０】
すなわち、αを様々な値に変更することで、図１２に示す例えば、
α＝−０．５〜１．５の各周波数特性を持つフィルタを生成することができる。
このように、図９に示すフローのステップＳ１２２で実行する座標位置対応基本フィルタ（Ｆｂａｓｅ）の生成は、
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、
（２）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）との、
ブレンドによるフィルタ周波数特性の調整（チューニング）処理に相当する処理として実行される。
【０１１１】
なお、ブレンド係数αは、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定される。
ブレンド係数αの設定例について、図１３を参照して説明する。
【０１１２】
図１３には、以下の各図を示している。
（ａ）レンズＭＴＦ特性
（ｂ）ウィナー（Ｗｉｅｎｅｒ）フィルタ特性
（ｃ）ブレンド係数αの設定例
【０１１３】
図１３（ａ）に示すように、一般に、像高が大きく（画像中心からの距離が大になる）につれて、ＭＴＦ特性は劣化する。特に高周波領域はノイズに埋もれる領域となるため、図１３（ｂ）に示すように、ウィナー（Ｗｉｅｎｅｒ）フィルタのエンハンス特性は低周波領域側へシフトする。
そのため、図１３（ｃ）に示すように、像高が大きく（画像中心からの距離が大になる）につれて、ハイパスフィルタのブレンド率を減少させる。すなわち、ブレンド係数αを小さくすることが好ましい。
フォーカスずれに関しても同様のことが言える。すなわち、フォーカスずれが大になるほど、ブレンド係数αを小さくする。
【０１１４】
なお、フォーカスずれは、画像処理装置（カメラ）固有の値であり、各フォーカス位置に対応して発生するずれ量が各カメラにおける固有値となる。従ってフォーカスずれ量は、フォーカス位置情報から算出可能であり、ぼけ補正部２１０は図３に示す制御部１４０からフォーカス位置情報（図４参照）を受領して、予め設定された算出式にしたがってフォーカスずれ量を算出し、フォーカスずれ量と、像高算出部２０２から取得する像高ｒを用いてブレンド係数α（ｆｏｃｕｓ，ｒ）を算出する。
【０１１５】
ぼけ補正処理部２１０は、このように、図９に示すフローのステップＳ１２２において、
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、
（２）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を、
像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数α（ｆｏｃｕｓ，ｒ）に応じて、ブレンドし、
（３）座標位置対応基本フィルタ（Ｆｂａｓｅ）、
を生成する。
【０１１６】
次に、ステップＳ１２３の処理、すなわち、
ステップＳ１２２で生成した座標位置対応基本フィルタ（Ｆｂａｓｅ）に対して、像高とフォーカス位置に応じた強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用して、エンハンス強度調整したぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する処理について説明する。
【０１１７】
ステップＳ１２３の処理は、
（ａ）図１４に示す帯域分離処理と交流成分に対するエンハンス強度の乗算、
（ｂ）図１５に示す再合成処理、
これらの処理によって行われる。
【０１１８】
まず、図１４に示す帯域分離処理について説明する。
図１４に示す座標位置対応基本フィルタ（Ｆｂａｓｅ）は、図９に示すフローのステップＳ１２２の処理において生成されたフィルタである。
まず、この座標位置対応基本フィルタ（Ｆｂａｓｅ）を直流成分と交流成分に帯域分離して、２つのフィルタに分離する。
直流成分は、７×７画素のフィルタの中央のみが係数＝１．０、その他の画素の係数はすべて０に設定されたフィルタである。
交流成分は、座標位置対応基本フィルタ（Ｆｂａｓｅ）の係数から直流成分の係数を減算した係数を持つフィルタである。
【０１１９】
さらに、交流成分に対して、エンハンス強度（＝強度調整パラメータβ）を乗算する。
この交流成分とエンハンス強度との乗算結果と、直流成分を加算する再合成処理によって、図１５に示す最終的なぼけ補正に適用するぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
エンハンス強度が強度調整パラメータβに相当する。
図１４、図１５に示す例では、
エンハンス強度調整パラメータβ＝１．５の例を示している。
【０１２０】
図１４に示す帯域分離処理によって生成された交流成分のフィルタ係数にエンハンス強度調整パラメータβ＝１．５を乗算し、乗算結果と直流性分の各対応係数を加算する合成処理によって、エンハンス強度調整のなされた最終的な図１５に示す係数を持つぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
【０１２１】
エンハンス強度調整パラメータβの設定と、フィルタの特性の変化について、図１６を参照して説明する。
図１６は、先に図１２を参照して説明したと同様の、フィルタのエンハンス特性を示す図であり、横軸に空間周波数、縦軸に、フィルタ適用後の画素値出力に相当する強度（Ｍａｇｎｉｔｕｄｅ）を示している。
【０１２２】
座標位置対応基本フィルタ（Ｆｂａｓｅ）のエンハンス特性が、例えば図に示す点線で示す特性を持つとする。
この特性を持つ座標位置対応基本フィルタ（Ｆｂａｓｅ）に対して、図１４、図１５を参照して説明した、
（ｓ１）直流成分と交流成分との帯域分離と、
（ｓ２）エンハンス強度調整パラメータβ＝１．５を適用した交流性分に対する乗算と、
（ｓ３）交流成分に対する乗算結果と直流成分の加算処理による再合成処理、
これら（ｓ１）〜（ｓ３）の処理の結果として、図１６の実線で示す特性を持つ
ぼけ補正フィルタ（Ｆｆｉｎａｌ）
を生成することができる。
【０１２３】
図１６に示す例は、
エンハンス強度調整パラメータβ＝１．５
の例であるが、
βの値を変化させることで、様々な設定を持つぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成することができる。
【０１２４】
なお、エンハンス強度調整パラメータβは、先に説明したブレンド係数αと同様、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定される。
エンハンス強度調整パラメータβの設定例について、図１７を参照して説明する。
【０１２５】
図１７には、以下の各図を示している。
（ａ）レンズＭＴＦ特性
（ｂ）ウィナー（Ｗｉｅｎｅｒ）フィルタ特性
（ｃ）エンハンス強度調整パラメータβの設定例
【０１２６】
図１７（ａ）に示すように、一般に、像高が大きく（画像中心からの距離が大になる）につれて、ＭＴＦ特性は劣化する。そのため、図１７（ｂ）に示すように、ウィナー（Ｗｉｅｎｅｒ）フィルタのエンハンス強度も大きくなる。
そのため、図１７（ｃ）に示すように、像高が大きく（画像中心からの距離が大になる）につれて、エンハンス強度調整パラメータβを大きくすることが好ましい。
フォーカスずれに関しても同様のことが言える。すなわち、フォーカスずれが大になるほど、エンハンス強度調整パラメータβを大きくする。
【０１２７】
なお、前述したようにフォーカスずれは、画像処理装置（カメラ）固有の値であり、各フォーカス位置に対応して発生するずれ量が各カメラにおける固有値となる。従ってフォーカスずれ量は、フォーカス位置情報から算出可能であり、ぼけ補正部２１０は図３に示す制御部１４０からフォーカス位置情報（図４参照）を受領して、予め設定された算出式にしたがってフォーカスずれ量を算出し、フォーカスずれ量と、像高算出部２０２から取得する像高ｒを用いてエンハンス強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を算出する。
【０１２８】
ぼけ補正処理部２１０は、このように、図９に示すフローのステップＳ１２３において、
ステップＳ１２２で生成した座標位置対応基本フィルタ（Ｆｂａｓｅ）に対して、像高とフォーカス位置に応じた強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用して、エンハンス強度調整したぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
【０１２９】
この図９に示すフローのステップＳ１２３において生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）が、図４に示す画像信号補正部２００の全体処理シーケンスとして説明した図５に示全体処理フローのステップＳ１０１において生成するぼけ補正フィルタである。
このぼけ補正フィルタは、像高、フォーカス位置に応じたフィルタであり、各補正画素位置、各フォーカス位置に応じて、逐次生成されるフィルタである。
図５に示すフローのステップＳ１０１で生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）がステップＳ１０３において適用されて、各画素のぼけ補正処理が実行される。
なお、このフィルタ適用処理は、先に図２を参照して説明した処理と同様の処理である。
図２に示す（ｂ）ウィナーフィルタの代わりに、上述の処理によって生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）が適用される。
【０１３０】
すなわち、補正対象画素を中心とした所定単位の画素領域（例えば７×７画素）の画素領域の画素に対して、上述の処理によって生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）の係数を乗算して加算する畳み込み演算を実行して、中心画素の補正画素値を算出する。
なお、前述したように、図５のフローに示すステップＳ１０２において飽和検出がなされた場合は、ぼけ補正処理は省略される。
補正対象画素を中心とした所定単位の画素領域（例えば７×７画素）の画素領域に飽和画素が検出されない場合に、上述の処理によって生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）を適用した画素値補正によるぼけ補正処理が実行される。
【０１３１】
上述したように、本実施例において生成するぼけ補正フィルタ（Ｆｆｉｎａｌ）は、補正対象の画素位置、具体的には像高と、フォーカス位置を考慮して係数調整がなされたフィルタとなる。すなわち、像高とフォーカス位置に応じて周波数特性、強度特性を調整したフィルタにより、各画素位置、フォーカス位置に応じた最適なぼけ補正が可能となる。
【０１３２】
なお、上述の実施例では、図５に示すフローのステップＳ１０１において生成するぼけ補正フィルタを、図８、図９に示すフローに従って最終的に生成されるぼけ補正フィルタ（Ｆｆｉｎａｌ）とし、このぼけ補正フィルタ（Ｆｆｉｎａｌ）を、図５に示すステップＳ１０３において適用して各画素のぼけ補正処理が実行する処理として説明した。
【０１３３】
しかし、例えば、図９に示すフローのステップＳ１２３を省略し、ステップＳ１２２において、ブレンド係数α（ｆｏｃｕｓ，ｒ）に基づいて生成した座標位置対応基本フィルタ（Ｆｂａｓｅ）を最終的なぼけ補正フィルタとして適用してもよい。
【０１３４】
あるいは、図９に示すフローのステップＳ１２１やステップＳ１２２を省略し、ステップＳ１２３の処理のみによってぼけ補正フィルタを生成してもよい。すなわち、予メモリに保持した基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）に対して、図９に示すフローのステップ１２３の処理、すなわち、図１４と図１５を参照して説明した帯域分離処理とエンハンス強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用した交流成分の強度調整と、再合成処理を実行して生成したフィルタをぼけ補正に適用してもよい。
【０１３５】
また、上記実施例では、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）を適用してブレンド係数αや、エンハンス強度調整パラメータβを決定する構成例を説明したが、ブレンド係数αや、エンハンス強度調整パラメータβは、像高のみに依存して決定する構成としてもよい。あるいはフォーカス位置情報（ｆｏｃｕｓ）のみに依存して決定する構成としてもよい。さらに、その他のパラメータ、例えばズーム位置などを考慮して決定する構成としてもよい。
【０１３６】
［４．（実施例２）色比率を考慮したぼけ補正を実行する画像処理装置の構成例について］
上述した実施例において、撮像素子はＲＧＢ配列を持つ構成であった。昨今、ＲＧＢに加え、ＲＧＢを含む可視光を透過するＷ（ホワイト）を加えたＲＧＢＷ配列を持つフィルタを備えた撮像素子が多く利用されている。
【０１３７】
前述したように、このようなＷ（Ｗｈｉｔｅ）画素を備えたＲＧＢＷ配列を持つフィルタを利用した場合、Ｗ画素が波長領域の広い可視光を透過するため、被写体の色によってぼけ方が異なる。
本出願人が先に出願した前述の特許文献４（特開２０１１−０５５０３８号公報）においても、ＲＧＢＷ画素配列を持つ撮影画像に対するぼけ補正処理構成を開示しているが、この先行出願において開示した処理は、Ｗ（Ｗｈｉｔｅ）画素に対するぼけ補正において、色比率を考慮せずに補正を行う構成であり、色比率に応じて異なるぼけ方を生じるＷ画素に対して十分な補正効果が得られない場合がある。
以下では、このような問題を解決した実施例について説明する。
【０１３８】
図１８はＲＧＢＷフィルタにおける各色の分光強度特性を示す図である。
Ｒ（赤）は、６００ｎｍ付近の赤色に相当する波長光を効率的に透過させる。
Ｇ（緑）は、５３０ｎｍ付近の緑色に相当する波長光を効率的に透過させる。
Ｂ（青）は、４３０ｎｍ付近の青色に相当する波長光を効率的に透過させる。
これらＲＧＢフィルタに対して、
Ｗ（白）は、ＲＧＢ各波長光をすべて透過させる。
【０１３９】
図１９は、ＲＧＢＷ各色のＭＴＦ特性を示す図である。横軸に空間周波数、縦軸にＭＴＦを示している。なお、入射光は白色を仮定している。
ＭＴＦが高いほど、ぼけが少なく、ＭＴＦが低下するほど、ぼけ度合いが大きくなる。
例えば緑（Ｇ）は、他の各色ＲＧに対して、広い空間周波数に渡ってＭＴＦが高い値であり、ぼけが少ない。これは、入射光にＧ（緑）成分が多い場合にはぼけが少なくなり、Ｒ（赤）やＢ（青）が多い場合にはぼけが大きくなることを意味している。
【０１４０】
ベイヤ配列のＲＧＢ配列を利用した構成の場合、ＲＧＢ各色のＭＴＦ特性に応じたフィルタを利用することで、ＲＧＢ個別の特性に応じたにぼけ補正が可能である。すなわち、Ｒ，Ｇ，Ｂの各画素に対するぼけ補正に、Ｒ用，Ｇ用、Ｂ用の各ぼけ補正フィルタを適用すればＲＧＢ各々のＭＴＦ特性に対応して適切な補正が可能となる。
【０１４１】
しかし、Ｗ（Ｗｈｉｔｅ）の場合、Ｗのフィルタを介して入力される波長光は、被写体の色に応じて異なることになる。結果として、被写体と光源の色に応じてＭＴＦ特性も変化し、被写体と光源の色に応じてぼけ方も異なる。従って、１つのフィルタを適用しても、適切な補正を行うことは困難となる。
なお、図１９に示すＷ（Ｗｈｉｔｅ）のＭＴＦ特性は入射光が白色光の場合の一例にすぎず、Ｗ（Ｗｈｉｔｅ）のＭＴＦ特性は被写体の色に応じて、大きく変化してしまう。
【０１４２】
以下、この問題を解決するため、色比率を考慮したぼけ補正を実行する構成例について説明する。
以下において説明する画像処理装置（撮像装置）は、ＲＧＢＷ配列を持つフィルタを利用した撮像素子からの入力信号に対する処理を実行する。
画像処理装置は、ぼけ補正処理に加え、ＲＧＢＷ画像をＲＧＢ画像に変換する処理を実行する。
【０１４３】
まず、図２０を参照してＲＧＢＷ画像のＲＧＢ画像への変換処理について説明する。
本実施例の画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト（Ｗ：Ｗｈｉｔｅ）を含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。
【０１４４】
具体的には、図２０（１）に示すような、ホワイト（Ｗ：Ｗｈｉｔｅ）を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子の取得データを、図２０（２）に示すＲＧＢ配列（ベイヤ配列）に変換する処理を実行する。さらに、この変換処理に際して、ぼけや偽色の発生を低下させるための処理を併せて実行する。
【０１４５】
具体的には、ＲＧＢＷ配列からＲＧＢベイヤ配列への変換処理において、以下の５つの変換や補正処理を実行する。
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
【０１４６】
上記の各変換処理は、ＲＧＢＷ配列におけるＲＧＢＷ各画素をＲＧＢ配列におけるＲＧＢ画素に変換するための画素値推定または補正処理として行われる。これらの処理を実行することで、図２０（１）に示すＲＧＢＷのカラー配列から図２０（２）に示すＲＧＢベイヤ配列を生成する。
【０１４７】
以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
以下の実施例では、ホワイト（Ｗ）を持つＲＧＢＷ型カラー配列をＲＧＢ型カラー配列（ベイヤ配列）に変換するリモザイク処理を実行し、かつ、このリモザイク処理に際して、ぼけの発生や偽色の発生を低減させる処理を実行する構成について説明する。
【０１４８】
図２１は、本実施例の画像処理装置の一実施例である撮像装置３００の構成例を示す図である。撮像装置３００は、光学レンズ３１０５、撮像素子（イメージセンサ）３１０、信号処理部３２０、メモリ３３０、制御部３４０を有する。これらの基本構成は先に、図３を参照して説明した構成と同様である。
【０１４９】
なお、撮像装置は画像処理装置の一態様である。本開示の画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図２１に示す撮像装置３００の光学レンズ３０５、撮像素子３１０を持たず、その他の構成要素から構成され、撮像素子３００の取得データの入力部、または記憶部を持つ構成となる。
【０１５０】
図２１に示す撮像装置３００は、先に説明した図３に示す撮像装置１００と異なり、撮像素子（イメージセンサ）３１０は、ＲＧＢＷ配列からなるフィルタを備えた構成である。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
とＲＧＢのすべてを透過するホワイト（Ｗ）、
これら４種類の分光特性を持つフィルタを備えた撮像素子である。
【０１５１】
このＲＧＢＷ配列３８１を持つ撮像素子３１０は、光学レンズ３０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子３１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。
【０１５２】
撮像素子（イメージセンサ）３１０の出力信号は信号処理部３２０の画像信号補正部４００に入力される。
画像信号補正部４００は、先の実施例と同様、例えば像高（光学中心からの距離）やフォーカス位置に応じて変化するぼけ方を考慮し、さらに、色比率を考慮したぼけ補正を実行する。
画像信号補正部４００は、さらに、ＲＧＢＷ配列３８１からＲＧＢ配列３８２への変換処理を実行する。具体的には、先に図２０を参照して説明した以下の変換処理を行う。
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
この変換／補正処理に際して、偽色やぼけを抑制するための処理を併せて実行する。
【０１５３】
画像信号補正部４００においてぼけ補正とデータ変換のなされたＲＧＢ画像３８２はＲＧＢ信号処理部４５０に出力される。
ＲＧＢ信号処理部４５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像３８３を生成する。生成したカラー画像３８３はメモリ３３０に記録される。
【０１５４】
制御部３４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ３３０に格納されており、制御部３４０は、メモリ３３０から読み出したプログラムを実行して一連の処理を制御する。
なお、メモリ３３０は、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。
【０１５５】
画像信号補正部４００の詳細構成について図２２を参照して説明する。
画像信号補正部４００は、図２２に示すように、ラインメモリ４０１、像高算出部４０２、飽和検出部４０３、ぼけ補正処理部４１０、エッジ検出部４２１、色相関リモザイク処理部（データ変換部）４３０を有する。
色相関リモザイク処理部（データ変換部）４３０は、Ｗ位置Ｇ補間パラメータ算出部４３１、Ｇ位置ＲＢ補間パラメータ算出部４３２、Ｒ位置Ｒ補間パラメータ算出部４３３、Ｂ位置Ｂ補間パラメータ算出部４３４、加重加算部４３５を有する。
【０１５６】
撮像素子３１０から出力された各画素対応の画素値信号は一旦、ラインメモリ４０１に蓄えられる。
また、各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスが像高算出部４０２に出力される。
ラインメモリ４０１は撮像素子の水平７ライン分のラインメモリを有する。ラインメモリ４０１からは７つの水平ライン分のデータを並列に順次出力する。出力先は、ぼけ補正処理部４１０、エッジ検出部４２１、飽和検出部４０３である。これらの各処理部に対して、ＲＧＢＷ配列３８１の撮像データが７ライン単位で出力される。
【０１５７】
なお、エッジ検出部４２１、ぼけ補正処理部４１０は、ＲＧＢＷ配列３８１の撮像データ中、ホワイト（Ｗ）信号に対する処理を実行する。
また、色相関リモザイク処理部４３０は、ＲＧＢＷ配列３８１の撮像データ中、ＲＧＢＷすべての信号を利用した処理を実行する。
【０１５８】
エッジ検出部４２１は、ラインメモリ４０１からの出力信号に含まれる離散的なホワイト（Ｗ）信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成して色相関リモザイク処理部４３０に出力する。
具体的には、例えば、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出して色相関リモザイク処理部４３０に出力する。
なお、この平坦度（ｗｅｉｇｈｔＦｌａｔ）算出処理は、本出願人の先の出願である特開２０１１−５５０３８号公報に記載の処理と同様の処理として実行可能である。
【０１５９】
ぼけ補正処理部４１０は、まず、ラインメモリ４０１からの出力信号に含まれるホワイト（Ｗ）画素を適用し、ＲＧＢ画素位置にＷ画素を補間処理により設定し、全画素にＷ画素を設定した補間画像を生成する。さらに、全画素にＷ画素を設定した画像の各Ｗ画素に対するぼけ補正処理を実行して、全画素のぼけ補正Ｗ信号、すなわち、ぼけ補正Ｗ信号（Ｗｄ）を生成して色相関リモザイク処理部４３０に出力する。
【０１６０】
なお、ぼけ補正処理部４１０は、少なくとも色比率を考慮したぼけ補正を実行する。
さらに、先に説明した実施例と同様、例えば像高（光学中心からの距離）やフォーカス位置に応じて変化するぼけ方を考慮し、さらに、色比率を考慮したぼけ補正を実行する構成としてもよい。
【０１６１】
色相関リモザイク処理部４３０は、ラインメモリ４０１からの出力信号中のＲＧＢＷ信号と、エッジ検出部４２１から出力されるエッジ情報、およびぼけ補正処理部４１０から出力される全画素対応のぼけ補正Ｗ信号（Ｗｄ）を入力する。
色相関リモザイク処理部４３０は、これらの情報を利用して、ＲＧＢＷのカラー配列からＲＧＢ配列３８２への変換処理を実行する。
【０１６２】
具体的には、先に図２０を参照して説明したように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
【０１６３】
Ｗ位置Ｇ補間パラメータ算出部４３１は、ＲＧＢＷ配列３８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。ラインメモリ４０１からの入力信号中のＷ信号とＢ信号、ぼけ補正処理部４１０から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、上記の（ＧｏｎＷ）の処理に適用する補間パラメータを算出する。
Ｇ位置ＲＢ補間パラメータ算出部４３２は、ＲＧＢＷ配列３８１のＧ画素位置に設定するＲ画素値またはＢ画素値の算出に適用する補間パラメータを算出する。ラインメモリ４０１からの入力信号中のＷ信号とＢ信号、ぼけ補正処理部４１０から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、上記の（ＲｏｎＧ）、（ＢｏｎＧ）の処理に適用するパラメータを算出する。
【０１６４】
Ｒ位置Ｒ補間パラメータ算出部４３３は、ＲＧＢＷ配列３８１のＲ画素位置に設定する補正Ｒ画素値の算出に適用する補間パラメータを算出する。ラインメモリ４０１からの入力信号中のＷ信号とＢ信号、ぼけ補正処理部４１０から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、上記の（ＲｏｎＲ）の処理に適用するパラメータを算出する。
Ｂ位置Ｂ補間パラメータ算出部４３４は、ＲＧＢＷ配列３８１のＢ画素位置に設定する補正Ｂ画素値の算出に適用する補間パラメータを算出する。ラインメモリ４０１からの入力信号中のＷ信号とＢ信号、ぼけ補正処理部４１０から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、上記の（ＢｏｎＢ）の処理に適用するパラメータを算出する。
【０１６５】
加重加算処理部４３５は、各補間パラメータ算出部４３１〜４３４の算出した補間パラメータを入力し、さらに、エッジ検出部４２１から入力するエッジ情報を適用して、ＲＧＢ配列（ベイヤ配列）３８２を構成する各画素のＲＧＢ信号値を算出する。
なお、色相関リモザイク処理部（データ変換部）４３０の実行するＲＧＢＷ配列からＲＧＢ配列へのデータ変換処理は、基本的に本出願人の先行出願である特開２０１１−５５０３８号公報に記載された処理を利用可能である。このデータ変換処理の詳細については、特開２０１１−５５０３８号公報を参照されたい。
このようにして、加重加算処理部４３５の算出したＧｒ，Ｒｒ，Ｂｒから構成されるＲＧＢ配列（ベイヤ配列）３８２を生成して、ＲＧＢ信号処理部４５０に提供する。
【０１６６】
ＲＧＢ信号処理部４５０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部４５０は、加重平均部４３５から出力されるＲＧＢ配列（ベイヤ配列）３８２に対する信号処理を実行してカラー画像３８３（図２０参照）を生成する。ＲＧＢ信号処理部４５０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像３８３を生成する。
【０１６７】
［５．実施例２に係る画像処理装置のぼけ補正処理の詳細について］
次に、実施例２に係る画像処理装置のぼけ補正処理の詳細について説明する。
図２３に画像信号補正部４００の実行する処理の全体シーケンスを説明するフローチャートを示す。
なお、図２３に示すフローチャートの各ステップの処理の主な処理主体は以下の通りである。
ステップＳ３０１〜Ｓ３０５の処理は、主としてぼけ補正処理部４１０の実行する処理である。
ステップＳ３０６の処理は、エッジ検出部４２１の実行する処理である。
ステップＳ３０７の処理は、色相関リモザイク処理部（データ変換部）４３０の実行する処理である。
【０１６８】
また、ぼけ補正処理部４１０の実行するステップＳ３０１〜Ｓ３０５の処理と、エッジ検出部４２１の実行するステップＳ３０５の処理は、前述したようにＲＧＢＷ配列の画像データに含まれるＷ画素を利用して実行される。
【０１６９】
各ステップの処理の詳細について説明する。
まず、ステップＳ３０１において、ぼけ補正処理部４１０は、ぼけ補正対象となる１つのＷ画素を中心とした所定の局所領域の色比率を算出する。
【０１７０】
なお、ぼけ補正処理部４１０は、先の実施例と同様、ぼけ補正処理対象となる画素を中心とした所定の画素領域（＝局所領域）、例えば７×７画素の矩形画素領域を入力して処理を行う。
７×７画素領域の中心画素がＷ画素である場合は、そのＷ画素に対するぼけ補正処理を行うことになる。
７×７画素領域の中心画素がＷ画素でない場合は、その中心位置に対して周囲のＷ画素の画素値に基づいて設定した補間Ｗ画素値に対するぼけ補正処理を行う。
すなわち、ステップＳ３０１の前処理として、ぼけ補正処理部４１０は、ラインメモリ４０１からの出力信号に含まれるホワイト（Ｗ）画素を適用し、Ｗ画素以外のＲＧＢ画素位置にＷ画素を補間処理により設定し、全画素Ｗ画素の画像データを生成する。この全画素Ｗ画素の画像データから、順次１つずつＷ画素を選択してぼけ補正処理を実行する。
【０１７１】
ステップＳ３０１において、ぼけ補正処理部４１０は、ぼけ補正対象となるＷ画素を中心とした７×７画素領域の色比率（Ｒ（赤）比率、Ｇ（緑）比率、Ｂ（青）比率）を以下の式によって算出する。
Ｒ比率＝ｍＲ／（ｍＧ＋ｍＲ＋ｍＢ）
Ｇ比率＝ｍＧ／（ｍＧ＋ｍＲ＋ｍＢ）
Ｂ比率＝ｍＢ／（ｍＧ＋ｍＲ＋ｍＢ）
ただし、
ｍＲは、局所領域（例えば７×７画素領域）におけるＲ信号の低周波成分
ｍＧは、局所領域（例えば７×７画素領域）におけるＧ信号の低周波成分
ｍＢは、局所領域（例えば７×７画素領域）におけるＢ信号の低周波成分
である。
【０１７２】
なお、上記式に従ってＲ（赤）比率、Ｇ（緑）比率、Ｂ（青）比率を算出する場合、
局所領域（例えば７×７画素領域）におけるＲ，Ｇ，Ｂ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出することが必要となる。
これらの各色対応の低周波成分を算出するために、例えば図２４〜図２７に示す低周波成分算出フィルタを適用した処理を行う。
【０１７３】
図２４〜図２７に示すＲＧＢ各色対応の低周波成分算出フィルタは、ぼけ補正対象となるＷ画素（補間されたＷ画素も含む）を中心とした７×７画素の撮像素子３１０からの出力画像データに対するフィルタ処理に適用するフィルタである。補間処理によって全画素Ｗ画素とした補間画像ではなく、撮像素子３１０からの出力画像データに対して適用してＲ，Ｇ，Ｂ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出する。
【０１７４】
低周波成分算出フィルタは、７×７画素の構成に応じて異なる設定となる。
図２４〜図２７には、以下の７×７画素の各構成に応じて選択適用する以下の３つのフィルタをそれぞれ示している。
Ｇ信号の低周波成分（ｍＧ）算出フィルタ、
Ｒ信号の低周波成分（ｍＲ）算出フィルタ、
Ｂ信号の低周波成分（ｍＢ）算出フィルタ、
【０１７５】
図２４は、ぼけ補正対象となるＷ画素（補間されたＷ画素も含む）を中心とした７×７画素の撮像素子３１０からの出力画像データが、以下の設定の場合のＲ，Ｇ，Ｂ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成を示している。
（ａ）中心画素Ｗの左がＧ画素、右がＢ画素の場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５１１、ｍＧ算出フィルタ５１２、ｍＢ算出フィルタ５１３）
（ｂ）中心画素Ｗの左がＧ画素、右がＲ画素の場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５１４、ｍＧ算出フィルタ５１５、ｍＢ算出フィルタ５１６）
【０１７６】
各フィルタに示す数値（係数）は、低周波成分算出対象となる色（ＲまたはＧまたはＢ）の設定位置にのみ設定されている。これらの各係数値と撮像素子から入力する７×７画素の各対応画素位置の画素値と乗算し、乗算値を加算して各フィルタの下部に示す値（３２，２５，など）で除算して、低周波成分の算出が行われる。
【０１７７】
図２５は、ぼけ補正対象となるＷ画素（補間されたＷ画素も含む）を中心とした７×７画素の撮像素子３１０からの出力画像データが、以下の設定の場合のＲ，Ｇ，Ｂ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成を示している。
（ｃ）中心画素Ｗの右がＧ画素、上がＢ画素の場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５２１、ｍＧ算出フィルタ５２２、ｍＢ算出フィルタ５２３）
（ｄ）中心画素Ｗの右がＧ画素、上がＲ画素の場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５２４、ｍＧ算出フィルタ５２５、ｍＢ算出フィルタ５２６）
【０１７８】
図２６は、ぼけ補正対象となるＷ画素（補間されたＷ画素も含む）を中心とした７×７画素の撮像素子３１０からの出力画像データが、以下の設定の場合のＲ，Ｇ，Ｂ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成を示している。
（ｅ）中心画素Ｇの左上〜右下斜めラインにＲ画素がある場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５４１、ｍＧ算出フィルタ５４２、ｍＢ算出フィルタ５４３）
（ｆ）中心画素Ｇの左上〜右下斜めラインにＢ画素がある場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５４４、ｍＧ算出フィルタ５４５、ｍＢ算出フィルタ５４６）
【０１７９】
この図２６に示す例は、撮像素子から入力する７×７画素の中心画素がＷ画素ではない例である。なお、この場合、ぼけ補正処理は、前述した全画素Ｗ画素に設定した補間画像に対して行われることになる。
【０１８０】
図２７は、ぼけ補正対象となるＷ画素（補間されたＷ画素も含む）を中心とした７×７画素の撮像素子３１０からの出力画像データが、以下の設定の場合のＲ，Ｇ，Ｂ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出する低周波成分算出フィルタの構成を示している。
（ｇ）中心画素にＲ画素がある場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５５１、ｍＧ算出フィルタ５５２、ｍＢ算出フィルタ５５３）
（ｈ）中心画素にＢ画素がある場合に適用する低周波成分算出フィルタ（ｍＲ算出フィルタ５６１、ｍＧ算出フィルタ５６２、ｍＢ算出フィルタ５６３）
【０１８１】
この図２７に示す例も、撮像素子から入力する７×７画素の中心画素がＷ画素ではない例である。なお、この場合、ぼけ補正処理は、前述した全画素Ｗ画素に設定した補間画像に対して行われることになる。
【０１８２】
ステップＳ３０１において、ぼけ補正処理部４１０は、ぼけ補正対象となるＷ画素を中心とした７×７画素領域の画素パターンに応じて、図２４〜図２７に示す低周波成分算出フィルタを選択適用して、局所領域（例えば７×７画素領域）におけるＲＧＢ各信号の低周波成分ｍＲ，ｍＧ，ｍＢを算出する。
さらに、これらの各色の低周波成分を利用して、ぼけ補正対象となる７×７画素領域の中心のＷ画素（補間画素の場合も含む）に対応する色比率（Ｒ（赤）比率、Ｇ（緑）比率、Ｂ（青）比率）を以下の式に従って算出する。
Ｒ比率＝ｍＲ／（ｍＧ＋ｍＲ＋ｍＢ）
Ｇ比率＝ｍＧ／（ｍＧ＋ｍＲ＋ｍＢ）
Ｂ比率＝ｍＢ／（ｍＧ＋ｍＲ＋ｍＢ）
【０１８３】
次に、ぼけ補正処理部４１０は、ステップＳ３０２において、ステップＳ３０１で算出した色比率を適用して、色比率に応じたぼけ補正フィルタを生成する。
この処理について、図２８を参照して説明する。
【０１８４】
図２８に示す式は、色比率に応じたぼけ補正フィルタの生成式である。
Ｒ対応ぼけ補正フィルタ、
Ｇ対応ぼけ補正フィルタ、
Ｂ対応ぼけ補正フィルタ、
これらの３つのぼけ補正フィルタは、画像処理装置のメモリに予め記憶された各色対応のぼけ補正フィルタである。
これらは、例えば先に図１９を参照して説明した各色のＭＴＦ特性に応じて各色対応のぼけ補正に最適な処理を実行可能としたフィルタである。
【０１８５】
本実施例のぼけ補正処理では、Ｗ（Ｗｈｉｔｅ）画素に対して適用するぼけ補正フィルタをこれらＲＧＢ対応のぼけ補正フィルタと、ステップＳ３０１において算出した色比率、すなわち、Ｒ（赤）比率、Ｇ（緑）比率、Ｂ（青）比率、これらの各色比率を適用して算出する。
【０１８６】
具体的には、図２８に示すように、Ｗ対応ぼけ補正フィルタ（Ｗｄｅｂｌｕｒ）を以下の式に従って、算出する。
Ｗｄｅｂｌｕｒ
＝（ｍＲ／（ｍＧ＋ｍＲ＋ｍＢ））／Ｒｄｅｂｌｕｒ
＋（ｍＧ／（ｍＧ＋ｍＲ＋ｍＢ））／Ｇｄｅｂｌｕｒ
＋（ｍＢ／（ｍＧ＋ｍＲ＋ｍＢ））／Ｂｄｅｂｌｕｒ
なお、
Ｒｄｅｂｌｕｒ：Ｒ対応ぼけ補正フィルタ
Ｇｄｅｂｌｕｒ：Ｇ対応ぼけ補正フィルタ
Ｂｄｅｂｌｕｒ：Ｂ対応ぼけ補正フィルタ
ｍＲ／（ｍＧ＋ｍＲ＋ｍＢ）：Ｒ（赤）比率
ｍＧ／（ｍＧ＋ｍＲ＋ｍＢ）：Ｇ（緑）比率
ｍＢ／（ｍＧ＋ｍＲ＋ｍＢ）：Ｂ（青）比率
である。
【０１８７】
このように、補正対象とするＷ画素を中心とした所定の画素領域（本例では７×７画素）の色比率に応じて各色対応のぼけ補正フィルタをブレンドして、Ｗ（Ｗｈｉｔｅ）画素に適用するぼけ補正フィルタを生成する。
【０１８８】
図２２に示すぼけ補正処理部４１０は、このステップＳ３０２において生成した色比率を反映したＷ（Ｗｈｉｔｅ）画素対応のぼけ補正フィルタを適用して、補間処理によって生成した全画素Ｗ画素の画像データに対するぼけ補正処理を行い、全画素対応ぼけ補正Ｗ信号（Ｗｄ）を生成して生成した全画素対応ぼけ補正Ｗ信号（Ｗｄ）を色相関リモザイク処理部（データ変換部）４３０に出力することができる。
【０１８９】
さらに、ぼけ補正処理部４１０は、このステップＳ３０２において生成した色比率を反映したＷ（Ｗｈｉｔｅ）画素対応のぼけ補正フィルタに対して、前述した実施例と同様、像高等を考慮したフィルタ生成処理を実行し、色比率のみならず、像高等を反映したＷ（Ｗｈｉｔｅ）画素対応のぼけ補正フィルタを生成し、これを適用して、補間処理によって生成した全画素Ｗ画素の画像データに対するぼけ補正処理を行うことが可能である。
以下では、この処理例について説明する。
【０１９０】
ぼけ補正処理部４１０は、ステップＳ３０３において、ステップＳ３０２で生成した色比率を反映したＷ（Ｗｈｉｔｅ）画素対応のぼけ補正フィルタをベースとして、前述した実施例と同様、像高等を考慮したフィルタ生成処理を実行する。
【０１９１】
ステップＳ３０３の処理は、先の実施例において説明した図５のフローに示すステップＳ１０１の処理と同様の処理である。
すなわち、図９、図１０に示すフローに従った処理として実行される。
ステップＳ３０２において生成した色比率反映ぼけ補正フィルタは、図９のフローのステップＳ１２２において適用する基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）として利用される。
【０１９２】
具体的には、以下の手順に従って、最終的なぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
まず、図９に示すフローのステップＳ１２１において、補正対象画素の画素位置から算出する像高に応じたハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を生成する。
この像高に応じたハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）は、先に図１０に示すフローのステップＳ１３１〜Ｓ１３２の処理によって生成する。
【０１９３】
次に、図９に示すフローのステップＳ１２２において、
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、
（２）座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）を、
像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数α（ｆｏｃｕｓ，ｒ）に応じて、ブレンドし、
（３）座標位置対応基本フィルタ（Ｆｂａｓｅ）、
を生成する。
【０１９４】
（１）基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）は、図２３に示すフローのステップＳ３０２において生成した色比率反映ぼけ補正フィルタである。
図９に示すフローチャートのステップＳ１２２において、この色比率反映ぼけ補正フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）と、ステップＳ１２１において生成した座標位置対応ハイパスフィルタ（ＨＰＦ＿ｄｉｓｔ）をブレンドして、座標位置対応基本フィルタ（Ｆｂａｓｅ）を生成する。
【０１９５】
座標位置対応基本フィルタ（Ｆｂａｓｅ）は、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定されるブレンド係数αに基づいて、以下の式で算出する。
Ｆｂａｓｅ＝（１．０−α）×（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）＋α（ＨＰＦ＿ｄｉｓｔ）
なお、上記式において、
ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ＝色比率反映ぼけ補正フィルタである。
【０１９６】
なお、ブレンド係数αは、先の実施例で説明したように、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定される。
先に図１３を参照して説明したように、一般に、像高が大きく（画像中心からの距離が大になる）につれて、ＭＴＦ特性は劣化する。特に高周波領域はノイズに埋もれる領域となるため、図１３（ｂ）に示すように、ウィナー（Ｗｉｅｎｅｒ）フィルタのエンハンス特性は低周波領域側へシフトする。
そのため、図１３（ｃ）に示すように、像高が大きく（画像中心からの距離が大になる）につれて、ハイパスフィルタのブレンド率を減少させる。すなわち、ブレンド係数αを小さくすることが好ましい。
フォーカスずれに関しても同様のことが言える。すなわち、フォーカスずれが大になるほど、ブレンド係数αを小さくする。
【０１９７】
なお、フォーカスずれは、画像処理装置（カメラ）固有の値であり、各フォーカス位置に対応して発生するずれ量が各カメラにおける固有値となる。従ってフォーカスずれ量は、フォーカス位置情報から算出可能であり、ぼけ補正部４１０は図２１に示す制御部３４０からフォーカス位置情報（図２２参照）を受領して、予め設定された算出式にしたがってフォーカスずれ量を算出し、フォーカスずれ量と、像高算出部４０２から取得する像高ｒを用いてブレンド係数α（ｆｏｃｕｓ，ｒ）を算出する。
【０１９８】
さらに、図９のフローのステップ１２３において、ステップＳ１２２で生成した座標位置対応基本フィルタ（Ｆｂａｓｅ）に対して、像高とフォーカス位置に応じた強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用して、エンハンス強度調整した、実際のぼけ補正に適用するぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
このステップＳ１２３で生成したぼけ補正フィルタ（Ｆｆｉｎａｌ）が、処理対象画素（ｘ，ｙ）の画素に対する実際のぼけ補正処理に適用されるフィルタとなる。
【０１９９】
なお、ステップＳ１２３における像高とフォーカス位置に応じた強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用した処理は、先に、図１４〜図１７を参照して説明した処理と同様の処理である。
すなわち、座標位置対応基本フィルタ（Ｆｂａｓｅ）を直流成分と交流成分に帯域分離して、２つのフィルタに分離し、交流成分に対して、エンハンス強度（エンハンス強度調整パラメータβ）を乗算し、乗算結果と直流性分の各対応係数を加算する合成処理によって、エンハンス強度調整のなされた最終的なぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
【０２００】
なお、エンハンス強度調整パラメータβは、先に説明したブレンド係数αと同様、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）に応じて決定される。先に図１７を参照して説明したように、像高が大きく（画像中心からの距離が大になる）につれて、エンハンス強度調整パラメータβを大きくし、フォーカスずれが大になるほど、エンハンス強度調整パラメータβを大きくする。
【０２０１】
ぼけ補正処理部４１０は、このように、図２３に示すフローのステップＳ３０２で生成した色比率対応のぼけ補正フィルタを、図９に示すフローのステップＳ１２２に示す基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）として、図９に示すフローに従った処理を実行して最終的なぼけ補正フィルタ（Ｆｆｉｎａｌ）を生成する。
【０２０２】
この最終的なぼけ補正フィルタ（Ｆｆｉｎａｌ）が、図２３に示すフローのステップＳ３０３において生成するぼけ補正フィルタである。
【０２０３】
ステップＳ３０４では、ぼけ補正対象画素が飽和しているか否かが判定される。
具体的には、図２２に示す飽和検出部４０３において、ぼけ補正対象画素の飽和検出が実行され、この検出情報がぼけ補正処理部４１０に入力される。
補正対象画素が飽和している場合、ぼけ補正を実行すると偽色が発生する可能性がある。これは、先の実施例において図６、図７を参照して説明したように、ぼけ補正処理には、ぼけ補正対象となる画素の周囲の画素の画素値を参照して、補正対象画素の画素値を設定する処理を含むからである。
【０２０４】
このような偽色発生を防止するため、図７に示すように、ぼけ補正対象画素の周囲、例えば補正対象画素を中心とする７×７画素に飽和画素が含まれる場合、補正対象画素のぼけ補正を行わない設定とする。
【０２０５】
このように、図２２に示すぼけ補正処理部４１０は、飽和検出部４０３における飽和画素（ハイライト）領域の検出情報に応じて、飽和画素領域は、ぼけ補正処理なし信号に置き換える処理を行う。
飽和検出部４０３の実行する飽和画素（ハイライト）は、例えば、ぼけ処理対象画素を中心とした７×７画素領域の画素に対して、予め既定したしきい値を超えてないか判断する。ぼけ補正処理部４１０は、７×７画素領域の１画素でもしきい値を超えていれば、偽色が発生する可能性が高いため、補正処理なし信号に置き換える処理を行う。
この処理は、図２３に示すフローのステップＳ３０４の判定がＹｅｓと判定された場合の処理に対応し、この場合は、ステップＳ３０５，Ｓ３０６を実行せず、ステップＳ３０７に進む。
すなわち、処理対象画素（７×７画素の中心画素）に対するぼけ補正処理は実行しない。
【０２０６】
ぼけ処理対象画素を中心とした７×７画素領域の画素のいすれも、予め既定したしきい値を超えず、飽和検出がなされなかった場合は、ステップＳ３０４の判定はＮｏとなり、ステップＳ３０５においてフィルタを適用したぼけ補正処理を実行する。
このぼけ補正処理は、図２２に示すぼけ補正処理部４１０において実行する処理であり、ステップＳ３０３において生成した色比率や像高等に応じて生成されたぼけ補正フィルタを適用してぼけ補正処理が行われる。
【０２０７】
次に、ステップＳ３０６においてエッジ検出処理が実行される。
この処理は、図２２に示すエッジ検出部４２１において実行される。エッジ検出部４２１は、ラインメモリ４０１からの出力信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成する。
具体的には、例えば、処理対象画素（７×７画素の中心画素）を中心として７×７画素の画素情報から算出される平坦度（ｗｅｉｇｈｔＦｌａｔ）を算出して色相関リモザイク処理部（データ変換部）４３０に出力する。
【０２０８】
平坦度（ｗｅｉｇｈｔＦｌａｔ）については、先に図８を参照して説明したように、０〜１の範囲の値を持ち、
１に近いほど、平坦度が低い（テクスチャが多い）
０に近いほど、平坦度が高い（テクスチャが少ない）
このような画像状態を示す、平坦度の指標値である。
【０２０９】
図８に示すように、予め設定した２つの閾値（Ｌｉｍｉｔ０，Ｌｉｍｉｔ１）を用いて、平坦度（ｗｅｉｇｈｔＦｌａｔ）を以下のように算出する。
０≦（ｒａｔｉｏＦｌａｔ）＜Ｌｉｍｉｔ０であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝０
Ｌｉｍｉｔ０≦（ｒａｔｉｏＦｌａｔ）＜Ｌｉｍｉｔ１であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝０〜１
Ｌｉｍｉｔ１≦（ｒａｔｉｏＦｌａｔ）であれば、
平坦度（ｗｅｉｇｈｔＦｌａｔ）＝１
とする。
【０２１０】
エッジ検出部４２１は、例えば、上記の平坦度（ｗｅｉｇｈｔＦｌａｔ）情報をエッジ情報として、色相関リモザイク処理部４３０に出力する。
なお、前述したように、この平坦度（ｗｅｉｇｈｔＦｌａｔ）算出処理は、本出願人の先の出願である特開２０１１−５５０３８号公報に記載の処理と同様の処理として実行可能であり、詳細は、特開２０１１−５５０３８号公報を参照されたい。
【０２１１】
次に、ステップＳ３０７において色相関リモザイク処理を実行する。
この色相関リモザイク処理は、図２２の色相関リモザイク処理部（データ変換処理部）４３０の実行する処理である。
色相関リモザイク処理部４３０は、ＲＧＢＷのカラー配列からＲＧＢ配列への変換処理を実行する。
【０２１２】
具体的には、先に図２０を参照して説明したように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
【０２１３】
色相関リモザイク処理部４３０は、ＲＧＢＷ配列において輝度の主成分であるＷ信号と、色成分であるＧ，Ｒ，Ｂ信号に正の相関があることを仮定して、ＲＧＢＷ配列の各画素に設定すべきＲＧＢいずれかの目的の画素値を推定する。
【０２１４】
図２２に示すように、色相関リモザイク処理部４３０は、Ｗ位置Ｇ補間パラメータ算出部４３１、Ｇ位置ＲＢ補間パラメータ算出部４３２、Ｒ位置Ｒ補間パラメータ算出部４３３、Ｂ位置Ｂ補間パラメータ算出部４３４、加重加算部４３５を有する。
【０２１５】
最初に、ＲＧＢＷ配列のＷ画素位置をＲＧＢ配列のＧ画素に変換（Ｇ画素値を推定）するための補間パラメータ算出部であるＷ位置Ｇ補間パラメータ算出部４３１の処理について説明する。
【０２１６】
Ｗ位置Ｇ補間パラメータ算出部４３１は、ＲＧＢＷ配列のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。前述の（ＧｏｎＷ）の処理に適用する補間パラメータである。
具体的には、ラインメモリ４０１からの入力信号中のＷｉｎ信号とＧｉｎ信号、ぼけ補正処理部２０３から入力するぼけ補正Ｗ信号（Ｗｄ）を用いて、
ぼけ補正ありＧ信号：Ｇｄ、
ぼけ補正なしＧ信号：Ｇｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列のＷ画素位置をＲＧＢ配列のＧ画素として設定するためのＧ画素値算出に適用する補間パラメータ（ＧｏｎＷ補間パラメータ）である。
【０２１７】
なお、色相関リモザイク処理部４３０においても、７×７の画素領域を処理単位として、処理を行う。Ｗ位置Ｇ補間パラメータ算出部４３１は、まず、処理単位の７×７画素領域におけるＷ信号とＧ信号の比率を求める。
具体的には、Ｇ画素への変換対象となるＷ画素を中心画素として持つ７×７画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧを算出する。
具体的には、例えば図２７を参照して説明したと同様の低周波成分を算出するフィルタを適用して算出することができる。図２９（１）に低周波成分ｍＷを算出するｍＷ算出フィルタ６０１の一例を示す。
【０２１８】
７×７画素の入力信号の変換対象画素のＷ画素位置を中心とする７×７画素中のＷ画素値に、ｍＷ算出フィルタ６０１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。図２９（１）に示すフィルタの係数は一例であり、その他の係数を利用した構成でもよい。
【０２１９】
算出したｍＷとｍＧの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＧの画素値比率の対応関係は図３０に示すグラフのような対応関係となる。図３０のグラフは横軸がＷ画素値、縦軸がＧ画素値である。画像の特定の狭い局所領域では、このＷ画素値とＧ画素値の比率は一定であるとすると、図３０に示す直線のような比例関係にあると仮定できる。
【０２２０】
この仮定に従い、ぼけ補正処理部４１０から出力される変換対象画素位置のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を用いて、
ぼけ補正ありＧ信号：Ｇｄ、
を算出する。以下の式に従って算出する。
Ｇｄ＝（ｍＧ／ｍＷ）×Ｗｄ
この信号［Ｇｄ］は、高周波成分を含むＧ信号である。
なお、ここでは、Ｗ画素値とＧ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値の相関を利用した他の推定手法を用いても良い。
【０２２１】
前述したように、Ｗ位置Ｇ補間パラメータ算出部４３１は、ＲＧＢＷ配列のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータとして、
ぼけ補正ありＧ信号：Ｇｄ、
ぼけ補正なしＧ信号：Ｇｌ、
これらの各信号値を算出する。加重加算処理部４３５が変換対象画素のエッジ情報に応じて、これら２つの信号、Ｇｄ、Ｇｌのブレンド処理をして最終的なＧ画素値を決定する。
【０２２２】
ぼけ補正なしＧ信号Ｇｌの算出処理について説明する。ぼけ補正なしＧ信号Ｇｌの算出に際しては、
まず、例えば図２９（２）に示す平滑化フィルタとしてのＷｎ算出フィルタ６０２を用いてノイズ信号を除去したＷ信号Ｗｎを算出する。
７×７画素の入力信号５０１の変換対象画素５０２のＷ画素位置を中心とする９画素中のＷ画素値に、Ｗｎ算出フィルタ６０２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎを算出する。図２９（２）に示すフィルタ係数は一例であり、その他の係数を利用した構成でもよい。また、９画素より広い領域を利用した構成としてもよい。また、演算コスト削減のため、ラインメモリ４０１から入力するＷ信号をそのまま利用する構成でも良い。
【０２２３】
このノイズ除去Ｗ信号［Ｗｎ］と前述のＷ信号とＧ信号の低周波成分ｍＷおよびｍＧを適用して、
ぼけ補正なしＧ信号：Ｇｌ、
を算出する。以下の式に従って算出する。
Ｇｌ＝（ｍＧ／ｍＷ）×Ｗｎ
この信号［Ｇｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していないＧ信号に相当する。
なお、ここでは、Ｗ画素値とＧ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＧ画素値の相関を利用した他の推定手法を用いても良い。
【０２２４】
加重加算処理部４３５は、変換対象画素のエッジ情報に応じて、これら２つの信号、Ｇｄ、Ｇｌのブレンド処理をして最終的なＧ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正ありＧ信号：Ｇｄの比率を高め、平坦部では、ぼけ補正なしＧ信号：Ｇｌの比率を高めたブレンド処理を実行して最終的なＧ画素値を決定する。
【０２２５】
Ｇ位置ＲＢ補間パラメータ算出部４３２は、
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
これらの処理に適用する補間パラメータを算出する。
【０２２６】
具体的には、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列のＧ画素位置をＲＧＢ配列のＲ画素またはＢ画素として設定するためのＲ画素値またはＢ画素値算出に適用する補間パラメータ（ＲｏｎＧ補間パラメータ、ＢｏｎＧ補間パラメータ）である。
【０２２７】
これらの各信号の算出処理は、前述のＷ位置Ｇ補間パラメータ算出部４３１の処理と同様、
各信号の低周波成分ｍＷ，ｍＲ，ｍＢを算出し、さらに、ぼけ補正処理部４１０から出力される変換対象画素位置のぼけ補正ホワイト（Ｗ）信号（＝Ｗｄ）を用いて、以下の各値を算出する処理として行われる。
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＲ信号：Ｒｌ、
ぼけ補正なしＢ信号：Ｂｌ、
を算出する。
【０２２８】
以下の式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）×Ｗｄ
Ｂｄ＝（ｍＢ／ｍＷ）×Ｗｄ
これらの信号［Ｒｄ］，［Ｂｄ］は、高周波成分を含む信号である。
Ｒｌ＝（ｍＲ／ｍＷ）×Ｗｎ
Ｂｌ＝（ｍＢ／ｍＷ）×Ｗｎ
これらの信号［Ｒｌ］、［Ｂｌ］は、ぼけ補正信号Ｗｄを適用したものではなく、高周波成分を強調していない信号に相当する。
【０２２９】
なお、ここでは、Ｗ画素値とＲ画素値またはＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＲ画素値またはＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２３０】
次に、ＲＧＢＷ配列のＲ画素位置をＲＧＢ配列のＲ画素に変換（Ｒ画素値を補正）するための補間パラメータ算出部であるＲ位置Ｒ補間パラメータ算出部４３３と、Ｂ位置Ｂ補間パラメータ算出部４３４の処理について説明する。
【０２３１】
ＲＧＢＷ配列のＲ画素位置は、ＲＧＢ配列（ベイヤ配列）のＲ画素位置に対応し、そのままのＲ信号を使用することができる。
同様に、ＲＧＢＷ配列のＢ画素位置は、ＲＧＢ配列（ベイヤ配列）のＢ画素位置に対応し、そのままのＢ信号を使用することができる。
しかしながら、この情報は光学レンズの収差の影響により高周波信号が失われている場合がある。このような場合、Ｇ画素位置に設定するＲ信号、Ｂ信号とは特性が異なる場合が発生する可能性がある。
【０２３２】
このような特性の差異の発生を防止するため、Ｒ位置Ｒ補間パラメータ算出部４３３では、入力信号に含まれるＷ信号とＲ信号を用いて、Ｒ信号の補正のためのパラメータを算出する。具体的には、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
これらの各信号値を算出する。
これらの信号値は、ＲＧＢＷ配列のＲ画素位置をＲＧＢ配列の補正されたＲ画素として設定するためのＲ画素値補正処理に適用する補間パラメータ（ＲｏｎＲ補間パラメータ）である。
【０２３３】
Ｒ位置Ｒ補間パラメータ算出部４３３は、先に説明した他の補間パラメータ算出部と同様、まず、
Ｗ信号の低周波成分ｍＷ、
Ｒ信号の低周波成分ｍＲ、
これらの各低周波成分と、
Ｗ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎ
これらを算出する。
【０２３４】
さらに、これらを用いて、
ぼけ補正ありＲ信号：Ｒｄ、
ぼけ補正なしＲ信号：Ｒｌ、
これらを、以下の式に従って算出する。
Ｒｄ＝（ｍＲ／ｍＷ）×Ｗｄ
Ｒｌ＝（ｍＲ／ｍＷ）×Ｗｎ
なお、ここでは、Ｗ画素値とＲ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＲ画素値の相関を利用した他の推定手法を用いても良い。
【０２３５】
Ｂ位置Ｂ補間パラメータ算出部４３４は、先に説明した他の補間パラメータ算出部と同様、まず、
Ｗ信号の低周波成分ｍＷ、
Ｂ信号の低周波成分ｍＢ、
これらの各低周波成分と、
Ｗ信号のノイズ除去ホワイト（Ｗ）信号Ｗｎ
これらを算出する。
【０２３６】
さらに、これらを用いて、
ぼけ補正ありＢ信号：Ｂｄ、
ぼけ補正なしＢ信号：Ｂｌ、
これらを、以下の式に従って算出する。
Ｂｄ＝（ｍＢ／ｍＷ）×Ｗｄ
Ｂｌ＝（ｍＢ／ｍＷ）×Ｗｎ
なお、ここでは、Ｗ画素値とＢ画素値の比率が一定であることを仮定した推定手法を例示したが、Ｗ画素値とＢ画素値の相関を利用した他の推定手法を用いても良い。
【０２３７】
以上のように、Ｗ位置Ｇ補間パラメータ算出部４３１、Ｇ位置ＲＢ補間パラメータ算出部４３２、Ｒ位置Ｒ補間パラメータ算出部４３３、Ｂ位置Ｂ補間パラメータ算出部４３４の各々は、
ぼけ補正ありＧ，Ｒ，Ｂ信号：Ｇｄ、Ｒｄ、Ｂｄ、
ぼけ補正なしＧ，Ｒ，Ｂ信号：Ｇｌ、Ｒｌ、Ｂｌ、
これらの信号を算出する。
【０２３８】
次に、加重加算部４３５の処理について説明する。
加重加算処理部４３５は、エッジ検出部４２１から入力するエッジ情報を適用して、
ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄ、
ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ、
これらの各信号の加重平均値：Ｇｒ，Ｒｒ，Ｂｒを算出する。加重加算処理部４３５の算出したＧｒ，Ｒｒ，Ｂｒは、図２１に示すＲＧＢ配列（ベイヤ配列）３８２を構成する各画素のＲＧＢ信号値に対応する。
【０２３９】
Ｗ位置Ｇ補間パラメータ算出部４３１、Ｇ位置ＲＢ補間パラメータ算出部４３２、Ｒ位置Ｒ補間パラメータ算出部４３３、Ｂ位置Ｂ補間パラメータ算出部４３４の各々において、算出したＧｄ，Ｒｄ，Ｂｄは、ぼけ補正処理部４１０が、ぼけ補正処理を行ったＷ信号として生成したぼけ補正Ｗ信号（Ｗｄ）を用いて算出されており、高周波信号成分を含むと同時にノイズも増幅された信号となっている。
一方、Ｇｌ，Ｒｌ，Ｂｌはぼけ補正処理を行っていないＷ信号から算出された信号であり、高周波信号成分は含まないがノイズも少ない信号となっている。
【０２４０】
加重加算処理部４３５は、変換対象画素のエッジ情報に応じて、
ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄ、
ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ、
これらの信号のブレンド比率を決定して、ブレンド処理をして最終的なＧ，Ｒ，Ｂ画素値を決定する。具体的には、平坦部でなくテクスチャ度の高いエッジ部では、ぼけ補正あり信号：Ｇｄ，Ｒｄ，Ｂｄの比率を高め、平坦部では、ぼけ補正なし信号：Ｇｌ，Ｒｌ，Ｂｌ比率を高めたブレンド処理を実行して最終的なＧ，Ｒ，Ｂ画素値を決定する。
【０２４１】
エッジの近傍においては高周波成分の復元されたシャープな信号であることが望ましいが、平坦部においては、元々高周波成分が含まれていないため、ノイズの抑制された信号であることが望ましいからである。
【０２４２】
そのため、加重加算処理部４３５は、ぼけ補正の行われた信号Ｇｄ，Ｒｄ，Ｂｄとぼけ補正の行われていない信号Ｇｌ，Ｒｌ，Ｂｌを、以下の式に示す通り、エッジ検出部４２１で算出した処理対象画素のエッジ情報、すなわち平坦度（ｗｅｉｇｈｔＦｌａｔ）に応じて加重平均処理を実行して、ＲＧＢ配列３８２に設定する画素値Ｇｒ、Ｒｒ、ＢＲを算出する。
【０２４３】
Ｇｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｇｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｇｌ
Ｂｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｂｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｂｌ
Ｒｒ＝（ｗｅｉｇｈｔＦｌａｔ）×（Ｒｄ）＋（１−ｗｅｉｇｈｔＦｌａｔ）×Ｒｌ
この式の算出結果として得られるＧｒ、Ｂｒ、ＲｒをＲＧＢ配列３８２の信号として設定しＲＧＢ信号処理部４５０に出力する。この処理により、ノイズの増幅を抑えながら、高解像度の信号Ｇｒ，Ｒｒ，Ｂｒを得ることができる。
【０２４４】
ただし、前述したように、所定単位の画素領域、例えばぼけ補正処理対象となる画素を中心とした７×７画素領域に飽和画素が検出された場合、その画素については、ぼけ補正は実行されないので、ぼけ補正なし信号Ｒｌ，Ｇｌ，Ｂｌが出力される。
【０２４５】
最後に、ステップＳ３０８において、すべての入力画素についての処理が完了したか否かを判定し、未処理画素が存在する場合は、未処理画素について、ステップＳ３０１からステップＳ３０７の処理を繰り返し実行する。
ステップＳ３０８において、すべての入力画素についての処理が完了したと判定した場合に、画像信号補正部４００の処理が終了する。
【０２４６】
加重加算処理部４３５の生成したＧｒ，Ｒｒ，Ｂｒから構成されるＲＧＢ配列（ベイヤ配列）３８２は、図２１、図２２に示すようにＲＧＢ信号処理部４５０に提供される。
なお、前述したように、色相関リモザイク処理部（データ変換部）４３０の実行するＲＧＢＷ配列からＲＧＢ配列へのデータ変換処理は、基本的に本出願人の先行出願である特開２０１１−５５０３８号公報に記載された処理を利用可能である。このデータ変換処理の詳細については、特開２０１１−５５０３８号公報を参照されたい。
【０２４７】
ＲＧＢ信号処理部４５０は、一般的なカメラや画像処理装置が持つＲＧＢ配列（ベイヤ配列）信号に対する信号処理部と同様である。ＲＧＢ信号処理部４５０は、加重平均部４３５から出力されるＲＧＢ配列（ベイヤ配列）３８２に対する信号処理を実行してカラー画像３８３（図２１参照）を生成する。ＲＧＢ信号処理部４５０は、具体的には、例えばホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理、γ補正処理などを実行してカラー画像３８３を生成する。
【０２４８】
なお、上述した実施例では、図２０（１）に示すＲＧＢＷ配列に対する処理例として説明したが、本開示の処理は、このカラー配列に限らず、色信号に比べて高いサンプリングレートを持つＷ画素を含む様々なカラー配列を持つフィルタを備えた撮像素子の撮像データに対して適用可能である。
【０２４９】
また、上述の実施例では、図２２に示すフローのステップＳ３０５におけるぼけ補正処理に適用するぼけ補正フィルタを図２２に示すフローのステップＳ３０２で生成した色比率反映フィルタをベースとして、さらにステップＳ３０３において像高等を反映させて変更したフィルタとした例を説明した。
【０２５０】
しかし、例えば、図２２に示すフローのステップＳ３０５におけるぼけ補正処理に適用するぼけ補正フィルタは、図２２に示すフローのステップＳ３０２で生成した色比率反映フィルタとしてもよい。すなわち、ステップＳ３０３の処理を省略した構成としてもよい。
【０２５１】
また、ステップＳ３０２、Ｓ３０３の両ステップを実行する場合においても、先に説明した実施例１と同様、例えばステップＳ３０３のフィルタ生成処理の詳細フローである図９に示すフローのステップＳ１２３を省略し、ステップＳ１２２において、ブレンド係数α（ｆｏｃｕｓ，ｒ）に基づいて生成した座標位置対応基本フィルタ（Ｆｂａｓ）を最終的なぼけ補正フィルタとして適用してもよい。
【０２５２】
あるいは、図９に示すフローのステップＳ１２１やステップＳ１２２を省略し、ステップＳ１２３の処理のみによってぼけ補正フィルタを生成してもよい。すなわち、ステップＳ３０２において生成した色比率反映フィルタを基本フィルタ（ｄｅｆａｕｌｔ  ｆｉｌｔｅｒ）として、図９に示すフローのステップ１２３の処理、すなわち、図１４と図１５を参照して説明した帯域分離処理とエンハンス強度調整パラメータβ（ｆｏｃｕｓ，ｒ）を適用した考慮郵政分の強度調整と、再合成処理を実行して生成したフィルタをぼけ補正に適用してもよい。
【０２５３】
また、上記実施例では、像高（ｒ）と、フォーカス位置情報（ｆｏｃｕｓ）を適用してブレンド係数αや、エンハンス強度調整パラメータβを決定する構成例を説明したが、ブレンド係数αや、エンハンス強度調整パラメータβは、像高のみに依存して決定する構成としてもよい。あるいはフォーカス位置情報（ｆｏｃｕｓ）のみに依存して決定する構成としてもよい。さらに、その他のパラメータ、例えばズーム位置などを考慮して決定する構成としてもよい。
【０２５４】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２５５】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  画像のぼけ補正処理を実行する画像信号補正部を有し、
前記画像信号補正部は、
基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行するぼけ補正処理部を有する画像処理装置。
【０２５６】
（２）前記ぼけ補正処理部は、前記基本フィルタと、前記座標位置対応ハイパスフィルタを、前記ぼけ補正対象画素の像高とフォーカス位置情報に応じて決定するブレンド係数を適用してブレンド処理を行い、該ブレンド処理によって生成したフィルタを適用してぼけ補正処理を実行する前記（１）に記載の画像処理装置。
（３）前記ぼけ補正処理部は、前記ブレンド処理において、ぼけ補正対象画素の画素位置が、画像中心から遠く、像高が大きくなるに従って、前記座標位置対応ハイパスフィルタのブレンド率を減少させたブレンド処理を実行する前記（１）または（２）に記載の画像処理装置。
【０２５７】
（４）前記ぼけ補正処理部は、予めメモリに保持されたｘ方向調整用ハイパスフィルタ（ＨＰＦ＿ｘ）と、ｙ方向調整用ハイパスフィルタ（ＨＰＦ＿ｙ）と、画角中央位置［（ｘ，ｙ）＝（０，０）］に対応する中心フィルタ（ＨＰＦ＿ｃｅｎｔｅｒ）を、ぼけ補正対象画素の画素位置に応じてブレンドすることで、前記座標位置対応ハイパスフィルタを生成する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記ぼけ補正処理部は、さらに、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じてエンハンス強度調整を実行して強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正処理を行う前記（１）〜（４）いずれかに記載の画像処理装置。
【０２５８】
（６）前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じた強度調整パラメータを適用した調整処理を行い、調整処理を行った交流成分と前記直流成分の再合成により、前記強度調整フィルタを生成する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記ぼけ補正処理部は、前記座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高と、フォーカス位置情報に応じた強度調整パラメータを適用したエンハンス強度調整を実行して前記強度調整フィルタを生成する前記（１）〜（６）いずれかに記載の画像処理装置。
【０２５９】
（８）前記画像信号補正部は、さらに、画像のエッジ情報を検出するエッジ検出部と、画像信号補正結果を出力するブレンド処理部を有し、前記ブレンド処理部は、前記エッジ検出部の出力するエッジ情報と、前記ぼけ補正処理部におけるぼけ補正処理によって生成したぼけ補正済み信号と、ぼけ補正処理を実行する前のぼけ補正前信号、を入力して、前記エッジ情報に応じて決定するブレンド比率に応じて、前記ぼけ補正済み信号と前記ぼけ補正前信号とのブレンド処理を実行して出力信号を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記画像信号補正部は、ＲＧＢ画素とＷ（ホワイト）画素からなるＲＧＢＷ配列を有する撮像素子の出力信号に対するぼけ補正処理を実行する構成であり、Ｗ画素信号に対するぼけ補正処理に際して、補正対象のＷ画素信号を含む局所領域の色比率を反映した色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する前記（１）〜（８）いずれかに記載の画像処理装置。
【０２６０】
（１０）前記ぼけ補正処理部は、前記撮像素子の出力信号に含まれるＷ画素信号を利用した補間処理により、全画素対応のＷ画素信号を持つ補間画像を生成し、生成した補間画像を構成するＷ画素各々について前記色比率反映ぼけ補正フィルタを生成し、該色比率反映フィルタを適用したぼけ補正処理を実行する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記ぼけ補正処理部は、前記局所領域のＲＧＢ各色の低周波成分を算出し、算出したＲＧＢ各色の低周波成分の値の比率を前記局所領域の色比率とする前記（１）〜（１０）いずれかに記載の画像処理装置。
【０２６１】
（１２）前記ぼけ補正処理部は、前記局所領域のＲＧＢの各色比率に応じて決定するブレンド比率に応じて、予めメモリに保持されたＲ対応ぼけ補正フィルタと、Ｇ対応ぼけ補正フィルタと、Ｂ対応ぼけ補正フィルタとをブレンドして前記色比率反映ぼけ補正フィルタを生成する前記（１）〜（１１）いずれかに記載の画像処理装置。
（１３）前記画像信号補正部は、ぼけ補正対象画素を含む複数画素からなる局所領域に飽和画素が含まれるか否かを検出する飽和検出部を有し、前記ぼけ補正処理部は、前記飽和検出部からの検出情報を入力し、前記局所領域に飽和画素が含まれる場合には、前記ぼけ補正対象画素のぼけ補正を実行せず、飽和画素が含まれない場合にのみ、前記ぼけ補正対象画素のぼけ補正を実行する前記（１）〜（１２）いずれかに記載の画像処理装置。
【０２６２】
（１４）画像のぼけ補正を実行する画像信号補正部を有し、前記画像信号補正部は、ぼけ補正用フィルタを直流成分と交流成分に分離し、交流成分に対して、ぼけ補正対象画素の像高に応じて算出する強度調整パラメータを適用した強度調整を行い、強度調整交流成分と前記直流成分の再合成により、強度調整フィルタを生成し、該強度調整フィルタを適用したぼけ補正を実行する画像処理装置。
【０２６３】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【０２６４】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２６５】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２６６】
以上、説明したように、本開示の一実施例の構成によれば、画像の各構成画素の像高等に応じた最適なぼけ補正処理を実行する装置、方法が実現される。
具体的には、画像のぼけ補正処理を実行する画像信号補正部を有し、画像信号補正部は、基本フィルタと、ぼけ補正対象画素の像高に応じて生成する座標位置対応ハイパスフィルタを、ぼけ補正対象画素の像高に応じたブレンド係数を適用してブレンドし、ブレンド処理によって生成したフィルタを適用してぼけ補正を実行する。例えば、ぼけ補正対象画素の画素位置が、画像中心から遠く像高が大きくなるに従って、座標位置対応ハイパスフィルタのブレンド率を減少させたブレンドを実行する。あるいは、さらに、像高に応じた強度調整を行った強度調整ぼけ補正フィルタを生成してぼけ補正を行う。
これらの処理により、画像の各構成画素の像高等に応じた最適なぼけ補正処理が実現される。
【符号の説明】
【０２６７】
１００  撮像装置
１０５  光学レンズ
１１０  撮像素子（イメージセンサ）
１２０  信号処理部
１３０  メモリ
１４０  制御部
１８１  ＲＧＢ配列
１８３  カラー画像
２００  画像信号補正部
２０１  ラインメモリ
２０２  像高算出部
２０３  飽和検出部
２１０  ぼけ補正処理部
２２１  エッジ検出部
２３０  ブレンド処理部
２３５  加重加算部
２５０  ＲＧＢ信号処理部
３００  撮像装置
３０５  光学レンズ
３１０  撮像素子（イメージセンサ）
３２０  信号処理部
３３０  メモリ
３４０  制御部
３８１  ＲＧＢＷ配列
３８２  ＲＧＢ配列
３８３  カラー画像
４００  画像信号補正部
４０１  ラインメモリ
４０２  像高算出部
４０３  飽和検出部
４１０  ぼけ補正処理部
４２１  エッジ検出部
４３０  色相関リモザイク処理部
４３１  Ｗ位置Ｇ補間パラメータ算出部
４３２  Ｇ位置ＲＢ補間パラメータ算出部
４３３  Ｒ位置Ｒ補間パラメータ算出部
４３４  Ｂ位置Ｂ補間パラメータ算出部
４３５  加重加算部
４５０  ＲＧＢ信号処理部
【図３】
2013055622.tif 000007
【図４】
2013055622.tif 000008
【図５】
2013055622.tif 000009
【図７】
2013055622.tif 000010
【図８】
2013055622.tif 000011
【図９】
2013055622.tif 000012
【図１０】
2013055622.tif 000013
【図１２】
2013055622.tif 000014
【図１３】
2013055622.tif 000015
【図１６】
2013055622.tif 000016
【図１７】
2013055622.tif 000017
【図１８】
2013055622.tif 000018
【図１９】
2013055622.tif 000019
【図２０】
2013055622.tif 000020
【図２１】
2013055622.tif 000021
【図２２】
2013055622.tif 000022
【図２３】
2013055622.tif 000023
【図２８】
2013055622.tif 000024
【図３０】
2013055622.tif 000025
【図１】
2013055622.tif 000026
【図２】
2013055622.tif 000027
【図６】
2013055622.tif 000028
【図１１】
2013055622.tif 000029
【図１４】
2013055622.tif 000030
【図１５】
2013055622.tif 000031
【図２４】
2013055622.tif 000032
【図２５】
2013055622.tif 000033
【図２６】
2013055622.tif 000034
【図２７】
2013055622.tif 000035
【図２９】
2013055622.tif 000036