(57)【特許請求の範囲】
【請求項１】
複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、
前記フィルタリング処理部は、前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される前記画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理装置。
【請求項２】
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインの候補データを前記光学系の個別の光学特性に関連付けたゲインテーブル情報を記憶するゲイン候補データ記憶部と、
前記ゲインテーブル情報を参照し、前記原画像データを取得する際に用いられた前記光学系の個別の光学特性に関連付けられている前記候補データを、前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインとして特定するゲイン特定部と、を更に備え、
前記フィルタリング処理部は、前記複数回のフィルタリング処理の各々において、前記ゲイン特定部が特定した前記ゲインを前記フィルタ適用処理データに適用して前記ゲイン適用処理データを取得する請求項１に記載の画像処理装置。
【請求項３】
前記原画像データを取得する際に用いられた前記光学系の個別の光学特性を示すデータを取得し、当該個別の光学特性を示すデータに基づいて前記画像フィルタ処理の目標とする周波数特性を特定し、特定された当該目標とする周波数特性に基づいて、前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインを取得するゲイン取得部を更に備える請求項１に記載の画像処理装置。
【請求項４】
前記ゲインは、前記画像フィルタ処理の目標とする周波数特性に対し、前記複数回のフィルタリング処理の各々の周波数特性に基づいて最小二乗法によって前記画像フィルタ処理の周波数特性をフィッティングすることにより取得される請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記最小二乗法では、周波数に基づいて重み付けされる請求項４に記載の画像処理装置。
【請求項６】
前記最小二乗法では、低周波帯域における重み付けを高周波帯域における重み付けより大きく設定する請求項５に記載の画像処理装置。
【請求項７】
前記最小二乗法では、前記原画像データを取得する際の撮影条件に応じて、高周波帯域における重み付けを低周波帯域における重み付けより大きく設定する請求項５に記載の画像処理装置。
【請求項８】
前記最小二乗法における重み付けは、前記原画像データにおける画素位置に応じて定められる請求項５〜７のいずれか一項に記載の画像処理装置。
【請求項９】
前記最小二乗法において、前記原画像データの画像中心から第１の距離以下の画素位置では、前記原画像データの画像中心から前記第１の距離よりも遠い画素位置よりも、高周波帯域における重み付けが大きい請求項８に記載の画像処理装置。
【請求項１０】
前記最小二乗法において、前記原画像データの画像中心から第２の距離よりも遠い画素位置では、前記原画像データの前記画像中心から前記第２の距離以下の画素位置よりも、低周波帯域における重み付けが大きい請求項８又は９に記載の画像処理装置。
【請求項１１】
前記フィルタリング処理部は、前記画像フィルタ処理の目標とする周波数特性において前記原画像データに対する前記処理画像データの割合が１よりも小さい周波数では、前記複数回のフィルタリング処理の各々において、前記フィルタリング処理データを前記処理対象データと等しくするフィルタを用いる請求項５〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記フィルタリング処理部は、前記複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、前記光学系の推測される特性に応じて定められるフィルタを用いて前記フィルタ適用処理データを取得する請求項１〜１１のいずれか一項に記載の画像処理装置。
【請求項１３】
前記光学系の特性に応じて定められるフィルタは、前記光学系の点拡がり関数に基づいて定められるフィルタである請求項１２に記載の画像処理装置。
【請求項１４】
前記フィルタリング処理部は、前記複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、撮影により前記原画像データを取得する際に用いられた光学系の特性とは無関係に定められるフィルタを用いて前記フィルタ適用処理データを取得する請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記光学系の特性とは無関係に定められるフィルタは輪郭強調フィルタである請求項１４に記載の画像処理装置。
【請求項１６】
前記フィルタリング処理部は、前記複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、前記処理対象データにおける画素位置に応じた周波数特性を持つフィルタを用いて前記フィルタ適用処理データを取得する請求項１〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記フィルタリング処理部は、前記第１のフィルタリング処理により取得される前記フィルタリング処理データを、前記第２のフィルタリング処理における前記処理対象データとして用いる請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記フィルタリング処理部は、前記第１のフィルタリング処理及び前記第２のフィルタリング処理では同一データを前記処理対象データとして使用し、前記第１のフィルタリング処理により取得される前記フィルタリング処理データと前記第２のフィルタリング処理により取得される前記フィルタリング処理データとに基づいて前記処理画像データを取得する請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項１９】
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記フィルタリング処理部は、
前記第１のフィルタリング処理の前記処理対象データに対して当該第１のフィルタリング処理用のフィルタを適用することにより、前記フィルタ適用処理データを取得する第１のフィルタ適用部と、
前記第１のフィルタ適用部により取得された前記フィルタ適用処理データに対して当該第１のフィルタリング処理用のゲインを適用することにより、前記ゲイン適用処理データを取得する第１のゲイン適用部と、
前記第２のフィルタリング処理の前記処理対象データに対して当該第２のフィルタリング処理用のフィルタを適用することにより、前記フィルタ適用処理データを取得する第２のフィルタ適用部と、
前記第２のフィルタ適用部により取得された前記フィルタ適用処理データに対して当該第２のフィルタリング処理用のゲインを適用することにより、前記ゲイン適用処理データを取得する第２のゲイン適用部と、を有する請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項２０】
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記フィルタリング処理部は、前記処理対象データに前記フィルタを適用して前記フィルタ適用処理データを取得するフィルタ適用部と、前記フィルタ適用処理データに前記ゲインを適用して前記ゲイン適用処理データを取得するゲイン適用部と、を有し、
前記フィルタ適用部は、前記第１のフィルタリング処理では当該第１のフィルタリング処理用のフィルタを用いて前記フィルタ適用処理データを取得し、前記第２のフィルタリング処理では当該第２のフィルタリング処理用のフィルタを用いて前記フィルタ適用処理データを取得し、
前記ゲイン適用部は、前記第１のフィルタリング処理では当該第１のフィルタリング処理用のゲインを用いて前記ゲイン適用処理データを取得し、前記第２のフィルタリング処理では当該第２のフィルタリング処理用のゲインを用いて前記ゲイン適用処理データを取得する請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項２１】
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記フィルタリング処理部は、
前記第１のフィルタリング処理では、前記画像フィルタ処理の複数種類の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得し、
前記第２のフィルタリング処理では、前記画像フィルタ処理の前記複数種類の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得する請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項２２】
複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記フィルタリング処理部は、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記第１のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得し、
前記第２のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められる画像処理装置。
【請求項２３】
複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得し、且つ、前記複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得するフィルタ算出部を備えるフィルタ取得装置。
【請求項２４】
前記フィルタ算出部は、複数のフィルタグループに分類された複数種類の画像フィルタ処理の周波数特性のうち前記複数のフィルタグループの各々に含まれる前記複数種類の画像フィルタ処理の周波数特性に基づいて、前記複数のフィルタグループの各々に関する前記基準フィルタ及び前記少なくとも一つの分散フィルタを取得する請求項２３に記載のフィルタ取得装置。
【請求項２５】
混合正規分布を基準に、前記複数種類の画像フィルタ処理の周波数特性を前記複数のフィルタグループに分類するフィルタグループ分類部を更に備える請求項２４に記載のフィルタ取得装置。
【請求項２６】
前記フィルタ算出部は、複数のタップを持ち各タップに係数が割り当てられる前記基準フィルタを取得し、且つ、複数のタップを持ち各タップに係数が割り当てられる前記少なくとも一つの分散フィルタを取得する請求項２３〜２５のいずれか一項に記載のフィルタ取得装置。
【請求項２７】
前記フィルタ算出部は、前記複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって前記基準フィルタの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数から、前記少なくとも一つの分散フィルタの各タップに割り当てられる係数を算出する請求項２６に記載のフィルタ取得装置。
【請求項２８】
前記フィルタ算出部は、
Ｉを２以上の整数とした場合に、１番目からＩ番目までの前記分散フィルタを取得し、
１番目の前記分散フィルタの各タップに割り当てられる係数を、前記基準フィルタの各タップに割り当てられる係数に基づいて定められる前記バラツキ分布関数から算出し、
Ｊを２以上且つＩ以下の整数とした場合に、Ｊ番目の前記分散フィルタの各タップに割り当てられる係数を、前記基準フィルタの各タップに割り当てられる係数と１番目からＪ−１番目までの前記分散フィルタの各々の各タップに割り当てられる係数とに基づいて定められる前記バラツキ分布関数から算出する請求項２７に記載のフィルタ取得装置。
【請求項２９】
前記フィルタ算出部は、前記複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって、前記基準フィルタ及び前記少なくとも一つの分散フィルタの各々の各タップに割り当てられる係数に基づいて定められるバラツキ分布関数に基づいて、前記基準フィルタ及び前記少なくとも一つの分散フィルタのうちの少なくともいずれかの各タップに割り当てられる係数を更新する請求項２６〜２８のいずれか一項に記載のフィルタ取得装置。
【請求項３０】
前記フィルタ算出部は、ＳＡＧＥアルゴリズム又はＯＭＰアルゴリズムに基づいて、前記基準フィルタ及び前記少なくとも一つの分散フィルタの各々の各タップに割り当てられる係数を算出する請求項２６〜２９のいずれか一項に記載のフィルタ取得装置。
【請求項３１】
複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことで処理画像データを取得する画像処理方法であって、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される前記画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理方法。
【請求項３２】
複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する画像処理方法であって、
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、当該ゲイン適用処理データからフィルタリング処理データを取得し、
前記第１のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得し、
前記第２のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得し、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められる画像処理方法。
【請求項３３】
複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得し、
前記複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得するフィルタ取得方法。
【請求項３４】
コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される前記画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラム。
【請求項３５】
コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記第１のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記第２のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められるプログラム。
【請求項３６】
コンピュータに、
複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得する手順と、
前記複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得する手順と、を実行させるためのプログラム。
【請求項３７】
コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される前記画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３８】
コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、
前記複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、
前記複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、当該フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、当該ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、
前記第１のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記第２のフィルタリング処理では、複数種類の前記画像フィルタ処理の周波数特性であって前記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の前記画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いて前記フィルタ適用処理データを取得する手順をコンピュータに実行させ、
前記複数回のフィルタリング処理の各々において前記フィルタ適用処理データに適用される前記ゲインは、前記原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３９】
コンピュータに、
複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得する手順と、
前記複数種類の画像フィルタ処理の周波数特性に基づいて、当該複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得する手順と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、フィルタ取得装置、画像処理方法、フィルタ取得方法、プログラム及び記録媒体に係り、特に画像フィルタ処理及び画像フィルタ処理において使用可能なフィルタの取得手法に関する。
【背景技術】
【０００２】
画質を改善するためのフィルタリング処理や特殊な視覚効果を付与するためのフィルタリング処理等、様々な画像フィルタ処理技術が提案されている。例えば、撮影レンズの収差等に起因する像劣化特性を表す点拡がり関数（点像分布関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ））に基づいて定められるフィルタを使って本来の画像を復元する点像復元処理が知られている。【０００３】
特許文献１は、ＰＳＦデータに基づく画像処理によって画像を復元することを目的とした画像記録装置を開示する。この画像記録装置では、「撮像レンズの設計値から得られるＰＳＦを示す設計ＰＳＦデータ」と「調整用チャートの撮影データから得られる測定ＰＳＦデータ」とから他領域ＰＳＦデータが推測され、測定ＰＳＦデータおよび他領域ＰＳＦデータが用いられて画像データが復元される。このように調整用チャートの撮影データから得られる測定ＰＳＦデータを用いて画像データを復元することで、画像記録装置の個体差のために画像データの劣化の程度が装置間で異なる場合であっても、個体差に応じた復元を行うことが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１７７９１９号公報
【非特許文献】
【０００５】
【非特許文献１】Ｊ．Ａ．Ｆｅｓｓｌｅｒ  ａｎｄ  Ａ．Ｏ．Ｈｅｒｏ，”Ｓｐａｃｅ−Ａｌｔｅｒｎａｔｉｎｇ  Ｇｅｎｅｒａｌｉｚｅｄ  Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ，”  ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１７，Ｎｏ．１０，ｐｐ．２６６４−２６７７，１９９４．
【非特許文献２】Ｂ．Ｈ．Ｆｌｅｕｒｙ，Ｍ．Ｔｓｃｈｕｄｉｎ，Ｒ．Ｈｅｄｄｅｒｇｏｔｔ，Ｄ．Ｄａｈｌｈａｕｓ，ａｎｄ  Ｋ．Ｉ．Ｐｅｄｅｒｓｅｎ，”Ｃｈａｎｎｅｌ  Ｐａｒａｍｅｔｅｒ  Ｅｓｔｉｍａｔｉｏｎ  ｉｎ  Ｍｏｂｉｌｅ  Ｒａｄｉｏ  Ｅｎｖｉｒｏｎｍｅｎｔｓ  Ｕｓｉｎｇ  ｔｈｅ  ＳＡＧＥ  Ａｌｇｏｒｉｔｈｍ，”ＩＥＥＥ  Ｊ．Ｓｅｌｅｃｔｅｄ  Ａｒｅａｓ  ｉｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｖｏｌ．１７，Ｎｏ．３，ｐｐ．４３４−４４９，Ｍａｒ．１９９９．
【非特許文献３】Ｙ．Ｐａｔｉ，Ｒ．Ｒｅｚａｉｉｆａｒ，Ｐ．Ｋｒｉｓｈｎａｐｒａｓａｄ，”Ｏｒｔｈｏｇｏｎａｌ  Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔ  ：  ｒｅｃｕｒｓｉｖｅ  ｆｕｎｃｔｉｏｎ  ａｐｐｒｏｘｉｍａｔｉｏｎ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｗａｖｅｌｅｔ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ”，ｉｎ  Ａｓｉｌｏｍａｒ  Ｃｏｎｆ．ｏｎ  Ｓｉｇｎａｌｓ，Ｓｙｓｔｅｍｓ  ａｎｄ  Ｃｏｍｐｕｔ．，１９９３．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の点拡がり関数（ＰＳＦ）を利用した画像フィルタ処理のように、光学系の光学特性からレンズの収差等の像劣化特性を特定し、その像劣化特性に基づいて設計されたフィルタを使ってフィルタリング処理を行うことで、本来の画像を復元することができる。【０００７】
したがって理想的な状態で製造された光学系に関しては設計値から光学特性を予め特定することも可能であり、理論的には、その理想的な光学系を使って撮影された画像の復元性能に優れた高精度なフィルタを設計値から作成することも可能である。しかしながら実際に製造される光学系は個体間でバラツキがあり、製造誤差等によって光学系の光学特性が変動するため、実際には、光学系の設計値のみから画像復元性能に優れたフィルタを作成することは必ずしも容易ではない。【０００８】
特許文献１に記載の画像記録装置では、設計ＰＳＦデータ及び測定ＰＳＦデータから他領域ＰＳＦデータを推測することで、個体差に応じた画像データの復元処理が行われる。しかしながら特許文献１に記載の手法では、例えば一つの光学系（レンズ等）において中央部の製造誤差と周辺部の製造誤差との相違が大きい場合には、画像データの復元を必ずしも精度良く行うことができない。【０００９】
また光学系の個体差を反映した画像フィルタ処理を行うには、通常は、個々の光学系の具体的な光学特性（例えば像劣化特性等）を取得した後に、その具体的な光学特性に基づいてフィルタを再設計する必要がある。例えば点拡がり関数（ＰＳＦ）に基づいてフィルタを生成するケースでは、点拡がり関数をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）が光学系毎に取得され、その光学伝達関数からウィナー（Ｗｉｅｎｅｒ）フィルタ等の任意の設計基準によって画像復元用のフィルタが算出される。このようにして算出されるフィルタを複数のタップ（タップ係数）によって構成することで、多数の画素データによって構成される画像データに対して実空間上で簡便にフィルタを適用することができる。【００１０】
フィルタのタップ数に制限が無い場合には、ウィナーフィルタ等によって表される周波数空間フィルタを逆フーリエ変換することによって得られる周波数特性を、任意のタップ数を持つＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタによって実現することが可能である。しかしながら、実際に使用可能なハードウェアが制限されている場合には、フィルタのタップ数も制限されることになる。フィルタのタップ数が制限される条件下で、所望の周波数特性を持つタップ係数を算出するには、非線形最適化問題を解く必要があるため、非常に多くの計算量が必要とされる。【００１１】
したがって光学系の製造段階或いはユーザによる使用段階において、光学系の個体差を反映したフィルタ（タップ係数）を再設計する場合には、個々の光学系の具体的な光学特性を取得した後に、多大な演算処理が必要になる。例えば、実際の撮影に使用するカメラを使ってユーザ自身によりフィルタのキャリブレーションを行う場合には、そのような多大な演算処理をストレス無く行うための能力の高いコンパクトな演算回路及び記憶領域（ＲＯＭ：Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）が必要とされる。特に点拡がり関数等の像劣化特性を取得した後に直ちに画像フィルタ処理を行う場合には、実際に使用されるタップ係数の算出のために多大な計算リソースを確保する必要がある。しかしながら、そのような計算リソースを確保しておくことは、実際に画像処理システムを構築する観点からは必ずしも望ましくない。【００１２】
また画像フィルタ処理において使用されるフィルタの種類及び数が増えると、フィルタ全体のデータ量が飛躍的に増大するため、大きな記憶容量を有するメモリが必要とされる。すなわち、画像フィルタ処理において使用されるフィルタが複数の条件に応じて定められる場合には、指数関数的な割合で必要なフィルタのデータ量が増える。例えば光学系の点拡がり関数は、絞り値（Ｆ値）、ズーム値（焦点距離）、被写体距離、フォーカス位置、光学系種別、撮像素子のセンサＳＮ比（Ｓｉｇｎａｌ−Ｎｏｉｓｅ  ｒａｔｉｏ）、像高（画像内位置）及び光学系個体差などの撮影条件に応じて変化する。しかしながら、個々の撮影条件の組み合わせの全てに関して特有のフィルタを準備すると、それらのフィルタに必要な全体のデータ量は膨大になる。【００１３】
また特定の異方性や周波数特性が考慮された画像フィルタ処理では、必要とされるフィルタのパターン数が増大してしまう。さらに画素位置に応じて使用するフィルタ（フィルタ係数）を変える場合には、処理対象の画像の画素数に応じてフィルタのデータ量が増大してしまう。【００１４】
理想的には、全ての条件の組み合わせに関するフィルタを予め準備してメモリに記憶しておくことが望ましい。しかしながら膨大な記憶容量を確保する必要があり、高価なメモリを準備する必要があるため、全ての条件に対応するフィルタを予め準備及び記憶しておくことは、実際に画像処理システムを構築する観点からは必ずしも望ましくない。【００１５】
本発明は上述の事情に鑑みてなされたものであり、個々の光学系の光学特性に基づいて特定される所望の画像フィルタ処理を簡単な演算処理によって精度良く実現することができる画像処理手法を提供することを目的とする。【００１６】
また、そのような画像フィルタ処理において好適に使用可能なフィルタを取得することができるフィルタ取得手法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の一態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、フィルタリング処理部は、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理装置に関する。【００１８】
本態様によれば、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、画像フィルタ処理の目標とする周波数特性に基づいて取得され、この画像フィルタ処理の目標とする周波数特性は、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される。このようにしてゲイン調整を行うことで、個々の光学系の光学特性に基づいて特定される所望の画像フィルタ処理を簡単な演算処理によって精度良く実現することができる。また、各フィルタリング処理において処理対象データに適用されるフィルタのデータ量を低減しつつ、高精度なフィルタリング処理を行うことが可能になる。【００１９】
なお「周波数特性」は、周波数に関する特性であって、処理前の画像データの周波数成分毎の振幅に対する処理後の画像データの周波数成分毎の振幅の比（＝処理後の画像データの周波数成分毎の振幅／処理前の画像データの周波数成分毎の振幅）を示し、周波数に応じたレスポンスを表す。【００２０】
ここでいう「光学特性」としては、画像フィルタ処理の対象となる原画像データの撮影取得のために使用される撮影光学系の光学特性が好ましい。例えば、点拡がり関数ＰＳＦや光学伝達関数ＯＴＦ（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ及びＰＴＦ：Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎを含む）に基づく特性を「光学特性」とすることができ、ウィナーフィルタ等の任意の設計基準を利用した逆フィルタ設計手法を用いることで「画像フィルタ処理の目標とする周波数特性」が表されてもよい。【００２１】
望ましくは、画像処理装置は、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインの候補データを光学系の個別の光学特性に関連付けたゲインテーブル情報を記憶するゲイン候補データ記憶部と、ゲインテーブル情報を参照し、原画像データを取得する際に用いられた光学系の個別の光学特性に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインとして特定するゲイン特定部と、を更に備え、フィルタリング処理部は、複数回のフィルタリング処理の各々において、ゲイン特定部が特定したゲインをフィルタ適用処理データに適用してゲイン適用処理データを取得する。【００２２】
本態様によれば、ゲインの候補データの中から、フィルタ適用処理データに適用されるゲインを簡便に特定することができる。【００２３】
なお「ゲインテーブル情報」の形式は、ゲインの候補データと光学系の個別の光学特性とを適切に関連付けるものであれば、特に限定されない。光学系の個別の光学特性はゲインの候補データに直接的又は間接的に関連付けることができ、ゲインテーブル情報は、例えば個々の光学系を特定する情報（光学系のＩＤ情報等）とゲインの候補データとを関連付けるものであってもよい。【００２４】
望ましくは、画像処理装置は、原画像データを取得する際に用いられた光学系の個別の光学特性を示すデータを取得し、個別の光学特性を示すデータに基づいて画像フィルタ処理の目標とする周波数特性を特定し、特定された目標とする周波数特性に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得するゲイン取得部を更に備える。【００２５】
本態様によれば、光学系の個別の光学特性を示すデータに基づいて画像フィルタ処理の目標とする周波数特性が特定され、フィルタ適用処理データに適用されるゲインが取得される。ここでいう「光学系の個別の光学特性を示すデータ」は、光学系の個別の光学特性を直接的又は間接的に示すデータであればよく、例えば個々の光学系を特定する情報（光学系のＩＤ情報等）を「光学系の個別の光学特性を示すデータ」としてもよい。【００２６】
望ましくは、ゲインは、画像フィルタ処理の目標とする周波数特性に対し、複数回のフィルタリング処理の各々の周波数特性に基づいて最小二乗法によって画像フィルタ処理の周波数特性をフィッティングすることにより取得される。【００２７】
本態様によれば、最小二乗法に基づいて、画像フィルタ処理の目標とする周波数特性を実現するためのゲインを精度良く取得することができる。【００２８】
望ましくは、最小二乗法では、周波数に基づいて重み付けされる。【００２９】
特に、最小二乗法では、周波数特性の近似誤差評価関数が周波数に基づいて重み付けされることが好ましい。ここでいう近似誤差評価関数は、近似の程度（すなわち誤差の程度）の評価を示す関数であり、例えば後述の「重み付き最小二乗基準に基づく汎関数（ＪＬＭＳ［ｇ］）」を近似誤差評価関数として使用することができる。本態様によれば、重視される周波数帯域の重みを大きくし、重視されない周波数帯域の重みを小さくすることで、実際の要求に応じたゲインを精度良く取得することができる。【００３０】
望ましくは、最小二乗法では、低周波帯域における重み付けを高周波帯域における重み付けより大きく設定する。【００３１】
本態様によれば、画像フィルタ処理の目標とする周波数特性のうち特に低周波帯域における周波数特性を精度良く実現するゲインを取得することができる。人間の視覚特性上、高周波成分よりも低周波成分の方が知覚されやすいため、低周波帯域の重み付けを大きくしてゲインを取得することで、視認性に優れた処理画像データを画像フィルタ処理によって生成することができる。【００３２】
ここでいう「低周波帯域」は、実際に要求される画質特性に応じて定められることが好ましく、例えばサンプリング周波数の１／４（＝０．２５ｆｓ＝ナイキスト周波数の１／２）以下の範囲において「低周波帯域」を設定することができる。【００３３】
望ましくは、最小二乗法では、原画像データを取得する際の撮影条件に応じて、高周波帯域における重み付けを低周波帯域における重み付けより大きく設定する。【００３４】
本態様によれば、原画像データを取得する際の撮影条件に応じて、画像フィルタ処理の目標とする周波数特性のうち特に高周波帯域における周波数特性を精度良く実現するゲインを取得することができる。一般に、高周波帯域におけるＭＴＦ劣化が大きくて撮像系のノイズが多い場合には、画像フィルタ処理によってノイズが増幅されてしまい、画質が悪化する場合がある。そのため高周波帯域においてＳＮ比が悪いことが予想される撮影条件下で取得された原画像データの画像フィルタ処理では、「画像フィルタ処理の目標とする周波数特性に近似する」精度として高周波成分を低周波成分よりも優先した方が好ましい場合がある。【００３５】
ここでいう「高周波帯域」は、実際に要求される画質特性に応じて定められることが好ましく、想定されるノイズの周波数特性に基づいて、例えばサンプリング周波数の１／４（＝０．２５ｆｓ）よりも大きく１／２（＝０．５ｆｓ）以下の範囲において「高周波帯域」を設定することができる。【００３６】
また「原画像データを取得する際の撮影条件」は、ノイズに影響を及ぼしうる任意のファクタに基づいて定められる。例えば、原画像データの取得に使用される撮影光学系の設定条件や被写体自体の状態条件（シーン条件）等の中から選ばれる１又は複数の条件を、「原画像データを取得する際の撮影条件」としうる。【００３７】
望ましくは、最小二乗法における重み付けは、原画像データにおける画素位置に応じて定められる。【００３８】
本態様によれば、原画像データにおける画素位置に応じて最小二乗法における重み付けを変えることができ、画素位置に応じた画像フィルタ処理を行うことが可能となる。例えば鮮鋭な画質が要求される画素位置では高周波帯域の重み付けを低周波帯域の重み付けよりも大きくしてもよいし、視認性に優れた画質が要求される画素位置では低周波帯域の重み付けを高周波帯域の重み付けよりも大きくしてもよい。【００３９】
望ましくは、最小二乗法において、原画像データの画像中心から第１の距離以下の画素位置では、原画像データの画像中心から第１の距離よりも遠い画素位置よりも、高周波帯域における重み付けが大きい。【００４０】
本態様によれば、画像周辺部よりも画像中央部において高周波成分の再現性に優れたゲインを取得することができる。例えば画像中央部に主要被写体が配置される場合等、画像中央部において鮮鋭性が要求されるケースに対し、本態様は好適に適用されうる。【００４１】
ここでいう「第１の距離」は特に限定されず、高周波帯域を重視する画像範囲に基づいて適宜設定可能である。【００４２】
望ましくは、最小二乗法において、原画像データの画像中心から第２の距離よりも遠い画素位置では、原画像データの画像中心から第２の距離以下の画素位置よりも、低周波帯域における重み付けが大きい。【００４３】
本態様によれば、画像中央部よりも画像周辺部において低周波成分の再現性に優れたゲインを取得することができる。例えば画像周辺部においても観察対象の被写体が配置されうる場合等、画像周辺部において優れた視認性が要求されるケースに対し、本態様は好適に適用されうる。【００４４】
ここでいう「第２の距離」は特に限定されず、低周波帯域を重視する画像範囲に基づいて適宜設定可能である。【００４５】
望ましくは、フィルタリング処理部は、画像フィルタ処理の目標とする周波数特性において原画像データに対する処理画像データの割合が１よりも小さい周波数では、複数回のフィルタリング処理の各々において、フィルタリング処理データを処理対象データと等しくするフィルタを用いる。【００４６】
過度に値の小さいデータを用いて画像フィルタ処理を行うと、処理後のデータにおいてノイズが混入しやすいだけではなく、そのようなノイズが増幅されることがあり、結果的に画質劣化を招くことがある。本態様によれば、フィルタリング処理データを処理対象データと等しくするフィルタを用いることで、そのようなノイズ混入及びノイズ増幅を効果的に防ぐことができる。【００４７】
望ましくは、フィルタリング処理部は、複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、光学系の推測される特性に応じて定められるフィルタを用いてフィルタ適用処理データを取得する。【００４８】
本態様によれば、光学系の推測される特性に基づくフィルタリング処理が少なくとも１回は行われる。【００４９】
望ましくは、光学系の特性に応じて定められるフィルタは、光学系の点拡がり関数に基づいて定められるフィルタである。【００５０】
本態様によれば、光学系の点拡がり関数に基づくフィルタリング処理が少なくとも１回は行われる。【００５１】
望ましくは、フィルタリング処理部は、複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、撮影により原画像データを取得する際に用いられた光学系の特性とは無関係に定められるフィルタを用いてフィルタ適用処理データを取得する。【００５２】
本態様によれば、光学系の特性とは無関係のフィルタリング処理が少なくとも１回は行われる。【００５３】
望ましくは、光学系の特性とは無関係に定められるフィルタは輪郭強調フィルタである。【００５４】
本態様によれば、輪郭強調（エッジ強調）に関するフィルタリング処理が少なくとも１回は行われる。なお輪郭強調フィルタは、処理対象データにおける画素位置に応じた周波数特性を持っていてもよいし、処理対象データにおける画素位置に依らず共通の周波数特性を持っていてもよい。【００５５】
望ましくは、フィルタリング処理部は、複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、処理対象データにおける画素位置に応じた周波数特性を持つフィルタを用いてフィルタ適用処理データを取得する。【００５６】
本態様によれば、処理対象データにおける画素位置に応じた周波数特性を持つフィルタリング処理が少なくとも１回は行われる。【００５７】
望ましくは、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、フィルタリング処理部は、第１のフィルタリング処理により取得されるフィルタリング処理データを、第２のフィルタリング処理における処理対象データとして用いる。【００５８】
本態様によれば、第１のフィルタリング処理及び第２のフィルタリング処理が直列的に行われる。【００５９】
望ましくは、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、フィルタリング処理部は、第１のフィルタリング処理及び第２のフィルタリング処理では同一データを処理対象データとして使用し、第１のフィルタリング処理により取得されるフィルタリング処理データと第２のフィルタリング処理により取得されるフィルタリング処理データとに基づいて処理画像データを取得する。【００６０】
本態様によれば、第１のフィルタリング処理及び第２のフィルタリング処理が並列的に行われる。【００６１】
望ましくは、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、フィルタリング処理部は、第１のフィルタリング処理の処理対象データに対して第１のフィルタリング処理用のフィルタを適用することにより、フィルタ適用処理データを取得する第１のフィルタ適用部と、第１のフィルタ適用部により取得されたフィルタ適用処理データに対して第１のフィルタリング処理用のゲインを適用することにより、ゲイン適用処理データを取得する第１のゲイン適用部と、第２のフィルタリング処理の処理対象データに対して第２のフィルタリング処理用のフィルタを適用することにより、フィルタ適用処理データを取得する第２のフィルタ適用部と、第２のフィルタ適用部により取得されたフィルタ適用処理データに対して第２のフィルタリング処理用のゲインを適用することにより、ゲイン適用処理データを取得する第２のゲイン適用部と、を有する。【００６２】
本態様によれば、第１のフィルタリング処理及び第２のフィルタリング処理が、別個の「フィルタ適用部（第１のフィルタ適用部及び第２のフィルタ適用部）」及び「ゲイン適用部（第１のゲイン適用部及び第２のゲイン適用部）」によって行われ、処理フローがシンプルになる。【００６３】
望ましくは、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、フィルタリング処理部は、処理対象データにフィルタを適用してフィルタ適用処理データを取得するフィルタ適用部と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得するゲイン適用部と、を有し、フィルタ適用部は、第１のフィルタリング処理では第１のフィルタリング処理用のフィルタを用いてフィルタ適用処理データを取得し、第２のフィルタリング処理では第２のフィルタリング処理用のフィルタを用いてフィルタ適用処理データを取得し、ゲイン適用部は、第１のフィルタリング処理では第１のフィルタリング処理用のゲインを用いてゲイン適用処理データを取得し、第２のフィルタリング処理では第２のフィルタリング処理用のゲインを用いてゲイン適用処理データを取得する。【００６４】
本態様によれば、第１のフィルタリング処理及び第２のフィルタリング処理が同一の「フィルタ適用部」及び「ゲイン適用部」によって行われ、ハードウェア構成（回路構成）がシンプルになる。【００６５】
望ましくは、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、フィルタリング処理部は、第１のフィルタリング処理では、画像フィルタ処理の複数種類の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得し、第２のフィルタリング処理では、画像フィルタ処理の複数種類の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得する。【００６６】
本態様によれば、画像フィルタ処理の複数種類の周波数特性の平均及び分散に応じて定められる基準フィルタ及び分散フィルタが用いられるため、適用したい画像フィルタ処理を平均的に精度良く行うことができる。【００６７】
なお分散フィルタは、画像フィルタ処理の複数種類の周波数特性の分散に直接的又は間接的に応じていればよく、例えば分散から導き出される標準偏差に基づいて分散フィルタが定められてもよいし、分散に加えて他のファクタ（例えば平均等）に基づいて分散フィルタが定められてもよい。【００６８】
本発明の他の態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得するフィルタリング処理部を備える画像処理装置であって、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、フィルタリング処理部は、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、第１のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得し、第２のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められる画像処理装置に関する。【００６９】
本態様によれば、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められる。このようにしてゲイン調整を行うことで、個々の光学系の光学特性に基づいて特定される所望の画像フィルタ処理を簡単な演算処理によって精度良く実現することができる。また光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均及び分散に応じた基準フィルタ及び分散フィルタが用いられるため、画像フィルタ処理を平均的に精度良く行うことができる。【００７０】
本発明の他の態様は、複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得し、且つ、複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得するフィルタ算出部を備えるフィルタ取得装置に関する。【００７１】
本態様によれば、画像フィルタ処理を安定的に精度良く行うことを可能にする基準フィルタ及び分散フィルタを取得することができる。このようにして取得される基準フィルタ及び分散フィルタは、複数回のフィルタリング処理の各々において好適に使用可能である。【００７２】
望ましくは、フィルタ算出部は、複数のフィルタグループに分類された複数種類の画像フィルタ処理の周波数特性のうち複数のフィルタグループの各々に含まれる複数種類の画像フィルタ処理の周波数特性に基づいて、複数のフィルタグループの各々に関する基準フィルタ及び少なくとも一つの分散フィルタを取得する。【００７３】
本態様によれば、複数種類の画像フィルタ処理の周波数特性のバラツキが比較的大きい場合であっても、複数のフィルタグループに複数種類の画像フィルタ処理の周波数特性が分類され、フィルタグループ毎に基準フィルタ及び分散フィルタが取得される。これにより、複数種類の画像フィルタ処理の周波数特性の各々を精度良く実現することが可能なフィルタを提供することができる。【００７４】
なお、複数種類の画像フィルタ処理の周波数特性を複数のフィルタグループに分類する手法は特に限定されず、例えば画像フィルタ処理の周波数特性の類似性に基づいて分類を行うことができる。ここでいう「類似性」は、ユーザが適宜判断してもよいし、画像フィルタ処理の周波数特性を特定の基準に基づいて自動的に解析することで取得されてもよい。【００７５】
望ましくは、フィルタ取得装置は、混合正規分布を基準に、複数種類の画像フィルタ処理の周波数特性を複数のフィルタグループに分類するフィルタグループ分類部を更に備える。【００７６】
本態様によれば、混合正規分布を基準に精度良くフィルタグループへの分類が行われる。【００７７】
望ましくは、フィルタ算出部は、複数のタップを持ち各タップに係数が割り当てられる基準フィルタを取得し、且つ、複数のタップを持ち各タップに係数が割り当てられる少なくとも一つの分散フィルタを取得する。【００７８】
本態様によれば、基準フィルタ及び分散フィルタの各々を複数のタップ（タップ係数）によって構成することができる。【００７９】
望ましくは、フィルタ算出部は、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって基準フィルタの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数から、少なくとも一つの分散フィルタの各タップに割り当てられる係数を算出する。【００８０】
本態様によれば、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数に基づいて、分散フィルタの各タップに割り当てられる係数を精度良く算出することができる。【００８１】
望ましくは、フィルタ算出部は、Ｉを２以上の整数とした場合に、１番目からＩ番目までの分散フィルタを取得し、１番目の分散フィルタの各タップに割り当てられる係数を、基準フィルタの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数から算出し、Ｊを２以上且つＩ以下の整数とした場合に、Ｊ番目の分散フィルタの各タップに割り当てられる係数を、基準フィルタの各タップに割り当てられる係数と１番目からＪ−１番目までの分散フィルタの各々の各タップに割り当てられる係数とに基づいて定められるバラツキ分布関数から算出する。【００８２】
本態様によれば、ある分散フィルタ（Ｊ番目の分散フィルタ）の各タップに割り当てられる係数を、基準フィルタと他の分散フィルタ（１〜Ｊ−１番目の分散フィルタ）とに基づいて定められるバラツキ分布関数から、精度良く算出することができる。【００８３】
望ましくは、フィルタ算出部は、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって、基準フィルタ及び少なくとも一つの分散フィルタの各々の各タップに割り当てられる係数に基づいて定められるバラツキ分布関数に基づいて、基準フィルタ及び少なくとも一つの分散フィルタのうちの少なくともいずれかの各タップに割り当てられる係数を更新する。【００８４】
本態様によれば、基準フィルタ及び少なくとも一つの分散フィルタのうちの少なくともいずれかの各タップに割り当てられる係数が更新され、フィルタ精度を向上させることができる。【００８５】
望ましくは、フィルタ算出部は、ＳＡＧＥアルゴリズム又はＯＭＰアルゴリズムに基づいて、基準フィルタ及び少なくとも一つの分散フィルタの各々の各タップに割り当てられる係数を算出する。【００８６】
本態様によれば、ＳＡＧＥ（Ｓｐａｃｅ  Ａｌｔｅｒｎａｔｉｖｅ  Ｇｅｎｅｒａｌｉｚｅｄ  Ｅｘｐｅｃｔａｔｉｏｎ）アルゴリズム又はＯＭＰ（Ｏｒｔｈｏｇｏｎａｌ  Ｍａｔｃｈｉｎｇ  Ｐｕｒｓｕｉｔ）アルゴリズムに基づいて、各タップに割り当てられる係数を精度良く算出することができる。【００８７】
本発明の他の態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する画像処理方法であって、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される画像フィルタ処理の目標とする周波数特性に基づいて取得される画像処理方法に関する。【００８８】
本発明の他の態様は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する画像処理方法であって、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、ゲイン適用処理データからフィルタリング処理データを取得し、第１のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得し、第２のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得し、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められる画像処理方法に関する。【００８９】
本発明の他の態様は、複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得し、複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得するフィルタ取得方法に関する。【００９０】
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラムに関する。【００９１】
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、第１のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、第２のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められるプログラムに関する。【００９２】
本発明の他の態様は、コンピュータに、複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得する手順と、複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得する手順と、を実行させるためのプログラムに関する。【００９３】
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される画像フィルタ処理の目標とする周波数特性に基づいて取得されるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。【００９４】
本発明の他の態様は、コンピュータに、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データに対して行うことにより処理画像データを取得する機能を実現させるためのプログラムであって、複数回のフィルタリング処理は、少なくとも第１のフィルタリング処理及び第２のフィルタリング処理を含み、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得する手順と、フィルタ適用処理データにゲインを適用してゲイン適用処理データを取得する手順と、ゲイン適用処理データからフィルタリング処理データを取得する手順と、をコンピュータに実行させ、第１のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、第２のフィルタリング処理では、複数種類の画像フィルタ処理の周波数特性であって記原画像データを取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタを用いてフィルタ適用処理データを取得する手順をコンピュータに実行させ、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインは、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて定められるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。【００９５】
本発明の他の態様は、コンピュータに、複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタを取得する手順と、複数種類の画像フィルタ処理の周波数特性に基づいて、複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる少なくとも一つの分散フィルタを取得する手順と、を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【発明の効果】
【００９６】
本態様によれば、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを、画像フィルタ処理の目標とする周波数特性に基づいて取得することができ、この画像フィルタ処理の目標とする周波数特性は、原画像データを取得する際に用いられた光学系の個別の光学特性に基づいて特定される。これにより、個々の光学系の光学特性に基づいて特定される所望の画像フィルタ処理を簡単な演算処理によって精度良く実現することができる。また各フィルタリング処理において処理対象データに適用されるフィルタのデータ量を低減しつつ、高精度なフィルタリング処理を行うことが可能である。【００９７】
また本発明によれば、複数種類の画像フィルタ処理の周波数特性の平均及び分散に応じて定められる基準フィルタ及び分散フィルタを取得することができる。このようにして取得される基準フィルタ及び分散フィルタを使ってフィルタ適用処理を行うことで、画像フィルタ処理を平均に精度良く行うことができる。
【図面の簡単な説明】
【００９８】
【図１】図１は、コンピュータに接続されるデジタルカメラを示すブロック図である。
【図２】図２は、本体コントローラの構成例を示すブロック図である。
【図３】図３は、画像処理部の機能構成の一例を示すブロック図である。
【図４】図４は、画像処理部の機能構成の他の例を示すブロック図である。
【図５】図５は、画像処理部の機能構成の他の例を示すブロック図である。
【図６】図６は、画像フィルタ処理の概念図である。
【図７】図７は、第ｎのフィルタリング処理（ただし「ｎ」は１以上Ｎ以下の整数）の概念図である。
【図８】図８は、フィルタリング処理部の回路構成の一例を示す図である。
【図９】図９は、フィルタリング処理部の回路構成の他の例を示す図である。
【図１０】図１０は、フィルタリング処理部の回路構成の他の例を示す図である。
【図１１】図１１は、フィルタリング処理部の回路構成の他の例を示す図である。
【図１２】図１２は、ゲイン取得部の機能構成の一例を示すブロック図であり、図３に示す画像処理部と好適に組み合わせられるゲイン取得部を示す。
【図１３】図１３は、図１２に示すゲイン取得部のゲイン取得フローを示すフローチャートである。
【図１４】図１４は、ゲイン取得部の機能構成の他の例を示すブロック図であり、図４及び図５に示す画像処理部と好適に組み合わせられるゲイン取得部を示す。
【図１５】図１５は、図１４に示す周波数解析部の周波数特性取得フローを示すフローチャートである。
【図１６】図１６は、図１４に示すゲイン取得部のゲイン取得フローを示すフローチャートである。
【図１７】図１７は、表示部における撮影ガイドの一例を示す図である。
【図１８】図１８は、図１７に示すガイド表示に適した被写体の一例を示す図である。
【図１９】図１９は、表示部における撮影ガイドの他の例を示す図である。
【図２０】図２０は、表示部における撮影ガイドの他の例を示す図である。
【図２１】図２１は、本体コントローラにおける表示制御部、参照画像取得部及び画像判定部の機能構成例を示すブロック図である。
【図２２】図２２は、表示部における撮影ガイドの他の例を示す図である。
【図２３】図２３は、表示部における撮影ガイドの他の例を示す図である。
【図２４】図２４は、表示部における撮影ガイドの他の例を示す図である。
【図２５】図２５は、フィルタ取得装置の機能構成の一例を示すブロック図である。
【図２６】図２６は、フィルタ算出部の機能構成の一例を示すブロック図である。
【図２７】図２７は、複数種類の画像フィルタ処理の周波数特性のバラツキを単峰型分布で表した概念図である。
【図２８】図２８は、複数種類の画像フィルタ処理の周波数特性のバラツキを多峰型分布で表した概念図である。
【図２９】図２９は、単峰型分布に分類可能な複数種類の画像フィルタ処理の周波数特性の一例を概略的に示す図であり、横軸は周波数を示し、縦軸はレスポンスを示す。
【図３０】図３０は、図２９に示される複数種類の画像フィルタ処理の周波数特性の分散の一例を概略的に示す図であり、横軸は周波数を示し、縦軸は分散を示す。
【図３１】図３１は、図２９に示される複数種類の画像フィルタ処理の周波数特性の平均及び分散から取得される基底フィルタ（固有ベクトル）の一例を概略的に示す図であり、（ａ）は「φ０」を示し、（ｂ）は「φ１」を示し、（ｃ）は「φ２」を示す。
【図３２】図３２は、図１０に示す回路構成を有するフィルタリング処理部が行う画像フィルタ処理（第１のフィルタリング処理〜第３のフィルタリング処理）に関する周波数特性（（ａ）参照）及びゲイン例（（ｂ）参照）を示す。
【図３３】図３３は、単峰型分布に基づいてフィルタ係数を算出するフィルタ算出部の機能構成の一例を示すブロック図である。
【図３４】図３４は、多峰型分布に分類可能な画像フィルタ処理の周波数特性の一例を概略的に示す図であり、横軸は周波数を示し、縦軸はレスポンスを示す。
【図３５】図３５は、図３４に示される複数種類の画像フィルタ処理の周波数特性の分散の一例を概略的に示す図であり、（ａ）は第１のバラツキ分布に分類される第１の画像フィルタ処理〜第３の画像フィルタ処理の周波数特性データの分散を示し、（ｂ）は第２のバラツキ分布に分類される第４の画像フィルタ処理〜第６の画像フィルタ処理の周波数特性データの分散を示す。
【図３６】図３６は、第１のバラツキ分布に分類される第１の画像フィルタ処理〜第３の画像フィルタ処理の周波数特性の平均及び分散から取得される基底フィルタ（固有ベクトル）の一例を概略的に示す図であり、（ａ）は「φ０」を示し、（ｂ）は「φ１」を示し、（ｃ）は「φ２」を示す。
【図３７】図３７は、第２のバラツキ分布に分類される第４の画像フィルタ処理〜第６の画像フィルタ処理の周波数特性の平均及び分散から取得される基底フィルタ（固有ベクトル）の一例を概略的に示す図であり、（ａ）は「φ０」を示し、（ｂ）は「φ１」を示し、（ｃ）は「φ２」を示す。
【図３８】図３８は、図１０に示す回路構成を有するフィルタリング処理部が行う画像フィルタ処理（第１のフィルタリング処理〜第３のフィルタリング処理）に関する周波数特性（（ａ）参照）及びゲイン例（（ｂ）参照）を示す。
【図３９】図３９は、多峰型分布に基づいてフィルタ係数を算出するフィルタ算出部の機能構成の一例を示すブロック図である。
【図４０】図４０は、フィルタグループ分類部によって複数のフィルタグループに分類される複数種類の画像フィルタ処理（周波数特性）の概念図である。
【図４１】図４１は、設計値から導き出される「光学系（レンズ）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。
【図４２】図４２は、実測値から導き出される「光学系（レンズ）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。
【図４３】図４３は、図４１に示すＭＴＦに基づいてフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行う場合の「画像フィルタ処理に関するＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。
【図４４】図４４は、図４２に示すＭＴＦに基づいてフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行う場合の「画像フィルタ処理に関するＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。
【図４５】図４５は、図４２に示すＭＴＦに基づいてフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行う場合の「光学系（レンズ）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。
【図４６】図４６は、図４２に示すＭＴＦに基づいて下述の点像復元処理及び輪郭強調処理を組み合わせて行う場合の「光学系（レンズ）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。
【図４７】図４７は、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理を行う回路と輪郭強調フィルタを使ったフィルタリング処理を行う回路とが直列的に接続されるケースの一例を示す回路構成図である。
【図４８】図４８は、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理を行う回路と輪郭強調フィルタを使ったフィルタリング処理を行う回路とが並列的に接続されるケースの一例を示す回路構成図である。
【図４９】図４９は、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理を行う回路と輪郭強調フィルタを使ったフィルタリング処理を行う回路とが並列的に接続されるケースの一例を示す回路構成図である。
【図５０】図５０は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。
【図５１】図５１は、ＥＤｏＦ光学系の一例を示す図である。
【図５２】図５２は、図５０に示す復元処理ブロックによる復元処理フローの一例を示す図である。
【図５３】図５３は、ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のボケた画像を示し、（ｂ）は復元処理後のボケが解消された画像（点像）を示す。
【図５４】図５４は、スマートフォンの外観を示す図である。
【図５５】図５５は、図５４に示すスマートフォンの構成を示すブロック図である。
【発明を実施するための形態】
【００９９】
添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する場合について説明する。
【０１００】
図１は、コンピュータ９２に接続されるデジタルカメラ１０を示すブロック図である。
【０１０１】
本例のデジタルカメラ１０は、交換可能なレンズユニット１１と、撮像素子２４を具備するカメラ本体１２とを備え、レンズユニット１１のレンズユニット入出力部２０とカメラ本体１２のカメラ本体入出力部２８とを介し、レンズユニット１１とカメラ本体１２とが電気的に接続される。
【０１０２】
レンズユニット１１は、レンズ１４及び絞り１５を含む光学系と、この光学系を制御する光学系操作部１７とを具備する。光学系操作部１７は、レンズユニット入出力部２０に接続されるレンズユニットコントローラ１８と、光学系情報等の各種情報を記憶するレンズユニット記憶部１９と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ１８は、カメラ本体１２からレンズユニット入出力部２０を介して送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えばレンズ移動によるフォーカス制御やズーム制御及び絞り１５の絞り量制御等を行う。またレンズユニットコントローラ１８は、カメラ本体１２からレンズユニット入出力部２０を介して送られてくる制御信号に基づき、レンズユニット記憶部１９に記憶される各種情報を読み出してカメラ本体１２（本体コントローラ２５）に送信する。
【０１０３】
カメラ本体１２の撮像素子２４は、集光用マイクロレンズと、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等によって構成されるイメージセンサ（フォトダイオード）とを有する。この撮像素子２４は、レンズユニット１１の光学系（レンズ１４及び絞り１５等）を介して照射される被写体像の光を電気信号に変換し、画像信号（画像データ）を本体コントローラ２５に送る。
【０１０４】
本体コントローラ２５は、詳細については後述するが（図２参照）、デジタルカメラ１０の各部を統括的に制御するデバイス制御部としての機能と、撮像素子２４から送られてくる画像データの画像処理を行う画像処理部（画像処理装置）としての機能とを有する。
【０１０５】
デジタルカメラ１０は、さらに、撮影等に必要なその他の機器類（レリーズボタン等）を具備し、それらの機器類の一部はユーザによって確認及び操作可能なユーザインターフェース２６を構成する。図１に示す例ではカメラ本体１２にユーザインターフェース２６が設けられているが、ユーザインターフェース２６はレンズユニット１１及び／又はカメラ本体１２に配置可能である。ユーザは、ユーザインターフェース２６を介し、撮影等のための各種設定（ＥＶ値（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）等）の決定及び変更、撮影指示、及びライブビュー画像及び撮影画像の確認等を行うことができる。ユーザインターフェース２６は本体コントローラ２５に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体コントローラ２５における各種処理に反映される。なお本実施形態では、後述するように、ユーザはユーザインターフェース２６に含まれる表示部２７（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ、背面液晶表示部）における表示を介してガイドされ、光学系（レンズ１４及び絞り１５等）の光学特性を検出するために使用される参照画像の撮影が促される。
【０１０６】
本体コントローラ２５において画像処理された画像データは、カメラ本体１２に設けられる本体記憶部２９に記憶され、必要に応じ、入出力インターフェース３０を介してコンピュータ９２等の外部機器類に送られる。本体記憶部２９は任意のメモリデバイスによって構成され、メモリカード等の交換可能メモリが好適に用いられる。本体コントローラ２５から出力される画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）、及び／又はＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）等のフォーマットを持つ画像データを、本体コントローラ２５は生成及び出力することができる。また本体コントローラ２５は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて一つの画像ファイルとして構成し、その画像ファイルを出力してもよい。
【０１０７】
コンピュータ９２は、カメラ本体１２の入出力インターフェース３０及びコンピュータ入出力部９３を介してデジタルカメラ１０に接続され、カメラ本体１２から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ９４は、コンピュータ９２を統括的に制御し、デジタルカメラ１０からの画像データを画像処理し、インターネット等のネットワーク９６を介してコンピュータ入出力部９３に接続されるサーバ９７等との通信を制御する。コンピュータ９２はディスプレイ９５を有し、コンピュータコントローラ９４における処理内容等が必要に応じてディスプレイ９５に表示される。ユーザは、ディスプレイ９５の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ９４にデータやコマンドを入力することができる。これによりユーザは、コンピュータ９２や、コンピュータ９２に接続される機器類（デジタルカメラ１０及びサーバ９７等）を制御することができる。
【０１０８】
サーバ９７は、サーバ入出力部９８及びサーバコントローラ９９を有する。サーバ入出力部９８は、コンピュータ９２等の外部機器類との送受信接続部を構成し、インターネット等のネットワーク９６を介してコンピュータ９２のコンピュータ入出力部９３に接続される。サーバコントローラ９９は、コンピュータ９２からの制御指示信号に応じ、コンピュータコントローラ９４と協働し、コンピュータコントローラ９４との間で必要に応じてデータ類の送受信を行い、演算処理を行ってその演算結果をコンピュータ９２に送信する。
【０１０９】
各コントローラ（レンズユニットコントローラ１８、本体コントローラ２５、コンピュータコントローラ９４及びサーバコントローラ９９）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等）やメモリ等を具備する。またデジタルカメラ１０、コンピュータ９２及びサーバ９７間の通信は、有線通信であってもよいし無線通信であってもよい。またコンピュータ９２及びサーバ９７が一体的に構成されてもよく、またコンピュータ９２及び／又はサーバ９７が省略されてもよい。またデジタルカメラ１０にサーバ９７との通信機能を持たせ、デジタルカメラ１０とサーバ９７との間で直接的にデータ類の送受信が行われるようにしてもよい。
【０１１０】
図２は、本体コントローラ２５の構成例を示すブロック図である。本体コントローラ２５は、デバイス制御部３４と画像処理部（画像処理装置）３５とを有し、カメラ本体１２を統括的に制御する。
【０１１１】
デバイス制御部３４はデジタルカメラ１０が具備する各種デバイス類を適宜制御し、例えば、撮像素子２４を制御して撮像素子２４からの画像信号（画像データ）の出力をコントロールし、レンズユニット１１を制御するための制御信号を生成してカメラ本体入出力部２８を介してレンズユニット１１（レンズユニットコントローラ１８）に送信し、画像処理前後の画像データ（ＲＡＷデータ及びＪＰＥＧデータ等）を本体記憶部２９に記憶し、入出力インターフェース３０を介して接続される外部機器類（コンピュータ９２等）に画像処理前後の画像データ（ＲＡＷデータ及びＪＰＥＧデータ等）を送信する。特に本例のデバイス制御部３４は表示部２７を制御する表示制御部３６を含み、この表示制御部３６は、後述のように画像処理部３５と協働してユーザの撮影操作を案内するガイドを表示部２７に表示させることができる。
【０１１２】
一方、画像処理部３５は、撮像素子２４から出力される画像信号に対し、必要に応じた任意の画像処理を行う。例えばセンサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリックス処理、及びガンマ変換処理等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理及び輪郭補正処理等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。
【０１１３】
図３は、画像処理部３５の機能構成の一例を示すブロック図である。
【０１１４】
画像処理部３５は、複数回のフィルタリング処理を含む画像フィルタ処理を原画像データＤ１に対して行うことで処理画像データＤ２を取得するフィルタリング処理部４１を備える。また本例の画像処理部３５は、フィルタリング処理部４１に加え、ゲイン特定部４３、ゲイン候補データ記憶部４４、前処理部４０及び後処理部４２を更に備える。
【０１１５】
フィルタリング処理部４１は、複数回のフィルタリング処理の各々において、処理対象データにフィルタを適用してフィルタ適用処理データを取得し、このフィルタ適用処理データにゲインを適用してゲイン適用処理データを取得し、このゲイン適用処理データからフィルタリング処理データを取得する。
【０１１６】
ゲイン候補データ記憶部４４は、フィルタリング処理部４１における複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインの候補データを光学系の個別の光学特性に関連付けた「ゲインテーブル情報」を記憶する。ゲインの候補データを含むこのゲインテーブル情報は、ゲイン取得部４５により、光学系の個別の光学特性に応じて予め取得されてゲイン候補データ記憶部４４に記憶される。光学系の個別の光学特性に応じたゲイン（候補データ）の取得手法の具体例については後述する。
【０１１７】
ゲイン特定部４３は、ゲイン候補データ記憶部４４に記憶されるゲインテーブル情報を参照し、画像フィルタ処理の対象となっている原画像データＤ１を取得する際に用いられた光学系の個別の光学特性に関連付けられている候補データを、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインとして特定し、フィルタリング処理部４１に送る。本例のゲイン特定部４３は、原画像データＤ１を取得した際に使用される光学系の個別の光学特性を取得し、その光学特性に関連付けられているゲインの候補データをゲイン候補データ記憶部４４から読み出して、フィルタ適用処理データに適用されるゲインとしてフィルタリング処理部４１に送る。なおゲイン特定部４３による光学系の個別の光学特性に関する情報の取得手法は特に限定されず、ゲイン特定部４３は、例えば本体コントローラ２５の図示しないメモリに保持されている撮影条件情報から、原画像データＤ１を取得した際に使用される個々の光学系を特定する情報を、光学系の個別の光学特性を間接的に示す情報として取得してもよい。
【０１１８】
フィルタリング処理部４１は、複数回のフィルタリング処理の各々において、ゲイン特定部４３が特定したゲインをフィルタ適用処理データに適用してゲイン適用処理データを取得する。
【０１１９】
画像処理部３５では、上述の画像フィルタ処理以外の画像処理も行われる。画像フィルタ処理以外の各種の画像処理は、フィルタリング処理部４１の前段に設けられる前処理部４０において行われてもよいし、フィルタリング処理部４１の後段に設けられる後処理部４２において行われてもよい。すなわち、前処理部４０で行われる各種の画像処理を受けたデータを原画像データＤ１としてフィルタリング処理部４１における画像フィルタ処理が行われ、またフィルタリング処理部４１における画像フィルタ処理を受けた処理画像データＤ２に対して後処理部４２で各種の画像処理が行われる。
【０１２０】
なお本例では、前処理部４０からフィルタリング処理部４１に入力される画像データを「原画像データＤ１」と呼び、フィルタリング処理部４１から後処理部４２に出力される画像データを「処理画像データＤ２」と呼ぶ。
【０１２１】
図４は、画像処理部３５の機能構成の他の例を示すブロック図である。
【０１２２】
図３に示す例では、ゲイン候補データ記憶部４４に予め記憶されたゲインテーブル情報が参照されてフィルタリング処理で使用されるゲインが取得されるが、図４に示す例では、ゲインテーブル情報（ゲインの候補データ）が予め取得及び記憶されることなく、フィルタリング処理の実行とともにゲインが取得される。すなわち図４に示す例では、ゲイン取得部４５がフィルタリング処理部４１に接続され、フィルタリング処理部４１で行われる複数回のフィルタリング処理で使用されるゲインがゲイン取得部４５からフィルタリング処理部４１に直接的に供給される。ゲイン取得部４５は、原画像データＤ１を取得する際に用いられた光学系の個別の光学特性を示すデータを取得し、その個別の光学特性を示すデータに基づいて画像フィルタ処理の目標とする周波数特性を特定し、特定されるその「画像フィルタ処理の目標とする周波数特性」に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得し、その取得したゲインをフィルタリング処理部４１に供給する。
【０１２３】
このゲイン取得部４５は、図４に示すように画像処理部３５の一部として設けられてもよいし、図５に示すように画像処理部３５とは別の処理部として設けられてもよい。
【０１２４】
なお図４及び図５に示す例においても、上述の画像フィルタ処理以外の画像処理が、フィルタリング処理部４１の前段に設けられる前処理部４０で行われてもよいし、フィルタリング処理部４１の後段に設けられる後処理部４２で行われてもよい。
【０１２５】
次に、フィルタリング処理部４１で行われる画像フィルタ処理（複数回のフィルタリング処理）の具体例について説明する。
【０１２６】
理想的には、同一の設計値に基づいて製造された複数の光学系の各々は、一定の光学特性を示すことが期待される。しかしながら実際には、同一の設計値に基づいて製造された光学系であっても、製造誤差等のために個体間でバラツキが生じ、必ずしも同じ光学特性を示すとは限らない。したがって光学特性に基づくフィルタを使って画像フィルタ処理を精度良く行うためには、同一の設計値に基づいて製造されたとしても複数の光学系の光学特性が同じであるとはみなさずに、個々の光学系の正確な光学特性を取得した上で個々の光学系に関するフィルタを個別に設計する必要がある。しかしながら個々の光学系の光学特性に基づいて実際に使用されるフィルタを構築するには、多大な演算処理が必要になり、またフィルタを記憶するための膨大な記憶容量を確保する必要がある。一般に、有限の複数タップによって構成されるＦＩＲフィルタを使って画像フィルタ処理（フィルタリング処理）を行う場合、個々の光学系の光学特性を取得した後、その光学特性に応じたフィルタの周波数特性が算出され、その後、そのフィルタの周波数特性を実現するためのタップ係数を算出する必要がある。これらの一連の処理は煩雑な演算を伴い、算出されるタップ係数のデータ量は膨大になるため、例えば短時間でタップ係数を算出することが求められるケースでは、高性能な演算処理回路及びメモリが必要とされる。
【０１２７】
画像フィルタ処理に必要なそのような演算処理の低負荷化及びデータ量の低減化を図るため、以下の実施形態では、個々の光学系の光学特性に応じた理想的なフィルタを構築する代わりに、複数回のフィルタリング処理を適用し、各フィルタリング処理で使用するゲインを光学系の個別の光学特性に応じて調整することで、原画像データの取得の際に使用される個々の光学系の光学特性に適合する画像フィルタ処理が実現される。
【０１２８】
なお、ここでいう個々の光学系の光学特性は、製造誤差等に起因して個々の光学系間で異なる光学特性のみに限定されるものではなく、例えば光学系の種別に応じて本来的に異なる光学特性であってもよい。すなわち光学系の個別の光学特性は、上述の製造誤差等によって個体間でバラつく光学特性には限られない。本発明は、種別毎に異なる光学特性を有する光学系を使用して取得された原画像データに対しても適用可能であり、光学系の個別の光学特性として、光学種別毎に異なる光学特性も含まれる。
【０１２９】
図６は、画像フィルタ処理Ｐの概念図である。本例の画像フィルタ処理Ｐは、複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ（ただし「Ｎ」は２以上の整数））を含む。この「複数回のフィルタリング処理を含む画像フィルタ処理Ｐ」によって、原画像データＤ１から処理画像データＤ２が生成される。
【０１３０】
図７は、第ｎのフィルタリング処理Ｆｎ（ただし「ｎ」は１以上Ｎ以下の整数）の概念図である。画像フィルタ処理Ｐの各フィルタリング処理（第ｎのフィルタリング処理Ｆｎ）は、フィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを含む。フィルタ適用処理ＰＦは、処理対象データＤ３にフィルタを適用してフィルタ適用処理データＤ４を取得する処理であり、ゲイン適用処理ＰＧは、フィルタ適用処理データＤ４にゲインを適用してゲイン適用処理データＤ５を取得する処理である。
【０１３１】
フィルタリング処理部４１によって行われる画像フィルタ処理Ｐに含まれる複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）の各々において、フィルタ適用処理ＰＦで処理対象データＤ３に適用されるフィルタは、特に限定されない。
【０１３２】
例えば、フィルタリング処理部４１は、複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）のうちの少なくともいずれか一つのフィルタリング処理において、光学系（レンズ１４及び絞り１５等）の推測される特性（光学特性）に応じて定められるフィルタを用いてフィルタ適用処理データＤ４を取得してもよい。
【０１３３】
そのような「光学系の推測される光学特性に応じて定められるフィルタ」として、例えば光学系（レンズ１４及び絞り１５等）の点拡がり関数に基づいて定められるフィルタを好適に使用することができる。例えば製造誤差に基づく光学系間の光学特性のバラツキを予め推測し、その推測される光学特性のバラツキをカバーするのに有効なフィルタを予め求めておき、その求められたフィルタがフィルタリング処理部４１における複数回のフィルタリング処理で用いられてもよい。光学系の光学特性のバラツキを推測する手法は特に限定されず、製造誤差に基づく光学系間の光学特性のバラツキは実験的に求められてもよいし、モデル化された関数を利用して求められてもよい。またフィルタの設計手法の一例については後述するが、ウィナーフィルタ等の任意の設計基準を利用した逆フィルタ設計手法でフィルタを設計することが可能である。
【０１３４】
またフィルタリング処理部４１は、光学系（レンズ１４及び絞り１５等）の点拡がり関数に基づく複数のフィルタであって、点拡がり関数の特性を左右するファクタを変えることで得られる複数のフィルタを、複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）で使用してもよい。点拡がり関数の特性を左右するファクタとして、例えば絞り値（Ｆ値）、ズーム値（焦点距離）、被写体距離、フォーカス位置、光学系種別、撮像素子２４のセンサＳＮ比、像高（画像内位置）及び光学系個体差などの撮影条件が挙げられる。これらのファクタのうち１又は複数のファクタの特性データが異なる点拡がり関数に基づいて導出されるフィルタが、各フィルタ適用処理ＰＦで用いられてもよい。
【０１３５】
なお「光学系の特性に応じて定められるフィルタ」は点拡がり関数に基づくフィルタに限られず、輪郭強調フィルタや他のフィルタを「光学系の特性に応じて定められるフィルタ」として使用してもよい。点拡がり関数に基づくフィルタ以外のフィルタ（輪郭強調フィルタ等）の場合であっても、種々の条件（例えば上述の絞り値（Ｆ値）等の各種ファクタ）に応じてフィルタ（輪郭強調フィルタ等）が調整されてもよく、種々の条件（例えば上述の絞り値（Ｆ値）等の各種ファクタ）に応じて変化する光学特性に基づいて調整されたフィルタ係数（タップ係数）を持つ輪郭強調フィルタ等のフィルタが、各フィルタ適用処理ＰＦで用いられてもよい。
【０１３６】
またフィルタリング処理部４１は、複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）のうちの少なくともいずれか一つのフィルタリング処理において、撮影により原画像データＤ１を取得する際に用いられた光学系（レンズ１４及び絞り１５等）の特性とは無関係に定められるフィルタを用いてフィルタ適用処理データＤ４を取得してもよい。そのような「光学系の特性とは無関係に定められるフィルタ」として、例えば輪郭強調フィルタを好適に使用することができる。
【０１３７】
またフィルタ適用処理ＰＦで用いられるフィルタは、処理対象データＤ３の画素位置に基づいて変えられてもよい。フィルタリング処理部４１は、複数回のフィルタリング処理
（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）のうちの少なくともいずれか一つのフィルタリング処理において、処理対象データＤ３における画素位置に応じた周波数特性を持つフィルタを用いてフィルタ適用処理データＤ４を取得してもよい。また処理対象データＤ３の画素位置に依らず、同一のフィルタが処理対象データＤ３に適用されてもよい。フィルタリング処理部４１は、複数回のフィルタリング処理のうちの少なくともいずれか一つのフィルタリング処理において、処理対象データＤ３における画素位置とは無関係の周波数特性を持つフィルタを用いてフィルタ適用処理データＤ４を取得してもよい。
【０１３８】
一方、画像フィルタ処理Ｐにおける複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）の各々においてゲイン適用処理ＰＧでフィルタ適用処理データＤ４に適用されるゲインは、原画像データＤ１を取得する際に用いられた光学系の個別の光学特性に基づいて特定される「画像フィルタ処理Ｐの目標とする周波数特性」に基づいて取得される。例えば、撮影により原画像データＤ１を取得する際に用いられた光学系（レンズ１４及び絞り１５等）の点拡がり関数（光学伝達関数）に基づく周波数特性によって、画像フィルタ処理Ｐの目標とする周波数特性を表すことができ、ウィナーフィルタ等の任意の設計基準を利用した逆フィルタ設計手法を用いることが可能である。このゲインの取得手法の詳細については後述する。
【０１３９】
なお、画像フィルタ処理Ｐの目標とする周波数特性は、光学系（レンズ１４及び絞り１５等）の点拡がり関数（光学伝達関数）に基づく周波数特性に限られず、光学系（レンズ１４及び絞り１５等）の撮影条件（上述の絞り値（Ｆ値）等の各種ファクタ）に基づいて導き出される各種の周波数特性を「画像フィルタ処理Ｐの目標とする周波数特性」とすることができる。したがって、例えば「絞り値（Ｆ値）に応じてピークが異なる周波数特性」が「画像フィルタ処理Ｐの目標とする周波数特性」に設定されてもよい。
【０１４０】
次に、画像フィルタ処理Ｐ（複数回のフィルタリング処理）を行う回路構成例について説明する。
【０１４１】
画像フィルタ処理Ｐを構成するフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）の数Ｎは、従来通りの手法でファクタに応じてフィルタを設計した場合のフィルタの総数Ｍより少ないことが好ましい。望ましくはＭの５０％以下、更に望ましくは３０％以下、更に望ましくは１０％以下となるように、画像フィルタ処理Ｐを構成するフィルタリング処理の数Ｎが設定される。但し画像フィルタ処理Ｐを構成するフィルタリング処理の数Ｎは、複数回のフィルタリング処理に使用されるフィルタのうちタップ数が最も大きいフィルタのタップ数（最大タップ数）が上限となる。これは、フィルタのタップ数以上にはフィルタの種類を増やせないためである。
【０１４２】
なお画像フィルタ処理Ｐを構成するフィルタリング処理の数Ｎは、望ましくは１０以下であり、更に望ましくは６以下であり、更に望ましくは４以下であるが、フィルタリング処理の数Ｎの具体的な数値例はこれらに限られない。また、画像フィルタ処理Ｐを構成する複数回のフィルタリング処理（フィルタリング処理部４１）で使用される複数のフィルタのタップ数は、フィルタ間で相互に同じであってもよいし異なっていてもよい。
【０１４３】
図８〜図１１に関する以下の説明では、便宜上「Ｎ＝２」と仮定して、フィルタリング処理部４１で行われる複数回のフィルタリング処理が第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２によって構成されるケースについて説明する。ただし、「Ｎ」が３以上の整数であり、３回以上のフィルタリング処理がフィルタリング処理部４１で行われる場合も、同様の設計手法でフィルタリング処理部４１を実現することが可能である。
【０１４４】
図８は、フィルタリング処理部４１の回路構成の一例を示す図である。図８には、第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ（ただし本例では「Ｎ＝２」）の各々を行う回路が直列的に接続されるケースの一例が示されている。
【０１４５】
本例のフィルタリング処理部４１は、第１のフィルタリング処理Ｆ１で取得されるフィルタリング処理データＤ６−１を、第２のフィルタリング処理Ｆ２における処理対象データＤ３−２として用いる。すなわちフィルタリング処理部４１は、第１のフィルタ適用部４８−１、第１のゲイン適用部４９−１及び第１の処理データ算出部５０−１を有し、これらによって第１のフィルタリング処理Ｆ１が行われる。またフィルタリング処理部４１は、第２のフィルタ適用部４８−２、第２のゲイン適用部４９−２及び第２の処理データ算出部５０−２を有し、これらによって第２のフィルタリング処理Ｆ２が行われる。
【０１４６】
第１のフィルタ適用部４８−１は、第１のフィルタリング処理Ｆ１の処理対象データＤ３−１に対して第１のフィルタリング処理用のフィルタを適用し、フィルタ適用処理データＤ４−１を取得する。第１のゲイン適用部４９−１は、第１のフィルタ適用部４８−１から出力されるフィルタ適用処理データＤ４−１に対して第１のフィルタリング処理用のゲインｇ０を適用し、ゲイン適用処理データＤ５−１を取得する。同様に、第２のフィルタ適用部４８−２は、第２のフィルタリング処理Ｆ２の処理対象データＤ３−２に対して第２のフィルタリング処理用のフィルタを適用し、フィルタ適用処理データＤ４−２を取得する。第２のゲイン適用部４９−２は、第２のフィルタ適用部４８−２から出力されるフィルタ適用処理データＤ４−２に対して第２のフィルタリング処理用のゲインｇ１を適用し、ゲイン適用処理データＤ５−２を取得する。
【０１４７】
なお、各フィルタリング処理で使われるフィルタは、各フィルタ適用部４８（第１のフィルタ適用部４８−１及び第２のフィルタ適用部４８−２）によって保持されていてもよいし、図示しないメモリに記憶されて各フィルタ適用部４８により適宜読み出されてもよい。また各フィルタリング処理で使われるゲインは、図３に示すゲイン特定部４３や図４及び図５に示すゲイン取得部４５によって各ゲイン適用部４９（第１のゲイン適用部４９−１及び第２のゲイン適用部４９−２）に供給されてもよい。
【０１４８】
また本例のフィルタリング処理部４１は、処理対象データＤ３とゲイン適用処理データＤ５とを加算してフィルタリング処理データＤ６を出力する第１の処理データ算出部５０−１及び第２の処理データ算出部５０−２を更に有する。すなわち第１の処理データ算出部５０−１は、第１のゲイン適用部４９−１から出力されるゲイン適用処理データＤ５−１に処理対象データＤ３−１を加算してフィルタリング処理データＤ６−１を出力する。同様に第２の処理データ算出部５０−２は、第２のゲイン適用部４９−２から出力されるゲイン適用処理データＤ５−２に処理対象データＤ３−２を加算してフィルタリング処理データＤ６−２を出力する。
【０１４９】
なお第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２によって画像フィルタ処理Ｐが構成される本例では、第１のフィルタリング処理Ｆ１における処理対象データＤ３−１は原画像データＤ１であり、第２のフィルタリング処理Ｆ２におけるフィルタリング処理データＤ６−２は処理画像データＤ２となる。
【０１５０】
図９は、フィルタリング処理部４１の回路構成の他の例を示す図である。図９には、第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ（ただし本例では「Ｎ＝２」）の各々を行う回路が並列的に接続されるケースの一例が示されている。
【０１５１】
本例では第１のフィルタリング処理Ｆ１に関する第１のフィルタ適用部４８−１と第１のゲイン適用部４９−１とが直列的に接続され、第２のフィルタリング処理Ｆ２に関する第２のフィルタ適用部４８−２と第２のゲイン適用部４９−２とが直列的に接続される。また「第１のフィルタリング処理Ｆ１に関する第１のフィルタ適用部４８−１及び第１のゲイン適用部４９−１」と「第２のフィルタリング処理Ｆ２に関する第２のフィルタ適用部４８−２及び第２のゲイン適用部４９−２」とが並列的に接続される。またフィルタリング処理部４１は、第１のゲイン適用部４９−１から出力されるゲイン適用処理データＤ５−１と第２のゲイン適用部４９−２から出力されるゲイン適用処理データＤ５−２とを加算する加算器５２を有する。さらに全てのフィルタリング処理（本例では第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２）において取得されるゲイン適用処理データＤ５（フィルタリング処理データＤ６）が加算されることで得られる加算データＤ７と、処理対象データＤ３とを加算することで処理画像データＤ２を取得する処理画像データ算出部５１が設けられている。
【０１５２】
この図９に示す回路構成を有する本例のフィルタリング処理部４１は、第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２では同一データ（すなわち原画像データＤ１）を処理対象データＤ３として使用する。またフィルタリング処理部４１は、第１のフィルタリング処理Ｆ１で取得されるフィルタリング処理データＤ６−１と第２のフィルタリング処理Ｆ２で取得されるフィルタリング処理データＤ６−２とに基づいて、処理画像データＤ２を取得する。なお本例では、各フィルタリング処理のゲイン適用部４９から出力されるゲイン適用処理データＤ５が、各フィルタリング処理において得られるフィルタリング処理データＤ６となる。
【０１５３】
図１０は、フィルタリング処理部４１の回路構成の他の例を示す図である。図１０には、第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ（ただし本例では「Ｎ＝２」）の各々を行う回路が並列的に接続される他の例が示されている。
【０１５４】
本例も、図９に示す例と同様に、第１のフィルタリング処理Ｆ１に関する第１のフィルタ適用部４８−１と第１のゲイン適用部４９−１とが直列的に接続され、第２のフィルタリング処理Ｆ２に関する第２のフィルタ適用部４８−２と第２のゲイン適用部４９−２とが直列的に接続される。また「第１のフィルタリング処理Ｆ１に関する第１のフィルタ適用部４８−１及び第１のゲイン適用部４９−１」と「第２のフィルタリング処理Ｆ２に関する第２のフィルタ適用部４８−２及び第２のゲイン適用部４９−２」とが並列的に接続される。したがって本例のフィルタリング処理部４１も、第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２では同一データ（すなわち原画像データＤ１）を処理対象データＤ３として使用する。
【０１５５】
ただし本例では、全てのフィルタリング処理（本例では第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２）において取得されるゲイン適用処理データＤ５（フィルタリング処理データＤ６）が処理画像データ算出部５１によって加算されることで、処理画像データＤ２が取得される。すなわちフィルタリング処理部４１は、処理画像データ算出部５１において、第１のフィルタリング処理Ｆ１で取得されるフィルタリング処理データＤ６−１と第２のフィルタリング処理Ｆ２で取得されるフィルタリング処理データＤ６−２とを加算することで処理画像データＤ２を取得する。なお本例においても、各フィルタリング処理のゲイン適用部４９から出力されるゲイン適用処理データＤ５が、各フィルタリング処理において得られるフィルタリング処理データＤ６となる。
【０１５６】
また本例の画像フィルタ処理Ｐ（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）は処理対象画像の明るさ（ＤＣ（Ｄｉｒｅｃｔ  Ｃｕｒｒｅｎｔ）成分）の変化を防ぐため、周波数（ω）が０の場合のフィルタレスポンスが１に設定され（φｎ（０）＝１）に設定され、任意のゲインに関して明るさが一定に調整されることが好ましい。
【０１５７】
上述の図８〜図１０に示す例では、複数回のフィルタリング処理の各々に関して別個の「フィルタ適用部４８及びゲイン適用部４９」が設けられるが、共通の「フィルタ適用部４８及びゲイン適用部４９」によって複数回のフィルタリング処理が行われてもよい。
【０１５８】
図１１は、フィルタリング処理部４１の回路構成の他の例を示す図である。図１１には、単一のフィルタ適用部４８及び単一のゲイン適用部４９によって複数回のフィルタリング処理を行う回路構成の例が示されている。図１１に示す回路構成例は、フィルタ適用処理ＰＦ及びゲイン適用処理ＰＧに関して上述の図８に示す直列接続タイプの回路構成と等価の機能を発揮するが、単一の「フィルタ適用部４８及びゲイン適用部４９」によって複数回のフィルタリング処理が行われる点で図８に示す回路構成とは異なる。
【０１５９】
すなわち本例のフィルタリング処理部４１は、処理対象データＤ３にフィルタを適用してフィルタ適用処理データＤ４を取得するフィルタ適用部４８と、フィルタ適用処理データＤ４にゲインを適用してゲイン適用処理データＤ５を取得するゲイン適用部４９とを有する。またフィルタリング処理部４１は、ゲイン適用処理データＤ５と処理対象データＤ３とを加算してフィルタリング処理データＤ６を取得する処理データ算出部５０と、フィルタ適用部４８、ゲイン適用部４９及び処理データ算出部５０における演算処理の繰り返しの要否を判定する繰り返し演算判定部５４とを有する。
【０１６０】
繰り返し演算判定部５４は、フィルタ適用部４８、ゲイン適用部４９及び処理データ算出部５０によるフィルタリング処理の回数が予め定められるＮ回（本例では「Ｎ＝２」）に達したか否かを判定する。フィルタ適用部４８、ゲイン適用部４９及び処理データ算出部５０によるフィルタリング処理の回数がＮ回に達していない場合、繰り返し演算判定部５４は、処理データ算出部５０から出力されるフィルタリング処理データＤ６をフィードバックする。フィルタリング処理データＤ６がフィードバックされると、フィルタ適用部４８、ゲイン適用部４９及び処理データ算出部５０は、フィードバックされたフィルタリング処理データＤ６を新たな処理対象データＤ３として、一連の処理を繰り返す。フィルタ適用部４８、ゲイン適用部４９及び処理データ算出部５０によるフィルタリング処理の回数がＮ回に達した場合、繰り返し演算判定部５４は、処理データ算出部５０から最終的に出力されるフィルタリング処理データＤ６を処理画像データＤ２として出力する。
【０１６１】
本例において、フィルタ適用部４８で使用されるフィルタｈｎはフィルタ供給部５６からフィルタ適用部４８に供給され、ゲイン適用部４９で使用されるゲインｇｎはゲイン供給部５５からゲイン適用部４９に供給される。すなわち「ｎ回目のフィルタリング処理（ただし「１≦ｎ≦Ｎ」）で使用されるフィルタｈｎ−１及びゲインｇｎ−１の情報」がフィルタ供給部５６及びゲイン供給部５５において保持され、或いは図示しないメモリに保持されている。フィルタ供給部５６及びゲイン供給部５５は、繰り返し演算判定部５４から「次にフィルタ適用部４８、ゲイン適用部４９及び処理データ算出部５０において行われるフィルタリング処理がｎ回目である」という情報が送られ、その繰り返し演算判定部５４からの情報に基づいてフィルタ適用部４８及びゲイン適用部４９にフィルタｈｎ−１及びゲインｇｎ−１を供給する。
【０１６２】
したがって図１１に示すフィルタ適用部４８は、第１のフィルタリング処理Ｆ１では第１のフィルタリング処理用フィルタｈ０を用いてフィルタ適用処理データＤ４を取得し、第２のフィルタリング処理Ｆ２では第２のフィルタリング処理用フィルタｈ１を用いてフィルタ適用処理データＤ４を取得する。またゲイン適用部４９は、第１のフィルタリング処理Ｆ１では第１のフィルタリング処理用のゲインｇ０を用いてゲイン適用処理データＤ５を取得し、第２のフィルタリング処理Ｆ２では第２のフィルタリング処理用のゲインｇ
１を用いてゲイン適用処理データＤ５を取得する。
【０１６３】
なお、ゲイン適用部４９にゲインを供給するゲイン供給部５５は、画像処理部３５が図３に示すシステム構成を有する場合にはゲイン特定部４３によって構成され、また画像処理部３５が図４又は図５に示すシステム構成を有する場合にはゲイン取得部４５によって構成される。
【０１６４】
上述の図８〜図１１に示す回路構成は例に過ぎず、複数回のフィルタリング処理を行うフィルタリング処理部４１は様々な回路構成によって実現可能であり、具体的な回路構成は特に限定されない。
【０１６５】
例えば図１１には単一の「フィルタ適用部４８及びゲイン適用部４９」によって図８に示す直列接続タイプと同等のフィルタリング処理（画像フィルタ処理Ｐ）を行う回路構成例が示されているが、同様に、単一の「フィルタ適用部４８及びゲイン適用部４９」を有する回路構成によって、図９又は図１０に示す並列接続タイプと同等のフィルタリング処理（画像フィルタ処理Ｐ）が行われてもよい。
【０１６６】
また図８に示す直列接続タイプの回路構成において、第１の処理データ算出部５０−１及び第２の処理データ算出部５０−２が省略されてもよい。すなわち第１のゲイン適用部４９−１から出力されるゲイン適用処理データＤ５−１を、第１のフィルタリング処理Ｆ１のフィルタリング処理データＤ６−１及び第２のフィルタリング処理Ｆ２の処理対象データＤ３−２としてもよく、第２のゲイン適用部４９−２から出力されるゲイン適用処理データＤ５−２を、第２のフィルタリング処理Ｆ２のフィルタリング処理データＤ６−２及び処理画像データＤ２としてもよい。同様に、図１１に示す回路構成において処理データ算出部５０が省略されてもよく、ゲイン適用部４９から出力されるゲイン適用処理データＤ５をフィルタリング処理データＤ６としてもよい。
【０１６７】
＜ゲイン決定手法＞
次に、ゲイン適用部４９（第１のゲイン適用部４９−１〜第Ｎのゲイン適用部４９−Ｎ）で用いられるゲインの決定手法について説明する。
【０１６８】
図１２は、ゲイン取得部４５の機能構成の一例を示すブロック図であり、図３に示す画像処理部３５と好適に組み合わせられるゲイン取得部４５を示す。本例のゲイン取得部４５は、参照画像取得部６０、参照画像解析部６１、目標周波数特性取得部６２及び適用ゲイン算出部６３を有する。
【０１６９】
参照画像取得部６０は、画像フィルタ処理Ｐの対象となる原画像データＤ１を取得する際に用いられた光学系の個別の光学特性が反映された参照画像データを取得する。参照画像取得部６０による参照画像データの取得手法は、特に限定されない。例えば後述のように、測定対象の光学系を含むレンズユニット１１をカメラ本体１２に装着した状態でユーザをガイドして撮影を行うことで、撮像素子２４から参照画像取得部６０に参照画像データが入力されてもよい。また測定対象の光学系を含むレンズユニット１１を使った撮影が予め行われて取得された参照画像データがメモリ（図１に示す本体記憶部２９等）に保存されている場合、参照画像取得部６０は測定対象の光学系に関する参照画像データをそのメモリから読み出してもよい。
【０１７０】
なお参照画像データの被写体は特に限定されず、特定の形状、模様及び色を有する被写体の撮影により参照画像データが取得されてもよいし、不特定の形状、模様及び色を有する被写体の撮影により参照画像データが取得されてもよい。特定の形状、模様及び色を有する被写体の撮影により参照画像データを取得する場合、参照画像取得部６０は、後述のようにデバイス制御部３４（表示制御部３６等）と協働して表示部２７における表示等をコントロールし、ユーザをガイドしてそのような被写体の撮影の誘導を行うことが好ましい。また不特定の形状、模様及び色を有する被写体の撮影により参照画像データを取得する場合、参照画像取得部６０は、本体記憶部２９に保存されている過去の撮影画像データを解析し、測定対象の光学系を含むレンズユニット１１を使って取得されたデータであって、参照画像データとして好ましい画像特性を有するデータを過去の撮影画像データの中から選択して参照画像データとして特定してもよい。
【０１７１】
参照画像解析部６１は、参照画像取得部６０によって取得される参照画像データの解析を行って、原画像データＤ１を取得する際に用いられる光学系の個別の光学特性を取得する。具体的には、参照画像解析部６１は参照画像データの周波数解析を行い、測定対象の光学系の個別の光学特性として例えば点拡がり関数（光学伝達関数）が取得されてもよい。
【０１７２】
目標周波数特性取得部６２は、参照画像解析部６１が取得する光学系の個別の光学特性に基づいて、その光学系を使って撮影取得される原画像データＤ１の画像フィルタ処理Ｐにおいて目標とする周波数特性を特定する。例えば画像フィルタ処理Ｐが光学系の点拡がり現象をキャンセルすることを意図する点像復元処理の場合、目標周波数特性取得部６２は、参照画像解析部６１が取得した光学系の個別の点拡がり関数（光学伝達関数）に基づいて、ウィナーフィルタ等の任意の設計基準を利用した逆フィルタ設計手法でフィルタを構築することで画像フィルタ処理Ｐの目標とする周波数特性を取得してもよい。
【０１７３】
適用ゲイン算出部６３は、目標周波数特性取得部６２が特定する「画像フィルタ処理Ｐの目標とする周波数特性」に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲイン（候補データ）を取得する。適用ゲイン算出部６３によるゲインの取得手法は特に限定されず、例えば最小二乗法によってゲインを算出することができる。すなわち適用ゲイン算出部６３は、目標周波数特性取得部６２が特定した「画像フィルタ処理Ｐの目標とする周波数特性」に対し、複数回のフィルタリング処理の各々の周波数特性に基づいて最小二乗法で画像フィルタ処理Ｐの周波数特性をフィッティングすることで、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得してもよい。
【０１７４】
適用ゲイン算出部６３は、取得したゲインを「ゲインの候補データ」としてゲイン候補データ記憶部４４に記憶する。ゲインの候補データは、画像フィルタ処理Ｐの目標とする周波数特性に関係付けられたゲイン選定条件と関連付けられた状態で、ゲイン候補データ記憶部４４に記憶されることが好ましい。ゲイン選定条件としては、画像フィルタ処理Ｐの目標とする周波数特性に影響を及ぼしうる各種ファクタを示す特性データが好適に用いられる。したがって画像フィルタ処理Ｐの目標とする周波数特性が「撮影により原画像データＤ１を取得する際に用いられた光学系（レンズ１４及び絞り１５等）の点拡がり関数（光学伝達関数）に基づく周波数特性」である場合、その点拡がり関数に影響を及ぼす各種ファクタ（例えば原画像データＤ１を取得するための撮影の際の絞り値（Ｆ値）、ズーム値（焦点距離）、被写体距離、フォーカス位置、光学系種別、撮像素子２４のセンサＳＮ比、像高（画像内位置）及び光学系個体差などの撮影条件）に関する特性データが、「ゲイン選定条件」としてゲインの候補データと関連付けられうる。
【０１７５】
このようにゲインの候補データをゲイン選定条件と関連付けてゲイン候補データ記憶部４４に記憶する場合、参照画像取得部６０は複数のゲイン選定条件下で撮影取得された複数の参照画像データを取得することが好ましく、参照画像解析部６１は複数のゲイン選定条件下で撮影取得された複数の参照画像データを解析して光学特性を取得することが好ましい。また目標周波数特性取得部６２は複数のゲイン選定条件下での光学特性から複数のゲイン選定条件に関する画像フィルタ処理Ｐの目標とする周波数特性を取得することが好ましく、適用ゲイン算出部６３は複数のゲイン選定条件に関連付けられるゲインを取得し、そのゲインを対応のゲイン選定条件と関連付けてゲイン候補データ記憶部４４に記憶することが好ましい。
【０１７６】
図１３は、図１２に示すゲイン取得部４５のゲイン取得フローを示すフローチャートである。本例では上述のように、まず測定対象の光学系（レンズユニット１１）を使って撮影取得された参照画像データが参照画像取得部６０により取得され（図１３のＳ１１）、参照画像解析部６１によってその参照画像データの解析が行われて測定対象の光学系の個別の光学特性が取得される（Ｓ１２）。そして測定対象の光学系の個別の光学特性から画像フィルタ処理Ｐの目標とする周波数特性が目標周波数特性取得部６２により取得され（Ｓ１３）、その目標とする周波数特性からゲインの候補データが適用ゲイン算出部６３により取得される（Ｓ１４）。
【０１７７】
このようにして取得されたゲインの候補データは、測定対象の光学系の個別の光学特性に関連付けた「ゲインテーブル情報」として、適用ゲイン算出部６３によりゲイン候補データ記憶部４４に記憶される（Ｓ１５）。これによりゲイン特定部４３は、ゲイン候補データ記憶部４４に記憶されるゲインの候補データの中から、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを特定し、その特定したゲインをフィルタリング処理部４１に送ることができる。
【０１７８】
図１４は、ゲイン取得部４５の機能構成の他の例を示すブロック図であり、図４及び図５に示す画像処理部３５と好適に組み合わせられるゲイン取得部４５を示す。本例のゲイン取得部４５は目標周波数特性取得部６２及び適用ゲイン算出部６３を有し、目標周波数特性取得部６２は、画像フィルタ処理Ｐの目標とする周波数特性を周波数解析部６６の周波数特性記憶部６８から取得する。
【０１７９】
周波数解析部６６は、参照画像取得部６０、参照画像解析部６１、目標周波数特性特定部６７及び周波数特性記憶部６８を有する。本例の参照画像取得部６０及び参照画像解析部６１は、図１２に示す上述の参照画像取得部６０及び参照画像解析部６１と同様に、参照画像データを取得し、原画像データＤ１を取得する際に用いられる光学系の個別の光学特性を取得する。また本例の目標周波数特性特定部６７は、図１２に示す上述の目標周波数特性取得部６２と同様に、参照画像解析部６１が取得した光学系の個別の光学特性に基づいて、その光学系を使って撮影取得される原画像データＤ１の画像フィルタ処理Ｐにおいて目標とする周波数特性を特定する。
【０１８０】
ただし本例の目標周波数特性特定部６７は、特定した画像フィルタ処理Ｐの目標とする周波数特性に関するデータを、対応の光学系のデータと関連付けて周波数特性記憶部６８に記憶する。ここでいう「対応の光学系のデータ」は、測定対象の個々の光学系を特定することが可能な任意のデータであって、例えば個々の光学系に割り当てられるＩＤ番号等によって表されうる。
【０１８１】
本例の目標周波数特性取得部６２は、フィルタリング処理部４１における画像フィルタ処理Ｐの対象となっている原画像データＤ１の撮影に使用した光学系のＩＤ番号（対応の光学系のデータ）を取得し、そのＩＤ番号に基づいて原画像データＤ１の撮影に使用した光学系に関連付けられている画像フィルタ処理Ｐの目標とする周波数特性に関するデータを周波数特性記憶部６８から取得する。適用ゲイン算出部６３は、目標周波数特性取得部６２が特定した「画像フィルタ処理Ｐの目標とする周波数特性」に基づいて、複数回のフィルタリング処理の各々においてフィルタ適用処理データに適用されるゲインを取得してフィルタリング処理部４１に供給する。
【０１８２】
このように本例のゲイン取得部４５は、原画像データＤ１の撮影に使用した光学系に関する「画像フィルタ処理Ｐの目標とする周波数特性」を周波数特性記憶部６８から読み出してゲインを取得する。したがって、周波数解析部６６における「画像フィルタ処理Ｐの目標とする周波数特性を取得するための処理」と、ゲイン取得部４５における「フィルタリング処理部４１で実際に使用するゲインを取得するための処理」とを分離することができる。
【０１８３】
図１５は、図１４に示す周波数解析部６６の周波数特性取得フローを示すフローチャートである。本例では上述のように、まず測定対象の光学系を使って撮影取得された参照画像データが参照画像取得部６０により取得され（図１５のＳ２１）、参照画像解析部６１によってその参照画像データの解析が行われて測定対象の光学系の個別の光学特性が取得される（Ｓ２２）。そして目標周波数特性特定部６７によって測定対象の光学系の個別の光学特性から画像フィルタ処理Ｐの目標とする周波数特性が特定され（Ｓ２３）、周波数特性記憶部６８に記憶される（Ｓ２４）。
【０１８４】
図１６は、図１４に示すゲイン取得部４５のゲイン取得フローを示すフローチャートである。本例では上述のように、まずフィルタリング処理部４１における画像フィルタ処理Ｐの対象となっている原画像データＤ１の撮影に使用した光学系に関連付けられている画像フィルタ処理Ｐの目標とする周波数特性に関するデータが、目標周波数特性取得部６２によって周波数特性記憶部６８から取得される（図１６のＳ３１）。そして適用ゲイン算出部６３によって、その目標とする周波数特性からフィルタリング処理において使用されるゲインが取得され（Ｓ３２）、フィルタリング処理部４１に供給される（Ｓ３３）。
【０１８５】
＜ゲイン係数（ゲイン値ベクトル）の算出手法＞
以下、上述のゲイン取得部４５（特に適用ゲイン算出部６３）における演算処理の具体的な流れについて説明する。一例として、フィルタリング処理部４１が図１０に示す回路構成を有するケースについて主に説明するが、フィルタリング処理部４１が他の回路構成（図８〜９及び図１１参照）を有するケースについても同様の演算処理によってゲインを算出することが可能である。
【０１８６】
以下の方法は、周波数及び画像内の位置（画素位置）の各々に基づいて重み付けされた最小二乗基準を採用し、フィルタリング処理部４１によって行われる画像フィルタ処理Ｐ全体の周波数特性を、目標とする所望の周波数特性に近づけるように、ゲインを求める。
【０１８７】
図１０に示す回路構成において、第ｎのフィルタリング処理Ｆｎ（ただし「１≦ｎ≦Ｎ」）を行うフィルタ適用部４８−ｎで使用されるフィルタの周波数特性を「φｎ−１（ω）」で表し、ゲイン適用部４９−ｎで使用されるゲインを「ｇｎ−１」で表すと、第ｎのフィルタリング処理Ｆｎの周波数特性は「ｇｎ−１φｎ−１（ω）」によって表される。したがってフィルタリング処理部４１が行う画像フィルタ処理Ｐ（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）の全体の周波数特性を「ｆ（ω）」で表すと、「ｆ（ω）＝ｇ０φ０（ω）…＋ｇＮ−１φＮ−１（ω）（ただし「Ｎ」は２以上の整数）」が成立する。
【０１８８】
なお図８及び図１１に示す回路構成では、第ｎのフィルタリング処理Ｆｎの全体の周波数特性を「１＋ｇｎ−１（ψｎ−１（ω）−１）」で表すと、各フィルタ適用部４８で使用されるフィルタの周波数特性φｎ−１（ω）は「φｎ−１（ω）＝ψｎ−１（ω）−１」によって表され、画像フィルタ処理Ｐ全体の周波数特性ｆ（ω）は「ｆ（ω）＝（１＋ｇ０φ０（ω））…×（１＋ｇＮ−１φＮ−１（ω））」によって表される。また図９に示す回路構成では、画像フィルタ処理Ｐ全体の周波数特性ｆ（ω）は「ｆ（ω）＝１＋ｇ０φ０（ω）…＋ｇＮ−１φＮ−１（ω）」によって表される。
【０１８９】
したがって図１０の回路構成に関する下述の説明は、図１０の回路構成の周波数特性「ｆ（ω）＝ｇ０φ０（ω）…＋ｇＮ−１φＮ−１（ω）」を周波数特性「ｆ（ω）＝１＋ｇ０φ０（ω）…＋ｇＮ−１φＮ−１（ω）」に応用することによって、図９に示す回路構成についても適用可能である。例えば、図９の回路構成の上記の周波数特性ｆ（ω）における「１＋ｇ０φ０（ω）」を「図１０の回路構成の上記の周波数特性ｆ（ω）における「ｇ０φ０（ω）」」として扱うことで、図１０の回路構成に関する下述の説明は図９に示す回路構成にも当てはめられる。同様に、図１０の回路構成に関する下述の説明は、図１０の回路構成の周波数特性「ｆ（ω）＝ｇ０φ０（ω）…＋ｇＮ−１φＮ−１（ω）」を「ｆ（ω）＝（１＋ｇ０φ０（ω））…×（１＋ｇＮ−１φＮ−１（ω））」に応用することによって、図８及び図１１に示す回路構成についても適用される。なおこの場合、対数化処理を利用することで、図８及び図１１に示す回路構成の周波数特性ｆ（ω）の積の演算式は和の演算式に変換され、図１０の回路構成に関する下述の説明を図８及び図１１に示す回路構成に当てはめ易くなる。
【０１９０】
ここで、第ｎのフィルタリング処理Ｆｎのフィルタ適用部４８−ｎで使用されるフィルタが、撮影により原画像データＤ１を取得する際に用いられた光学系（レンズ１４及び絞り１５等）の点拡がり関数に基づく画像復元用のフィルタであると仮定する。点拡がり関数に基づく画像復元用のフィルタは、下記のように周波数ωに関して２次元の自由度を有し、また画像内位置（画素位置）ｒに関して２次元の自由度を有するため、合計「４自由度」を持つ周波数特性となる。
【０１９１】
【数１】
0006042044.tif 000002
【０１９２】
このような周波数ベクトルω及び画像内位置ベクトルｒを用いると、第ｎのフィルタリング処理Ｆｎのフィルタ適用部４８−ｎで用いられるフィルタの周波数特性を「φｎ−１（ω，ｒ）」で表すことができる。フィルタの周波数特性φｎ（ω，ｒ）の離散化を周波数についてＮω個及び画像内位置についてＮｒ個のサンプリング点に関して行うことで、下記のベクトルφｎが得られる。
【０１９３】
【数２】
0006042044.tif 000003
【０１９４】
なお周波数「ωｊ」及び画像内位置「ｒｋ」は、下記式によって表すことができ、「ωｊ」は周波数に関するＮω個のサンプリングポイントを示し、「ｒｋ」は画像内位置に関するＮｒ個のサンプリングポイントを示す。
【０１９５】
【数３】
0006042044.tif 000004
【０１９６】
複数回のフィルタリング処理（第１のフィルタリング処理Ｆ１〜第Ｎのフィルタリング処理ＦＮ）で使用されるゲインによって構成されるゲインベクトル（ゲイン群）ｇは、下記式によって表される。
【０１９７】
【数４】
0006042044.tif 000005
【０１９８】
上記式で表されるゲインが設定された画像フィルタ処理Ｐ全体（フィルタリング処理部４１全体）の周波数特性「ｆ（ω，ｒ｜ｇ）」は、図１０に示す回路構成では、下記式によって表される。
【０１９９】
【数５】
0006042044.tif 000006
【０２００】
一方、実現したい「画像フィルタ処理Ｐの目標とする周波数特性「ｄ（ω，ｒ）」」は、任意の方法で決定することが可能であり、その決定方法は特に限定されない。一般に、点拡がり関数に基づく復元フィルタは、コンボリュージョン型のフィルタによって好適に実現可能である。点拡がり関数に基づくフィルタの周波数特性を決定する方法としては様々な手法があり、例えば撮影光学系のＳＮ比を考慮したウィナーフィルタが広く利用されている。ウィナーフィルタは、下記式によって、点拡がり関数の光学伝達関数（ＯＴＦ）及びＳＮ比の情報に基づいてフィルタの周波数特性を表すことができる。したがって、実現したい画像フィルタ処理Ｐの目標とする周波数特性「ｄ（ω，ｒ）」を、このウィナーフィルタに基づいて決定してもよい。
【０２０１】
【数６】
0006042044.tif 000007
【０２０２】
画像フィルタ処理Ｐ全体の周波数特性を「ｆ（ω，ｒ｜ｇ）」によって表し、実現したい画像フィルタ処理Ｐの目標とする周波数特性を「ｄ（ω，ｒ）」によって表し、近似重み関数を「ｗ（ω，ｒ）」によって表す。この場合、下記式で表される重み付き最小二乗基準に基づく汎関数「ＪＬＭＳ［ｇ］」を最小化するゲインベクトルを、画像フィルタ処理Ｐにおける最適な周波数特性を表すゲインベクトルとすることができる。
【０２０３】
【数７】
0006042044.tif 000008
【０２０４】
上記式を周波数及び画像内位置のサンプリングポイントで離散化すると、下記式が得られる。
【０２０５】
【数８】
0006042044.tif 000009
【０２０６】
上記式において「ｄｉａｇ」は引数ベクトルを対角要素とする対角行列を示し、上記式の「ｗ」及び「ｄ」は、それぞれ「ｗ（ω，ｒ）」及び「ｄ（ω，ｒ）」を、「ベクトルφｎ」に関する上述の方法と同様にしてベクトル化したものである。
【０２０７】
上記式に基づいて、ゲインベクトルの最適解ｇＯＰＴは下記式によって表される。
【０２０８】
【数９】
0006042044.tif 000010
【０２０９】
近似重み関数及び各フィルタの周波数特性（フィルタ係数）が決定されていれば、上記式中の「（ＡＨＷＡ）−１ＡＨＷ」の部分は、予め算出可能な行列によって表される。このようにゲインベクトルの最適解ｇＯＰＴは、個別の像劣化特性を示す点拡がり関数に基づいて取得されるフィルタ特性に行列を適用する演算によって算出可能である。
【０２１０】
なおフィルタリング処理部４１が図１０に示す回路構成を採用する場合には、上記の条件に加え、画像のＤＣ成分（明るさ）の変化を防ぐために、ＤＣ成分の増幅率（ゲイン）を１．０倍にするという拘束条件が適用されることが好ましい。具体的には、下記式に従ってゲインベクトルの最適解ｇＯＰＴを取得することが「ＤＣ成分の増幅率を１．０倍として画像全体の明るさを変えない」ことに相当する。
【０２１１】
【数１０】
0006042044.tif 000011
【０２１２】
上記式は、ＱＰ（Ｑｕａｄｒａｔｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）問題として扱うことができ、「Ｎ」が小さい場合には、少ない計算量で解くことが可能である。また、一例として下記式で表されるように、各フィルタのＤＣ成分の増幅率に制限を設けることによって、ＤＣ成分の増幅率の制限（拘束条件）を除外することが可能である。
【０２１３】
【数１１】
0006042044.tif 000012
【０２１４】
＜重み付けの工夫＞
上述の最小二乗法では、「ｗ（ω，ｒ）」で表されるように周波数及び画像内位置（画素位置）の各々に基づいて周波数特性の近似精度に重み付けがされる。例えば最小二乗法による周波数特性の近似を上記の近似誤差評価関数ＪＬＭＳ［ｇ］に基づいて行う場合、その近似誤差評価関数ＪＬＭＳ［ｇ］が周波数と画像内位置（画素位置）とに基づいて重み付けされる。この重み付けを調整することで画質をコントロールすることができる。すなわち、最小二乗法によって画像フィルタ処理Ｐの目標とする周波数特性に近似する際に、特定の周波数や特定の画素位置に対して重み付けを調整することで、最小二乗法において特定の周波数や特定の画素位置に関する近似精度を高めることができ、画質をコントロールすることができる。
【０２１５】
例えば、上述の最小二乗法では、低周波帯域における重み付けを高周波帯域における重み付けより大きく設定してもよい。一般に、人間の視覚特性上、高周波成分よりも低周波成分の方が知覚されやすいため、「画像フィルタ処理Ｐの目標とする周波数特性に近似する」精度として低周波成分を高周波成分よりも優先することで、低周波成分を高精度に処理することができる。
【０２１６】
なお、ここでいう「低周波帯域（低周波成分）」及び「高周波帯域（高周波成分）」は相対的な周波数範囲（周波数帯域）を表す。例えばサンプリング周波数の１／４（＝０．２５ｆｓ）以下の範囲を「低周波帯域（低周波成分）」として扱い、０．２５ｆｓよりも大きく０．５ｆｓ以下の範囲を「高周波帯域（高周波成分）」として扱ってもよい。
【０２１７】
また上述の最小二乗法では、原画像データＤ１を取得する際の撮影条件に応じて、高周波帯域における重み付けを低周波帯域における重み付けより大きく設定してもよい。一般に、ノイズが多い場合にフィルタの高周波特性が悪いとノイズが増幅されてしまう。したがってノイズが多いことが予想される撮影条件下で取得された原画像データＤ１の画像フィルタ処理Ｐでは、「画像フィルタ処理Ｐの目標とする周波数特性に近似する」精度として高周波成分を低周波成分よりも優先した方が好ましい場合がある。
【０２１８】
なお、ここでいう「原画像データＤ１を取得する際の撮影条件」は特に限定されない。ノイズ量に影響を及ぼしうる任意のファクタを撮影条件とすることができ、例えば絞り値（Ｆ値）や撮像素子２４の撮影感度を、ノイズ量に影響を及ぼしうる「原画像データＤ１を取得する際の撮影条件」として採用してもよい。
【０２１９】
また上述の最小二乗法における重み付けは、原画像データＤ１における画素位置に応じて定められてもよい。例えば一般ユーザが使用する通常のデジタルカメラを使った撮影により原画像データＤ１が取得される場合には、主要被写体が画像中央部に配置されることが多いため、画像中央部の画素位置の高周波成分が重視される傾向がある。一方、監視カメラ等において撮影範囲の境界付近の画像の重要性が比較的高い場合には、画像周辺部の画素位置の高周波成分が重視される傾向がある。このように、原画像データＤ１における画素位置に応じて重要度が異なる場合があり、重み付けの高い画素位置（優先される画素位置）を撮像装置の種類や撮影画像の用途（製品）に応じて決定してもよい。
【０２２０】
例えば一般ユーザが使用するデジタルカメラ１０が具備する光学系において、中央部は一般的に解像度が高く周波数に依らずに優れた解像特性を有し、周辺部は解像性能が低くなる傾向がある。したがって図１に示すデジタルカメラ１０を使った撮影により取得される原画像データＤ１の画像フィルタ処理Ｐでは、画像中央部では高周波帯域の重み付けを大きくし、画像周辺部では低周波帯域の重み付けを大きくすることで、光学特性に応じた画質改善を行うことができる。すなわち上述の最小二乗法において、原画像データＤ１の画像中心から第１の距離以下の画素位置（低像高の画素位置）では、原画像データＤ１の画像中心から第１の距離よりも遠い画素位置（高像高の画素位置）よりも、高周波帯域における重み付けを大きくしてもよい。また上述の最小二乗法において、原画像データＤ１の画像中心から第２の距離よりも遠い画素位置（高像高の画素位置）では、原画像データＤ１の画像中心から第２の距離以下の画素位置（低像高の画素位置）よりも、低周波帯域における重み付けを大きくしてもよい。
【０２２１】
なお、ここでいう「高周波帯域」は０．２５ｆｓよりも大きく０．５ｆｓ以下の範囲に含まれることが好ましく、「低周波帯域」は０．２５ｆｓ以下の範囲に含まれることが好ましい。また、ここでいう「第１の距離」と「第２の距離」は同じであってもよいし、異なっていてもよい。
【０２２２】
＜フィルタの周波数特性が周波数減衰を含まない場合の工夫＞  
図８に示すような直列接続タイプの回路構成を有するフィルタリング処理部４１によって複数回のフィルタリング処理が行われる場合、各フィルタ適用部４８で処理対象データＤ３に適用されるフィルタの周波数特性が周波数減衰を持つか否かに応じて、制御方法を工夫することが好ましい。周波数減衰は、「光学系の点拡がり関数によって表される点像の拡がり（ボケ）の程度が大きい」且つ「ＳＮ比が低い」場合に特に有効に作用し、高周波帯域におけるノイズ成分を抑制する効果をもたらす。
【０２２３】
例えば各フィルタ適用部４８で使用するフィルタに周波数減衰の効果を持たせる必要がない場合には、図１０に示すフィルタリング処理部４１の各フィルタ適用部４８で使用されるフィルタの周波数特性φｎ（ω）を下記式に基づいて設定することができる。
【０２２４】
【数１２】
0006042044.tif 000013
【０２２５】
上記式は、各フィルタ適用部４８で使用されるフィルタの周波数特性φｎ（ω）が「｜φｎ（ω）｜＞１」を満たす場合には、本来の周波数特性φｎ（ω）を持つフィルタを使用し、「｜φｎ（ω）｜≦１」を満たす場合には、「周波数特性（レスポンス）＝１」となるフィルタを使用することを示す。
【０２２６】
なお各フィルタ適用部４８で使用するフィルタに周波数減衰の効果を持たせる必要がない場合に、図８〜９及び図１１に示すフィルタリング処理部４１の各フィルタ適用部４８で使用されるフィルタの周波数特性φｎ（ω）は、例えば下記式に基づいて設定することができる。
【０２２７】
【数１３】
0006042044.tif 000014
【０２２８】
またフィルタリング処理部４１を構成する回路構成が図８に示すような直列接続タイプの場合、画像フィルタ処理Ｐ全体の周波数特性は、各フィルタ適用部４８で使用されるフィルタの周波数特性の積に基づいて表現される。この「直列接続タイプの画像フィルタ処理Ｐ全体の周波数特性」を「並列接続タイプの画像フィルタ処理Ｐ全体の周波数特性」と同様に扱うために、直列接続タイプの画像フィルタ処理Ｐで使用される全てのフィルタの周波数特性を対数化することで「積」の問題を「和」の問題に変換することが好ましい。この場合、並列接続タイプの回路構成を有するフィルタリング処理部４１に関するゲインベクトルの最適解ｇＯＰＴの算出手法と同様の演算処理によって、直列接続タイプの回路構成を有するフィルタリング処理部４１に関するゲインベクトルの最適解ｇＯＰＴを算出することができる。なおフィルタの周波数特性が減衰特性を含まないケースでは、上述の対数化によっては、フィルタの周波数特性が大きな負の値とはならず、下記式を利用して複素数の対数化を行うことができる。
【０２２９】
【数１４】
0006042044.tif 000015
【０２３０】
＜フィルタの周波数特性が周波数減衰を含む場合の工夫＞
例えば図８に示すような直列接続タイプの回路構成を有するフィルタリング処理部４１において、各フィルタ適用部４８で使用されるフィルタの周波数特性が周波数減衰を含む場合には、以下の点に留意することが望ましい。すなわち、周波数増幅率が０倍に近い場合には、対数化後の値が大きな負の値となるため、対数化処理を行った後に最小二乗基準で周波数特性のフィッティングを行う場合等には、その大きな負の値が周波数特性近似の基準を支配してしまう虞がある。そのため、対数化の際に、予め決められた負の最小値でクリッピングを行ったり、周波数減衰が起きやすい周波数帯域の重み付けを小さく調節するなどの対策を行うことが好ましい。
【０２３１】
例えばクリッピングにより対応する場合には、フィルタリング処理部４１は、画像フィルタ処理Ｐの目標とする周波数特性において原画像データＤ１に対する処理画像データＤ２の割合が１よりも小さい周波数では、複数回のフィルタリング処理の各々において、フィルタリング処理データＤ６をフィルタ適用処理データＤ４と等しくするフィルタを用いることが好ましい。
【０２３２】
各フィルタリング処理で使用するゲインを上述のようにして決定及び調整することで、例えば撮影条件の組み合わせの全てに関して点拡がり関数に基づくフィルタ（フィルタ係数）を保持するケースに比べ、保持すべきパラメータ数を格段に削減することができる。また一般の方法では、点拡がり関数のような像劣化特性が既知でないとフィルタ設計（フィルタ係数設計）を適切に行うが難しいが、本実施形態によれば、個々の像劣化特性を把握する前に、多くの計算量が必要とされる有限タップ長のＦＩＲフィルタの設計を完了しておくことも可能である。その場合、具体的な像劣化特性を取得した後に簡単な計算によって、最適なゲインベクトルを算出することができる。
＜参照画像データの取得＞
以下に、表示部２７におけるガイド表示によって、参照画像の撮影をユーザに促す手法の一例について説明する。なお、以下に説明する「表示制御部３６による表示部２７の表示制御」は、参照画像取得部６０（図１２及び図１４参照）の制御下で行われる。
【０２３３】
参照画像取得部６０によりコントロールされる表示制御部３６（図２参照）は、表示部２７（図１参照）を制御し、ユーザに参照画像の撮影を促すためのガイド部を表示部２７に表示させる。ユーザは、表示部２７に表示されるガイド部に補助されながら、測定対象の光学系を含むレンズユニット１１をカメラ本体１２に装着して参照画像の撮影を行って参照画像データを取得する。
【０２３４】
図１７は、表示部２７における撮影ガイドの一例を示す図である。図１７（ａ）〜（ｄ）の各々には、表示制御部３６により表示部２７に表示されるガイド部７０が図示されており、ガイド部７０の表示パターンが示されている。なお図１７（ａ）〜（ｄ）の各々に示す例では、表示部２７の中央部にオートフォーカスエリア７１が表示される。
【０２３５】
以下の説明では、「右」、「左」、「下」及び「上」という表現が使用されるが、これらの表現はそれぞれ「図面に向かって右」、「図面に向かって左」、「図面に向かって下」及び「図面に向かって上」という意味で使用されている。
【０２３６】
図１７（ａ）〜（ｄ）に示されているガイド部７０は、表示部２７に表示される撮影画像におけるタンジェンシャル方向に沿った直線形状を有する。ここでいうガイド部７０の直線形状は、直線状の形状であれば特に限定されず、ガイド部７０は、例えば実線の直線であってもよいし、点線の直線であってもよいし、撮影画像が見えるように半透明の直線であってもよい。
【０２３７】
なおガイド部７０は、撮影画像におけるサジタル方向又はタンジェンシャル方向に沿った直線形状であることが好ましい。特にフィルタが光学伝達関数に基づくフィルタである場合には、画像フィルタ処理Ｐのパラメータを調節する観点から、撮影画像におけるサジタル方向又はタンジェンシャル方向にガイド部７０が配置されることが好ましい。すなわち、撮影画像におけるサジタル方向又はタンジェンシャル方向に配置されたガイド部７０に一致するような被写体を撮影した場合、光学伝達関数に基づくフィルタのパラメータを調整する観点から、有用なデータを得ることが可能となる。
【０２３８】
ここでいう「サジタル方向又はタンジェンシャル方向に沿ったガイド部７０」は、効果を阻害しない範囲で、サジタル方向又はタンジェンシャル方向から逸れていてもよい。
【０２３９】
またサジタル方向及びタンジェンシャル方向の基準は撮影画像とする。本来は、撮像素子２４の受光面上に投影された光学像のサジタル方向又はタンジェンシャル方向と規定することが望ましいが、撮像素子２４で受光し取得した画像データに基づいてしか画像データを得られない。したがって、撮影画像を基準としてサジタル方向及びタンジェンシャル方向を考えても問題がない。ここで、タンジェンシャル方向とは撮影画像の中心を基準とした円周に対する接線方向のことをいい、サジタル方向とは、タンジェンシャル方向に垂直に交わる方向のことをいう。
【０２４０】
図１７（ａ）では、ガイド表示パターン１として、ガイド部７０が表示部２７における左上の領域に配置されている。ユーザは、図１７（ａ）に示されるガイド部７０を参考にして、参照画像を撮影して撮影画像データを取得する。この場合、図１７（ａ）に示されるガイド部７０に基づいて定められる画像（例えば後述の図１８の符号「７２ａ」参照）が参照画像となる。
【０２４１】
図１７（ｂ）では、ガイド表示パターン２として、２つのガイド部７０ａ、７０ｂの各々が表示部２７における左上の領域及び右上の領域に配置されている。さらに、図１７（ｂ）で示された２つのガイド部は、「第１のガイド部７０ａ」及び「第１のガイド部７０ａと平行でない第２のガイド部７０ｂ」により構成されている。すなわち、図１７（ｂ）の表示部２７の左上の領域に配置されたガイド部（第１のガイド部）７０ａと、右上に配置されたガイド部（第２のガイド部）７０ｂとは相互に平行とならないように配置されている。
【０２４２】
図１７（ｃ）では、ガイド表示パターン３として、２つのガイド部７０ａ、７０ｃの各々が表示部２７における左上の領域及び右下の領域に配置されている。図１７（ｄ）では、ガイド表示パターン４として、４つのガイド部７０ａ、７０ｂ、７０ｃ、７０ｄの各々が表示部２７における左上の領域、右上の領域、右下の領域、及び左下の領域に配置されている。
【０２４３】
なお、図１７（ａ）から図１７（ｄ）に示されたガイド部７０の表示におけるガイド表示パターンに限定されず、様々な形態のガイド表示パターンを採用することが可能である。
【０２４４】
図１８は、図１７に示すガイド表示に適した被写体Ｗの一例を示す図である。例えば図１７（ａ）に示すガイド表示パターン１では、被写体Ｗのうち図１８の符号「７２ａ」で示される黒色部分の画像をガイド部７０に沿って撮影することが好ましい。また図１７（ｂ）に示すガイド表示パターン２では、被写体Ｗのうち図１８の符号「７２ａ」及び符号「７２ｂ」で示される黒色部分の画像をガイド部７０に沿って撮影することが好ましい。また図１７（ｃ）に示すガイド表示パターン３では、被写体Ｗのうち図１８の符号「７２ａ」及び符号「７２ｃ」で示される黒色部分の画像をガイド部７０に沿って撮影することが好ましい。また図１７（ｄ）に示すガイド表示パターン２では、被写体Ｗのうち図１８の符号「７２ａ」、符号「７２ｂ」、符号「７２ｃ」及び符号「７２ｄ」で示される黒色部分の画像をガイド部７０に沿って撮影することが好ましい。
【０２４５】
図１９は、表示部２７における撮影ガイドの他の例を示す図である。本例では、表示部２７の４隅のそれぞれのガイド部７０の表示を満たすような被写体の撮影を、４隅のそれぞれのガイド部７０の表示毎に撮影を行うように撮影ガイドが行われる。すなわち、本例では、まず、図１９（ａ）で示されるように左上に配置されたガイド部７０ａを満たすような撮影画像の撮影を行う。次に、図１９（ｂ）で示されるように右上に配置されたガイド部７０ｂを満たすような撮影画像の撮影を行う。次に、図１９（ｃ）に示されるように右下に配置されたガイド部７０ｃを満たすような撮影画像の撮影を行う。次に、図１９（ｄ）に示されるように左下に配置されたガイド部７０ｄを満たすような撮影画像の撮影を行う。このように、図１９（ａ）〜図１９（ｄ）に示されたガイド部７０ａ〜７０ｄにより補助されて取得される４つの撮影画像データが第２の画像として取得される。
【０２４６】
なお図１９に示されるようにガイド部７０の表示は４つに限定されず、表示位置が異なる任意の数のガイド部７０を表示部２７に表示してユーザに撮影を促してもよい。本例によれば、ガイド部７０ａ〜７０ｄの各々を満たす被写体を容易に見つけられ、ガイド部７０ａ〜７０ｄを確実に満たす撮影画像を取得することができる。
【０２４７】
図２０は、表示部２７における撮影ガイドの他の例を示す図である。本例では、撮影条件表示部７３が、ガイド部７０とともに表示部２７に表示される。すなわち、表示制御部３６は参照画像データを撮影取得するための撮影条件表示部７３を表示部２７に表示させて、ユーザに必要な撮影条件を知らせる。これによりユーザは、必要とされる撮影条件下で撮影を行って参照画像データを取得することができる。
【０２４８】
具体的には、図２０（ａ）及び（ｂ）では、像高位置に関する撮影条件表示部７３が表示部２７に表示されている。すなわち、図２０（ａ）に示す例では、像高位置が高い箇所（撮影画像の周辺箇所）におけるガイド部７０を満たすような参照画像データの取得が補助される。一方、図２０（ｂ）に示す例では、像高が低い箇所（撮影画像の中央箇所）におけるガイド部７０を満たすような参照画像データの取得が補助される。このようにガイド部７０が撮影画像の像高に応じて配置されることにより、像高に応じた参照画像データを取得することができる。
【０２４９】
また図２０（ｃ）及び（ｄ）では、被写体までの距離（被写体距離）を撮影条件表示部７３として表示部２７に表示されている。すなわち、図２０（ｃ）に示す例では、被写体までの撮影距離が５０ｃｍである参照画像データの取得が補助される。一方、図２０（ｄ）に示す例では、被写体までの撮影距離が１ｍである参照画像データの取得が補助される。このようにガイド部７０とともに被写体までの撮影距離を示す撮影条件表示部７３が表示部２７に表示されることにより、所望の被写体までの撮影距離を有する参照画像データを取得することができる。
【０２５０】
このように図２０に示す例によれば、撮影条件表示部７３によって適切な撮影条件下で参照画像データを撮影取得することができる。
【０２５１】
図２１は、本体コントローラ２５における表示制御部３６、参照画像取得部６０及び画像判定部３８の機能構成例を示すブロック図である。
【０２５２】
本例の本体コントローラ２５は、上述の表示制御部３６及び参照画像取得部６０に加え、画像判定部３８を更に有する。画像判定部３８は、上述のガイド部７０に促されて撮影が行われて撮像素子２４により生成された撮影画像データが第１の基準を満たすか否かを判定する。参照画像取得部６０は、画像判定部３８において第１の基準を満たすと判定された撮影画像データを「参照画像データ」として取得し、参照画像解析部６１に送信する。したがって本実施形態において得られる参照画像データは、第１の基準を満たす撮影画像データである。
【０２５３】
一方、ガイド部７０に促されて撮影が行われて撮像素子２４により生成された撮影画像データが第１の基準を満たさないと画像判定部３８において判定された場合、表示制御部３６は、再度、ユーザに参照画像の撮影を促すためのガイド部７０を表示部２７に表示させる。
【０２５４】
なお参照画像データの適否の基準となる「第１の基準」は特に限定されず、例えばガイド部７０と実際に撮影される参照画像との一致度合いを「第１の基準」としてもよい。すなわち画像判定部３８は、この一致度合いに基づいて、ガイド部７０に誘導されて撮影された撮影画像データが参照画像データとして適正か否かを判定してもよい。
【０２５５】
ガイド部７０と撮影画像データとの一致度合いは、具体的にはガイド部７０と撮影画像データとの画角の重なり度合いとして判別してもよい。ここでいう一致とは、必ずしも厳密な意味での一致を意味していない。すなわち、使用可能な参照画像データが取得できる範囲でガイド部７０と撮影画像データとが一致していればよい。具体的には、ガイド部７０と撮影画像データの参照画像とが、ガイド部７０の４０％に相当する部分以上が重なっていればよく、好ましくはガイド部７０の６０％に相当する部分以上が重なっていればよく、さらに好ましくはガイド部７０の８０％に相当する部分以上が重なっていればよい。
【０２５６】
図２２は、表示部２７における撮影ガイドの他の例を示す図である。本例の表示制御部３６は、ガイド部７０との一致度合いに基づいて第１の基準を満たす適正な撮影画像データか否かを示す判定情報部７４を、ガイド部７０とともに表示部２７に表示させる。
【０２５７】
具体的には、図２２（ａ）は、ガイド部７０に促されて撮影取得された撮影画像データがガイド部７０に十分に一致せず第１の基準を満たさない場合を示す。図２２（ａ）に示す例において、被写体Ｗは、左上に配置されたガイド部７０に一致していない。そして、「被写体を直して下さい」という判定情報部７４が表示部２７に表示される。一方、図２２（ｂ）は、ガイド部７０に促されて撮影取得された撮影画像データがガイド部７０に十分に一致して第１の基準を満たす場合を示す。図２２（ｂ）に示す例において、被写体Ｗは、左上に配置されたガイド部７０に一致している。そして、「正しい被写体です」という判定情報部７４が表示部２７に表示される。
【０２５８】
図２３は、表示部２７における撮影ガイドの他の例を示す図である。本例では、撮影画像データが第１の基準を満たさない場合、ユーザは再度の撮影が促される。すなわち、図２２に示す例では判定情報部７４の内容は異なる被写体の撮影を促す内容となっている（図２２（ａ）参照）のに対して、図２３に示す本例の判定情報部７４の内容は、ユーザに再度の撮影を促す情報となっている。
【０２５９】
図２４は、表示部２７における撮影ガイドの他の例を示す図である。図２４（ａ）及び（ｂ）に示すようにガイド部７０は表示部２７の四隅以外に配置してもよく、表示部２７におけるガイド部７０の配置態様は特に限定されない。
【０２６０】
図２４（ａ）に示されたガイド表示パターンと図２４（ｂ）に示されたガイド表示パターンとを比較すると、両者間で各ガイド部７０が９０°回転している。すなわち図２４（ａ）に示されたガイド部７０は撮影画像におけるタンジェンシャル方向に沿った直線形状を有するが、図２４（ｂ）に示されたガイド部７０は撮影画像におけるサジタル方向に沿った直線形状を有する。このようにガイド部７０は、タンジェンシャル方向だけでなく、サジタル方向に配置されてもよい。
【０２６１】
このようにしてユーザは、表示部２７におけるガイド部７０の誘導に従って参照画像に関する参照画像データを適切に撮影取得することができる。
【０２６２】
＜フィルタの設計手法＞
次に、フィルタリング処理部４１の各フィルタ適用部４８で使用されるフィルタの設計手法の具体例について説明する。
【０２６３】
図２５は、フィルタ取得装置７６の機能構成の一例を示すブロック図である。
【０２６４】
各フィルタ適用部４８で使用されるフィルタの設計及び取得を行うフィルタ取得装置７６は、フィルタ算出部７７を有する。本例のフィルタ算出部７７は、複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理（第１の画像フィルタ処理Ｐ１〜第ｋの画像フィルタ処理Ｐｋ（ただし「ｋ」は２以上の整数））の周波数特性データを取得し、基準フィルタｈｂ及び分散フィルタｈｖを含む複数のフィルタを出力する。すなわちフィルタ算出部７７は、複数の光学系の光学特性に応じて特定される複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性に基づいて、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の平均に応じて定められる基準フィルタｈｂを取得する。またフィルタ算出部７７は、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性に基づいて、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の分散に応じて定められる少なくとも一つの分散フィルタｈｖを取得する。
【０２６５】
図２６は、フィルタ算出部７７の機能構成の一例を示すブロック図である。
【０２６６】
本例のフィルタ算出部７７は、平均算出部７８、分散算出部７９及びフィルタ特性取得部８０を有する。平均算出部７８は、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性データから、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の平均を算出する。分散算出部７９は、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性データから、複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の分散を算出する。フィルタ特性取得部８０は、平均算出部７８で算出された複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の平均に基づいて基準フィルタｈｂを算出する。またフィルタ特性取得部８０は、平均算出部７８で算出された複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の平均と、分散算出部７９で算出された複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性の分散とに基づいて、分散フィルタｈｖを算出する。
【０２６７】
なお本例のフィルタ算出部７７（平均算出部７８、分散算出部７９及びフィルタ特性取得部８０）で用いられる複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性データは、複数の光学系の光学特性に応じて特定される。このようにフィルタ（基準フィルタｈｂ及び分散フィルタｈｖ）の算出の基礎となる「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性データ」を複数の光学系を基準にして定めることで、そのような複数の光学系に適合したフィルタ（基準フィルタｈｂ及び分散フィルタｈｖ）を算出することができる。したがって、そのような「複数の光学系」として、製造誤差による光学特性のバラツキを反映した複数の光学系を想定することで、「画像フィルタ処理の目標とする周波数特性」をフィルタリング処理部４１によって精度良く実現することができる。
【０２６８】
＜複数種類の画像フィルタ処理の周波数特性＞
ここでいう「複数種類の画像フィルタ処理Ｐ１〜Ｐｋ」の各々の周波数特性は「画像フィルタ処理Ｐの目標とする周波数特性」を構成し、本例では撮影に使用する光学系の光学特性に基づく周波数特性によって定められる。
【０２６９】
例えば「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性」が光学系の点拡がり関数に基づく周波数特性の場合、点拡がり関数は製造誤差による光学系の光学特性のバラツキの影響を受けて変動しうる。そのため、光学系の光学特性のバラツキに基づいて推測される複数種類の点拡がり関数の周波数特性に応じて「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性」を定めることができる。また、例えば「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性」が光学系の点拡がり関数に基づく周波数特性の場合、点拡がり関数は撮影条件が変わると変動するため、異なる撮影条件下における複数種類の点拡がり関数の周波数特性に応じて「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性」を定めることができる。この「複数種類の点拡がり関数」は、任意の手法で取得可能であり、実測値に基づいて取得されてもよいし、推定値に基づいて取得されてもよい。「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性」は、取得される複数種類の点拡がり関数を使ってウィナーフィルタ等の任意の設計基準に基づき算出可能である。
【０２７０】
この「複数種類の画像フィルタ処理Ｐ１〜Ｐｋの周波数特性」は、任意の装置によって取得可能であり、例えばフィルタ取得装置７６において取得されてもよいし、他の装置により取得されてもよく、フィルタ取得装置７６のフィルタ算出部７７によって図示しないメモリから読み出されて取得されてもよい。
【０２７１】
＜複数種類の画像フィルタ処理の周波数特性のバラツキ＞
複数種類の画像フィルタ処理の周波数特性のバラツキは、単峰型分布に基づいて表現することも可能であるし、多峰型分布に基づいて表現することも可能である。
【０２７２】
図２７は、複数種類の画像フィルタ処理の周波数特性のバラツキを単峰型分布で表した概念図である。図２８は、複数種類の画像フィルタ処理の周波数特性のバラツキを多峰型分布で表した概念図である。
【０２７３】
図２７に示す単峰型分布に基づくバラツキ表現手法は、複数種類の画像フィルタ処理の周波数特性のバラツキを、一つの多次元複素正規分布（図２７の「バラツキ分布Ｇ」参照）によって表現する手法である。一方、多峰型分布に基づく表現手法は、複数種類の画像フィルタ処理の周波数特性のバラツキを、複数の多次元複素正規分布（図２８の「第１のバラツキ分布Ｇ１」及び「第２のバラツキ分布Ｇ２」参照）によって表現する手法である。
【０２７４】
図２７には、複数種類の画像フィルタ処理の周波数特性のバラツキ分布Ｇを、第１のフィルタリング処理Ｆ１のフィルタの周波数特性φ０、第２のフィルタリング処理Ｆ２のフィルタの周波数特性φ１及び第３のフィルタリング処理Ｆ３のフィルタの周波数特性φ２によって表現するケースが示されている。また図２８には、複数種類の画像フィルタ処理の周波数特性のバラツキ分布Ｇを構成する第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２の各々を、第１のフィルタリング処理Ｆ１のフィルタの周波数特性（φ０（１）、φ０（２））、第２のフィルタリング処理Ｆ２のフィルタの周波数特性（φ１（１）、φ１（２））及び第３のフィルタリング処理Ｆ３のフィルタの周波数特性（φ２（１）、φ２（２））によって表現するケースが示されている。なお図２７及び図２８には、一例としてフィルタリング処理部４１が図１０に示す回路構成を有することを前提としたフィルタの周波数特性φ０〜φ２が図示されている。
【０２７５】
複数種類の画像フィルタ処理の周波数特性のバラツキが例えば図２７に示すような楕円形状のバラツキ分布Ｇを有する場合、複数のフィルタリング処理（図２７に示す例では第１のフィルタリング処理Ｆ１〜第３のフィルタリング処理Ｆ３）によって各画像フィルタ処理を精度良く実現するには、バラツキ分布Ｇの中心、長軸及び短軸に基づいて各フィルタリング処理の周波数特性φ０、φ１、φ２を決定することが好ましい。同様に、複数種類の画像フィルタ処理の周波数特性のバラツキが例えば図２８に示すような楕円形状の第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２を有する場合、複数のフィルタリング処理（図２８に示す例では第１のフィルタリング処理Ｆ１〜第３のフィルタリング処理Ｆ３）によって第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２に含まれる各画像フィルタ処理を精度良く表すには、第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２の各々に関して中心、長軸及び短軸に基づき各フィルタリング処理の周波数特性φ０（１）、φ１（１）、φ２（１）、φ０（２）、φ１（２）、φ２（２）を決定することが好ましい。
【０２７６】
＜単峰型分布＞
次に、複数種類の画像フィルタ処理の周波数特性のバラツキを単峰型分布として扱う場合（図２７参照）における、フィルタ及びゲインの設計手法例について説明する。
【０２７７】
以下の方法は、任意個数の複数種類の画像フィルタ処理の周波数特性のバラツキサンプルが実際に取得された場合に、その画像フィルタ処理の周波数特性のバラツキを精度良く補償することができる所望数の基底フィルタ（ＦＩＲフィルタ）の周波数特性を求める手法に関する。また、単峰型分布を多次元複素正規分布としてモデル化を行い、ＭＬ（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ）推定を行うケースについて説明する。
【０２７８】
単峰型分布のバラツキ分布Ｇは多次元複素正規分布に基づいて表現可能であり、その多次元複素正規分布は共分散行列によって特徴付けられ、次式によって得られる。
【０２７９】
【数１５】
0006042044.tif 000016
【０２８０】
上記式において「βｉ」は、複数種類の画像フィルタ処理の各々に関して個別に取得される周波数特性β（ω，ｒ）を周波数（ω）及び位置（ｒ）に基づいて離散化することで得られるベクトルを表し、「Ｎｐ」は複数種類の画像フィルタ処理の数を表す。したがって上記式の「Ψ０」は、複数種類の画像フィルタ処理の周波数特性の平均（平均行列）を表し、上記式の「Ｒ０」は、複数種類の画像フィルタ処理の周波数特性の分散（共分散行列）を表す。
【０２８１】
上記式によって表される共分散行列の固有値分解を下記式に従って行うことで、固有ベクトルΨｉ（ただし「ｉ」は１以上Ｎｐ以下の整数）を得ることができる。
【０２８２】
【数１６】
0006042044.tif 000017
【０２８３】
Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開によれば、バラツキ分布を次元ｍの線形部分空間によって平均的に近似するには、固有値の大きいものから順にｍ個の対応する固有ベクトルΨｉ（ただし「ｉ」は１以上ｍ以下の整数）によって張られる部分空間を用いるのが最良である。
【０２８４】
したがって、単峰型のバラツキ分布Ｇを持つ複数種類の画像フィルタ処理の各々の周波数特性を精度良く再現するためのフィルタリング処理のフィルタの最適な周波数特性φ０〜φＮ−１は、下記式に基づいて取得することができる。
【０２８５】
【数１７】
0006042044.tif 000018
【０２８６】
なお、第１のフィルタリング処理Ｆ１のフィルタの周波数特性φ０は、上述のように、複数種類の画像フィルタ処理の周波数特性の分布の中心に該当するため、分布の中心を固定して処理を安定化させる観点からは第１のフィルタリング処理Ｆ１におけるゲインは「１．０」に固定することが好ましい。他のフィルタリング処理におけるゲインについては、例えば上述の重み付き最小二乗基準によって最適値を求めることができる。
【０２８７】
図２９は、単峰型分布に分類可能な複数種類の画像フィルタ処理の周波数特性の一例を概略的に示す図であり、横軸は周波数（ω）を示し、縦軸はレスポンスを示す。ここでいうレスポンスは、各画像フィルタ処理の前後の周波数成分量の比（＝処理後の周波数成分量／処理前データの周波数成分量）であり、「レスポンス＝１」は画像フィルタ処理の前後でデータが同じであることを意味する。
【０２８８】
図２９には、４種類の画像フィルタ処理（第１の画像フィルタ処理Ｐ１、第２の画像フィルタ処理Ｐ２、第３の画像フィルタ処理Ｐ３及び第４の画像フィルタ処理Ｐ４）の周波数特性が示されている。これらの４種類の画像フィルタ処理Ｐ１〜Ｐ４は、それぞれ異なる周波数特性を示すが、いずれも周波数（ω）が「０」の場合のレスポンスは「１」を示す。
【０２８９】
図３０は、図２９に示される複数種類の画像フィルタ処理の周波数特性の分散の一例を概略的に示す図であり、横軸は周波数（ω）を示し、縦軸は分散を示す。なお、図３０は、説明の便宜上、図２９に示される複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性の分散を必ずしも厳密に表すものではない。
【０２９０】
図２９に示す４種類の画像フィルタ処理Ｐ１〜Ｐ４は、いずれも周波数（ω）が「０」の場合のレスポンスは「１」であるため、周波数（ω）が「０」の場合の分散は「０」になる。図３０に示す例では、複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性に関して、「一番目に大きいバラツキを示す成分（図３０の符号「Ｈ１」参照）」及び「二番目に大きいバラツキを示す成分（図３０の符号「Ｈ２」参照）」が表れる。
【０２９１】
図３１は、図２９に示される複数種類の画像フィルタ処理の周波数特性の平均及び分散から取得される基底フィルタ（固有ベクトル）の一例を概略的に示す図であり、（ａ）は「φ０」を示し、（ｂ）は「φ１」を示し、（ｃ）は「φ２」を示す。
【０２９２】
上述のように、第１のフィルタリング処理Ｆ１で使用されるフィルタの周波数特性φ０は、複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性の分布の中心（平均）に基づいて決定することが好ましい。
【０２９３】
また他のフィルタリング処理で使用されるフィルタの周波数特性は、図３０に示す複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性のバラツキ（分散）が大きい成分から順に定められることが好ましい。したがって第２のフィルタリング処理Ｆ２で使用されるフィルタの周波数特性φ１は、複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性のバラツキが一番目に大きい成分（図３０の「Ｈ１」参照）に基づいて決定されることが好ましい。同様に、第３のフィルタリング処理Ｆ３で使用されるフィルタの周波数特性φ２は、複数種類の画像フィルタ処理の周波数特性のバラツキが二番目に大きい成分（図３０の「Ｈ２」参照）に基づいて決定されることが好ましい。
【０２９４】
なお上述の例は画像フィルタ処理Ｐが第１のフィルタリング処理Ｆ１〜第３のフィルタリング処理Ｆ３を含むケースに関するが、画像フィルタ処理Ｐは二つのフィルタリング処理によって構成されていてもよいし、四つ以上のフィルタリング処理によって構成されていてもよい。例えば画像フィルタ処理Ｐが第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２によって構成される場合には、第１のフィルタリング処理Ｆ１で使用されるフィルタの周波数特性を上述の「φ０」（図３１（ａ）参照）に基づいて定め、第２のフィルタリング処理Ｆ２で使用されるフィルタの周波数特性を上述の「φ１」（図３１（ｂ）参照）に基づいて定めることができる。
【０２９５】
図３２は、図１０に示す回路構成を有するフィルタリング処理部４１が行う画像フィルタ処理Ｐ（第１のフィルタリング処理Ｆ１〜第３のフィルタリング処理Ｆ３）に関する周波数特性ｆ（ω）（（ａ）参照）及びゲイン例（（ｂ）参照）を示す。
【０２９６】
上述のように、複数種類の画像フィルタ処理の周波数特性の分布の中心を固定して処理を安定化させる観点からは、第１のフィルタリング処理Ｆ１におけるゲインｇ０は「１．０」に固定することが好ましい。したがって図３２（ｂ）には、図１０に示す回路構成を有するフィルタリング処理部４１の各フィルタ適用部４８で使用するフィルタを固定し、また第１のフィルタリング処理Ｆ１におけるゲインｇ０を「１．０」に固定した場合に、図２９に示す画像フィルタ処理Ｐ１〜Ｐ４の各々の周波数特性を図３２（ａ）に示すシステム全体の周波数特性によって精度良く実現するためのゲインｇ０〜ｇ２が例示されている。
【０２９７】
図３２（ｂ）に示すように、上述の例によれば、複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性のデータを、３個のフィルタの周波数特性φ０〜φ２（タップ係数）と１２個のゲイン（ｇ０を「１．０」に固定する場合には８個のゲイン）とに圧縮することができる。
【０２９８】
このように本例のフィルタリング処理部４１は、第１のフィルタリング処理Ｆ１では、複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性の平均に応じて定められる基準フィルタｈｂの周波数特性を「フィルタの周波数特性φ０」として用いてフィルタ適用処理データＤ４−１を取得し、第２のフィルタリング処理Ｆ２及び第３のフィルタリング処理Ｆ３では、複数種類の画像フィルタ処理Ｐ１〜Ｐ４の周波数特性の分散に応じて定められる二つの分散フィルタｈｖの周波数特性を「フィルタの周波数特性φ１」及び「フィルタの周波数特性φ２」として用いてフィルタ適用処理データＤ４−２、Ｄ４−３を取得する。
【０２９９】
特にフィルタリング処理部４１は、第１のフィルタリング処理Ｆ１では「原画像データＤ１を取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の平均に応じて定められる基準フィルタｈｂ」を用いてフィルタ適用処理データＤ４−１を取得し、第２のフィルタリング処理Ｆ２及び第３のフィルタリング処理Ｆ３では「原画像データＤ１を取得する際に用いられた光学系の個別の光学特性に応じて定められる複数種類の画像フィルタ処理の周波数特性の分散に応じて定められる分散フィルタｈｖ」を用いてフィルタ適用処理データＤ４−２、Ｄ４−３を取得することが好ましい。この場合、複数回のフィルタリング処理の各々においてフィルタ適用処理データＤ４に適用されるゲインは、原画像データＤ１を取得する際に用いられた光学系の個別の光学特性に基づいて定められることが好ましい。
【０３００】
図３３は、単峰型分布に基づいてフィルタ係数を算出するフィルタ算出部７７の機能構成の一例を示すブロック図である。周波数空間で表されるフィルタ特性から実空間で表されるフィルタ係数を算出するために、本例のフィルタ算出部７７は、上述の平均算出部７８、分散算出部７９及びフィルタ特性取得部８０（図２６参照）に加え、タップ係数演算部８１を更に有する。
【０３０１】
このフィルタ算出部７７のタップ係数演算部８１は、複数のタップを持ち各タップに係数が割り当てられる基準フィルタｈｂを取得し、且つ、複数のタップを持ち各タップに係数が割り当てられる少なくとも一つの分散フィルタｈｖを取得する。「各タップに係数を割り当てる手法」は特に限定されないが、タップ係数演算部８１（フィルタ算出部７７）は、例えば後述のＳＡＧＥアルゴリズム又はＯＭＰアルゴリズムに基づいて、基準フィルタｈｂ及び少なくとも一つの分散フィルタｈｖの各々の各タップに割り当てられる係数を算出することができる。
【０３０２】
＜多峰型分布＞
次に、複数種類の画像フィルタ処理の周波数特性のバラツキを多峰型分布として扱う場合（図２８参照）における、フィルタ及びゲインの設計手法例について説明する。
【０３０３】
図２８に示す例において、全体を一つの分布（単峰型分布）として扱う場合には、複数種類の画像フィルタ処理の周波数特性のバラツキ分布は図２８に示す「バラツキ分布Ｇ」によって表すことができるが、近似精度が悪くなる。一方、複数種類の画像フィルタ処理の周波数特性のバラツキ分布を図２８の「第１のバラツキ分布Ｇ１」及び「第２のバラツキ分布Ｇ２」によって分離して表し、「第１のバラツキ分布Ｇ１」及び「第２のバラツキ分布Ｇ２」の各々を別個の多次元複素正規分布（多峰型分布）として扱うことで、近似精度を向上させることができる。この多峰型分布におけるＭＬ推定のパラメータ推定アルゴリズムとして、例えばＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ  Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムによる混合正規分布の推定を好適に利用することができ、効率的なパラメータ推定を行うことができる。
【０３０４】
多峰型分布に基づくフィルタの決定手法は、基本的には上述の単峰型分布に基づくフィルタ決定手法と同様の手法で行うことができる。すなわち、複数種類の画像フィルタ処理の周波数特性を、多峰型分布を構成する複数の分布（図２８に示す例では第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２）に分類し、各分布に関して、上述の単峰型分布の「バラツキ分布Ｇ」と同様の手順でフィルタを求めることができる。
【０３０５】
図３４は、多峰型分布に分類可能な画像フィルタ処理の周波数特性の一例を概略的に示す図であり、横軸は周波数（ω）を示し、縦軸はレスポンスを示す。
【０３０６】
図３４には、６種類の画像フィルタ処理（第１の画像フィルタ処理Ｐ１、第２の画像フィルタ処理Ｐ２、第３の画像フィルタ処理Ｐ３、第４の画像フィルタ処理Ｐ４、第５の画像フィルタ処理Ｐ５及び第６の画像フィルタ処理Ｐ６）の周波数特性が示されている。これらの６種類の画像フィルタ処理Ｐ１〜Ｐ６は、それぞれ異なる周波数特性を示すが、いずれも周波数（ω）が「０」の場合のレスポンスは「１」を示す。
【０３０７】
図３４に示す例において、例えば「第１の画像フィルタ処理Ｐ１の周波数特性データ、第２の画像フィルタ処理Ｐ２の周波数特性データ及び第３の画像フィルタ処理Ｐ３の周波数特性データ」を第１のバラツキ分布Ｇ１に分類し、「第４の画像フィルタ処理Ｐ４の周波数特性データ、第５の画像フィルタ処理Ｐ５の周波数特性データ及び第６の画像フィルタ処理Ｐ６の周波数特性データ」を第２のバラツキ分布Ｇ２に分類することができる。
【０３０８】
図３５は、図３４に示される複数種類の画像フィルタ処理の周波数特性の分散の一例を概略的に示す図であり、（ａ）は第１のバラツキ分布Ｇ１に分類される第１の画像フィルタ処理Ｐ１〜第３の画像フィルタ処理Ｐ３の周波数特性データの分散を示し、（ｂ）は第２のバラツキ分布Ｇ２に分類される第４の画像フィルタ処理Ｐ４〜第６の画像フィルタ処理Ｐ６の周波数特性データの分散を示す。図３５（ａ）及び（ｂ）の横軸は周波数（ω）を示し、縦軸は分散を示す。なお、図３５（ａ）及び（ｂ）は、説明の便宜上、図３４に示される複数種類の画像フィルタ処理Ｐ１〜Ｐ６の周波数特性の分散を必ずしも厳密に表すものではない。
【０３０９】
図３４に示す６種類の画像フィルタ処理Ｐ１〜Ｐ６の周波数特性は、いずれも周波数（ω）が「０」の場合のレスポンスが「１」であるため、周波数（ω）が「０」の場合の分散は「０」になる。図３５（ａ）及び（ｂ）に示すように、第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２の各々の「画像フィルタ処理の周波数特性の分散」に関し、「一番目に大きいバラツキを示す成分（図３５（ａ）及び（ｂ）の「Ｈ１」参照）」及び「二番目に大きいバラツキを示す成分（図３５（ａ）及び（ｂ）の「Ｈ２」参照）」が表れる。
【０３１０】
図３６は、第１のバラツキ分布Ｇ１に分類される第１の画像フィルタ処理Ｐ１〜第３の画像フィルタ処理Ｐ３の周波数特性の平均及び分散から取得される基底フィルタ（固有ベクトル）の一例を概略的に示す図であり、（ａ）は「φ０」を示し、（ｂ）は「φ１」を示し、（ｃ）は「φ２」を示す。図３７は、第２のバラツキ分布Ｇ２に分類される第４の画像フィルタ処理Ｐ４〜第６の画像フィルタ処理Ｐ６の周波数特性の平均及び分散から取得される基底フィルタ（固有ベクトル）の一例を概略的に示す図であり、（ａ）は「φ０」を示し、（ｂ）は「φ１」を示し、（ｃ）は「φ２」を示す。
【０３１１】
上述のように、第１のフィルタリング処理Ｆ１で使用されるフィルタの周波数特性φ０は、複数種類の画像フィルタ処理の周波数特性の分布の中心（平均）に基づいて決定することが好ましい。
【０３１２】
また他のフィルタリング処理で使用されるフィルタの周波数特性は、図３５（ａ）及び（ｂ）の各々に示す複数種類の画像フィルタ処理の周波数特性のバラツキ（分散）が大きい成分に応じて定められることが好ましい。したがって第２のフィルタリング処理Ｆ２で使用されるフィルタの周波数特性φ１は、複数種類の画像フィルタ処理の周波数特性のバラツキが一番目に大きい成分（図３５（ａ）及び（ｂ）の「Ｈ１」参照）に基づいて決定されることが好ましい。同様に、第３のフィルタリング処理Ｆ３で使用されるフィルタの周波数特性φ２は、複数種類の画像フィルタ処理の周波数特性のバラツキが二番目に大きい成分（図３５（ａ）及び（ｂ）の「Ｈ２」参照）に基づいて決定されることが好ましい。
【０３１３】
図３８は、図１０に示す回路構成を有するフィルタリング処理部４１が行う画像フィルタ処理Ｐ（第１のフィルタリング処理Ｆ１〜第３のフィルタリング処理Ｆ３）に関する周波数特性ｆ（ω）（（ａ）参照）及びゲイン例（（ｂ）参照）を示す。図３８に示す多峰型分布に関する周波数特性ｆ（ω）において、「φ０（ｉ）（ω）」は第１のフィルタリング処理Ｆ１の第１のフィルタ適用部４８−１で使用されるフィルタの周波数特性を表し、「ｇ０」は第１のフィルタリング処理Ｆ１の第１のゲイン適用部４９−１で使用されるゲインを表す。また「φ１（ｉ）（ω）」は第２のフィルタリング処理Ｆ２の第２のフィルタ適用部４８−２で使用されるフィルタの周波数特性を表し、「ｇ１」は第２のフィルタリング処理Ｆ２の第２のゲイン適用部４９−２で使用されるゲインを表す。また「φ２（ｉ）（ω）」は第３のフィルタリング処理Ｆ３の第３のフィルタ適用部４８−３で使用されるフィルタの周波数特性を表し、「ｇ２」は第３のフィルタリング処理Ｆ３の第３のゲイン適用部４９−３で使用されるゲインを表す。
【０３１４】
各フィルタの周波数特性φ１（ｉ）（ω）〜φ３（ｉ）（ω）における符号「ｉ」は、多峰型分布に従って分類されるグループを示すクラスタインデックスを表す。例えば第１のバラツキ分布Ｇ１に分類される第１の画像フィルタ処理Ｐ１〜第３の画像フィルタ処理Ｐ３には、図３８（ｂ）に示すようにクラスタインデックスｉとして「１」を割り当てることができる。一方、第２のバラツキ分布Ｇ２に分類される第４の画像フィルタ処理Ｐ４〜第６の画像フィルタ処理Ｐ６には、図３８（ｂ）に示すようにクラスタインデックスｉとして「２」を割り当てることができる。
【０３１５】
なお、図３８（ｂ）には、図１０に示す回路構成を有するフィルタリング処理部４１の各フィルタ適用部４８で使用するフィルタを固定し、また第１のフィルタリング処理Ｆ１で使用されるゲインｇ０を「１．０」に固定した場合に、図３４に示す画像フィルタ処理Ｐ１〜Ｐ６の各々の周波数特性を図３８（ａ）に示すシステム全体の周波数特性によって精度良く実現するためのゲインｇ０〜ｇ２が例示されている。
【０３１６】
図３８（ｂ）に示すように、上述の例によれば、複数種類の画像フィルタ処理Ｐ１〜Ｐ６の周波数特性のデータを、６個のフィルタ周波数特性φ０（１）〜φ２（１）、φ０（２）〜φ２（２）（タップ係数）と１８個のゲイン（ｇ０を「１．０」に固定する場合には１２個のゲイン）とに圧縮することができる。
【０３１７】
このように、多峰型分布に基づくフィルタの決定方法によると、多峰型分布を構成するグループ（図２８に示す例では第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２）の数に応じたフィルタセットが必要になる。したがって多峰型分布を利用する場合には、単峰型分布を利用する場合に比べて、予めメモリに記憶しておく必要があるフィルタの数が増え、必要とされる記憶容量も増大する。また、各フィルタと分類されるグループとを関連付けるために、上述のクラスタインデックスのような関連付け情報も予めメモリに記憶しておく必要がある。
【０３１８】
図３９は、多峰型分布に基づいてフィルタ係数を算出するフィルタ算出部７７の機能構成の一例を示すブロック図である。本例のフィルタ算出部７７は、多峰型分布を構成する複数のグループに画像フィルタ処理の複数種類の周波数特性を分類するために、上述の平均算出部７８、分散算出部７９、フィルタ特性取得部８０及びタップ係数演算部８１（図３３参照）に加え、フィルタグループ分類部８２を更に有する。
【０３１９】
本例のフィルタグループ分類部８２は、混合正規分布を基準に、複数種類の画像フィルタ処理（図３４に示す例では第１の画像フィルタ処理Ｐ１〜第６の画像フィルタ処理Ｐ６）の周波数特性を、複数のフィルタグループ（図２８に示す例では第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２）に分類する。
【０３２０】
図４０は、フィルタグループ分類部８２によって複数のフィルタグループに分類される複数種類の画像フィルタ処理（周波数特性）の概念図である。フィルタグループ分類部８２は複数種類の画像フィルタ処理の周波数特性データの類似性を分析し、各画像フィルタ処理の周波数特性を対応のフィルタグループに分類する。上述の例では、フィルタグループ分類部８２によって、第１の画像フィルタ処理Ｐ１〜第３の画像フィルタ処理Ｐ３が第１のバラツキ分布Ｇ１のフィルタグループに分類され、第４の画像フィルタ処理Ｐ４〜第６の画像フィルタ処理Ｐ６が第２のバラツキ分布Ｇ２のフィルタグループに分類される。
【０３２１】
フィルタ算出部７７を構成する他の平均算出部７８、分散算出部７９、フィルタ特性取得部８０及びタップ係数演算部８１は、複数のフィルタグループに分類された複数種類の画像フィルタ処理の周波数特性のうち複数のフィルタグループの各々に含まれる複数種類の画像フィルタ処理の周波数特性に基づいて、複数のフィルタグループの各々に関する基準フィルタｈｂ及び少なくとも一つの分散フィルタｈｖを取得する。
【０３２２】
上述の例によれば、複数種類の画像フィルタ処理の周波数特性のバラツキの分布が既知である場合に、そのバラツキをカバーするのに最適なフィルタを精度良く設計することができる。特に、複数種類の画像フィルタ処理の周波数特性のバラツキの分布に応じて、単峰型分布及び多峰型分布のうち適切な分布タイプが選択されることで、目的とする画像フィルタ処理の周波数特性を精度良く再現することが可能なフィルタ（フィルタ係数）及びゲインを取得することができる。
【０３２３】
上述のように本実施形態によれば、フィルタ数（データ量）を低減することができ、全ての条件に関するＦＩＲフィルタ（フィルタ係数（タップ係数））を保持することを避けることができ、平均的に良好なフィルタを使った画像フィルタ処理を行うことができる。
【０３２４】
＜ＦＩＲフィルタの設計＞
次に、タップ数に制限が設けられるＦＩＲフィルタの設計手法について説明する。
【０３２５】
上述の方法によってフィルタの周波数特性を柔軟に調整することで、複数種類の画像フィルタ処理の周波数特性のバラツキを有効にカバーするのに最適なフィルタを設計することができる。しかしながら、実際に使用するフィルタをタップ数に制限が設けられるＦＩＲフィルタによって実現する場合には、所望の周波数特性を理想的に得ることは難しい。
【０３２６】
一般に、急峻な周波数特性を少ないタップ数で実現することは非常に困難である。特に小さな固有値に対応する固有ベクトルは、急峻なギザギザ形状を持つ傾向がある。したがって、上述の方法によってフィルタの理想的な周波数特性が取得されても、実際に使用されるフィルタのタップ数が十分に用意されていない場合には、複数種類の画像フィルタ処理の周波数特性のバラツキを十分にカバーすることが難しくなる。
【０３２７】
この問題は、基底が非線形でパラメトリックな関数に関し、あるベクトルをなるべく少ない数の基底の線形和によって近似することを目的として基底のパラメータを決める問題と類似する。このような問題を解決するための様々な手法が提案されている。例えばＳＡＧＥアルゴリズムは、電波伝搬における到来波解析などに用いられるアルゴリズムであり、ＥＭアルゴリズムの考え方に基づいて、残差を最小にするように基底を一つずつ求める方法である。またＯＭＰアルゴリズムは、Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇの分野でｏｖｅｒｃｏｍｐｌｅｔｅ  ｄｉｃｔｉｏｎａｒｙを用いたスパースな係数ベクトルを求める場合に用いられるアルゴリズムである。ＯＭＰの手法自体はパラメトリックな基底を求める方法ではないが、ＯＭＰにおけるｄｉｃｔｉｏｎａｒｙから選ぶという状況設定を、パラメトリックな基底関数から近いものを選ぶという状況設定に変えることによって、ＯＭＰの手法をＦＩＲフィルタの設計に応用することが可能である。
【０３２８】
ＳＡＧＥアルゴリズム及びＯＭＰアルゴリズムの具体的な演算方法例については後述するが、フィルタ算出部７７のタップ係数演算部８１（図３３及び図３９参照）は、これらのアルゴリズムに基づいて、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって基準フィルタｈｂの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数（後述の共分散行列「Ｒｉ」参照）から、少なくとも一つの分散フィルタｈｖの各タップに割り当てられる係数を算出することができる。
【０３２９】
後述のＳＡＧＥアルゴリズム及びＯＭＰアルゴリズムによれば、フィルタ算出部７７のタップ係数演算部８１は、「Ｉ」を２以上の整数とした場合に、１番目からＩ番目までの分散フィルタｈｖを取得し、１番目の分散フィルタｈｖの各タップに割り当てられる係数を、基準フィルタｈｂの各タップに割り当てられる係数に基づいて定められるバラツキ分布関数から算出する。またフィルタ算出部７７のタップ係数演算部８１は、「Ｊ」を２以上且つＩ以下の整数とした場合に、Ｊ番目の分散フィルタｈｖの各タップに割り当てられる係数を、基準フィルタｈｂの各タップに割り当てられる係数と１番目からＪ−１番目までの分散フィルタｈｖの各々の各タップに割り当てられる係数とに基づいて定められるバラツキ分布関数から算出する。
【０３３０】
ＳＡＧＥアルゴリズムでは、さらに、フィルタ算出部７７のタップ係数演算部８１は、複数種類の画像フィルタ処理の周波数特性の分散を示すバラツキ分布関数であって、基準フィルタｈｂ及び少なくとも一つの分散フィルタｈｖの各々の各タップに割り当てられる係数に基づいて定められる残差成分を示すバラツキ分布関数（後述の共分散行列「Ｑｊ」参照）に基づいて、基準フィルタｈｂ及び少なくとも一つの分散フィルタｈｖのうちの少なくともいずれかの各タップに割り当てられる係数を更新する。
【０３３１】
なお、ＳＡＧＥアルゴリズム及びＯＭＰアルゴリズムは様々な文献において説明されており、例えば非特許文献１、非特許文献２及び非特許文献３を参照することができる。ただし、ＳＡＧＥアルゴリズム及びＯＭＰアルゴリズムの両者とも、ベクトルの基底分解を目的としており、本来的にはフィルタ設計における部分空間近似を扱うものではないため、算出式に適宜修正を加える必要がある。
【０３３２】
＜ＯＭＰアルゴリズムを応用した最適フィルタ群の算出＞
以下、ＯＭＰアルゴリズムに基づくフィルタ設計の一例について説明する。下述の各ステップの処理は、基本的にはフィルタ算出部７７（タップ係数演算部８１）において行われるが、各ステップの処理の一部又は全部が他部において行われてもよい。
【０３３３】
以下では単峰型分布を前提とするケースについて説明する。なお、多峰型分布を前提とするケースに関しては、上述のように単峰型分布を前提とするケースを応用することができる。すなわち複数のフィルタグループ（図２８に示す例では第１のバラツキ分布Ｇ１及び第２のバラツキ分布Ｇ２）の各々を単峰型分布のバラツキ分布Ｇとして扱うことにより、多峰型分布を前提するケースにも対応することが可能である。
【０３３４】
・ステップ１
まず、上述の「Ψ０」で表される複数種類の画像フィルタ処理の周波数特性の平均（中心値）を最良に近似するＦＩＲフィルタのタップ係数が任意の手法で取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性を「第１のフィルタリング処理Ｆ１で使用されるフィルタの周波数特性φ０」とする。
【０３３５】
・ステップ２
上記の「第１のフィルタリング処理Ｆ１で実際に使用されるフィルタの周波数特性φ０」を複数種類の画像フィルタ処理の周波数特性の平均（中心値）と仮定した場合の共分散行列Ｒ０を、下記式に基づいて算出する。
【０３３６】
【数１８】
0006042044.tif 000019
【０３３７】
・ステップ３
下記式のように、共分散行列Ｒ０が共分散行列Ｒ１として設定され、パラメータ「ｉ」が「１」に設定される。
【０３３８】
【数１９】
0006042044.tif 000020
【０３３９】
・ステップ４
共分散行列Ｒｉの最大の固有値に対応する固有ベクトルΨｉが、上述の手法によって求められる。
【０３４０】
・ステップ５
固有ベクトルΨｉの周波数特性を最良に近似するＦＩＲフィルタのタップ係数が任意の手法で取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性が「φｉ」に設定される。この周波数特性φｉを持つフィルタは、第「ｉ＋１」のフィルタリング処理で使用されるフィルタに対応し、例えば「ｉ＝１」であれば第２のフィルタリング処理Ｆ２で使用されるフィルタの周波数特性φ２が求められる。この「φｉ＋１」に関するフィルタのタップ係数は、図示しないメモリに記憶される。
【０３４１】
・ステップ６
既に求められた「φ１〜φｉ」を基底として、その基底の張る部分空間によって表現可能な成分が共分散行列から除外され、残差が算出される。例えば「ｉ」を３以上の整数として「Φｉ＝［φ１  φ２…φｉ］」と定義すると、ｓｐａｎ｛φ１，φ２，…，φｉ｝への正射影行列は、ΦｉのＭｏｏｒｅ−Ｐｅｎｒｏｓｅ一般逆を「Φｉ＋」で表すと、「ΦｉΦｉ＋」で表される。この正射影行列ΦｉΦｉ＋を用いると共分散行列「Ｒｉ＋１」は下記式によって表される。
【０３４２】
【数２０】
0006042044.tif 000021
【０３４３】
・ステップ７
下記式のように「ｉ＝ｉ＋１」として「ｉ」を新たに設定し、「ｉ＝Ｎ−１」となるまで「ステップ４」〜「ステップ７」を繰り返す。このようにしてフィルタの周波数特性φ１〜φＮ−１が求められる。
【０３４４】
【数２１】
0006042044.tif 000022
【０３４５】
＜ＳＡＧＥアルゴリズムを応用した最適フィルタ群の算出＞
次に、ＳＡＧＥアルゴリズムに基づくフィルタ設計の一例について説明する。以下では単峰型分布を前提とするケースについて説明するが、多峰型分布を前提とするケースにも本例を応用することができる点は上述のＯＭＰアルゴリズムと同様である。
【０３４６】
ＳＡＧＥアルゴリズムは、上述のステップ６における共分散行列の残差の更新が単に選ばれた基底（ＦＩＲフィルタ）の減算に基づくものになっている点と、全ての基底が一旦求められた後もそれぞれの基底について個別に更新が続けられる点とで、ＯＭＰアルゴリズムと異なる。
【０３４７】
より具体的には、上述のＯＭＰアルゴリズムのステップ１〜ステップ５は、ＳＡＧＥアルゴリズムにおいても同様に行われる。ただし、上述のＯＭＰアルゴリズムのステップ６で用いられる共分散行列「Ｒｉ＋１」が、ＳＡＧＥアルゴリズムでは下記式によって求められる。
【０３４８】
【数２２】
0006042044.tif 000023
【０３４９】
上述のＯＭＰアルゴリズムのステップ７は、ＳＡＧＥアルゴリズムにおいても同様に行われる。ただしＳＡＧＥアルゴリズムでは、ステップ７以降に、下記のステップ８〜ステップ１２が行われる。
【０３５０】
・ステップ８
下記式で表されるように、パラメータ「ｊ」が初期値「１」に設定される。
【０３５１】
【数２３】
0006042044.tif 000024
【０３５２】
・ステップ９
下記式で表されるように、ｊ番目の基底を取り除いた基底の張る部分空間よって表現可能な成分が共分散行列から除外され、残差が算出される。
【０３５３】
【数２４】
0006042044.tif 000025
【０３５４】
・ステップ１０
上記式で表される残差成分を示す共分散行列Ｑｊの最大の固有値に対応する固有ベクトルΨｊが、上述の手法に従って求められる。
【０３５５】
・ステップ１１
固有ベクトルΨｊの周波数特性を最良に近似するＦＩＲフィルタのタップ係数が任意の手法で取得され、そのタップ係数によって実際に実現されるフィルタの周波数特性が「φｊ」に設定される。これにより第「ｊ＋１」のフィルタリング処理で使用されるフィルタの周波数特性φｊ（タップ係数）が更新され、図示しないメモリに記憶される。
【０３５６】
・ステップ１２
下記式で定義される全体の近似誤差「ＪＴＯＴＡＬ」が特定の目標範囲内となるか、若しくはループ回数（計算時間）が特定の上限に達するまで、下記式で表されるようにパラメータ「ｊ」を変えながら「ステップ９」〜「ステップ１２」が繰り返し行われる。
【０３５７】
【数２５】
0006042044.tif 000026
【０３５８】
上述のＳＡＧＥアルゴリズム又はＯＭＰアルゴリズムを利用することによって、複数種類の画像フィルタ処理の周波数特性のバラツキ（例えば平均及び分散）が把握可能であればＦＩＲフィルタのタップ係数を精度良く設計することができる。また、個別の具体的な画像フィルタ処理の周波数特性の把握に先立って、画像フィルタ処理（複数のフィルタリング処理）で実際に使用可能なフィルタのタップ係数を決めることができる。
【０３５９】
＜点拡がり関数に基づくフィルタと輪郭強調フィルタとの組み合わせ＞
点拡がり関数（ＰＳＦ）は、光学系の設計値から算出するのが最も容易だが、光学系は必ずしも設計値通りには製造されず、実際の光学系の点拡がり関数は、設計値から導き出される周波数特性とは異なる周波数特性を示す場合がある。
【０３６０】
例えば光学系に含まれるレンズ１４の中央部分における実際のＭＴＦが設計値から想定されるＭＴＦとは異なる場合、点拡がり関数に基づく画像フィルタ処理を行っても、原画像データＤ１の中央部分の解像度が十分に改善されない場合がある。このような状況に対応するためにフィルタレスポンスを想定よりも強く設定することも考えられるが、その場合、原画像データＤ１の中央部分（低像高部分）の解像度は改善されるが、原画像データＤ１の周辺部分（高像高部分）の解像度が中央部分の解像度と比べて上がり過ぎる場合がある。
【０３６１】
上述の問題は、設計及び製造のバラツキが生じるケースだけではなく、光学系の個体バラツキが生じるケースにおいても同様に発生する。
【０３６２】
このような問題に対するアプローチ手法の一つとして、個々の光学系（レンズ１４）の中央部分及び周辺部分の各々に関して点拡がり関数を実際に計測し、その計測された点拡がり関数に基づいて、個々の光学系の中央部分及び周辺部分の各々に関するフィルタを別個に作成することが考えられる。
【０３６３】
しかしながら、光学系の位置毎に点拡がり関数を計測してフィルタを作成する処理は非常に負荷が重く、また作成されるフィルタのデータ量も非常に膨大になり、高性能で高価な演算回路及びメモリ等のリソースが必要になる。特にユーザ自身によってキャリブレーションを行う場合には、デジタルカメラ１０の製品自体にそのような演算処理回路及びメモリを組み込む必要があり、様々な入力に対してアルゴリズムが安定的に働く品質を保証することが大きな負荷となる。
【０３６４】
図４１は、設計値から導き出される「光学系（レンズ１４）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。図４１（ａ）及び（ｂ）の各々において、横軸は周波数を示し、縦軸は正規化されたＭＴＦを示す。図４２は、実測値から導き出される「光学系（レンズ１４）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。図４２（ａ）及び（ｂ）の各々において、横軸は周波数を示し、縦軸は正規化されたＭＴＦを示す。図４１及び図４２が同一の光学系に関するものであるとすると、本例では光学系の「周辺部分」に関しては実測値から導き出されるＭＴＦ（図４２（ｂ）参照）は設計値から導き出されるＭＴＦ（図４１（ｂ）参照）とほぼ一致するが、光学系の「中央部分」に関しては実測値から導き出されるＭＴＦ（図４２（ａ）参照）のほうが設計値から導き出されるＭＴＦ（図４１（ａ）参照）よりも良好になっている。
【０３６５】
このような光学系を使って撮影取得される画像データにフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行った場合のＭＴＦについて検討する。
【０３６６】
図４３は、図４１に示すＭＴＦに基づいてフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行う場合の「画像フィルタ処理に関するＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。図４４は、図４２に示すＭＴＦに基づいてフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行う場合の「画像フィルタ処理に関するＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。図４３及び図４４に示す例では、両者共に、フィルタ適用処理ＰＦでは同一のフィルタが使用され、またゲイン適用処理ＰＧでは同一のゲイン「１．０」が使用される例を示す。本例では設計値に基づいてフィルタ適用処理ＰＦで使用されるフィルタが取得されているため、設計値を基準とした場合（図４３（ａ）及び（ｂ）参照）には適切なＭＴＦが得られるが、実測値を基準とした場合には光学系の中央部及び／又は周辺部におけるＭＴＦが大きくなり過ぎてしまうことがある。すなわち、図４４に示す例では光学系の周辺部分のＭＴＦは許容範囲に収まるが（図４４（ｂ）参照）、光学系の中央部分のＭＴＦは周波数帯域によっては大きくなり過ぎてしまう（図４４（ａ）参照）。
【０３６７】
図４５は、図４２に示すＭＴＦに基づいてフィルタ適用処理ＰＦ及びゲイン適用処理ＰＧを行う場合の「光学系（レンズ１４）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。図４５に示す例では、図４４に示す例と同じフィルタがフィルタ適用処理ＰＦで使用されるが、図４４に示す例で用いられるゲインよりも小さなゲイン（＜１．０）がゲイン適用処理ＰＧで使用される。図４５に示す例では光学系の中央部分のＭＴＦは許容範囲に収まるが（図４５（ａ）参照）、光学系の周辺部分のＭＴＦが周波数帯域によっては小さくなり過ぎてしまう（図４５（ｂ）参照）。
【０３６８】
上述のように、光学系（レンズ１４）の全ての位置（中央部分及び周辺部分）の点拡がり関数をバランス良く調整することは難しい。
【０３６９】
以下の実施形態では、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理（以下、「点像復元処理」とも称する）と輪郭強調フィルタを使ったフィルタリング処理（以下、「輪郭強調処理」とも称する）とを組み合わせることによって、光学系の全体の点拡がり関数が良好に調整される。図４６は、図４２に示すＭＴＦに基づいて下述の点像復元処理及び輪郭強調処理を組み合わせて行う場合の「光学系（レンズ１４）のＭＴＦ」の一例を示すグラフであり、（ａ）は光学系の中央部分のＭＴＦを示し、（ｂ）は光学系の周辺部分のＭＴＦを示す。以下の実施形態によれば、図４６（ａ）及び（ｂ）に示すように、光学系の中央部分及び周辺部分の両領域において良好なＭＴＦを実現することができる。
【０３７０】
なお以下の実施形態において「点拡がり関数から導き出されるフィルタ」は画像内位置
（画素位置）に依存して周波数特性が変化するフィルタとして構成され、一方「輪郭強調フィルタ」は画像内位置（画素位置）に依存せずに一定の周波数特性を持つフィルタとして構成される。
【０３７１】
図４７は、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理を行う回路と輪郭強調フィルタを使ったフィルタリング処理を行う回路とが直列的に接続されるケースの一例を示す回路構成図である。図４７に示す回路構成例は、図８に示す回路構成例とほぼ同じである。すなわち図８に示す回路構成例において「Ｎ＝２」とし、第１のフィルタ適用部４８−１で使用するフィルタを「点拡がり関数から導き出されるフィルタ」とし、第２のフィルタ適用部４８−２で使用するフィルタを「輪郭強調フィルタ」とすることで、図４７に示す回路構成となる。
【０３７２】
図４８は、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理を行う回路と輪郭強調フィルタを使ったフィルタリング処理を行う回路とが並列的に接続されるケースの一例を示す回路構成図である。図４８に示す回路構成例は、図９に示す回路構成例とほぼ同じである。すなわち図９に示す回路構成例において「Ｎ＝２」とし、第１のフィルタ適用部４８−１で使用するフィルタを「点拡がり関数から導き出されるフィルタ」とし、第２のフィルタ適用部４８−２で使用するフィルタを「輪郭強調フィルタ」とすることで、図４８に示す回路構成となる。
【０３７３】
図４９は、点拡がり関数から導き出されるフィルタを使ったフィルタリング処理を行う回路と輪郭強調フィルタを使ったフィルタリング処理を行う回路とが並列的に接続されるケースの一例を示す回路構成図である。図４９に示す回路構成例は、図１０に示す回路構成例とほぼ同じである。すなわち図１０に示す回路構成例において「Ｎ＝２」とし、第１のフィルタ適用部４８−１で使用するフィルタを「点拡がり関数から導き出されるフィルタ」とし、第２のフィルタ適用部４８−２で使用するフィルタを「輪郭強調フィルタ」とすることで、図４９に示す回路構成となる。
【０３７４】
図４７〜図４９に示す例でも、上述の図８〜１０に示す例と同様に、第１のゲイン適用部４９−１及び第２のゲイン適用部４９−２で使用するゲインｇ０、ｇ１を調整することで「画像フィルタ処理の目標とする周波数特性」が近似的に実現される。とりわけ図４７〜図４９に示す例では、光学系の中央部分と周辺部分との間で解像感に過大な乖離が起きないようにゲインｇ０、ｇ１が調整される。これによりフィルタ（特に点拡がり関数から導き出されるフィルタ）を再設計する必要が無くなり、多くの撮影条件に関して保持すべきパラメータ数（タップ係数等）を低減することができる。また、光学系の個体バラツキを補正するためのキャリブレーションにおいて、多くの計算量が必要とされる有限タップ長のＦＩＲフィルタの設計作業が不要になる。
【０３７５】
以下、一例として、主にフィルタリング処理部４１が図４９に示す回路構成を有する場合のゲインの算出手法について説明する。
【０３７６】
上述のように第１のフィルタリング処理Ｆ１では「点拡がり関数から導き出されるフィルタ」を使った点像復元処理が行われ、第２のフィルタリング処理Ｆ２では「輪郭強調フィルタ」を使った輪郭強調処理が行われる。
【０３７７】
点像復元処理で使用されるフィルタ（すなわち第１のフィルタ適用部４８−１で使用されるフィルタ）の周波数特性を「φ０（ω，ｒ）」で表すと、周波数についてＮω個及び画像内位置（画素位置）についてＮｒ個のサンプリング点に関して「φ０（ω，ｒ）」の離散化を行うことで、上述のようにＫｒｏｎｅｃｋｅｒ積を使って下記式が成立する。
【０３７８】
【数２６】
0006042044.tif 000027
【０３７９】
一方、輪郭強調処理で使用されるフィルタ（すなわち第２のフィルタ適用部４８−２で使用されるフィルタ）の周波数特性を「τ（ω）」で表す。この輪郭強調フィルタの周波数特性「τ（ω）」は、画像内位置に依存しないが、上述の点像復元処理のフィルタの周波数特性と同様の式フォーマットで表されるように、「τ（ω）」の離散化に関して下記式が成立する。
【０３８０】
【数２７】
0006042044.tif 000028
【０３８１】
この場合、第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２で使用されるゲインによって構成されるゲインベクトル（ゲイン群）ｇは、下記式によって表される。
【０３８２】
【数２８】
0006042044.tif 000029
【０３８３】
上記式で表されるゲインが設定された画像フィルタ処理Ｐ全体（フィルタリング処理部４１全体）の周波数特性を「ｆ（ω，ｒ｜ｇ）」によって表し、実現したい画像フィルタ処理Ｐの目標とする周波数特性を「ｄ（ω，ｒ）」によって表し、近似重み関数を「ｗ（ω，ｒ）」によって表すと、図１０に関する上述の処理と同様にして、下記の関係式が得られる。
【０３８４】
【数２９】
0006042044.tif 000030
【０３８５】
上述のように「（ＡＨＷＡ）−１ＡＨＷ」の部分は予め算出可能な行列（２×２行列）によって表されるため、ゲインベクトルの最適解ｇＯＰＴは、個別の像劣化特性を示す点拡がり関数に基づいて取得されるフィルタ特性に行列を適用する演算によって算出可能である。
【０３８６】
なおフィルタリング処理部４１が図４９に示す回路構成を採用する場合には、上記の条件に加え、画像のＤＣ成分（明るさ）の変化を防ぐために、ＤＣ成分の増幅率（ゲイン）を１．０倍にするという拘束条件が適用されることが好ましい。具体的には、下記式に従ってゲインベクトルの最適解ｇＯＰＴを取得することが「ＤＣ成分の増幅率を１．０倍として画像全体の明るさを変えない」ことに相当する。
【０３８７】
【数３０】
0006042044.tif 000031
【０３８８】
上記式は、ＱＰ問題として扱うことができ、少ない次元の最適化においては少ない計算量で解くことが可能である。また、一例として下記式で表されるように、各フィルタのＤＣ成分の増幅率に制限を設けることによって、ＤＣ成分の増幅率の制限（拘束条件）を除外することが可能である。
【０３８９】
【数３１】
0006042044.tif 000032
【０３９０】
＜輪郭強調フィルタの設計手法＞
撮影条件や個体バラツキに起因する点拡がり関数（ＰＳＦ）のバラツキの分布情報が既知である場合、その点拡がり関数のバラツキをカバーするのに最適な輪郭強調フィルタを設計することが可能である。
【０３９１】
点拡がり関数のバラツキのサンプルとなる点拡がり関数の実測値又は推定値の集合を、点拡がり関数を周波数空間上で表現したＯＴＦを使って下記の「ＯＴＦｉ（ω，ｒ）」によって表すことができる。
【０３９２】
【数３２】
0006042044.tif 000033
【０３９３】
この「ＯＴＦｉ（ω，ｒ）」に基づいて個別に算出される最適なフィルタの周波数を「ｄｉ（ω，ｒ）」によって下記式により表し、各サンプルの撮影条件に関して予め定められる点像復元処理のフィルタの周波数を「φｉ（ω，ｒ）」によって下記式により表す。
【０３９４】
【数３３】
0006042044.tif 000034
【０３９５】
この場合、上述のようにｉ番目のサンプルに関する最適なゲインベクトル「ｇｉ」が下記式によって表される。
【０３９６】
【数３４】
0006042044.tif 000035
【０３９７】
この場合、フィルタリング処理部４１によって行われる画像フィルタ処理Ｐ（第１のフィルタリング処理Ｆ１及び第２のフィルタリング処理Ｆ２）全体の周波数特性は、下記式によって表される。
【０３９８】
【数３５】
0006042044.tif 000036
【０３９９】
ここで「Ｐ」に関する下記式は、下記の線形部分空間「Ｒ（Ｗ１／２Ａ）」への正射影行列を示す。
【０４００】
【数３６】
0006042044.tif 000037
【０４０１】
この線形部分空間に「直交する空間」は下記式によって表される。
【０４０２】
【数３７】
0006042044.tif 000038
【０４０３】
近似誤差は、その「直交する空間」への射影行列によって表現できるため、下記式によって表される。
【０４０４】
【数３８】
0006042044.tif 000039
【０４０５】
この近似誤差のサンプル平均を最小化する輪郭強調フィルタの周波数特性が算出対象であり、その最小化基準は次式の汎関数として表現できる。
【０４０６】
【数３９】
0006042044.tif 000040
【０４０７】
この基準を最小化する周波数特性τが、平均的に、周波数のバラツキを最も良好にカバーできる。したがって、このようにして算出される周波数特性τを近似的に実現する有限タップ長ＦＩＲフィルタを設計し、そのＦＩＲフィルタを輪郭強調フィルタとして輪郭強調処理（第２のゲイン適用部４９−２）で使用することが好ましい。
【０４０８】
＜他の変形例＞
上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部における画像処理方法（画像処理手順及び機能）、ゲイン取得方法（ゲイン取得処理手順及び機能）及びフィルタ取得方法（フィルタ取得処理手順及び機能）をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
【０４０９】
また画像フィルタ処理（複数回のフィルタリング処理）の目的も特に限定されず、各フィルタリング処理（各フィルタ適用部４８）では、画質改善を目的とする点拡がり関数に基づく復元フィルタや輪郭強調フィルタ、特殊効果の付与を目的とするアートフィルタやぼかしフィルタ、等の各種のフィルタが用いられてもよい。
【０４１０】
＜ＥＤｏＦシステムへの応用例＞
例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データ（原画像データＤ１）に対する復元処理に対しても、本発明に係る画像フィルタ処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の光学伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。
【０４１１】
以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。
【０４１２】
図５０は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部３５）１２０とを含む。
【０４１３】
図５１は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。
【０４１４】
なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。
【０４１５】
すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。
【０４１６】
図５１に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。
【０４１７】
ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図５０に示す撮像素子１１２に結像され、ここで電気信号に変換される。
【０４１８】
撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ、Ｇ、Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。
【０４１９】
ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ、Ｇ、Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。
【０４２０】
復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。
【０４２１】
黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することで、黒レベル調整が行われる。
【０４２２】
ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。
【０４２３】
ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。
【０４２４】
デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の三つの画素信号の組が出力されることになる。
【０４２５】
ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。
【０４２６】
Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。なお、Ｙ信号復元処理部１２７は、上述した画像処理部３５における鮮鋭化処理の機能を有する。
【０４２７】
次に、復元処理ブロック１２０による復元処理について説明する。図５２は、図５０に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。
【０４２８】
黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（Ｓ４１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。
【０４２９】
黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（Ｓ４２及びＳ４３）。
【０４３０】
ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換される（Ｓ４４）。
【０４３１】
Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理を適用する復元処理を行う（Ｓ４５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。
【０４３２】
図５３（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図５３（ｂ）に示すように小さな点像（高解像度の画像）に復元される。
【０４３３】
上述のようにデモザイク処理後の輝度信号に復元処理を適用することで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ、Ｇ、Ｂの画素に対応するＲ、Ｇ、Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ、Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。
【０４３４】
以上説明したようなＥＤｏＦシステムの復元処理に対しても、上述の実施形態に係る画像フィルタ処理を適用することが可能である。
【０４３５】
また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
【０４３６】
＜スマートフォンへの応用例＞
図５４は、スマートフォン２０１の外観を示す図である。図５４に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０４３７】
図５５は、図５４に示すスマートフォン２０１の構成を示すブロック図である。図５５に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（上述の本体コントローラ２５が含まれる）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０４３８】
無線通信部２１０は、主制御部２００の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０４３９】
表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。
【０４４０】
表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。
【０４４１】
図５４に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０４４２】
なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の二つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０４４３】
通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０或いは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図５４に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。
【０４４４】
操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図５４に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０４４５】
記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
【０４４６】
外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ  Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０４４７】
スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ  ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ  Ｉｄｅｎｔｉｔｙ  Ｍｏｄｕｌｅ  Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。
【０４４８】
ＧＰＳ受信部２７０は、主制御部２００の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０４４９】
モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示に従って、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。
【０４５０】
電源部２９０は、主制御部２００の指示に従って、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０４５１】
主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０４５２】
アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアに従って主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
【０４５３】
また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。
【０４５４】
更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０４５５】
表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０４５６】
また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０４５７】
更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０４５８】
また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも一つについて軌跡を描く操作を意味する。
【０４５９】
カメラ部２４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図５４に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。
【０４６０】
また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力の一つとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０４６１】
その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。
【０４６２】
上述の画像処理部３５（フィルタリング処理部４１）は、例えば主制御部２００によって実現可能である。
【０４６３】
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０４６４】
１０…デジタルカメラ、１１…レンズユニット、１２…カメラ本体、１４…レンズ、１５…絞り、１７…光学系操作部、１８…レンズユニットコントローラ、１９…レンズユニット記憶部、２０…レンズユニット入出力部、２４…撮像素子、２５…本体コントローラ、２６…ユーザインターフェース、２７…表示部、２８…カメラ本体入出力部、２９…本体記憶部、３０…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３６…表示制御部、３８…画像判定部、４０…前処理部、４１…フィルタリング処理部、４２…後処理部、４３…ゲイン特定部、４４…ゲイン候補データ記憶部、４５…ゲイン取得部、４８…フィルタ適用部、４９…ゲイン適用部、５０…処理データ算出部、５１…処理画像データ算出部、５２…加算器、５４…繰り返し演算判定部、５５…ゲイン供給部、５６…フィルタ供給部、６０…参照画像取得部、６１…参照画像解析部、６２…目標周波数特性取得部、６３…適用ゲイン算出部、６６…周波数解析部、６７…目標周波数特性特定部、６８…周波数特性記憶部、７０…ガイド部、７０ａ…第１のガイド部、７０ｂ…第２のガイド部、７０ｃ…ガイド部、７０ｄ…ガイド部、７１…オートフォーカスエリア、７３…撮影条件表示部、７４…判定情報部、７６…フィルタ取得装置、７７…フィルタ算出部、７８…平均算出部、７９…分散算出部、８０…フィルタ特性取得部、８１…タップ係数演算部、８２…フィルタグループ分類部、９２…コンピュータ、９３…コンピュータ入出力部、９４…コンピュータコントローラ、９５…ディスプレイ、９６…ネットワーク、９７…サーバ、９８…サーバ入出力部、９９…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部
【図１】
0006042044.tif 000041
【図２】
0006042044.tif 000042
【図３】
0006042044.tif 000043
【図４】
0006042044.tif 000044
【図５】
0006042044.tif 000045
【図６】
0006042044.tif 000046
【図７】
0006042044.tif 000047
【図８】
0006042044.tif 000048
【図９】
0006042044.tif 000049
【図１０】
0006042044.tif 000050
【図１１】
0006042044.tif 000051
【図１２】
0006042044.tif 000052
【図１３】
0006042044.tif 000053
【図１４】
0006042044.tif 000054
【図１５】
0006042044.tif 000055
【図１６】
0006042044.tif 000056
【図１７】
0006042044.tif 000057
【図１８】
0006042044.tif 000058
【図１９】
0006042044.tif 000059
【図２０】
0006042044.tif 000060
【図２１】
0006042044.tif 000061
【図２２】
0006042044.tif 000062
【図２３】
0006042044.tif 000063
【図２４】
0006042044.tif 000064
【図２５】
0006042044.tif 000065
【図２６】
0006042044.tif 000066
【図２７】
0006042044.tif 000067
【図２８】
0006042044.tif 000068
【図２９】
0006042044.tif 000069
【図３０】
0006042044.tif 000070
【図３１】
0006042044.tif 000071
【図３２】
0006042044.tif 000072
【図３３】
0006042044.tif 000073
【図３４】
0006042044.tif 000074
【図３５】
0006042044.tif 000075
【図３６】
0006042044.tif 000076
【図３７】
0006042044.tif 000077
【図３８】
0006042044.tif 000078
【図３９】
0006042044.tif 000079
【図４０】
0006042044.tif 000080
【図４１】
0006042044.tif 000081
【図４２】
0006042044.tif 000082
【図４３】
0006042044.tif 000083
【図４４】
0006042044.tif 000084
【図４５】
0006042044.tif 000085
【図４６】
0006042044.tif 000086
【図４７】
0006042044.tif 000087
【図４８】
0006042044.tif 000088
【図４９】
0006042044.tif 000089
【図５０】
0006042044.tif 000090
【図５１】
0006042044.tif 000091
【図５２】
0006042044.tif 000092
【図５３】
0006042044.tif 000093
【図５４】
0006042044.tif 000094
【図５５】
0006042044.tif 000095