(57)【要約】【課題】レンズ情報を取得できない場合でも焦点検出用画素補間を最適に行う。【解決手段】撮像素子１４は、位相差ＡＦ画素を有し、撮影レンズ２４により結像する被写体像を撮像してベイヤー配列画像を得る。不揮発性メモリ１２は、焦点検出用画素の位置を記憶し、また、レンズ条件毎に決めたパラメータ群を記憶する。レンズ通信検出部１７は、交換レンズ１５との間でデータ通信の可否を検出する。ＡＦ画素補間部５０は、通信不可である場合、均一輝度の面光源を撮像した基準画像データに対してパラメータ群の中から選択した複数のパラメータ毎に焦点検出用画素値を撮像用画素値に対応する補間撮像用画素値に補間する。パラメータ推定部１９は、パラメータ毎に補間撮像用画素値と周辺撮像用画素値とを比較して両者の誤差量が最も少ない補間撮像用画素値に対応するパラメータを最適なものとして推定する。ＡＦ画素補間部５０は、本撮影時に、推定したパラメータを用いて焦点検出用画素値を補間撮像用画素値に補間する。【選択図】図１
2014036262.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像用画素及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、
前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、
前記撮像素子により撮像した画像データに対して、前記焦点検出用画素の位置から得られる焦点検出用画素値を、その周辺の撮像用画素の位置から得られる周辺撮像用画素値と、レンズ条件毎に予め決められているパラメータ群の中から撮影時に取得するレンズ条件に基づいて決まるパラメータとを用いて、前記撮像用画素値に対応する補間撮像用画素値に補間する画素補間手段と、
を備える撮像装置において、
前記画素補間手段は、前記レンズ条件を撮影時に取得することができない場合、輝度分布が一様な被写体を前記撮像素子により撮像した基準画像データに含まれる前記焦点検出用画素値を、前記パラメータ群の中から選択した複数のパラメータ毎に前記補間撮像用画素値に補間するとともに、
前記画素補間手段から出力される前記パラメータ毎に補間した補間撮像用画素値と、前記基準画像データに含まれる前記周辺撮像用画素値とを比較し、比較結果に基づいて前記パラメータ群の中から最適なパラメータを推定するパラメータ推定手段を備える、ことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記パラメータ推定手段は、パラメータ毎に補間した補間撮像用画素値データのうちの前記補間撮像用画素値と前記周辺撮像用画素値との差分が最も少ない補間撮像用画素値データに応じたパラメータを推定することを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記レンズ条件が得られない時に使用する調整モードを選択するためのモード選択手段と、
前記モード選択手段により前記調整モードを選択した時に、輝度分布が一様な被写体を撮像する旨のメッセージを外部に出力する指示手段と、
前記指示手段で前記指示を出力した後に、前記画素補間手段、及び前記パラメータ推定手段とを動作させる制御手段と、
を備えることを特徴とする撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置において、
前記パラメータ推定手段で推定したパラメータを記憶する記憶手段を備えることを特徴とする撮像装置。
【請求項５】
請求項１から４のいずれか１項に記載の撮像装置において、
前記パラメータは、射出瞳距離と絞り値とで決まる加重係数となっていることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記加重係数を、射出瞳距離と絞り値とに対応付けしたテーブルを記憶する記憶手段と、
前記テーブルに記述の加重係数群の中からレンズ条件が取得することができない時に前記画素補間手段で用いる複数の加重係数を選択する選択手段と、
を備えることを特徴とする撮像装置。
【請求項７】
請求項１から６のいずれか１項に記載の撮像装置において、
前記パラメータは、画素の色成分毎に決められていることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を２次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用画素は、複数の撮像用画素とは異なる分光特性を有する。特許文献１に記載の画像処理装置では、焦点検出用画素の位置に対応する撮像用画素値を補間し、その後、撮像用画素値のうち欠落色成分の画素値を補間して３色の画像データを作る。
【０００３】
焦点検出用画素の位置に対応する撮像用画素値を補間する場合、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する。
【０００４】
評価画素値は、加重係数とともに焦点検出用画素の近傍の複数の撮像用画素値を用いて加重和を求めることで算出している。加重係数は、焦点検出用画素の分光特性を複数の撮像用画素の各々の分光特性の加重和によって表すためパラメータであり、予め記憶部に記憶されている。
【０００５】
加重係数は、焦点検出用撮像画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、加重係数は、撮像時に得られるレンズ条件、すなわち、絞り（Ｆ）値、及び射出瞳位置（ＰＯ値）に応じて光の集光が変化するため、レンズ条件毎に異なる値を使用することが望ましい。そこで、交換レンズにＣＰＵやメモリ、及び通信用接点等を設け、撮影時に設定されているＦ値や、予めメモリに記憶されているＰＯ値等のレンズ情報をカメラボディに送っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ＣＰＵやメモリ等が内蔵されていない交換レンズの場合には、レンズ情報をカメラボディ側で認識できない。この場合には、例えば、予め用意しておいた固定値になっているパラメータを用いて処理を行っており、必ずしも最適なパラメータで補間されていないために、ＡＦ画素の補間がうまくいかないおそれがあった。
【０００８】
本発明は、レンズ情報を取得することができない交換レンズを使用する場合でも、ＡＦ画素の補間処理を最適に行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明を例示する撮像装置の一態様は、複数の撮像用画素及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、前記撮像素子により撮像した画像データに対して前記焦点検出用画素の位置から得られる焦点検出用画素値をその周辺の撮像用画素の位置から得られる周辺撮像用画素値とレンズ条件毎に予め決められているパラメータ群の中から撮影時に取得するレンズ条件に基づいて決まるパラメータとを用いて前記撮像用画素値に対応する補間撮像用画素値に補間するとともにレンズ条件を撮影時に取得することができない場合には輝度分布が一様な被写体を前記撮像素子により撮像した基準画像データに含まれる前記焦点検出用画素値を前記パラメータ群の中から選択した複数のパラメータ毎に前記補間撮像用画素値に補間する画素補間手段と、前記画素補間手段から出力される前記パラメータ毎に補間した補間撮像用画素値と前記基準画像データに含まれる前記周辺撮像用画素値とを比較し比較結果に基づいて前記複数のパラメータの中から最適なパラメータを推定するパラメータ推定手段と、を備えたものである。
【発明の効果】
【００１０】
本発明によれば、レンズ情報を取得することができない交換レンズを装着しても焦点検出用画素補間に最適なパラメータを設定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の撮像装置の一態様である電子カメラの概略を示すブロック図である。
【図２】撮像素子の受光面に設けた位相差焦点検出用画素列を示す説明図である。
【図３】焦点検出用画素の要部を示す説明図である。
【図４】電子カメラの動作手順の概略を示すフローチャートである。
【図５】パラメータ推定処理の動作手順を示すフローチャートである。
【図６】輝度分布が一様な被写体を電子カメラで撮像する時に使用する原稿、及び照明等の一態様を示す斜視図である。
【図７】画素補間処理の動作手順を示すフローチャートである。
【図８】ＡＦ画素、及び撮像用画素から得られる画素値を各画素位置に表した説明図である。
【図９】最も少ない誤差量を含む撮像用画素値データに対応するパラメータを推定する処理を概略的に示す説明図である。
【図１０】凸構造を含む縦５画素の画像構造を縦断したときの画素値を示す説明図である。
【図１１】ＡＦ画素列に対して離れた位置に周辺撮像用画素列を設けた別の例を示す説明図である。
【発明を実施するための最良の形態】
【００１２】
本発明を適用した電子カメラ１０は、図１に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子１４の種別毎の焦点検出用画素（ＡＦ画素）の位置情報、予め求めておいた画像処理プログラムに用いる各種閾値のデータや、焦点検出用画素値を撮像用画素値に補間するためのパラメータ（加重係数）等を記述したパラメータテーブル、及び各種判定用テーブル等を記憶する。
【００１３】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００１４】
パラメータは、ＡＦ画素から得られる画素値を撮像用画素値に補間する画素補間処理を行う時に、撮影時のレンズ条件に応じたものが用いられる。撮影時のレンズ条件は、交換レンズ１５の種別毎に決められている射出瞳位置（ＰＯ値）、及び撮影時に決められる絞り（Ｆ）値となっている。
【００１５】
交換レンズ１５は、焦点距離や開放絞り（Ｆ）値等の異なる種別が複数用意されており、電子カメラ１０のマウント部に着脱自在に取り付けられる。また、交換レンズ１５には、単焦点の撮影レンズ２４以外に、図示していないがＣＰＵ、メモリ、及び通信用接点等を備え、カメラボディのＣＰＵ１１との間でデータ通信が行えるタイプがある。このように通信が行える交換レンズ１５を使用する場合、撮像時に得られるレンズ条件をＣＰＵ１１が自動的に取得することができる。なお、通信用接点等の有線通信の代わりに、無線通信で行うようにしてもよい。
【００１６】
また、交換レンズ１５には、カメラボディのマウント部に互換性を有していないものがある。そのため、変換アダプタ１６が提供されている。変換アダプタ１６は、第１及び第２マウント部、入力部、及び出力部を備えている。第１マウント部は、交換レンズ１５に着脱自在に取り付けられる。第２マウント部は、カメラボディに着脱自在に取り付けられる。入力部には、交換レンズ１５からレンズ情報が入力される。出力部は、入力部に入力されたレンズ情報をカメラボディのＣＰＵ１１に出力する。マウント部の互換性がない交換レンズ１５には、前述したと同じに、データ通信が可能なものと不可なものとがある。
【００１７】
このため、電子カメラ１０には、レンズ通信検出部１７、及びレンズ条件取得部１８を備えている。レンズ通信検出部１７は、変換アダプタ１６が装着されているか否かを検知し、変換アダプタ１６が装着されていないことを検出した場合には、交換レンズ１５が装着されているものと判断する。
【００１８】
その後、装着されている交換レンズ１５が通信可能か否かを検出する。レンズ条件取得部１８は、通信可能である場合、交換レンズ１５のＣＰＵとの間で通信してレンズ条件を取得してその情報をＣＰＵ１１に送る。ＣＰＵ１１は、パラメータ決定部２０を有し、パラメータ決定部２０は、撮影時に交換レンズ１５から自動的に取得するレンズ情報に基づいて、その時点の撮影時に最適な一つのパラメータを、前記不揮発性メモリ１２に予め記憶したパラメータテーブルを参照して自動的に決定する。
【００１９】
通信が不可の交換レンズ１５を使用する場合には、レンズ条件を取得することができない。そこで、ＣＰＵ１１は、パラメータ推定部１９を備えている。パラメータ推定部１９は、均一輝度の面光源を撮像した基準画像データに基づいて、詳しくは後述するＡＦ画素補間部５０で複数のパラメータ毎に補間した撮像用画素値と、その焦点検出用画素の周辺の撮像用画素から得られる周辺撮像用画素値とを比較して、比較結果に基づいてその時点のレンズ条件で最適なパラメータを決める。
【００２０】
操作部３７は、調整モード選択操作部を有する。調整モード選択操作部は、調整モードを選択するための操作部である。調整モードは、通信不可の交換レンズ１５を使用する時に選択されるモードであり、レンズ条件が分からない時にパラメータを推定する処理を実行する。通信不可の交換レンズ１５を使用する場合、ＣＰＵ１１は、調整モードが選択されることに応答して、例えば「輝度分布が一様な被写体を撮影してください。」等、基準被写体を撮影する指示を促すメッセージを表示部２１に表示するように制御して、輝度分布が一様な被写体（基準被写体）を撮像させ、撮像により取得した基準画像データに基づいて、次回の本撮影時点のレンズ条件に最適なパラメータを推定する。なお、ＣＰＵ１１は、交換レンズ１５との間で通信不可を検出することに応答して自動的に前記メッセージを表示するように制御してもよい。
【００２１】
撮影レンズ２４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１４の受光面に結像する。撮像素子駆動回路２５は、ＣＰＵ１１からの制御信号に基づいて撮像素子１４を駆動させる。撮像素子１４は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ２６が取り付けられている。
原色透過フィルタ２６は、撮像素子１４の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００２２】
撮像素子１４の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ２７、及びＡＭＰ２８に順に送られて所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２９においてデジタルの画像データに変換されてから画像処理部３０に送られる。
【００２３】
画像処理部３０は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列データを、１画素当たり３色からなる通常のカラー画像データに変換する。
【００２４】
画像処理部３０から出力される３色の画像データは、バス３１を通じてＳＤＲＡＭ３２に格納される。ＳＤＲＡＭ３２に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部３３に送られる。表示制御部３３は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２１にスルー画像として出力する。
【００２５】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ３２から読み出した後に圧縮伸長処理部３４に送られ、ここで圧縮処理が施されてからメディアコントローラ３５を介して記録媒体であるカードメモリ３６に記録される。ＣＰＵ１１には、操作部３７が接続されている。操作部３７は、前述した調整モード選択操作部以外に、シャッタボタン、電源スイッチ、シャッタ速度設定部、絞り設定部、及びＩＳＯ感度設定部等を含む。
【００２６】
ＡＥ／ＡＦ検出部３９は、焦点検出用画素の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＥ／ＡＦ検出部３９で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ４０を制御してレンズ駆動部４１を駆動して撮影レンズ２４のうち、フォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２７】
また、ＡＥ／ＡＦ検出部３９は、撮像用画素の信号に基づいて算出した輝度値（Ｂｖ）と、ＩＳＯ感度設定部で設定したＳｖ値とを用いて光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＥ／ＡＦ検出部３９は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が光値（Ｌｖ）になるように絞り値とシャッタ速度とを決定する。そして、これに従ってＣＰＵ１１は、撮像素子１４の電子シャッタ、及びドライバ４２を介して絞り駆動部４３を駆動して交換レンズ１５に設けた絞り４４の口径を制御して適正な露光量を得る。
【００２８】
撮像素子１４は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ２６がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１４は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出用画素（ＡＦ画素）を有する。なお、本実施形態では、各ＡＦ画素に原色透過フィルタ２６が設けられていない例として説明する。
【００２９】
ＡＦ画素は、撮像レンズ２４の光学系の瞳の左側、又は右側を通過する光束を受光する２種別存在する位相差ＡＦ画素になっている。撮像素子１４は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００３０】
ＡＦ画素群は、図２に示すように、受光面１４ａのうちの水平走査方向に密に並べたＡＦ画素列（同図に示した直線）４７を、垂直走査方向に所定ピッチずつ離して規則的に配置して構成されている。ＡＦ画素列４７の間には、撮像用画素列が複数配されている。複数のＡＦ画素列４７のうちの最も上下にあるＡＦ画素列４７ａ，４７ｚは、焦点検出の必要性が低い受光面１４ａの四隅に含まれる部分が省略されて長さが短くなっている。
【００３１】
各ＡＦ画素４６は、図３に示すように、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部４６ａ，４６ｂを持ち、その偏りの方向に沿って１次元状に並べられている。隣接するセンサ開口部４６ａ，４６ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部４６ａを有するＡＦ画素４６は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部４６ｂを有するＡＦ画素４６は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部４６ａ，４６ｂをもつＡＦ画素４６によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ２４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部４６ａをもつＡＦ画素４６とセンサ開口部４６ｂをもつＡＦ画素４６でそれぞれ受光すれば、これら２つのＡＦ画素４６から出力された信号の位相差によりデフォーカスの方向と、デフォーカス量とが分かる。これにより速やかなフォーカス合わせが可能になる。
【００３２】
したがって、本実施形態におけるＡＦ画素４６の各々は、白色光の輝度に応じた左側、又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１４によって撮像された画像データのうち、ＡＦ画素４６が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ２６を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００３３】
画像処理部３０は、ＡＦ画素４６の画素値（ＡＦ画素値（焦点検出用画素値））を撮像用画素の画素値（補間撮像用画素値）に補間するＡＦ画素補間部（画素補間手段）５０を有し、ＡＦ画素値を補間撮像用画素値に補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う。
【００３４】
ＡＦ画素補間部５０は、交換レンズ１５との間でレンズ通信が不可能である場合、又は調整モードが選択された場合、ＡＦ画素値を用いて画素補間をする画素補間処理を実行する。画素補間処理は、ＡＦ画素値（ホワイト（Ｗ）成分）から周囲の撮像用画素値（周辺撮像用画素値）を元に加重和で予測することで、そのＡＦ画素値を補間する。このとき、予め決められている複数のパラメータのうち、撮影時点のレンズ条件に応じた一つのパラメータ、すなわち詳しくは後述する加重係数を、画素の色成分毎に選択して用いる。
【００３５】
次に、上記構成の作用について図４を参照しながら説明する。ＣＰＵ１１は、電源スイッチのオンに応答して（Ｓ−１）、モード選択操作部で選択されているモードを監視する（Ｓ−２）。調整モードが選択されている場合には、パラメータ推定処理を実行する（Ｓ−２の「Ｙ」側）。調整モード以外の撮影モード場合には、その時点に取り付けられている交換レンズ１５との間でデータ通信が行えるか否かを判断する（Ｓ−２の「Ｎ」側）。ここで、本実施形態では、変換アダプタ１６を使用せずに装着することができるマウントに互換性のある交換レンズ１５は、データ通信が可能であり、また、変換アダプタ１６を使用するマウントに互換性のない交換レンズ１５に対しては、データ通信が可能なものと不可なものとがあると仮定して説明する。
【００３６】
レンズ通信検出部１７は、パラメータ決定処理の実行指示に応答して、変換アダプタ１６が装着されているか否かを検知し（Ｓ−３）、その後、変換アダプタ１６の装着を検知した場合にはデータ通信が可能か否かを検出する（Ｓ−４）。変換アダプタ１６の装着を検知し、かつ交換レンズ１５との間でデータ通信が可能であることを検出した場合には（Ｓ−４の「Ｙ」側）、レンズ条件取得部１８を動作させてパラメータ決定処理を実行する（Ｓ−５）。また、変換アダプタ１６の装着を検知しない場合には（Ｓ−３の「Ｎ」側）、データ通信が可能な交換レンズ１５が装着されているとみなし、前述した同様にパラメータ決定処理を実行する（Ｓ−５）。
【００３７】
［パラメータ決定処理］
パラメータ決定処理は、交換レンズ１５から撮影時点のレンズ条件を取得し、取得したレンズ条件に基づいてパラメータを自動的に決定する処理である。
具体的には、レンズ条件取得部１８は、シャッタレリーズの半押し操作、又は全押し操作に応答して、レンズ条件の情報を交換レンズ１５のＣＰＵを介してメモリから自動的に読み出して取得する。取得したレンズ条件の情報は、交換レンズ１５の種別に応じたＰＯ値とＦ値（絞り値）とを含む。パラメータ決定部２０は、ＰＯ値とＦ値とに基づいて、その撮影時点で最適なパラメータを求める。パラメータは、予め不揮発性メモリ１２に記憶したパラメータテーブルに記述されている。パラメータテーブルには、例えば［表１］に示すように、横軸(行)にＰＯ値を、縦軸（列）にＦ値をとり、行列（マトリクス）の交点に、異なるパラメータ群を記述した形態となっている。パラメータテーブルは、画素の色成分毎に用意されている。パラメータテーブルから求めたパラメータは、ワークメモリ１３に一時的に記憶され、詳しくは後述する本撮影により取得した画像データに対して画素補間処理（Ｓ−８）を行う時に使用される。
【００３８】
【表１】
2014036262.tif 000003
【００３９】
変換アダプタ１６の装着を検知し、かつデータ通信が不可であると検出した場合には、パラメータ推定部１９が撮影時点のレンズ条件に応じたパラメータを推定するパラメータ推定処理を実行する（Ｓ−６）。パラメータ推定処理は、交換レンズ１５からレンズ条件を取得することができない時に、ＣＰＵ１１のパラメータ推定部１９で実行されるものであり、均一輝度の面光源を撮像素子１４により撮像した基準画像データに対して複数のパラメータ毎に画素補間処理を施して、パラメータ毎に補間した撮像用画素値（補間撮像用画素値）とそのＡＦ画素の周辺の撮像用画素の画素値（周辺撮像用画素値）とを比較し、比較結果に基づいて複数のパラメータの中から撮影時点のレンズ条件に最適な一つのパラメータを推定する処理である。なお、交換レンズ１５との間でデータ通信が不可である場合には、撮影レンズ２４の合焦と絞り４４とを自動的に制御できないため、ピント位置、シャッタ速度、及び絞り値を予め決めて撮影をするマニュアル撮影が行われる。
【００４０】
パラメータを決定、又は推定した後に、本撮影が行われる（Ｓ−７）。本撮影により撮像素子１４から取得した画像データが画像処理部３０に取り込まれる。ＡＦ画素補間部５０は、取り込んだ画像データに含まれるＡＦ画素値を前記決定、又は推定したパラメータを用いて撮像用画素値に補間して記録用、又は再生用の画像データを生成する（Ｓ−８）。生成した画像データは、圧縮伸長処理部３４で圧縮された後に、カードメモリ３６に記録される（Ｓ−９）。
【００４１】
［パラメータ推定処理］
パラメータ推定部１９は、交換レンズ１５との間でデータ通信が不可の場合、又は調整モードが選択された場合、パラメータ推定処理を実行する。パラメータ推定処理では、マニュアル撮影により予め絞り値が設定されているものと仮定している。パラメータ推定部１９は、図５に示すように、「輝度分布が一様な被写体を撮影してください。」等、基準被写体を撮影する指示を促すメッセージを外部、例えば表示部２１に表示する（Ｓ−１０）。なお、スピーカを設けて音で外部表示してもよい。輝度分布が一様な被写体を撮影する具体的な方法としては、詳しくは図６に示すように、絵柄のない無地の透過性のチャート４８を、拡散板５１により均一な輝度で背後から照明し、そのチャート４８の像（基準被写体の像）を電子カメラ１０で撮像する。拡散版５１は、光源４９から放たれる光を均一に拡散する。
【００４２】
ＣＰＵ１１は、メッセージを外部表示した後に、撮影が行われたか否かを判定するためにシャッタボタンを監視する（Ｓ−１１）。撮影が行われたと判定した場合、ＣＰＵ１１は、シャッタレリーズに応答して画像処理部３０に取り込まれる基準画像データが均一な輝度か否かを判定する。均一な輝度でないと判定した場合は（Ｓ−１２の「Ｎ」側）、再度撮影をするようにメッセージを外部に表示する（Ｓ−１０）。均一な輝度であると判定した場合（Ｓ−１２の「Ｙ」側）、パラメータ推定部１９は、ＡＦ画素補間部５０を制御して基準画像データに対してパラメータを変えて画素補間処理を実行する（Ｓ−１３）。なお、均一な輝度か否かの判定としては、例えば基準画像データに対して、任意に分割した各領域の輝度値の平均値を算出し、各領域の平均値の最大値、及び最小値に基づいて均一性を判定するのが望ましい。
【００４３】
ＡＦ画素補間部５０は、レンズ条件に基づいて決められているパラメータ群（［表１］に示すパラメータ群）のうち複数のパラメータを選択する。複数のパラメータを選択する方法としては、例えば［表１］にマトリクス状に示したパラメータ群のうちの左上から右下に向けた斜線上の交点に記述のパラメータを飛び飛びに選択してもよいし、前記マトリクス状のパラメータ群を複数の領域に分割し、分割した領域に含まれる複数のパラメータのうちの任意の一つを領域毎にそれぞれ選択してもよい。
【００４４】
ＡＦ画素補間部５０は、複数のパラメータを選択した後に、選択した複数のパラメータ毎に、基準画像データに含まれるＡＦ画素値を補間撮像用画素値に補間する画素補間処理を行う（Ｓ−１３）。パラメータ推定部１９は、パラメータ毎に複数のＡＦ画素値を補間した補間撮像用画素値を含む補間撮像用画素値データを取得し、補間撮像用画素値データに含まれる補間撮像用画素値と、補間対象のＡＦ画素の周辺にある撮像用画素から得られる画素値（周辺撮像用画素値）とを比較し（Ｓ−１４）、周辺撮像用画素値に対して補間撮像用画素値との差が最も少ない補間撮像用画素値データに対応するパラメータを選択し、選択したパラメータを撮影時点で好適なパラメータと推定してワークメモリ１３に記憶する（Ｓ−１５）。
【００４５】
［パラメータ推定処理での画素補間処理］
ＡＦ画素補間部５０での画素補間処理を、図７を参照しながら説明する。なお、図７に示す画素補間処理は、本撮影時に取得する画像データに対して行う画素補間処理と同様であり、違いは、パラメータ推定処理の場合、詳しくは後述する閾値ｔｈ１、閾値ｔｈ２，閾値ｔｈ３の値をそれぞれ極めて大きい値に設定して、「Ｓ―２１」〜「Ｓ−２４」、及び「Ｓ−２６」〜「Ｓ−２９」の処理を必ず実行する点にある。
【００４６】
ここで、本実施形態では、撮像用画素の各々に設置される原色透過フィルタ２６がベイヤー配列のパターンであることから、図８に示すＡＦ画素列のうちの記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素値が補間される。以下の画素補間処理の説明では、図８に示すＹ４４の青色の撮像用画素値とＸ４５の緑色の撮像用画素値とにそれぞれ補間する場合について説明する。なお、他のＡＦ画素における撮像用画素値に補間する手順も同様である。
【００４７】
ＣＰＵ１１は、不揮発性メモリ１２から、撮像素子１４に関する情報に基づいたＡＦ画素の位置情報を読み出してＡＦ画素補間部５０に送る。ＡＦ画素補間部５０は、ＡＦ画素の位置を特定した後に、特定したＡＦ画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてＡＦ画素値を補間する。
【００４８】
（最小となる変動値の方向を算出）
ＡＦ画素補間部５０は、図８に示すＸ４５及びＹ４４のＡＦ画素の画素値を撮像用画素値に補間するために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、［数１］〜［数４］に記載の式を用いてそれぞれ求める（Ｓ−１６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００４９】
［数１］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
【００５０】
［数２］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
【００５１】
［数３］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
【００５２】
［数４］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
【００５３】
（最小変動値の方向に応じた周辺の撮像用画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部５０は、ステップ（Ｓ−１６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素値ＢＹ４４を［数５］〜［数８］のうちの選択した方向に対応する式を用いて求める（Ｓ−１７）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像用画素値を補間することが可能となる。
【００５４】
［数５］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
【００５５】
［数６］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
【００５６】
［数７］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
【００５７】
［数８］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
【００５８】
ＡＦ画素補間部５０は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数９］に記載の式とを用いて算出する。
【００５９】
［数９］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
【００６０】
ＡＦ画素補間部５０は、その方向変動Ｈ５が閾値ｔｈ１を超えるか否かを判定する（Ｓ−１８）。ここで、パラメータ推定処理で行う画素補間処理では、閾値ｔｈ１を極めて大きい値に設定する。
したがって、パラメータ推定処理で行う画素補間処理では、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）に該当するため、ＡＦ画素補間部５０は、（Ｓ−２０）へ移行する。
【００６１】
ＡＦ画素補間部５０は、ステップ（Ｓ−１６）で求めた方向変動Ｈ２が閾値ｔｈ２を超えるか否かを判定する（Ｓ−２０）。ここで、パラメータ推定処理で行う画素補間処理では、閾値ｔｈ２を極めて大きい値に設定している。
したがって、パラメータ推定処理で行う画素補間処理では、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）に該当するため、ＡＦ画素補間部５０は、（Ｓ−２１）へ移行する。
【００６２】
ＡＦ画素補間部５０は、右側からの光束に感度を有するＹ４４等のＡＦ画素における平均画素値＜Ｗ４４＞等を、周辺にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−２１）。具体的には、ステップ（Ｓ−１６）において、例えば、ＡＦ画素補間部５０が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素値は［数５］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１０］に記載の４つの式を用いて補間計算する。
【００６３】
［数１０］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
【００６４】
パラメータ推定部１９は、パラメータテーブル［表１］を参照して、複数の異なるパラメータを選択し、選択したパラメータ（以下、「加重係数」）をワークメモリ１３にいったん記憶しておき、選択した加重係数を適宜ワークメモリ１３から読み出してＡＦ画素補間部５０に送る（Ｓ−２１）。読み出した加重係数は、画素の色成分毎に用意されている。ＡＦ画素補間部５０は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、読み出した加重係数、すなわち、Ｒ、Ｇ及びＧの加重係数ＷＲ、ＷＧ、及びＷＢを用いて、［数１１］に記載の式の加重和によって算出する。
【００６５】
［数１１］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
【００６６】
そして、ＡＦ画素補間部５０は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する（Ｓ−２２）。
ＡＦ画素補間部５０は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−２２）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−２３）。ステップ（Ｓ−１７）において、ＡＦ画素補間部５０が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素値は、［数６］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１２］に記載の４つの式を用いて補間計算する。
【００６７】
［数１２］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｇ６６）／２
【００６８】
そして、ＡＦ画素補間部５０は、撮像用画素Ｇ２５及びＧ６５の位置における画素値Ｗ２５及びＷ６５を、［数１３］に記載の式の加重和によって算出する。
【００６９】
［数１３］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
そして、画像処理部３０は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する（Ｓ−２３）。
【００７０】
ＡＦ画素補間部５０は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−２２）及び（Ｓ−２３）において求めた白色光の平均画素値を用いて求める（Ｓ−２４）。ＡＦ画素補間部５０は、撮像素子１４の各ＡＦ画素値から、各ＡＦ画素の位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部５０は、ＡＦ画素の画素値、及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１４］に記載の式を用いて算出する。
【００７１】
［数１４］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
【００７２】
なお、ステップ（Ｓ−２４）で説明した［数１４］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−１８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００７３】
その後、ＡＦ画素補間部５０は、［数１５］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００７４】
［数１５］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
【００７５】
ＡＦ画素補間部５０は、ステップ（Ｓ−２４）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦの前記画素値に占める割合が、閾値ｔｈ３より小さいか否かを判定する（Ｓ−２５）。ここで、パラメータ推定処理で行う画素補間処理では、閾値ｔｈ３を極めて大きい値に設定している。したがって、パラメータ推定処理で行う画素補間処理では、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）に該当し、ＡＦ画素補間部５０は、ステップ（Ｓ−２６）へ移行する。
【００７６】
ＡＦ画素補間部５０は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−２６）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部５０は、［数１６］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００７７】
［数１６］
(1)ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
【００７８】
なお、本実施形態のＡＦ画素補間部５０は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００７９】
一方、ＡＦ画素補間部５０は、［数１７］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００８０】
［数１７］
(1)ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６５）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
【００８１】
なお、本実施形態のＡＦ画素補間部５０は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００８２】
ＡＦ画素補間部５０は、ステップ（Ｓ−２６）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの色変動率ＫＷＧ、及びＫＷＢを算出する（Ｓ−２７）。まず、ＡＦ画素補間部５０は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数１８］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００８３】
［数１８］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
【００８４】
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
そして、画像処理部３０は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数１９］に記載の式により白色光における色変動ＶＷを算出する。
【００８５】
［数１９］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
よって、ＡＦ画素補間部５０は、色変動率ＫＷＧ及びＫＷＢを［数２０］から算出する。
【００８６】
［数２０］
ＫＷＢ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
【００８７】
ＡＦ画素補間部５０は、ステップ（Ｓ−２４）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−２７）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２１］に記載の式から算出する（Ｓ−２８）。
【００８８】
［数２１］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
【００８９】
ＡＦ画素補間部５０は、ステップ（Ｓ−２８）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−１７）で補間して求めた撮像用画素値に付加する（Ｓ−２９）。
【００９０】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−２０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−２０）では、そのような場合に高周波成分の付加を抑制するようにしている。
【００９１】
ＣＰＵ１１は、例えば、［数２２］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【００９２】
［数２２］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＢＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＧＸ４５
【００９３】
ＡＦ画素補間部５０は、［数２２］に記載の式に基づいて、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における補間撮像用画素値とした補間撮像用画素値データを、第１のパラメータに対応付けしてワークメモリ１３に記憶しておく。同様にして残りの複数のパラメータ毎に画素補間処理を行って、パラメータ毎に補間撮像用画素値データを導き出してワークメモリ１３に記憶しておく。
【００９４】
（パラメータ推定）
パラメータ推定部１９は、パラメータ毎に導き出した補間撮像用画素値データをワークメモリ１３から読み出し、補間撮像用画素値データに含まれる補間撮像用画素値と周辺撮像用画素値とを比較していく。例えば、図８で説明したＡＦ画素Ｙ４４の位置において補間して求めた補間撮像用画素値Ｂ’Ｙ４４と、そのＡＦ画素の位置Ｙ４４に対する周辺撮像用画素位置Ｂ２４，Ｂ６４の画素値とを比較する。ここで、周辺撮像用画素位置Ｂ２４，Ｂ６４の画素値は、平均値とする。ＡＦ画素Ｘ４５の位置において補間して求めた補間撮像用画素値Ｇ’Ｘ４５と、そのＡＦ画素の位置Ｘ４５に対する周辺撮像用画素値（周辺撮像用画素値Ｇ２５と周辺撮像用画素値Ｇ６５との平均値）とを比較して誤差量（差分）を求める。残りの補間撮像用画素値に対しても周辺撮像用画素値とを比較していき、誤差量を求める。補間撮像用画素値データ毎に比べて誤差量が最も少ない補間撮像用画素値データに応じたパラメータを選択する。ここで、補間撮像用画素値データの誤差量としては、ＡＦ画素のトータルの誤差量としてもよいし、平均値としてもよい。図９に示す例では、パラメータＡ，Ｂ，Ｃ・・・毎に補間画像用画素値データを導き出し、そして、比較結果により誤差量Ｘ、Ｚ、Ｙ・・・のうちの最も少ない誤差量（差分）を含む補間撮像用画素値データに対応するパラメータを、撮影時点で最適なパラメータとして推定する。推定したパラメータは、ワークメモリ１３に記憶しておく。
【００９５】
［本撮影時の画素補間処理］
本撮影時の画素補間処理では、パラメータ推定部１９で推定したパラメータ、又はパラメータ決定部２０で決定したパラメータを用いて、本撮影時に取得した画像データに対して、前述したと同様に画素補間処理を行う。
違う点は、図７で説明した「Ｓ−１８」での判定で、方向変動Ｈ５が閾値ｔｈ１を超える場合（ＹＥＳ側）、ＡＦ画素補間部５０は、ステップ（Ｓ−１７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部３０は、更新した画像データに対して１画素当たり３色の画素値に補間して３色の画像データを生成し、３色の画像データを、バス３１を介してＳＤＲＡＭ３２に記録する（Ｓ−１９）。ここで、本撮影時に行う画素補間処理では、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００９６】
また、方向変動Ｈ２が閾値ｔｈ２を超える場合（ＹＥＳ側）、ＡＦ画素補間部５０は、ステップ（Ｓ−１７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部３０は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス３１を介してＳＤＲＡＭ３２に格納する（Ｓ−１９）。ここで、本撮影時に行う画素補間処理では、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００９７】
さらに、閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部５０は、ステップＳ−２２及びＳ−２３で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部３０は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス３１介してＳＤＲＡＭ３２に格納する（Ｓ−１９）。なお、閾値ｔｈ３としては、本実施形態では、例えば、１０％程度が望ましい。また、閾値ｔｈ３の値についての説明は、後の加重係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。
【００９８】
ＡＦ画素補間部５０は、［数２２］に記載の式に基づいて、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における補間撮像用画素値として、本撮影時に取得した画像データを更新する。画像処理部３０は、更新した画像データに対して３色に画素補間等を施して最終的な３色毎の画像データを生成してＳＤＲＡＭ３２に格納する。
【００９９】
図１０は、本実施形態の効果が発揮される画像構造の一例を表す。同図は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【０１００】
図１０に示す○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、同図の凸構造を再現できない。実際、前述したステップ（Ｓ−１７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図１０の●印）は、凸構造を再現していない。
【０１０１】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１４］）。
【０１０２】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＢを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１１］及び［数１３］）。
【０１０３】
図１０に示す□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２１］）。
【０１０４】
上記各実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
また、上記各実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１０５】
上記各実施形態では、図２で説明したＡＦ画素４６に、原色透過フィルタ２６を設置していない例として説明している。しかしながら、本発明ではこれに限らず、ＡＦ画素４６に、例えば減光（ＮＤ）フィルタや緑（Ｇ）フィルタを設置してもよい。ＡＦ画素４６に緑フィルタを設置する場合には、ＡＦ画素から緑フィルタを通した透過光の輝度に応じた検出信号が出力されるので、その信号を画素値として用いればよい。
【０１０６】
上記各実施形態では、図８で説明したＡＦ画素列４７に対して周辺撮像用画素列を、周辺撮像用画素列５２，５３として説明しているが、本発明ではこれらに限らず、図１１に示すように、ＡＦ画素列４７から垂直走査方向に遠く離れたＧ／Ｂ画素列である周辺撮像用画素列５４，５５としてもよい。また、ＡＦ画素列としては、Ｇ／Ｂ画素列に対応する列に設けるに限らず、Ｇ／Ｒ画素列に対応する列に設けてもよい。
【０１０７】
さらに、上記各実施形態では、本発明を電子カメラ１０として説明しているが、カメラ付き携帯電話やスマートフォン等の撮像装置としてもよい。また、本発明の記憶手段としては、不揮発性メモリ１２の代わりに、外部から交換可能なカードメモリとしてもよい。
【符号の説明】
【０１０８】
１０  電子カメラ
１４  撮像素子
１９  パラメータ推定部
２０  パラメータ決定部
５０  ＡＦ画素補間部
【図１】
2014036262.tif 000004
【図２】
2014036262.tif 000005
【図３】
2014036262.tif 000006
【図４】
2014036262.tif 000007
【図５】
2014036262.tif 000008
【図６】
2014036262.tif 000009
【図７】
2014036262.tif 000010
【図８】
2014036262.tif 000011
【図９】
2014036262.tif 000012
【図１０】
2014036262.tif 000013
【図１１】
2014036262.tif 000014