(57)【要約】  本発明はジャギーの低減と合焦精度の向上とを両立する。本発明はカラー撮像素子２３の撮像面に、第１及び第２の配列パターン４２，４３を有する一対の配列パターン４４を垂直方向に複数設ける。第１の配列パターン４２には、第１及び第２の位相差画素３６ａ，３６ｂを水平方向に３画素間隔で交互に配列する。第２の配列パターン４３は、第１の配列パターン４２を水平方向に３画素間隔分ずらした配列パターンとする。斜め方向の同一画素ライン内にある各配列パターン４２，４３の第１の位相差画素３６ａの中間位置における第１の補間画素５８ａの画素値を補間処理により求める。斜め方向の同一画素ライン内にある各配列パターン４２，４３の第２の位相差画素３６ｂの中間位置における第２の補間画素５８ｂの画素値を補間処理により求める。各補間画素５８ａ，５８ｂの画素値に基づきスプリットイメージデータ６１を生成する。
2014046037.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズと、
光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間手段と、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間手段と、
少なくとも前記第１及び第２の補間手段により求められた前記第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成手段と、
前記合焦確認画像生成手段により生成された前記合焦確認画像を表示する表示手段と、
を備える撮像装置。
【請求項２】
前記合焦確認画像生成手段は、前記第１及び第２の補間手段により求められた前記第１及び第２の画素の画素値のみに基づいて前記合焦確認画像を生成する請求項１記載の撮像装置。
【請求項３】
前記複数の画素は、前記第１及び第２の画素と、前記第１及び第２の領域を通過した各被写体光が瞳分割されずにそれぞれ入射する第３の画素とを含み、
前記第３の画素の画素値に基づき、第３の画像を生成する第３の画像生成手段と、
前記第３の画像生成手段により生成された前記第３の画像を前記表示手段に表示させ、かつ当該第３の画像の表示領域内に前記合焦確認画像を表示させる表示制御手段と、を備える請求項１または２記載の撮像装置。
【請求項４】
前記第１及び第２の配列パターンのそれぞれの前記第１の画素間に位置する第３の補間画素の画素値を、これら第１の画素の画素値に基づき決定し、前記第２の画素間に位置する第４の補間画素の画素値を、これら第２の画素の画素値に基づき決定する第３の補間手段と、
前記第１及び第２の配列パターンの一方の前記第１の画素間に位置する第５の補間画素の画素値を、前記第５の補間画素と同一の前記第２の方向の画素ライン内に配置された前記第１の画素の画素値に基づき決定し、前記一方の前記第２の画素間に位置する第６の補間画素の画素値を、前記第６の補間画素と同一の前記第２の方向の画素ライン内に配置された前記第２の画素の画素値に基づき決定する第４の補間手段と、
前記第３の画素の画素値に基づき、前記第３の画素の相関性の高い方向及び相関性の強度を判別する判別手段と、
前記判別手段の判別結果に基づき、前記第１及び第２の補間手段、前記第３の補間手段、及び前記第４の補間手段の中から前記判別結果に対応するものを選択して補間処理を実行させる補間制御手段と、を備える請求項３記載の撮像装置。
【請求項５】
前記第２の配列パターンは、前記第１の配列パターンに対して前記第２の方向に前記第１の間隔をあけて配置されている請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記複数の画素に含まれる欠陥画素を検出する欠陥画素検出手段を備え、
前記第１の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第１の画素対の一方が前記欠陥画素である場合に、前記第１の画素対の他方の画素値を前記第１の補間画素の画素値として決定し、
前記第２の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第２の画素対の一方が前記欠陥画素である場合に、前記第２の画素対の他方の画素値を前記第１の補間画素の画素値として決定する請求項１から５のいずれか１項記載の撮像装置。
【請求項７】
前記第１の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第１の方向に沿って第Ｎ（Ｎは２以上の自然数）番目に配置された前記第１の画素対の両方が前記欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の前記第１の画素対にそれぞれ対応する前記第１の補間画素の画素値を求めて、これら第１の補間画素の画素値の平均値を前記第Ｎ番目の前記第１の画素対に対応する前記第１の補間画素の画素値として決定し、
前記第２の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第Ｎ番目に配置された前記第２の画素対の両方が前記欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の前記第２の画素対にそれぞれ対応する前記第２の補間画素の画素値を求めて、これら第２の補間画素の画素値の平均値を前記第Ｎ番目の前記第２の画素対に対応する前記第２の補間画素の画素値として決定する請求項６記載の撮像装置。
【請求項８】
前記撮影レンズの第１の領域及び第２の領域は、前記第２の方向に平行な第１直線に対して対称な領域である請求項１から７のいずれか１項記載の撮像装置。
【請求項９】
前記合焦確認画像は、前記第１の画像と前記第２の画像とを前記第２の方向に並べて配置してなる画像である請求項８記載の撮像装置。
【請求項１０】
前記撮影レンズには、フォーカスレンズが含まれており、
マニュアルフォーカス操作を受けて前記フォーカスレンズを前記撮影レンズの光軸方向に移動させるレンズ移動機構を備える請求項１から９のいずれか１項記載の撮像装置。
【請求項１１】
撮影レンズと、光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、を備える撮像装置の制御方法において、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間ステップと、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間ステップと、
少なくとも前記第１及び第２の補間ステップで求められた前記第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成ステップと、
前記合焦確認画像生成ステップで生成された前記合焦確認画像を表示する表示ステップと、
を有する撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合焦確認用の合焦確認画像を生成及び表示する撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
デジタルカメラには、例えば特許文献１及び２に記載の位相差検出方式などを用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものがある。そして、このマニュアルフォーカスモード時に、撮影者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示するデジタルカメラが良く知られている（特許文献３及び４参照）。【０００３】
スプリットイメージは上下に分割されており、ピントがずれているとスプリットイメージの上下画像が左右にずれ、ピントが合った状態だと上下画像の左右のずれがなくなる。これにより、撮影者は、スプリットイメージの上下画像のずれがなくなるようにフォーカス操作を行うことでピントを合わせることができる。【０００４】
図２６に示すように、スプリットイメージを表示可能なデジタルカメラは、撮影用の通常画素（図示は省略）と、瞳分割された被写体光を受光する２種類の位相差画素Ｇ１，Ｇ２とが撮像面上に２次元配列されてなるカラー撮像素子１００を備えている。この撮像面には、位相差画素Ｇ１，Ｇ２がそれぞれ水平方向に等間隔で配列された第１の配列パターンＱ１と第２の配列パターンＱ２とを有する一対の配列パターンＱ３が、垂直方向に一定間隔で配列されている。カラー撮像素子１００を有するデジタルカメラでは、通常画素からの出力信号に基づき撮影画像を生成してライブビュー画像表示を行うとともに、２種類の位相差画素のそれぞれの出力信号（画素値）に基づきスプリットイメージを生成してライブビュー画像内に表示している。【０００５】
しかしながら、カラー撮像素子１００では、位相差画素Ｇ１，Ｇ２がそれぞれ垂直方向の同一画素ライン内に配置されるものの、水平方向の同一画素ライン内に位相差画素Ｇ１，Ｇ２の両方が配置されることはない。このため、カラー撮像素子１００により、図２７の（Ａ）部分，図２７の（Ｂ）部分に示すような水平方向高周波の被写体を撮像した場合には、スプリットイメージの上下画像の境界やずれが明瞭に表示される。逆にカラー撮像素子１００により、図２８の（Ａ）部分，図２８の（Ｂ）部分に示すような垂直方向高周波の被写体を撮像した場合にはスプリットイメージの上下画像の境界やずれが明瞭に表示されないので、合焦精度が低下するおそれがある。【０００６】
そこで、図２９及び図３０に示すように、特許文献３及び４に記載のカラー撮像素子１０２では、その撮像面に位相差画素Ｇ１，Ｇ２の一方をＷ字状に配列し、他方をＭ字状に配列させている。これにより、位相差画素Ｇ１，Ｇ２がそれぞれ垂直方向の同一画素ライン内に配置されるとともに、水平方向の同一画素ライン内にも配置される。【０００７】
このような配列パターンの位相差画素Ｇ１，Ｇ２の出力信号に基づきスプリットイメージを生成する際には、位相差画素Ｇ１，Ｇ２の画素配列を図２６に示したような直線配列とみなしてスプリットイメージを生成するのが通常である。この場合に、位相差画素Ｇ１間に位置する画素を補間画素ｇ１として、この補間画素ｇ１の画素値を矢印ＶＴ，ＶＢに従って画素補間することにより求める。また、位相差画素Ｇ２間に位置する補間画素ｇ２の画素値を矢印ＶＴ，ＶＢに従って画素補間することにより求める。そして、各位相差画素Ｇ１，Ｇ２の画素値と補間画素ｇ１，ｇ２の画素値とに基づき、スプリットイメージを生成する。【０００８】
また、矢印ＶＴ，ＶＢに示したように、補間画素ｇ１，ｇ２の図中上側及び下側に位置する位相差画素Ｇ１，Ｇ２の画素値を用いて補間処理を行う代わりに、補間画素ｇ１，ｇ２の図中左側及び右側に位置する位相差画素Ｇ１，Ｇ２の画素値を用いて補間処理を行う方法もある。すなわち、補間画素ｇ１，ｇ２の画素値を、それぞれを矢印ＶＲ，ＶＬに従って画素補間することより求める。この場合にも、各位相差画素Ｇ１，Ｇ２の画素値と補間画素ｇ１，ｇ２の画素値とに基づき、スプリットイメージを生成する。【０００９】
カラー撮像素子１０２では、位相差画素Ｇ１，Ｇ２がそれぞれ垂直方向及び水平方向の同一画素ライン内に配置されているので、垂直方向高周波の被写体を撮像したときに、前述のカラー撮像素子１００で撮像を行ったときよりもスプリットイメージの上下画像の境界やずれが明瞭に表示される。その結果、カラー撮像素子を用いた場合よりも合焦精度を向上させることができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−１７６７１４号公報
【特許文献２】特開２０１０−２４３７７２号公報
【特許文献３】特開２０００−１５６８２３号公報
【特許文献４】特開２００９−２７６４２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、図２９及び図３０に示したカラー撮像素子１０２では、位相差画素Ｇ１，Ｇ２の画素値をそのまま用いることで補間の必要がない状態と、３画素分離れた位置にある位相差画素Ｇ１，Ｇ２の画素値を基に補間を行う必要がある状態とが切り替わる。この際に、離れた位置にある位相差画素Ｇ１，Ｇ２の画素値を基に補間処理を行った場合にはジャギーが発生し易くなる。このため、カラー撮像素子１０２を用いた場合には、ジャギーの発生によりスプリットイメージの合焦精度が低下するおそれがある。また、垂直方向に画素補間処理を行う場合には、垂直方向高周波の被写体を撮像したときに垂直方向高周波信号にぼけが発生し易くなり、水平方向に画素補間処理を行う場合には、水平方向高周波の被写体を撮像したときに水平方向高周波信号にぼけが発生し易くなる。【００１２】
本発明の目的は、ジャギーの低減と合焦精度の向上とを両立可能な撮像装置及びその制御方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の目的を達成するための撮像装置は、撮影レンズと、光電変換素子を含む複数の画素が第１の方向と第１の方向に垂直な第２の方向に２次元配列されており、複数の画素には、撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、第１及び第２の画素を第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、第１の配列パターンを第１の方向に第１の間隔分ずらした第２の配列パターンを有する一対の配列パターンが第２の方向に第２の間隔で繰り返し配置されている撮像素子と、撮像素子の第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された第１及び第２の配列パターンの各第１の画素を第１の画素対としたときに、第１の画素対の画素値に基づき第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間手段と、同一画素ライン内に配置された第１及び第２の配列パターンの各第２の画素を第２の画素対としたときに、第２の画素対の画素値に基づき第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間手段と、少なくとも第１及び第２の補間手段により求められた第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成手段と、合焦確認画像生成手段により生成された合焦確認画像を表示する表示手段と、を備える。【００１４】
本発明によれば、水平方向や垂直方向に補間処理を行う場合と比較して、常に近い位置にある第１及び第２の画素の画素値に基づき第１及び第２の補間画素の画素値をそれぞれ求めることができる。【００１５】
合焦確認画像生成手段は、第１及び第２の補間手段により求められた第１及び第２の画素の画素値のみに基づいて合焦確認画像を生成することが好ましい。ジャギーやぼけが低減された合焦確認画像が得られる。【００１６】
複数の画素は、第１及び第２の画素と、第１及び第２の領域を通過した各被写体光が瞳分割されずにそれぞれ入射する第３の画素とを含み、第３の画素の画素値に基づき、第３の画像を生成する第３の画像生成手段と、第３の画像生成手段により生成された第３の画像を表示手段に表示させ、かつ第３の画像の表示領域内に合焦確認画像を表示させる表示制御手段と、を備えることが好ましい。これにより、第３の画像を見ながらフォーカス操作を行うことができる。【００１７】
第１及び第２の配列パターンのそれぞれの第１の画素間に位置する第３の補間画素の画素値を、これら第１の画素の画素値に基づき決定し、第２の画素間に位置する第４の補間画素の画素値を、これら第２の画素の画素値に基づき決定する第３の補間手段と、第１及び第２の配列パターンの一方の第１の画素間に位置する第５の補間画素の画素値を、第５の補間画素と同一の第２の方向の画素ライン内に配置された第１の画素値に基づき決定し、一方の第２の画素間に位置する第６の補間画素の画素値を、第６の補間画素と同一の第２の方向の画素ライン内に配置された第２の画素値に基づき決定する第４の補間手段と、第３の画素の画素値に基づき、第３の画素の相関性の高い方向及び相関性の強度を判別する判別手段と、判別手段の判別結果に基づき、第１及び第２の補間手段、第３の補間手段、及び第４の補間手段の中から判別結果に対応するものを選択して補間処理を実行させる補間制御手段と、を備えることが好ましい。これにより、第１の方向または第２の方向の信号相関が極めて強い場合でも合焦確認画像のぼけやジャギーの発生を抑えることができる。【００１８】
第２の配列パターンは、第１の配列パターンに対して第２の方向に第１の間隔をあけて配置されていることが好ましい。これにより、第３の方向及び第４の方向が第１の方向及び第２の方向に対してそれぞれ±４５°傾いた方向に設定される。【００１９】
複数の画素に含まれる欠陥画素を検出する欠陥画素検出手段を備え、第１の補間手段は、欠陥画素検出手段の検出結果に基づき、第１の画素対の一方が欠陥画素である場合に、第１の画素対の他方の画素値を第１の補間画素の画素値として決定し、第２の補間手段は、欠陥画素検出手段の検出結果に基づき、第２の画素対の一方が欠陥画素である場合に、第２の画素対の他方の画素値を第１の補間画素の画素値として決定することが好ましい。これにより、第１及び第２の画素が欠陥画素であったとしても、合焦確認画像のぼけやジャギーの発生を防止することができる。【００２０】
第１の補間手段は、欠陥画素検出手段の検出結果に基づき、第１の方向に沿って第Ｎ（Ｎは２以上の自然数）番目に配置された第１の画素対の両方が欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の第１の画素対にそれぞれ対応する第１の補間画素の画素値を求めて、これら第１の補間画素の画素値の平均値を第Ｎ番目の第１の画素対に対応する第１の補間画素の画素値として決定し、第２の補間手段は、欠陥画素検出手段の検出結果に基づき、第Ｎ番目に配置された第２の画素対の両方が欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の第２の画素対にそれぞれ対応する第２の補間画素の画素値を求めて、これら第２の補間画素の画素値の平均値を第Ｎ番目の第２の画素対に対応する第２の補間画素の画素値として決定することが好ましい。これにより、第１及び第２の画素が欠陥画素であったとしても、合焦確認画像のぼけやジャギーの発生を防止することができる。【００２１】
撮影レンズの第１の領域及び第２の領域は、第２の方向に平行な第１直線に対して対称な領域であることが好ましい。【００２２】
合焦確認画像は、第１の画像と第２の画像とを第２の方向に並べて配置してなる画像であることが好ましい。【００２３】
撮影レンズには、フォーカスレンズが含まれており、マニュアルフォーカス操作を受けてフォーカスレンズを撮影レンズの光軸方向に移動させるレンズ移動機構を備えることが好ましい。【００２４】
また、本発明の撮像装置の制御方法は、撮影レンズと、光電変換素子を含む複数の画素が第１の方向と第１の方向に垂直な第２の方向に２次元配列されており、複数の画素には、撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、第１及び第２の画素を第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、第１の配列パターンを第１の方向に第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが第２の方向に第２の間隔で繰り返し配置されている撮像素子と、を備える撮像装置の制御方法において、撮像素子の第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された第１及び第２の配列パターンの各第１の画素を第１の画素対としたときに、第１の画素対の画素値に基づき第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間ステップと、同一画素ライン内に配置された第１及び第２の配列パターンの各第２の画素を第２の画素対としたときに、第２の画素対の画素値に基づき第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間ステップと、少なくとも第１及び第２の補間ステップで求められた第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成ステップと、合焦確認画像生成ステップで生成された合焦確認画像を表示する表示ステップと、を有する。
【発明の効果】
【００２５】
本発明の撮像装置及びその制御方法は、撮像素子の第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された第１及び第２の画素対の画素値に基づき、第１及び第２の補間画素の画素値をそれぞれ求めているので、水平方向や垂直方向に補間処理を行う場合と比較して、常に近い位置にある第１及び第２の画素の画素値に基づき第１及び第２の補間画素の画素値をそれぞれ求めることができる。これにより、高周波の被写体を撮像したときにジャギーの発生を低減させることができる。また、高周波の被写体を撮像したときの撮像信号のぼけを低減させることができる。その結果、合焦確認画像の境界やずれが明瞭に表示されるので、合焦精度を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】図１はデジタルカメラの正面斜視図である。
【図２】図２はデジタルカメラの背面斜視図である。
【図３】図３はデジタルカメラの電気的構成を示すブロック図である。
【図４】図４はカラー撮像素子の正面図である。
【図５】図５は第１及び第２の位相差画素の配列を説明するための説明図である。
【図６】図６は第１及び第２の位相差画素の断面図である。
【図７】図７はカラー撮像素子に入射する被写体光を説明するための説明図である。
【図８】図８は画像処理回路の機能ブロック図である。
【図９】図９は斜め方向の画素補間処理を説明するための説明図である。
【図１０】図１０は図９中の第１の補間画素の画素値の算出を説明するための説明図である。
【図１１】図１１は図９中の第２の補間画素の画素値の算出を説明するための説明図である。
【図１２】図１２はスプリットイメージデータを説明するための説明図である。
【図１３】図１３はフォーカスレンズが合焦位置にセットされていない場合のスプリットイメージデータを説明するための説明図である。
【図１４】図１４は第１実施形態のデジタルカメラの撮影処理の流れを示すフローチャートである。
【図１５】図１５は本発明の効果を説明するための説明図である。
【図１６】図１６は第２実施形態のデジタルカメラの電気的構成を示すブロック図である。
【図１７】図１７は第２実施形態のデジタルカメラの撮影処理の流れを示すフローチャートである。
【図１８】図１８は第２実施形態の補間処理の流れを説明するためのフローチャートである。
【図１９】図１９は第３実施形態のデジタルカメラの電気的構成を示すブロック図である。
【図２０】図２０は第１の画素対の一方、または第２の画素対の一方が欠陥画素である場合の斜め補間処理を説明するための説明図である。
【図２１】図２１は第１の画素対の両方、または第２の画素対の両方が欠陥画素である場合の斜め補間処理を説明するための説明図である。
【図２２】図２２は第１及び第２の位相差画素の画素値と、第１及び第２の補間画素の画素値とを用いてスプリットイメージデータを生成する他実施形態を説明するための説明図である。
【図２３】図２３はカラー撮像素子の全ての画素が第１及び第２の位相差画素で構成されている他実施形態を説明するための説明図である。
【図２４】図２４はスマートフォンの斜視図である。
【図２５】図２５はスマートフォンの電気的構成を示すブロック図である。
【図２６】図２６は第１及び第２の配列パターンがそれぞれ１種類の位相差画素で構成されている従来のカラー撮像素子の正面図である。
【図２７】図２７は水平方向に高周波の被写体を説明するための説明図である。
【図２８】図２８は垂直方向に高周波の被写体を説明するための説明図である。
【図２９】図２９は第１の位相差画素をＷ字状に配列した場合における、第１の補間画素の画素値の算出を説明するための説明図である。
【図３０】図３０は第２の位相差画素をＭ字状に配列した場合における、第１の補間画素の画素値の算出を説明するための説明図である。
【発明を実施するための形態】
【００２７】
［第１実施形態のデジタルカメラ］
図１に示すように、デジタルカメラ２は本発明の撮像装置に相当するものである。このデジタルカメラ２のカメラ本体２ａの前面には、レンズ鏡筒３、ストロボ発光部５などが設けられている。カメラ本体２ａの上面には、シャッタボタン６、電源スイッチ７などが設けられている。レンズ鏡筒３の外周面には、マニュアルフォーカス（以下、単にＭＦという）操作に用いられるフォーカスリング（レンズ移動機構）３ａが回転自在に取り付けられている。
【００２８】
図２に示すように、カメラ本体２ａの背面には表示部（表示手段）８、操作部９が設けられている。表示部８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像（スルー画ともいう）を表示する。また、画像再生時の表示部８には、メモリカード１０に記録されている画像データに基づき画像が再生表示される。
【００２９】
操作部９は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ２の動作モードを切り替える際に操作される。デジタルカメラ２は、被写体を撮像して撮影画像を得る撮影モード、撮影画像を再生表示する再生モードなどを有する。また、撮影モードには、オートフォーカス（以下、単にＡＦという）を行うＡＦモード、及びＭＦ操作を行うＭＦモードがある。
【００３０】
十字キーや実行キーは、表示部８にメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ２の各種設定を確定したりする際などに操作される。
【００３１】
カメラ本体２ａの底面には、図示は省略するが、メモリカード１０が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。
【００３２】
図３に示すように、デジタルカメラ２のＣＰＵ１１は、操作部９からの制御信号に基づき、メモリ１３から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ２の各部を統括的に制御する。なお、メモリ１３のＲＡＭ領域は、ＣＰＵ１１が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。
【００３３】
レンズ鏡筒３には、ズームレンズ１５及びフォーカスレンズ１６を含む撮影レンズ１７、メカシャッタ１８などが組み込まれている。ズームレンズ１５及びフォーカスレンズ１６は、それぞれズーム機構１９、フォーカス機構２０により駆動され、撮影レンズ１７の光軸Ｏに沿って前後移動される。ズーム機構１９及びフォーカス機構２０は、ギアやモータなどで構成されている。また、フォーカス機構２０は、図示しないギアを介してフォーカスリング３ａと接続している。このため、フォーカス機構２０は、ＭＦモード時にフォーカスリング３ａが回転操作（本発明のマニュアルフォーカス操作）されることに伴い、フォーカスレンズ１６を光軸Ｏの方向（以下、光軸方向という）に沿って移動させる。
【００３４】
メカシャッタ１８は、カラー撮像素子２３への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部（図示は省略）を有する。メカシャッタ１８は、可動部を各位置に移動させることにより、撮影レンズ１７からカラー撮像素子２３へと至る光路を開放／遮断する。また、メカシャッタ１８には、カラー撮像素子２３に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ１８、ズーム機構１９、及びフォーカス機構２０は、レンズドライバ２５を介してＣＰＵ１１によって動作制御される。
【００３５】
メカシャッタ１８の背後には、カラー撮像素子２３が配置されている。カラー撮像素子２３は、撮影レンズ１７等を通過した被写体光を電気的な出力信号に変換して出力する。なお、カラー撮像素子２３としては、ＣＣＤ（Charge Coupled Device）型撮像素子、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型撮像素子などの各種類の撮像素子を用いることができる。撮像素子ドライバ２７は、ＣＰＵ１１の制御の下でカラー撮像素子２３の駆動を制御する。
【００３６】
画像処理回路２９は、カラー撮像素子２３からの出力信号に対して階調変換、ホワイトバランス補正、γ補正処理などの各種処理を施して撮影画像データを生成する。また、画像処理回路２９は、ＭＦモード時には、撮影画像データの他にＭＦ操作用のスプリットイメージデータを生成する。撮影画像データやスプリットイメージデータは、メモリ１３のＶＲＡＭ領域（ＶＲＡＭを別途設けても可）に一時的に格納される。ＶＲＡＭ領域は、連続した２フィールド画分を記憶するライブビュー画像用のメモリエリアを有しており、撮影画像データやスプリットイメージデータを逐次上書き格納する。
【００３７】
圧縮伸長処理回路３１は、シャッタボタン６が押下操作されたときに、ＶＲＡＭ領域に格納された撮影画像データに対して圧縮処理を施す。また、圧縮伸長処理回路３１は、メディアＩ／Ｆ３２を介してメモリカード１０から得られた圧縮画像データに対して伸長処理を施す。メディアＩ／Ｆ３２は、メモリカード１０に対する撮影画像データの記録及び読み出しなどを行う。
【００３８】
表示制御部３３は、撮影モード時にはＶＲＡＭ領域に格納された撮影画像データやスプリットイメージデータを読み出して表示部８へ出力する。また、表示制御部３３は、再生モード時には圧縮伸長処理回路３１で伸長された撮影画像データを表示部８へ出力する。
【００３９】
＜カラー撮像素子の構成＞
図４に示すように、カラー撮像素子２３の撮像面上には、赤（Ｒ）色のＲ画素３５と、緑（Ｇ）色のＧ画素３６と、青（Ｂ）色のＢ画素３７とが２次元配列されている。ＲＧＢ画素３５〜３７は、本発明の第３の画素に相当するものであり、光電変換素子３９（図６参照）と、光電変換素子３９の上方に配置された３原色のいずれかのカラーフィルタ４０（図６参照）とを含んで構成されている。Ｒ画素３５、Ｇ画素３６、Ｂ画素３７の各光電変換素子３９上には、それぞれＲ色，Ｇ色，Ｂ色のカラーフィルタ４０が設けられる。ここで「〜上」、「上方」とは、図６中の半導体基板４５からマイクロレンズ４９に向かう方向（図中上方向）を指す。
【００４０】
カラー撮像素子２３のカラーフィルタ配列（画素配列）は、下記の特徴（１）、（２）、（３）、（４）、（５）、及び（６）を有している。
【００４１】
〔特徴（１）〕
カラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰを含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。このようにＲＧＢのカラーフィルタ４０が所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、カラー撮像素子２３から読み出されるＲ、Ｇ、Ｂ信号の画素補間処理（同時化処理またはデモザイク処理ともいう）等を行う際に、繰り返しパターンに従って処理を行うことができる。また、基本配列パターンＰの単位で間引き処理して画像を縮小する場合に、間引き処理後のカラーフィルタ配列を間引き処理前の配列と同じにすることで、共通の処理回路を用いることができる。
【００４２】
〔特徴（２）〕
カラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧ色のカラーフィルタが、カラーフィルタ配列の水平、垂直、及び斜め方向（斜め右上及び斜め左下方向、斜め右下及び斜め左上方向）方向の各フィルタライン内に１つ以上配置されている。これにより、高周波領域での画素補間処理の再現精度を向上させることができる。
【００４３】
〔特徴（３）〕
基本配列パターンＰは、Ｇ画素３６の画素数の比率が他の色のＲ画素３５、Ｂ画素３７の各々の画素数の比率よりも大きくなる。これにより、画素補間処理時におけるエリアシングが抑制されるとともに、高周波再現性が向上する。
【００４４】
〔特徴（４）〕
カラーフィルタ配列は、Ｇ色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲ色及びＢ色のカラーフィルタ４０が、基本配列パターンＰ内においてカラーフィルタ配列の水平、及び垂直方向の各ライン内にそれぞれ１つ以上配置されている。これにより、偽色（色モワレ）の発生を低減することができる。その結果、偽色の発生を抑制するための光学ローパスフィルタを撮影レンズ１７の入射面から撮像面までの光路に配置しないようにでき、または光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができる。このため、解像度を損なわないようにすることができる。
【００４５】
〔特徴（５）〕
カラーフィルタ配列は、Ｇ色のカラーフィルタ４０が設けられた２×２のＧ画素３６に対応する正方配列４１を含んでいる。このような２×２のＧ画素３６を取り出し、水平方向のＧ画素３６の画素値の差分絶対値、垂直方向のＧ画素３６の画素値の差分絶対値、斜め方向のＧ画素３６の画素値の差分絶対値を求めることで、水平方向、垂直方向、及び斜め方向のうち、差分絶対値の小さい方向に相関があると判断することができる。すなわち、このカラーフィルタ配列によれば、正方配列４１内の最小画素間隔のＧ画素３６の情報を使用して、水平方向、垂直方向、及び斜め方向のうちの相関の高い方向判別ができる。この方向判別結果は、画素補間処理に使用することができる。
【００４６】
〔特徴（６）〕
基本配列パターンＰは、その中心に対して点対称になっている。また、基本配列パターンＰ内の４つの３×３のサブ配列も、それぞれ中心のＧ色のカラーフィルタ４０に対して点対称になっている。このような対称性により、後段の処理回路の回路規模を小さくしたり、簡略化したりすることが可能になる。
【００４７】
〔位相差画素〕
カラー撮像素子２３の撮像面の一部の領域（例えば中央領域）上には、一部のＧ画素３６の代わりに、第１の位相差画素３６ａ（図中「Ｇ１」で表示）、第２の位相差画素３６ｂ（図中「Ｇ２」で表示）が設けられている。第１及び第２の位相差画素３６ａ，３６ｂは、本発明の第１の画素、第２の画素に相当するものである。
【００４８】
図５に示すように、カラー撮像素子２３の撮像面には、第１の配列パターン４２と第２の配列パターン４３とを有する一対の配列パターン４４が設けられている。第１の配列パターン４２には、第１の位相差画素３６ａ及び第２の位相差画素３６ｂが水平方向（第１の方向）に３画素間隔（第１の間隔）で交互に配列されている。第２の配列パターン４３は、第１の配列パターン４２を水平方向に３画素間隔分ずらしたものである。
【００４９】
このような一対の配列パターン４４では、第１の位相差画素３６ａがＷ字状に配置され、第２の位相差画素３６ｂがＭ字状に配置される。これにより、カラー撮像素子２３の撮像面の水平及び垂直方向に対して傾いた斜め（ＮＥ，ＮＷ）方向の画素ラインＬＮＥ，ＬＮＷの中の同一画素ライン内に第１及び第２の配列パターン４２，４３の第１の位相差画素３６ａがそれぞれ配置される。また、画素ラインＬＮＥ，ＬＮＷの中の同一画素ライン内に第１及び第２の配列パターン４２，４３の第２の位相差画素３６ｂがそれぞれ配置される。
【００５０】
ここで、ＲＧＢ画素３５〜３７及び第１及び第２の位相差画素３６ａ，３６ｂが正方形状であるので、ＮＥ方向及びＮＷ方向は水平方向、垂直方向に対してそれぞれ４５°の方向となる。この角度は、各画素の水平方向や垂直方向の各辺の長さの増減に応じて増減し得る。例えば、正方形状以外の矩形状の画素を用いた場合には、その対角線方向が斜め（ＮＥ，ＮＷ方向）となる。また、各画素が正方形状以外の矩形状であっても、各画素を正方格子状に配置した場合には、ＮＥ方向及びＮＷ方向は水平方向、垂直方向に対してそれぞれ４５°の方向となる。
【００５１】
このような一対の配列パターン４４は、垂直方向（第２の方向）に１２画素間隔（第２の間隔）で繰り返し配置されている。
【００５２】
第１及び第２の位相差画素３６ａ，３６ｂの断面を示す図６の（Ａ）部分，図６の（Ｂ）部分において、カラー撮像素子２３の半導体基板４５の表層には光電変換素子３９がマトリックス状に形成されている。なお、半導体基板４５には、図示は省略するが、各画素の駆動や信号出力に用いられる各種回路が設けられている。
【００５３】
各光電変換素子３９上には遮光膜４７が設けられている。遮光膜４７は、第１の位相差画素３６ａの光電変換素子３９の図中右半分の領域（以下、単に右領域という）を覆い、かつ第２の位相差画素３６ｂの図中左半分の領域（以下、単に左領域という）を覆うように設けられている。これにより、第１の位相差画素３６ａの光電変換素子３９の左領域のみが露呈し、かつ第２の位相差画素３６ｂの光電変換素子３９の右領域のみが露呈する。なお、図示は省略するが、ＲＧＢ画素３５〜３７の光電変換素子３９上には遮光膜４７が設けられてはいない。
【００５４】
遮光膜４７上には、図示しない平坦化層などを介してカラーフィルタ４０が設けられている。第１及び第２の位相差画素３６ａ，３６ｂに対応する位置にはＧ色のカラーフィルタ４０が設けられている。また、図示は省略するが、Ｒ、Ｇ、Ｂの各色の画素３５〜３７にそれぞれ対応する位置にＲ、Ｇ、Ｂの各色のカラーフィルタ４０が設けられている。
【００５５】
各色のカラーフィルタ４０上には、それぞれマイクロレンズ４９が設けられている。なお、カラーフィルタ４０とマイクロレンズ４９との間にも透光性の平坦層などの各種層が設けられていてもよい。
【００５６】
第１の位相差画素３６ａ上のマイクロレンズ４９に、図中右斜め方向から入射した被写体光５０Ｒ（図中、点線で表示）は、マイクロレンズ４９により光電変換素子３９の左領域に集光される。逆にマイクロレンズ４９に図中左斜め方向に入射した被写体光５０Ｌ（図中、実線で表示）は、遮光膜４７により遮光されるので光電変換素子３９の右領域には集光されない。
【００５７】
また、第２の位相差画素３６ｂ上のマイクロレンズ４９に入射した被写体光５０Ｌは、マイクロレンズ４９により光電変換素子３９の右領域に集光される。逆にマイクロレンズ４９に入射した被写体光５０Ｒは、遮光膜４７により遮光されるので光電変換素子３９の左領域には集光されない。
【００５８】
図７に示すように、被写体光５０Ｌ，５０Ｒは、撮影レンズ１７（ズームレンズ１５及びフォーカスレンズ１６）の左領域１７Ｌ、右領域１７Ｒをそれぞれ通過している。なお、図面の煩雑化を防止するため両レンズ１５，１６は一体化して図示している。
【００５９】
図６に戻って、カラー撮像素子２３に入射した被写体光が遮光膜４７により瞳分割されることで、第１の位相差画素３６ａは被写体光５０Ｒに対して感度が高くなり、逆に第２の位相差画素３６ｂは被写体光５０Ｌに対して感度が高くなる。なお、本実施形態では、遮光膜４７が瞳分割を行う瞳分割部として機能しているが、例えば、マイクロレンズ４９の位置を偏心させてもよい。
【００６０】
また、図示は省略するが、ＲＧＢ画素３５〜３７上のマイクロレンズ４９に入射した被写体光５０Ｒは光電変換素子３９の左領域に集光され、被写体光５０Ｌは光電変換素子３９の右領域に集光される。このため、ＲＧＢ画素３５〜３７は、被写体光５０Ｌ及び被写体光５０Ｒの両方に対して感度が高くなる。
【００６１】
＜画像処理回路の構成＞
図８に示すように、画像処理回路２９は、通常処理部（第３の画像生成手段）５２と、画素補間処理部（第１の補間手段、第２の補間手段）５３と、スプリットイメージ処理部（合焦確認画像生成手段）５４とを有している。通常処理部５２は、撮影モード時にＲＧＢ画素３５〜３７からの出力信号に基づき、フルカラーの撮影画像データ５５を生成する。画素補間処理部５３及びスプリットイメージ処理部５４は、ＭＦモード時に作動する。
【００６２】
図９及び図１０の（Ａ）部分，（Ｂ）部分に示すように、画素ラインＬＮＥ，ＬＮＷの中の同一画素ライン内に配置されている第１及び第２の配列パターン４２，４３の第１の位相差画素３６ａを第１の画素対５７ａとしたときに、画素補間処理部５３は、第１の画素対５７ａの中間位置における第１の補間画素５８ａ（図中「ｇ１」で表示）の画素値を補間処理により求める。具体的に画素補間処理部５３は、図中の矢印ＶＮＷ，ＶＳＥ及び矢印ＶＮＥ，ＶＳＷに示すように、第１の画素対５７ａの両画素値に基づき、第１の補間画素５８ａの画素値を斜め（ＮＥ，ＮＷ）方向の補間処理を行って求める。ここでは、例えば第１の画素対５７ａの両画素値の平均値を第１の補間画素５８ａの画素値とする。
【００６３】
また、図９及び図１１の（Ａ）部分，（Ｂ）部分に示すように、画素ラインＬＮＥ，ＬＮＷの中の同一画素ライン内に配置されている第１及び第２の配列パターン４２，４３の第２の位相差画素３６ｂを第２の画素対５７ｂとしたときに、画素補間処理部５３は、第２の画素対５７ｂの中間位置における第２の補間画素５８ｂ（図中「ｇ２」で表示）の画素値を補間処理により求める。具体的に画素補間処理部５３は、図中の矢印ＶＮＷ，ＶＳＥまたは矢印ＶＮＥ，ＶＳＷに示すように、第２の画素対５７ｂの両画素値に基づき、第２の補間画素５８ｂの画素値を斜め（ＮＥ，ＮＷ）方向の補間処理を行って求める。ここでは、例えば第２の画素対５７ｂの両画素値の平均値を第２の補間画素５８ａの画素値とする。
【００６４】
このような画素補間処理部５３による補間処理により、同一の水平方向の画素ラインに沿って、第１及び第２の補間画素５８ａ，５８ｂの画素値がそれぞれ３画素間隔で求められる。画素補間処理部５３は、第１及び第２の補間画素５８ａ，５８ｂの画素値をそれぞれスプリットイメージ処理部５４へ出力する。
【００６５】
スプリットイメージ処理部５４は、第１及び第２の補間画素５８ａ，５８ｂの画素値の輝度成分に基づき、被写体の中央領域（撮影画像の中央領域）に位置する白黒のスプリットイメージデータ（合焦確認画像）６１を生成する。
【００６６】
図１２に示すように、スプリットイメージ処理部５４は、第１の補間画素５８ａの画素値の輝度成分に基づき、被写体の中央領域の図中上半分の領域をＲ視点側から見たときの白黒の第１の画像データ６１Ｒを生成する。また、スプリットイメージ処理部５４は、第２の補間画素５８ｂの画素値の輝度成分に基づき、被写体の中央領域の図中下半分の領域をＬ視点側から見たときの白黒の第２の画像データ６１Ｌを生成する。これにより、第１の画像データ６１Ｒと第２の画像データ６１Ｌとを含む白黒のスプリットイメージデータ６１が得られる。なお、図中ではスプリットイメージデータ６１のイメージを容易に把握できるように、スプリットイメージデータ６１を撮影画像データ５５に合成しているが、この合成は表示制御部３３にて行われる。
【００６７】
撮影画像データ５５及びスプリットイメージデータ６１は、メモリ１３のＶＲＡＭ領域に一時的に格納される。表示制御部（表示制御手段）３３は、メモリ１３から撮影画像データ５５及びスプリットイメージデータ６１を読み出して、撮影画像データ５５にスプリットイメージデータ６１を合成した後に表示部８へ出力する。これにより、撮影画像データ５５に基づくフルカラーの撮像画像内に、スプリットイメージデータ６１に基づく白黒のスプリットイメージを表示したライブビュー画像が得られる。
【００６８】
第１の画像データ６１Ｒと第２の画像データ６１Ｌとは、フォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトする。この際の第１及び第２の画像データ６１Ｒ，６１Ｌ間のずれ量は、フォーカスレンズ１６の焦点のずれ量に対応している。また、第１及び第２の画像データ６１Ｒ，６１Ｌは、フォーカスレンズ１６が合焦しているときにずれ量がゼロ（ほぼゼロを含む）となる。
【００６９】
図１３に示すように、フォーカスレンズ１６の焦点がずれるほど、第１の画像データ６１Ｒと第２の画像データ６１Ｌとのずれ量も大きくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。なお、図中では焦点が合っていない被写体を２点鎖線表示している。
【００７０】
＜その他の構成＞
なお、図示は省略するが、デジタルカメラ２にはオートフォーカス用のＡＦ検出回路が設けられている。ＡＦ検出回路は、第１の位相差画素３６ａの出力信号により構成される画像と、第２の位相差画素３６ｂの出力信号により構成される画像とを解析して、両画像のずれ方向及び両画像間のずれ量を検出することでフォーカス調整量（デフォーカス量ともいう）を求める。このフォーカス調整量に基づき、ＣＰＵ１１はレンズドライバ２５及びフォーカス機構２０によりフォーカスレンズ１６を駆動して焦点調節を行う。このような位相差方式のＡＦ処理については公知であるので、ここでは具体的な説明は省略する。
【００７１】
＜第１実施形態のデジタルカメラの作用＞
次に、図１４を用いて上記構成のデジタルカメラ２の作用について説明を行う。操作部９にてデジタルカメラ２が撮影モードのＭＦモードに設定（ステップＳ１）されると、ＣＰＵ１１はレンズドライバ２５を介してメカシャッタ１８の動作を制御するとともに、撮像素子ドライバ２７を介してカラー撮像素子２３を駆動する（ステップＳ２）。なお、ＡＦモードが設定された場合のデジタルカメラ２の動作は公知であるのでここでは具体的な説明は省略する。
【００７２】
カラー撮像素子２３のＲＧＢ画素３５〜３７の画素値（出力信号）は、画像処理回路２９の通常処理部５２へ出力される（ステップＳ２−１でＹＥＳ、ステップＳ３）。通常処理部５２は、ＲＧＢ画素３５〜３７の画素値に基づきフルカラーの撮影画像データ５５を生成して、メモリ１３のＶＲＡＭ領域に格納する（ステップＳ４）。
【００７３】
一方、第１及び第２の位相差画素３６ａ，３６ｂの画素値（出力信号）は、画素補間処理部５３に入力される（ステップＳ２−１でＮＯ）。画素補間処理部５３は、図９及び図１０に示したように、一対の配列パターン４４内の各第１の画素対５７ａの画素値に基づき、斜め方向の補間処理を行って、第１の補間画素５８ａの画素値を求める（ステップＳ５）。また、画素補間処理部５３は、図９及び図１１に示したように、一対の配列パターン４４内の各第２の画素対５７ｂの画素値に基づき、斜め方向の補間処理を行って、第２の補間画素５８ｂの画素値を求める（ステップＳ５）。
【００７４】
以下同様に、画素補間処理部５３は、撮像面内の全ての一対の配列パターン４４について同様の処理を行って、第１及び第２の補間画素５８ａ，５８ｂの画素値を求める。そして、画素補間処理部５３は、各補間画素５８ａ，５８ｂの画素値をスプリットイメージ処理部５４へ出力する（ステップＳ６）。
【００７５】
スプリットイメージ処理部５４は、個々の第１の補間画素５８ａの画素値の輝度成分に基づき第１の画像データ６１Ｒを生成するとともに、個々の第２の補間画素５８ｂの画素値の輝度成分に基づき第２の画像データ６１Ｌを生成する。これにより、第１の画像データ６１Ｒと第２の画像データ６１Ｌとを含む白黒のスプリットイメージデータ６１が生成される（ステップＳ７）。スプリットイメージデータ６１は、メモリ１３のＶＲＡＭ領域に格納される。
【００７６】
表示制御部３３は、メモリ１３から撮影画像データ５５及びスプリットイメージデータ６１を読み出して合成した後に表示部８へ出力する。これにより、図１２に示したようなフルカラーの撮影画像内に白黒のスプリットイメージを含んだライブビュー画像が表示部８に表示される（ステップＳ８）。
【００７７】
スプリットイメージデータ６１の第１の画像データ６１Ｒに基づく画像と第２の画像データ６１Ｌに基づく画像、すなわち、スプリットイメージの上下画像は、図１３に示したようにフォーカスレンズ１６の合焦状態に応じて図中左右方向にシフトする。このため、ユーザは、フォーカスリング３ａを回転操作してフォーカスレンズ１６を光軸方向に沿って移動させる。フォーカスレンズ１６が被写体に合焦する合焦位置に近づくのに伴って、スプリットイメージの上下画像のずれ量が次第に小さくなる。これにより、ユーザはライブビュー画像を確認しながらフォーカス調整を行うことができる。
【００７８】
フォーカスレンズ１６が合焦位置にセットされると、スプリットイメージの上下画像のずれ量がゼロとなる。これにより、フォーカスレンズ１６が被写体に合焦して、フォーカス調整が完了する（ステップＳ９）。以下、シャッタボタン６が押下操作されるまで、上述の処理が繰り返し実行される（ステップＳ９−１でＮＯ）。
【００７９】
シャッタボタン６が押下されると（ステップＳ９−１でＹＥＳ）、通常処理部５２にて１フレーム分の撮影画像データ５５が生成されてメモリ１３のＶＲＡＭ領域に一時的に格納される。この撮影画像データ５５は、圧縮伸長処理回路３１にて圧縮された後、メディアＩ／Ｆ３２を介してメモリカード１０に記録される（ステップＳ１０）。以下、ＭＦモードが終了するまで上述の処理が繰り返し実行される（ステップＳ１０−１でＹＥＳ）。
【００８０】
＜第１実施形態のデジタルカメラの作用効果＞
図１５の（Ａ）部分に示すように、本発明では、カラー撮像素子２３の撮像面に一対の配列パターン４４を配置して、第１及び第２の画素対５７ａ，５７ｂの画素値に基づき斜め方向の補間処理を行うことで第１及び第２の補間画素５８ａ，５８ｂの画素値を求めている。これにより、常に１．５画素分離れた位置にある各位相差画素３６ａ，３６ｂの画素値に基づき、各補間画素５８ａ，５８ｂの画素値が求められる。
【００８１】
一方、比較例を示す図１５の（Ｂ）部分において、従来の水平方向（垂直方向も同様）の補間処理を行う場合には、前述したように補間の必要がない状態と、３画素分離れた位置にある各位相差画素３６ａ，３６ｂを用いて補間を行う状態とが切り替わる（図２９及び図３０参照）。このため、後者の状態の時に３画素分も離れた位置にある各位相差画素３６ａ，３６ｂの画素値を基に補間処理を行うので、高周波の被写体を撮像したときにジャギーの増加によりスプリットイメージの合焦精度が低下するおそれがある。
【００８２】
これに対して、本発明では、常に比較例よりも近い位置（本実施形態では１．５画素離れた位置）にある各位相差画素３６ａ，３６ｂの画素値を基に補間処理を行うことで、比較例の後者の状態よりもジャギーの発生を低減させることができる。このため、本発明では、比較例とは異なりジャギーが増加するような状態は発生しないので、水平方向及び垂直方向に高周波の被写体を撮像したときに比較例よりもジャギーの発生を低減させることができる。また、斜め方向に補間処理を行うので、垂直方向または水平方向に高周波の被写体を撮像したときの撮像信号のぼけを低減させることができる。これにより、本発明では、比較例よりもスプリットイメージの上下画像の境界やずれが明瞭に表示されるので、比較例よりもＭＦ操作時の合焦精度を向上させることができる。
【００８３】
［第２実施形態のデジタルカメラ］
次に、図１６を用いて本発明の第２実施形態のデジタルカメラ６５について説明を行う。上記第１実施形態のデジタルカメラ２では、第１及び第２の画素対５７ａ，５７ｂの画素値に基づき常に斜め方向の補間処理を行うが、デジタルカメラ６５では複数種類の補間処理の中から最適な補間処理を選択して実行する。
【００８４】
デジタルカメラ６５は、画像処理回路２９に判別部６６、補間制御部６７、及び補間処理部６８が設けられている点を除けば、上記第１実施形態と基本的に同じ構成であるので、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【００８５】
判別部６６は、ＲＧＢ画素３５の相関性の高い方向及び相関性の強度を判別する。この判別部６６は、ＲＧＢ画素３５〜３７、例えば前述の正方配列４１（図４参照）を構成するＧ画素３６の画素値（出力信号）にフィルタＦｈ、フィルタＦｖをそれぞれ畳み込み、フィルタＦｈの畳み込み結果ＲｈとフィルタＦｖの畳み込み結果Ｒｖとを下記の式（１）、式（２）に代入する。
【００８６】
１００×Ｒｈ＜Ｒｖ・・・（１）
Ｒｈ＞１００×Ｒｖ・・・（２）
上記式（１）が満たされる場合には、ＲＧＢ画素３５が垂直方向に相関性が高い、すなわち、撮像により得られた撮像信号が垂直方向高周波の被写体を撮像して得られた垂直方向高周波信号であると判別される。また、上記式（２）が満たされる場合には、ＲＧＢ画素３５が水平方向に相関性が高い、すなわち、撮像により得られた撮像信号が水平方向高周波の被写体を撮像して得られた水平方向高周波信号であると判別される。そして、上記式（１）及び式（２）のいずれも満たされない場合には、撮像により得られた撮像信号が垂直方向高周波信号及び水平方向高周波信号のいずれでもないと判別される。判別部６６の判別結果（上記式（１）及び式（２）が満たされるか否か）は、補間制御部６７へ出力される。
【００８７】
補間制御部６７は、本発明の補間制御手段に相当するものであり、さらに前述の判別部６６と共に本発明の判別手段として機能する。補間制御部６７は、判別部６６の判別結果に基づき、複数種類の補間処理の中から判別結果に対応する補間処理を選択して、この補間処理を補間処理部６８に実行させる。補間制御部６７は、上記式（１）が満たされる場合には水平方向補間処理を補間処理部６８に実行させ、上記式（２）が満たされる場合には垂直方向補間処理を補間処理部６８に実行させ、上記式（１）及び式（２）のいずれも満たされない場合には斜め方向補間処理を補間処理部６８に実行させる。
【００８８】
補間処理部６８には、水平方向補間処理部（第３の補間手段）７０と、垂直方向補間処理部（第４の補間手段）７１と、斜め方向補間処理部（第１及び第２の補間手段）７２とが設けられている。
【００８９】
水平方向補間処理部７０は、前述の図２９、図３０、及び図１５の（Ｂ）部分に示したように、第１及び第２の配列パターン４２，４３内の各第１及び第２の位相差画素３６ａ，３６ｂの画素値に基づき水平方向補間処理を行う。具体的には、図中矢印ＶＬ、ＶＲで示すように、第１及び第２の配列パターン４２，４３内でそれぞれ第１の位相差画素３６ａ間に位置する第１の補間画素５８ａの画素値を、この第１の補間画素５８ａの図中左側及び右側に位置する第１の位相差画素３６ａの画素値を用いて求める。また同様にして、各第２の位相差画素３６ｂ間に位置する第２の補間画素５８ｂの画素値が求められる。この場合には、第１の補間画素５８ａが本発明の第３の補間画素に相当し、第２の補間画素５８ｂが本発明の第４の補間画素に相当する。
【００９０】
垂直方向補間処理部７１は、前述の図２９、図３０に示したように、第１及び第２の配列パターン４２，４３内の各第１及び第２の位相差画素３６ａ，３６ｂの画素値に基づき垂直方向補間処理を行う。具体的には、図中の矢印ＶＴ，ＶＢで示すように、第１及び第２の配列パターン４２，４３の一方の第１の位相差画素３６ａ間に位置する第１の補間画素５８ａの画素値を、各配列パターン４２，４３の他方内でかつ第１の補間画素５８ａと同一の垂直方向の画素ライン内に位置する第１の位相差画素３６ａの画素値を用いて求める。また同様にして、各第２の位相差画素３６ｂ間に位置する第２の補間画素５８ｂの画素値が求められる。この場合には、第１の補間画素５８ａが本発明の第５の補間画素に相当し、第２の補間画素５８ｂが本発明の第６の補間画素に相当する。
【００９１】
斜め方向補間処理部７２は、第１の実施形態の画素補間処理部５３と同じものであり、前述の図９に示した斜め方向の補間処理を行う。
【００９２】
＜第２実施形態のデジタルカメラの作用＞
次に、図１７及び図１８を用いて上記構成のデジタルカメラ６５の作用について説明を行う。なお、ステップＳ１からステップＳ４までの処理は、上記第１実施形態と同じであるので、ここでは具体的な説明を省略する。
【００９３】
図１８において、判別部６６は、ステップＳ３が実行されたときに、正方配列４１を構成するＧ画素３６の画素値にフィルタＦｈ、フィルタＦｖをそれぞれ畳み込み、フィルタＦｈの畳み込み結果ＲｈとフィルタＦｖの畳み込み結果Ｒｖとを算出する（ステップＳ１３，Ｓ１４）。
【００９４】
次いで、判別部６６は、畳み込み結果Ｒｈ，Ｒｖをそれぞれ上記式（１）、式（２）に代入して、上記式（１）、式（２）がそれぞれ満たされるか否かを判別する（ステップＳ１５，Ｓ１６）。これにより、ＲＧＢ画素３５の相関性の高い方向及び相関性の強度を判別することができる。判別部６６の判別結果は補間制御部６７へ出力される。
【００９５】
補間制御部６７は、式（１）が満たされる場合（ステップＳ１５でＹＥＳ）には撮像信号が垂直方向高周波信号であると判別して、水平方向補間処理部７０を作動させて前述の水平方向補間処理を実行させる（ステップＳ１７）。これにより、第１及び第２の補間画素５８ａ，５８ｂの画素値が求められる（図２９及び図３０参照）。
【００９６】
また、補間制御部６７は、式（２）が満たされる場合（ステップＳ１５でＮＯ、ステップＳ１６でＹＥＳ）には撮像信号が水平方向高周波信号であると判別して、垂直方向補間処理部７１を作動させて前述の垂直方向補間処理を実行させる（ステップＳ１８）。これにより、第１及び第２の補間画素５８ａ，５８ｂの画素値が求められる（図２９及び図３０参照）。
【００９７】
さらに、補間制御部６７は、式（１）及び（式２）が満たされない場合（ステップＳ１５，Ｓ１６でＮＯ）には、撮像信号が水平方向高周波信号及び垂直方向高周波信号ではないと判別して、斜め方向補間処理部７２を作動させて斜め方向補間処理を実行させる（ステップＳ１９）。これにより、第１及び第２の補間画素５８ａ，５８ｂの画素値が求められる（図９参照）。
【００９８】
図１７に戻って、水平方向補間処理または垂直方向補間処理が実行された場合には、第１及び第２の位相差画素３６ａ，３６ｂの画素値と、第１及び第２の補間画素５８ａ，５８ｂの画素値とがスプリットイメージ処理部５４に出力される（ステップＳ２１）。スプリットイメージ処理部５４は、第１の位相差画素３６ａの画素値と第１の補間画素５８ａの画素値とに基づき第１の画像データ６１Ｒを生成し、第２の位相差画素３６ｂの画素値と第２の補間画素５８ｂの画素値とに基づき第２の画像データ６１Ｌを生成する。これにより、スプリットイメージデータ６１が生成される（ステップＳ７）。
【００９９】
また、斜め補間処理が実行された場合には、第１実施形態と同様に、各補間画素５８ａ，５８ｂの画素値がスプリットイメージ処理部５４に出力されて、このスプリットイメージ処理部５４にてスプリットイメージデータ６１が生成される（ステップＳ２１，Ｓ７）。これ以降の処理については第１実施形態と基本的に同じであるので、説明は省略する。
【０１００】
このように第２実施形態では、ＲＧＢ画素３５の相関性の高い方向及び相関性の強度を判別した結果に基づいて最適な補間処理を選択するので、水平方向または垂直方向の信号相関が極めて強い場合でもスプリットイメージのぼけやジャギーの発生を抑えることができる。その結果、ＭＦ操作時の合焦精度を向上させることができる。なお、ＲＧＢ画素３５の相関性の高い方向及び相関性の強度を判別する方法は、前述の方法に限定されるものではなく、公知の各種方法を用いることができる。
【０１０１】
［第３実施形態のデジタルカメラ］
次に、図１９を用いて本発明の第３実施形態のデジタルカメラ７５について説明を行う。上記第１の実施形態では全ての第１及び第２の位相差画素３６ａ，３６ｂが正常画素である場合について説明を行ったが、デジタルカメラ７５では第１及び第２の位相差画素３６ａ，３６ｂが欠陥画素である場合に対応した斜め補間処理を行う。
【０１０２】
デジタルカメラ７５は、欠陥画素検出回路（欠陥画素検出手段）７６と、画素補間処理部（第１及び第２の補間手段）７７とを備える点を除けば、上記第１実施形態と基本的に同じ構成であるので、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
【０１０３】
欠陥画素検出回路７６は、各第１及び第２の位相差画素３６ａ，３６ｂの中から欠陥画素を検出する。なお、この欠陥画素の検出に先立って、例えばカラー撮像素子２３の撮像面をメカシャッタ１８で遮光した遮光状態下で、カラー撮像素子２３による撮像が行われる。すなわち、遮光状態下でのカラー撮像素子２３の各位相差画素３６ａ，３６ｂの画素値を求めておく。このようにして得られた各位相差画素３６ａ，３６ｂの画素値は、各位相差画素３６ａ，３６ｂの暗出力のレベルを示すものである。ここで、各位相差画素３６ａ，３６ｂの暗出力のレベルを求める方法は、上述の方法に限定されず、公知の各種方法を用いることができる。
【０１０４】
欠陥画素検出回路７６は、遮光状態下で得られた各位相差画素３６ａ，３６ｂの画素値が予め定めた範囲内になるか否かを判定し、この範囲外の値になる場合には欠陥画素であると判定する。これにより、各位相差画素３６ａ，３６ｂの中から欠陥画素を検出することができる。なお、欠陥画素の検出方法は上述の方法に限定されるものではなく、公知の各種方法を用いることができる。欠陥画素検出回路７６による欠陥画素の検出結果は、画素補間処理部７７に出力される。
【０１０５】
画素補間処理部７７は、第１実施形態の画素補間処理部５３と基本的に同じものであり、第１及び第２の画素対５７ａ，５７ｂ（図１０及び図１１参照）の各々の両方の画素が正常画素である場合には、第１実施形態と同様の斜め補間処理を行う（図９参照）。
【０１０６】
これに対して図２０に示すように、補間処理部７７は、欠陥画素検出回路７６の検出結果に基づき、第１の画素対５７ａの一方が欠陥画素（図中「×」で表示）である場合に、第１の画素対５７ａの他方の第１の位相差画素３６ａの画素値を第１の補間画素５８ａの画素値として決定する。また、補間処理部７７は、第２の画素対５７ｂの一方が欠陥画素である場合に、第２の画素対５７ｂの他方の第２の位相差画素３６ｂの画素値を第２の補間画素５８ｂの画素値として決定する。
【０１０７】
さらに図２１に示すように、補間処理部７７は、水平方向（図中左側から右側）に沿って第Ｎ番目（Ｎは２以上の自然数：本実施形態ではＮ＝２）に配置された第１の画素対５７ａの両方が欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の第１の画素対５７ａにそれぞれ対応する第１の補間画素５８ａの画素値を先に求める。そして、補間処理部７７は、先に求めた両画素値の平均値を、第Ｎ番目の第１の補間画素５８ａ（図中「ｇ１’」で表示）の画素値として決定する。
【０１０８】
また、補間処理部７７は、第Ｎ番目に配置された第２の画素対５７ｂの両方が欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の第２の画素対５７ｂにそれぞれ対応する第２の補間画素５８ｂの画素値を先に求める。そして、補間処理部７７は、先に求めた両画素値の平均値を第Ｎ番目の第２の補間画素５８ｂ（図中「ｇ２’」で表示）の画素値として決定する。
【０１０９】
なお、これ以降の処理は第１実施形態と基本的に同じであるので、具体的な説明は省略する。
【０１１０】
このように第３実施形態のデジタルカメラ７５では、第１及び第２の位相差画素３６ａ，３６ｂが欠陥画素であった場合には、欠陥画素を用いることなく第１及び第２の補間画素５８ａ，５８ｂの画素値を求めることができる。その結果、各位相差画素３６ａ，３６ｂが欠陥画素であったとしてもスプリットイメージのぼけやジャギーの発生を防止することができるので、ＭＦ操作時の合焦精度を向上させることができる。
【０１１１】
［その他］
上記第１実施形態では、斜め補間処理により求められた第１及び第２の補間画素５８ａ，５８ｂの画素値に基づきスプリットイメージデータ６１を生成しているが、例えば図２２に示すように、各補間画素５８ａ，５８ｂの画素値と、各位相差画素３６ａ，３６ｂの画素値とに基づいてスプリットイメージデータ６１を生成してもよい。なお、この場合に、各位相差画素３６ａ，３６ｂがそれぞれ６画素間隔で配置されているので、これに合わせて各補間画素５８ａ，５８ｂの画素値も６画素間隔で求めることが好ましい。
【０１１２】
上記各実施形態では、カラー撮像素子２３の撮像面にＲＧＢ画素３５〜３７と第１及び第２の位相差画素３６ａ，３６ｂが２次元配列されているが、例えば、図２３に示すように、カラー撮像素子７９の撮像面に第１及び第２の位相差画素３６ａ，３６ｂのみが２次元配列されている場合にも本発明を適用することができる。この場合に、カラー撮像素子７９の撮像面には、第１の配列パターン８０と第２の配列パターン８１とを有する一対の配列パターン８２が設けられており、かつこの一対の配列パターン８２が垂直方向に複数配列されている。
【０１１３】
第１の配列パターン８０には、第１の位相差画素３６ａ及び第２の位相差画素３６ｂが水平方向に沿って交互に配列されている。第２の配列パターン８１は、第１の配列パターン８０を水平方向に１画素間隔分ずらしたものである。
【０１１４】
このようなカラー撮像素子７９を用いた場合でも、上記第１の実施形態と同様の斜め補間処理により、第１及び第２の補間画素５８ａ，５８ｂの画素値をそれぞれ求めることができる。また、撮像面の全ての画素が第１及び第２の位相差画素３６ａ，３６ｂで構成されているので、各位相差画素３６ａ，３６ｂの画素値に基づき立体視可能な視差画像データを生成することができる。なお、この場合に、前述の図１２等に示した撮影画像データ５５は、第１及び第２の位相差画素３６ａ，３６ｂのいずれか一方の画素値、あるいは両方の画素値を加算または平均した結果を基に生成される。
【０１１５】
上記各実施形態では、第１及び第２の配列パターン４２，４３にて第１及び第２の位相差画素３６ａ，３６ｂがそれぞれ水平方向に３画素間隔で交互に配置され、かつ各配列パターン４２，４３が垂直方向に３画素間隔だけずらして配置されているが、これらの間隔は適宜変更してもよい。また、各配列パターン４２，４３にて各位相差画素３６ａ，３６ｂをα（αは１以上の自然数）画素間隔で交互に配置し、かつ各配列パターン４２，４３を垂直方向にβ（β≠α）画素間隔だけずらして配置してもよい。この場合の斜め補間の方向（第３の方向、第４の方向）は±４５°以外の方向となる。
【０１１６】
上記各実施形態では、一対の配列パターン４４が垂直方向に１２画素間隔で配置されているが、γ（γは１以上の自然数）画素間隔で配置してもよい。なお、例えばγ＝βとなる場合には、垂直方向に並んだ２組の一対の配列パターン４４の一方の第２の配列パターン４３と、他方の第１の配列パターン４２との間で斜め補間処理を行ってもよい。
【０１１７】
上記各実施形態では、スプリットイメージデータ６１として垂直方向（上下）に２分割されているものを例に挙げて説明を行ったが、本発明のスプリットイメージデータには、２つの位相差画像（第１の画像、第２の画像）を重畳して合成表示したときに、ピントがずれている場合には２重像として表示され、ピントが合った状態ではクリアに表示されるものが含まれる。
【０１１８】
例えば、スプリットイメージデータ６１が水平方向に２分割、斜め方向（ＮＥ，ＮＷ）に２分割されていてもよい。また、スプリットイメージデータ６１を垂直方向または水平方向に短冊状に分割して、第１の補間画素５８ａの画素値に基づき生成した第１の画像データと第２の補間画素５８ｂの画素値に基づき生成した第２の画像データとを交互に表示させるようにしてもよい。さらに、スプリットイメージデータ６１を格子状に分割して、第１の画像データと第２の画像データとをそれぞれ市松模様（チェッカーパターン）状に並べて表示させてもよい。
【０１１９】
上記各実施形態では、通常画素として３色のＲＧＢ画素について説明したが、例えばＲＧＢの３原色＋他の色（例えば、エメラルド（Ｅ））の４色の画素であっても良く、画素の種類は特に限定されない。また、本発明は、原色ＲＧＢの補色であるＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）の画素にも適用できる。また、上記各実施形態のうちの少なくとも２つを適宜組わせるようにしてもよい。
【０１２０】
上記各実施形態では本発明の撮像装置としてデジタルカメラを例に挙げて説明を行ったが、例えば、撮影機能を有する携帯電話機やスマートフォン、ＰＤＡ(Personal Digital Assistants)、タブレット型コンピュータ、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１２１】
＜スマートフォンの構成＞
図２４は、スマートフォン５００の外観を示すものである。スマートフォン５００は、平板状の筐体５０１を有している。筐体５０１の一方の面には、表示入力部５０２と、スピーカ５０３と、マイクロホン５０４、操作部５０５と、カメラ部５０６とを備えている。なお、筐体５０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１２２】
表示入力部５０２は、ＣＰＵ５０７からの指令を受けた表示処理部５０８の制御により、画像（静止画像及び動画像）や文字情報などを表示する。また、表示入力部５０２は、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネル構造を有している。この表示入力部５０２は、表示パネル５１０と、操作パネル５１２とで構成されている。
【０１２３】
表示パネル５１０は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５１２は、光透過性を有しており、表示パネル５１０の表示面上に載置されている。この操作パネル５１２は、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号をスマートフォン５００のＣＰＵに出力する。ＣＰＵは、受信した検出信号に基づいて、表示パネル５１０上の操作位置（座標）を検出する。このような操作パネル５１２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられる。
【０１２４】
図２５に示すように、スマートフォン５００は、表示入力部５０２、スピーカ５０３、マイクロホン５０４、操作部５０５、カメラ部５０６、ＣＰＵ５０７、表示処理部５０８の他に、無線通信部５１５と、通話部５１６と、記憶部５１７と、外部入出力部５１８と、ＧＰＳ（Global Positioning System）受信部５１９と、モーションセンサ部５２０と、電源部５２１とを備える。
【０１２５】
無線通信部５１５は、ＣＰＵ５０７の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１２６】
通話部５１６は、スピーカ５０３やマイクロホン５０４を備え、マイクロホン５０４を通じて入力されたユーザの音声を音声データに変換してＣＰＵ５０７に出力したり、無線通信部５１５等で受信された音声データを復号してスピーカ５０３から出力する。
【０１２７】
操作部５０５は、例えば押しボタン式のスイッチや十字キーなどを用いたハードウェアキーであり、ユーザからの指示を受け付ける。この操作部５０５は、例えば筐体５０１の表示部の下部や筐体５０１の側面に搭載される。
【０１２８】
記憶部５１７は、ＣＰＵ５０７の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータなどを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部５１７は、スマートフォン内蔵の内部記憶部５１７ａと着脱自在な外部メモリスロットを有する外部記憶部５１７ｂにより構成される。なお、内部記憶部５１７ａと外部記憶部５１７ｂとしては、フラッシュメモリタイプ、ハードディスクタイプなどの公知の各種記憶媒体が用いられる。
【０１２９】
外部入出力部５１８は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等により直接的または間接的に接続するためのものである。
【０１３０】
ＧＰＳ受信部５１９は、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。この検出結果はＣＰＵ５０７に出力される。
【０１３１】
モーションセンサ部５２０は、例えば、３軸の加速度センサなどを備えており、スマートフォン５００の物理的な動きを検出する。これにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果はＣＰＵ５０７に出力される。また、電源部５２１は、図示しないバッテリに蓄えられた電力をスマートフォン５００の各部に供給する。
【０１３２】
ＣＰＵ５０７は、記憶部５１７から読み出した制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御する。また、ＣＰＵ５０７は、表示パネル５１０に対する表示制御、操作部５０５や操作パネル５１２を通じたユーザ操作を検出する操作検出制御などを実行する。
【０１３３】
表示制御の実行により、ＣＰＵ５０７は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５１０の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１３４】
また、操作検出制御の実行により、ＣＰＵ５０７は、操作部５０５を通じたユーザ操作を検出したり、操作パネル５１２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１３５】
さらに、操作検出制御の実行によりＣＰＵ５０７は、操作パネル５１２に対する操作位置が、表示パネル５１０に重なる重畳部分（表示領域）か、それ以外の表示パネル５１０に重ならない外縁部分（非表示領域）かを判定し、操作パネル５１２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０１３６】
また、ＣＰＵ５０７は、操作パネル５１２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することができる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１３７】
カメラ部５０６は、上記各実施形態のデジタルカメラと基本的に同じ構成であるので、上記各実施形態と同様の効果が得られる。なお、ＭＦ操作は、例えば表示入力部５０２や操作部５０５にて行えばよい。
【符号の説明】
【０１３８】
２，６５，７５…デジタルカメラ，２３，７９…カラー撮像素子，２９…画像処理回路，３５…Ｒ画素，３６…Ｇ画素，３７…Ｂ画素，３６ａ…第１の位相差画素，３６ｂ…第２の位相差画素，５３，６８，７７…画素補間処理部，５４…スプリットイメージ処理部，５７ａ…第１の画素対，５７ｂ…第２の画素対，５８ａ…第１の位相差画素，５８ｂ…第２の位相差画素，６１…スプリットイメージデータ，６６…判別部，６７…補間制御部
【図１】
2014046037.tif 000003
【図２】
2014046037.tif 000004
【図３】
2014046037.tif 000005
【図４】
2014046037.tif 000006
【図５】
2014046037.tif 000007
【図６】
2014046037.tif 000008
【図７】
2014046037.tif 000009
【図８】
2014046037.tif 000010
【図９】
2014046037.tif 000011
【図１０】
2014046037.tif 000012
【図１１】
2014046037.tif 000013
【図１２】
2014046037.tif 000014
【図１３】
2014046037.tif 000015
【図１４】
2014046037.tif 000016
【図１５】
2014046037.tif 000017
【図１６】
2014046037.tif 000018
【図１７】
2014046037.tif 000019
【図１８】
2014046037.tif 000020
【図１９】
2014046037.tif 000021
【図２０】
2014046037.tif 000022
【図２１】
2014046037.tif 000023
【図２２】
2014046037.tif 000024
【図２３】
2014046037.tif 000025
【図２４】
2014046037.tif 000026
【図２５】
2014046037.tif 000027
【図２６】
2014046037.tif 000028
【図２７】
2014046037.tif 000029
【図２８】
2014046037.tif 000030
【図２９】
2014046037.tif 000031
【図３０】
2014046037.tif 000032
【手続補正書】
【提出日】平成27年2月4日(2015.2.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影レンズと、
光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間手段と、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間手段と、
前記第１及び第２の補間手段により求められた前記第１及び第２の補間画素の画素値にのみ基づいてそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成手段と、
前記合焦確認画像生成手段により生成された前記合焦確認画像を表示する表示手段と、
を備える撮像装置。
【請求項２】
撮影レンズと、
光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間手段と、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間手段と、
少なくとも前記第１及び第２の補間手段により求められた前記第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成手段と、
前記合焦確認画像生成手段により生成された前記合焦確認画像を表示する表示手段と、
を備え、
前記複数の画素は、前記第１及び第２の画素と、前記第１及び第２の領域を通過した各被写体光が瞳分割されずにそれぞれ入射する第３の画素とを含み、
前記第３の画素の画素値に基づき、第３の画像を生成する第３の画像生成手段と、
前記第３の画像生成手段により生成された前記第３の画像を前記表示手段に表示させ、かつ当該第３の画像の表示領域内に前記合焦確認画像を表示させる表示制御手段と、
前記第１及び第２の配列パターンのそれぞれの前記第１の画素間に位置する第３の補間画素の画素値を、これら第１の画素の画素値に基づき決定し、前記第２の画素間に位置する第４の補間画素の画素値を、これら第２の画素の画素値に基づき決定する第３の補間手段と、
前記第１及び第２の配列パターンの一方の前記第１の画素間に位置する第５の補間画素の画素値を、前記第５の補間画素と同一の前記第２の方向の画素ライン内に配置された前記第１の画素の画素値に基づき決定し、前記一方の前記第２の画素間に位置する第６の補間画素の画素値を、前記第６の補間画素と同一の前記第２の方向の画素ライン内に配置された前記第２の画素の画素値に基づき決定する第４の補間手段と、
前記第３の画素の画素値に基づき、前記第３の画素の相関性の高い方向及び相関性の強度を判別する判別手段と、
前記判別手段の判別結果に基づき、前記第１及び第２の補間手段、前記第３の補間手段、及び前記第４の補間手段の中から前記判別結果に対応するものを選択して補間処理を実行させる補間制御手段と、を備える撮像装置。
【請求項３】
撮影レンズと、
光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間手段と、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間手段と、
少なくとも前記第１及び第２の補間手段により求められた前記第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成手段と、
前記合焦確認画像生成手段により生成された前記合焦確認画像を表示する表示手段と、
前記複数の画素に含まれる欠陥画素を検出する欠陥画素検出手段を備え、
前記第１の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第１の画素対の一方が前記欠陥画素である場合に、前記第１の画素対の他方の画素値を前記第１の補間画素の画素値として決定し、
前記第２の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第２の画素対の一方が前記欠陥画素である場合に、前記第２の画素対の他方の画素値を前記第１の補間画素の画素値として決定する撮像装置。
【請求項４】
前記第１の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第１の方向に沿って第Ｎ（Ｎは２以上の自然数）番目に配置された前記第１の画素対の両方が前記欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の前記第１の画素対にそれぞれ対応する前記第１の補間画素の画素値を求めて、これら第１の補間画素の画素値の平均値を前記第Ｎ番目の前記第１の画素対に対応する前記第１の補間画素の画素値として決定し、
前記第２の補間手段は、前記欠陥画素検出手段の検出結果に基づき、前記第Ｎ番目に配置された前記第２の画素対の両方が前記欠陥画素である場合に、第（Ｎ−１）番目及び第（Ｎ＋１）番目の前記第２の画素対にそれぞれ対応する前記第２の補間画素の画素値を求めて、これら第２の補間画素の画素値の平均値を前記第Ｎ番目の前記第２の画素対に対応する前記第２の補間画素の画素値として決定する請求項３記載の撮像装置。
【請求項５】
前記第２の配列パターンは、前記第１の配列パターンに対して前記第２の方向に前記第１の間隔をあけて配置されている請求項１から４のいずれか１項記載の撮像装置。
【請求項６】
前記撮影レンズの第１の領域及び第２の領域は、前記第２の方向に平行な第１直線に対して対称な領域である請求項１から５のいずれか１項記載の撮像装置。
【請求項７】
前記合焦確認画像は、前記第１の画像と前記第２の画像とを前記第２の方向に並べて配置してなる画像である請求項６記載の撮像装置。
【請求項８】
前記撮影レンズには、フォーカスレンズが含まれており、
マニュアルフォーカス操作を受けて前記フォーカスレンズを前記撮影レンズの光軸方向に移動させるレンズ移動機構を備える請求項１から７のいずれか１項記載の撮像装置。
【請求項９】
撮影レンズと、光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、を備える撮像装置の制御方法において、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間ステップと、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間ステップと、
前記第１及び第２の補間ステップで求められた前記第１及び第２の補間画素の画素値にのみ基づいてそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成ステップと、
前記合焦確認画像生成ステップで生成された前記合焦確認画像を表示する表示ステップと、
を有する撮像装置の制御方法。
【請求項１０】
撮影レンズと、光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、を備える撮像装置の制御方法において、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間ステップと、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間ステップと、
少なくとも前記第１及び第２の補間ステップで求められた前記第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成ステップと、
前記合焦確認画像生成ステップで生成された前記合焦確認画像を表示する表示ステップと、
を備え、
前記複数の画素は、前記第１及び第２の画素と、前記第１及び第２の領域を通過した各被写体光が瞳分割されずにそれぞれ入射する第３の画素とを含み、
前記第３の画素の画素値に基づき、第３の画像を生成する第３の画像生成ステップと、
前記第３の画像生成ステップにより生成された前記第３の画像を表示させ、かつ当該第３の画像の表示領域内に前記合焦確認画像を表示させる表示制御ステップと、
前記第１及び第２の配列パターンのそれぞれの前記第１の画素間に位置する第３の補間画素の画素値を、これら第１の画素の画素値に基づき決定し、前記第２の画素間に位置する第４の補間画素の画素値を、これら第２の画素の画素値に基づき決定する第３の補間ステップと、
前記第１及び第２の配列パターンの一方の前記第１の画素間に位置する第５の補間画素の画素値を、前記第５の補間画素と同一の前記第２の方向の画素ライン内に配置された前記第１の画素の画素値に基づき決定し、前記一方の前記第２の画素間に位置する第６の補間画素の画素値を、前記第６の補間画素と同一の前記第２の方向の画素ライン内に配置された前記第２の画素の画素値に基づき決定する第４の補間ステップと、
前記第３の画素の画素値に基づき、前記第３の画素の相関性の高い方向及び相関性の強度を判別する判別ステップと、
前記判別ステップの判別結果に基づき、前記第１及び第２の補間ステップ、前記第３の補間ステップ、及び前記第４の補間ステップの中から前記判別結果に対応するものを選択して補間処理を実行させる補間制御ステップと、を有する撮像装置の制御方法。
【請求項１１】
撮影レンズと、光電変換素子を含む複数の画素が第１の方向と前記第１の方向に垂直な第２の方向に２次元配列されており、前記複数の画素には、前記撮影レンズの第１の領域及び第２の領域を通過した各被写体光が瞳分割されてそれぞれ入射する第１の画素及び第２の画素が含まれている撮像素子であって、前記第１及び第２の画素を前記第１の方向に第１の間隔で交互に配列させてなる第１の配列パターンと、前記第１の配列パターンを前記第１の方向に前記第１の間隔分ずらした第２の配列パターンとを有する一対の配列パターンが前記第２の方向に第２の間隔で繰り返し配置されている撮像素子と、を備える撮像装置の制御方法において、
前記撮像素子の前記第１及び第２の方向に対して傾いた第３の方向及び第４の方向の画素ラインの中の同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第１の画素を第１の画素対としたときに、前記第１の画素対の画素値に基づき当該第１の画素対の中間位置における第１の補間画素の画素値を補間処理により求める第１の補間ステップと、
前記同一画素ライン内に配置された前記第１及び第２の配列パターンの各前記第２の画素を第２の画素対としたときに、前記第２の画素対の画素値に基づき当該第２の画素対の中間位置における第２の補間画素の画素値を補間処理により求める第２の補間ステップと、
少なくとも前記第１及び第２の補間ステップで求められた前記第１及び第２の補間画素の画素値からそれぞれ第１の画像、第２の画像を生成し、前記第１及び第２の画像に基づき合焦確認画像を生成する合焦確認画像生成ステップと、
前記合焦確認画像生成ステップで生成された前記合焦確認画像を表示する表示ステップと、
前記複数の画素に含まれる欠陥画素を検出する欠陥画素検出ステップと、
を備え、
前記第１の補間ステップは、前記欠陥画素検出ステップの検出結果に基づき、前記第１の画素対の一方が前記欠陥画素である場合に、前記第１の画素対の他方の画素値を前記第１の補間画素の画素値として決定し、
前記第２の補間ステップは、前記欠陥画素検出ステップの検出結果に基づき、前記第２の画素対の一方が前記欠陥画素である場合に、前記第２の画素対の他方の画素値を前記第１の補間画素の画素値として決定する撮像装置の制御方法。
【国際調査報告】
2014046037.tif 000033
2014046037.tif 000034