(57)【要約】  視差の強調を過不足なく行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供する。  ステップ４１０では、画像処理部により、左目画像及び右目画像における対象画素毎に、入出力関数ｆが決定される。入出力関数ｆは、合焦確認可能視差範囲内であると判定された場合（ステップ４１２：Ｙ）は、ステップ４０８で算出された入力視差を、合焦確認可能視差範囲内であることが視差可能な視差に変換させ、合焦確認可能視差範囲外であると判定された場合（ステップ４１２：Ｎ）は、ステップ４０８で算出された入力視差を、合焦確認可能視差範囲外であることが視差可能な視差に変換させる。
2014045740.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、
前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、
画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定部と、
前記画像取得部により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定部により前記第１の視差範囲内であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定部により前記第１の視差範囲外であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定部と、
前記対象画素に対して、前記係数決定部により決定された前記視差変換係数に基づいて画像処理を行う画像処理部と、
前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、
画像を表示する表示部と、
前記表示部に対して、前記生成部により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示させる表示制御部と、
を含む画像処理装置。
【請求項２】
前記第１判定部は、Ｗｃを前記第１及び第２の画素群を有する撮像素子の視差発生方向の画素数とし、Ｗｅを前記画像処理が行われることにより得られた画像の出力先の視差発生方向の画素数とし、κを前記撮像素子の感度及び前記撮影レンズの絞り値の少なくとも１つが高くなるほど減少する１未満の係数とし、Ｐｅを前記第１の視差範囲内の視差としたとき、以下の（１）式に従って、前記対象画素が前記第１の視差範囲内であるか否かを判定する請求項１に記載の画像処理装置。
Ｐｅ＜κ×（Ｗｅ／Ｗｃ）・・・・・（１）
【請求項３】
前記視差算出部により算出された視差が前記第１の視差範囲よりも広い第２の視差範囲内であるか否かを判定する第２判定部を更に備え、
前記視差変換係数を、前記第２判定部により前記視差算出部により算出された視差が前記第２の視差範囲内であると判定された場合に前記視差算出部により算出された視差を拡張させる視差変換係数とした請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記視差変換係数は、前記視差算出部により算出された視差を入力とし、前記前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差及び前記前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差を選択的に出力とする連続関数により規定される請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記連続関数を、前記第１判定部により前記第１の視差範囲内であると判定された場合の前記視差算出部により算出された視差の範囲において第１線形関数とした請求項４に記載の画像処理装置。
【請求項６】
前記連続関数を、前記第１判定部により前記第１の視差範囲外であると判定された場合の前記視差算出部により算出された視差の範囲において、前記第１線形関数に連続すると共に該第１線形関数に比べ軽勾配の第２線形関数とした請求項５に記載の画像処理装置。
【請求項７】
前記連続関数を、前記第１判定部により前記第１の視差範囲外であると判定された場合の前記視差算出部により算出された視差の範囲において、前記第２線形関数及び該第２線形関数に連続する恒等関数とした請求項６に記載の画像処理装置。
【請求項８】
前記視差変換係数は、前記画像処理が行われて得られた画像が鑑賞される鑑賞媒体の種類に応じて定まる請求項１〜請求項７の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の視差範囲を前記撮影レンズの絞り値が高くなるほど狭める請求項１〜請求項８の何れか１項に記載の画像処理装置。
【請求項１０】
前記画像取得部は、更に、連続フレームで撮像された連続フレーム画像を取得すると共に、単一フレーム画像の撮像の指示が与えられた場合に撮像された単一フレーム画像を取得し、
前記単一フレーム画像の撮像の指示が与えられない場合は前記第１の視差範囲を前記撮影レンズの絞り値が高くなるほど狭める請求項９に記載の画像処理装置。
【請求項１１】
前記単一フレーム画像の撮像の指示が与えられた場合は前記第１の視差範囲を、単一フレーム画像の撮像で使用する絞り値に応じて定める請求項１０に記載の画像処理装置。
【請求項１２】
前記単一フレーム画像の撮像の指示が与えられた場合の前記第１の視差範囲を、前記単一フレーム画像の撮像の指示が与えられたときの前記絞り値が前記連続フレーム画像の撮像で使用する前記絞り値よりも高い場合は前記絞り値が高いほど拡げ、前記単一フレーム画像の撮像の指示が与えられたときの前記絞り値が前記連続フレーム画像の撮像で使用する前記絞り値よりも低い場合は前記絞り値が低いほど狭める請求項１１に記載の画像処理装置。
【請求項１３】
前記第２の表示用画像を、前記第１の画像と第２の画像とが前記視差変換係数による変換後の視差に応じたずれ量で視差発生方向に沿ってずれた画像に相当するスプリットイメージとした請求項１〜請求項１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記第１の視差範囲内であることが視認可能な視差を、視差が異なる複数の試験用画像の各々を複数の被験者に予め視認させて前記複数の被験者のうち予め定められた人数以上の被験者によって合焦状態であると評価された視差とした請求項１〜請求項１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記第１の視差範囲外であることが視認可能な視差を、視差が異なる複数の試験用画像の各々を複数の被験者に予め視認させて前記複数の被験者のうち予め定められた人数以上の被験者によって非合焦状態であると評価された視差とした請求項１〜請求項１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記撮像素子は、被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を有し、
前記生成部は、前記第３の画素群から出力される前記第３の画像信号に基づいて前記第１の表示用画像を生成する請求項１〜請求項１５の何れか１項に記載の画像処理装置。
【請求項１７】
請求項１〜請求項１６の何れか１項に記載の画像処理装置と、
前記画像処理が行われることにより得られた画像を記憶する記憶部と、
を含む撮像装置。
【請求項１８】
前記画像処理が行われた画像を表示する電子ビューファインダーと、
前記電子ビューファインダーの使用を検出する検出部と、を更に含み、
前記係数決定部は、前記検出部により前記電子ビューファインダーの使用が検出された場合は前記電子ビューファインダーの使用時に用いる前記視差変換係数として予め定められた使用時視差変換係数を決定し、前記検出部により前記電子ビューファインダーの使用が検出されなかった場合は前記電子ビューファインダーの不使用時に用いる前記視差変換係数として予め定められた不使用時視差変換係数を決定する請求項１７に記載の撮像装置。
【請求項１９】
視差発生方向の画素数が前記電子ビューファインダーの視差発生方向の画素数と異なる表示領域に前記画像処理が行われた画像を表示する場合、前記不使用時視差変換係数を、前記表示領域の使用時に用いる前記視差変換係数として予め定められた表示領域使用時係数とした請求項１８に記載の撮像装置。
【請求項２０】
前記表示領域の視差発生方向の画素数は前記電子ビューファインダーの視差発生方向の画素数よりも多く、
前記第１判定部により前記第１の視差範囲内であると判定された前記対象画素について前記表示領域使用時係数による変換後の視差の範囲を狭めた請求項１９に記載の画像処理装置。
【請求項２１】
撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得工程と、
前記画像取得工程により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出工程と、
画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定工程と、
前記画像取得工程により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定工程により前記第１の視差範囲内であると判定された場合は前記視差算出工程により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定工程により前記第１の視差範囲外であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定工程と、
前記対象画素に対して、前記係数決定工程により決定された前記視差変換係数に基づいて画像処理を行う画像処理工程と、
前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成工程と、
画像を表示する表示部に対して、前記生成工程により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成工程により生成された前記第２の表示用画像を表示させる表示制御工程と、
を含む画像処理方法。
【請求項２２】
コンピュータを、
請求項１〜請求項１６の何れか１項に記載の画像処理装置における前記画像取得部、前記視差算出部、前記第１判定部、前記係数決定部、前記画像処理部、前記生成部及び前記表示制御部として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラとして、位相差検出方式やコントラスト検出方式を用いたオートフォーカスの他に、使用者が手動でフォーカス調整を行うことができる、いわゆるマニュアルフォーカスモードを備えるものが広く知られている。【０００３】
マニュアルフォーカスモードを有するデジタルカメラとしては、被写体を確認しながらフォーカス調整ができるようにレフレックスミラーを設けて、目視による位相差を表示するスプリットマイクロプリズムスクリーンを用いた方法を採用したものが知られている。また、目視によるコントラストの確認を行う方法を採用したものも知られている。【０００４】
ところで、近年普及しているレフレックスミラーを省略したデジタルカメラでは、レフレックスミラーがないため位相差を表示しながら被写体像を確認する方法がなく、コントラス検出方式に頼らざるを得なかった。しかし、この場合には、ＬＣＤ（liquid crystal display：液晶ディスプレイ）等の表示装置の解像度以上のコントラストの表示ができず、一部拡大するなどして表示する方法を採らざるを得なかった。【０００５】
そこで、近年では、マニュアルフォーカスモード時に操作者が被写体に対してピントを合わせる作業を容易にするために、スプリットイメージをライブビュー画像（スルー画像ともいう）内に表示している。ここで、スプリットイメージとは、例えば２分割された分割画像（例えば上下方向に分割された各画像）であって、ピントのずれに応じて視差発生方向（例えば左右方向）にずれ、ピントが合った状態だと視差発生方向のずれがなくなる分割画像を指す。操作者（例えば撮影者）は、スプリットイメージ（例えば上下方向に分割された各画像）のずれがなくなるように、マニュアルフォーカスリングを操作してピントを合わせる。【０００６】
特開２００９−１４７６６５号公報に記載の撮像装置は、撮像光学系からの光束のうち、瞳分割部によって分割された光束により形成された第１の被写体像及び第２の被写体像をそれぞれ光電変換した第１の画像及び第２の画像を生成する。そして、これらの第１及び第２の画像を用いてスプリットイメージを生成すると共に、瞳分割部によって分割されない光束により形成された第３の被写体像を光電変換して第３の画像を生成する。そして、第３の画像を表示部に表示すると共に、第３の画像内に、生成したスプリットイメージを表示し、かつ第３の画像から抽出した色情報をスプリットイメージに付加するようにしている。このように第３の画像から抽出した色情報をスプリットイメージに付加することにより、スプリットイメージの視認性を良好にすることができる。【０００７】
また、カメラの電子ビューファインダーやカメラの背面側に設けられているディスプレイ（例えばＬＣＤ）は表示の解像度が低いため、スプリットイメージを見ながら正確なジャスピン位置（合焦状態のときの撮影レンズの位置）にピントを合わせることが難しい。そこで、スプリットイメージの視差発生方向のずれ量が視差に依存していることを利用して、視差を強調することでユーザのピント調整を支援する方法が提案されている。この方法によれば、スプリットイメージからピントがどの程度ずれているかをユーザに対してより一層直感的に認識させることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、視差を強調する場合、視差の強調が必要でない合焦確認可能視差範囲であっても（例えば合焦状態の場合であっても）視差が強調されたり、視差の強調が必要な合焦確認可能視差範囲であっても視差が強調されなかったりする、という問題点があった。【０００９】
本発明は、このような実情を鑑みて提案されたものであり、視差の強調を過不足なく行うことができる画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の態様に係る画像処理装置は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定部と、前記画像取得部により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定部により前記第１の視差範囲内であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定部により前記第１の視差範囲外であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定部と、前記対象画素に対して、前記係数決定部により決定された前記視差変換係数に基づいて画像処理を行う画像処理部と、前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、画像を表示する表示部と、前記表示部に対して、前記生成部により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示させる表示制御部と、を含む。従って、本構成を有しない場合に比べ、視差の強調を過不足なく行うことができる。【００１１】
本発明の第２の態様は、本発明の第１の態様において、前記第１判定部は、Ｗｃを前記第１及び第２の画素群を有する撮像素子の視差発生方向の画素数とし、Ｗｅを前記画像処理が行われることにより得られた画像の出力先の視差発生方向の画素数とし、κを前記撮像素子の感度及び前記撮影レンズの絞り値の少なくとも１つが高くなるほど減少する１未満の係数とし、Ｐｅを前記第１の視差範囲内の視差としたとき、以下の（１）式に従って、前記対象画素が前記第１の視差範囲内であるか否かを判定するものとしてもよい。これにより、本構成を有しない場合に比べ、画像処理の対象画素が第１の視差範囲内であるか否かを高精度に判定することができる。【００１２】
Ｐｅ＜κ×（Ｗｅ／Ｗｃ）・・・・・（１）【００１３】
本発明の第３の態様は、本発明の第１の態様又は第２の態様において、前記視差算出部により算出された視差が前記第１の視差範囲よりも広い第２の視差範囲内であるか否かを判定する第２判定部を更に備え、前記視差変換係数を、前記第２判定部により前記視差算出部により算出された視差が前記第２の視差範囲内であると判定された場合に前記視差算出部により算出された視差を拡張させる視差変換係数としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の視差範囲よりも広い第２の視差範囲内において視差の強調が過不足するという事態の発生を高精度に抑制することができる。【００１４】
本発明の第４の態様は、本発明の第１の態様から第３の態様の何れか１つにおいて、前記視差変換係数が、前記視差算出部により算出された視差を入力とし、前記前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差及び前記前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差を選択的に出力とする連続関数により規定されるものとしてもよい。これにより、これにより、本構成を有しない場合に比べ、視差の強調の度合いを容易に予測することができる。【００１５】
本発明の第５の態様は、本発明の第４の態様において、前記連続関数を、前記第１判定部により前記第１の視差範囲内であると判定された場合の前記視差算出部により算出された視差の範囲において第１線形関数としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の視差範囲内において視差の強調の度合いを容易に予測することができる。【００１６】
本発明の第６の態様は、本発明の第５の態様において、前記連続関数を、前記第１判定部により前記第１の視差範囲外であると判定された場合の前記視差算出部により算出された視差の範囲において、前記第１線形関数に連続すると共に該第１線形関数に比べ軽勾配の第２線形関数としたものとしてもよい。これにより、本構成を有しない場合に比べ、視差の強調の急激な変化を抑制することができる。【００１７】
本発明の第７の態様は、本発明の第６の態様において、前記連続関数を、前記第１判定部により前記第１の視差範囲外であると判定された場合の前記視差算出部により算出された視差の範囲において、前記第２線形関数及び該第２線形関数に連続する恒等関数としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の視差範囲外において視差の過度な強調を抑制することができる。【００１８】
本発明の第８の態様は、本発明の第１の態様から第７の態様の何れか１つにおいて、前記視差変換係数が、前記画像処理が行われて得られた画像が鑑賞される鑑賞媒体の種類に応じて定まるものとしてもよい。これにより、本構成を有しない場合に比べ、鑑賞媒体の種類に応じて視差の強調の程度を適切に定めることができる。【００１９】
本発明の第９の態様は、本発明の第１の態様から第８の態様の何れか１つにおいて、前記第１の視差範囲を前記撮影レンズの絞り値が高くなるほど狭めるものとしてもよい。これにより、本構成を有しない場合に比べ、絞り値に応じて視差の強調が過不足するという事態の発生を抑制することができる。【００２０】
本発明の第１０の態様は、本発明の第９の態様において、前記画像取得部が、更に、連続フレームで撮像された連続フレーム画像を取得すると共に、単一フレーム画像の撮像の指示が与えられた場合に撮像された単一フレーム画像を取得し、前記単一フレーム画像の撮像の指示が与えられない場合は前記第１の視差範囲を前記撮影レンズの絞り値が高くなるほど狭めるものとしてもよい。これにより、本構成を有しない場合に比べ、単一フレーム画像の撮像の指示が与えられない場合の視差の強調を過不足なく行うことができる。【００２１】
本発明の第１１の態様は、本発明の第１０の態様において、前記単一フレーム画像の撮像の指示が与えられた場合は前記第１の視差範囲を、単一フレーム画像の撮像で使用する絞り値に応じて定めるものとしてもよい。これにより、本構成を有しない場合に比べ、単一フレーム画像の撮像の指示が与えられた場合であっても視差の強調を過不足なく行うことができる。【００２２】
本発明の第１２の態様は、本発明の第１１の態様において、前記単一フレーム画像の撮像の指示が与えられた場合の前記第１の視差範囲を、前記単一フレーム画像の撮像の指示が与えられたときの前記絞り値が前記連続フレーム画像の撮像で使用する前記絞り値よりも高い場合は前記絞り値が高いほど拡げ、前記単一フレーム画像の撮像の指示が与えられたときの前記絞り値が前記連続フレーム画像の撮像で使用する前記絞り値よりも低い場合は前記絞り値が低いほど狭めるものとしてもよい。これにより、本構成を有しない場合に比べ、単一フレーム画像の撮像の指示が与えられた場合であっても、絞り値に応じて視差の強調が過不足するという事態の発生を抑制することができる。【００２３】
本発明の第１３の態様は、本発明の第１の態様から第１２の態様の何れか１つにおいて、前記第２の表示用画像を、前記第１の画像と第２の画像とが前記視差変換係数による変換後の視差に応じたずれ量で視差発生方向に沿ってずれた画像に相当するスプリットイメージとしたものとしてもよい。これにより、本構成を有しない場合に比べ、視差の大きさ及び視差発生方向を推測することができる。【００２４】
本発明の第１４の態様は、本発明の第１の態様から第１３の態様の何れか１つにおいて、前記第１の視差範囲内であることが視認可能な視差を、視差が異なる複数の試験用画像の各々を複数の被験者に予め視認させて前記複数の被験者のうち予め定められた人数以上の被験者によって合焦状態であると評価された視差としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の視差範囲内の視差の強調の程度を適切に定めることができる。【００２５】
本発明の第１５の態様は、本発明の第１の態様から第１４の態様の何れか１つにおいて、前記第１の視差範囲外であることが視認可能な視差を、視差が異なる複数の試験用画像の各々を複数の被験者に予め視認させて前記複数の被験者のうち予め定められた人数以上の被験者によって非合焦状態であると評価された視差としたものとしてもよい。これにより、本構成を有しない場合に比べ、第１の視差範囲外の視差の強調の程度を適切に定めることができる。【００２６】
本発明の第１６の態様は、本発明の第１の態様から第１５の態様の何れか１つにおいて、前記撮像素子が、被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を有し、前記生成部が、前記第３の画素群から出力される前記第３の画像信号に基づいて前記第１の表示用画像を生成するものとしてもよい。これにより、本構成を有しない場合に比べ、第１の表示用画像の画質を向上させることができる。【００２７】
本発明の第１７の態様に係る撮像装置は、本発明の第１の態様から第１６の態様の何れか１つの画像処理装置と、前記画像処理が行われることにより得られた画像を記憶する記憶部と、を含む。従って、本構成を有しない場合に比べ、視差の強調を過不足なく行うことができる。【００２８】
本発明の第１８の態様は、本発明の第１７の態様において、前記画像処理が行われた画像を表示する電子ビューファインダーと、前記電子ビューファインダーの使用を検出する検出部と、を更に含み、前記係数決定部が、前記検出部により前記電子ビューファインダーの使用が検出された場合は前記電子ビューファインダーの使用時に用いる前記視差変換係数として予め定められた使用時視差変換係数を決定し、前記検出部により前記電子ビューファインダーの使用が検出されなかった場合は前記電子ビューファインダーの不使用時に用いる前記視差変換係数として予め定められた不使用時視差変換係数を決定するものとしてもよい。これにより、本構成を有しない場合に比べ、電子ビューファインダーの使用時及び不使用時において適切な視差変換係数を決定する手間を軽減することができる。【００２９】
本発明の第１９の態様は、本発明の第１８の態様において、視差発生方向の画素数が前記電子ビューファインダーの視差発生方向の画素数と異なる表示領域に前記画像処理が行われた画像を表示する場合、前記不使用時視差変換係数を、前記表示領域の使用時に用いる前記視差変換係数として予め定められた表示領域使用時係数としたものとしてもよい。これにより、本構成を有しない場合に比べ、視差発生方向の画素数が電子ビューファインダーの視差発生方向の画素数と異なる表示領域の使用時及び不使用時において適切な視差変換係数を決定することができる。【００３０】
本発明の第２０の態様は、本発明の第１９の態様において、前記表示領域の視差発生方向の画素数は前記電子ビューファインダーの視差発生方向の画素数よりも多く、前記第１判定部により前記第１の視差範囲内であると判定された前記対象画素について前記表示領域使用時係数による変換後の視差の範囲を狭めたものとしてもよい。これにより、本構成を有しない場合に比べ、視差発生方向の画素数が電子ビューファインダーの視差発生方向の画素数よりも多い表示領域に表示された画像について視差の強調が過不足するという事態の発生を抑制することができる。【００３１】
本発明の第２１の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得工程と、前記画像取得工程により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出工程と、画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定工程と、前記画像取得工程により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定工程により前記第１の視差範囲内であると判定された場合は前記視差算出工程により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定工程により前記第１の視差範囲外であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定工程と、前記対象画素に対して、前記係数決定工程により決定された前記視差変換係数に基づいて画像処理を行う画像処理工程と、前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成工程と、画像を表示する表示部に対して、前記生成工程により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成工程により生成された前記第２の表示用画像を表示させる表示制御工程と、を含む。従って、本構成を有しない場合に比べ、視差の強調を過不足なく行うことができる。【００３２】
本発明の第２２の態様に係る画像処理プログラムは、本発明の第１の態様から第１６の態様の何れか１つの画像処理装置における前記画像取得部、前記視差算出部、前記第１判定部、前記係数決定部、前記画像処理部、前記生成部及び前記表示制御部としてコンピュータを機能させるためのものである。従って、本構成を有しない場合に比べ、視差の強調を過不足なく行うことができる。
【発明の効果】
【００３３】
本発明によれば、視差の強調を過不足なく行うことができる、という効果が得られる。
【図面の簡単な説明】
【００３４】
【図１】第１実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。
【図２】図１に示す撮像装置の背面側を示す背面図である。
【図３】第１実施形態に係る撮像装置の電気系の構成の一例を示すブロック図である。
【図４】第１実施形態に係る撮像装置に含まれる撮像素子に設けられているカラーフィルタの配列及び遮光部材の配置の一例を示す概略配置図である。
【図５】図４に示す撮像素子に含まれる位相差画素（第１の画素及び第２の画素）の構成の一例を示す概略構成図である。
【図６】図４に示す撮像素子に含まれる第１及び第２の画素群の構成の一例を示す概略構成図である。
【図７】第１実施形態に係る撮像装置の要部機能の一例を示すブロック図である。
【図８】第１実施形態に係るフィルタ処理の説明に供する図である。
【図９】第１実施形態に係るフィルタ処理で用いられるフィルタであって、図８に示すフィルタとは異なるフィルタの一例を示す模式図である。
【図１０】第１実施形態に係る入出力関数（Ｆ１．４の場合に用いられる入出力関数）の一例を示すグラフである。
【図１１】第１実施形態に係る撮像装置に含まれるＥＶＦ上での視差を決定する際に用いられるヒストグラムの一例を示すグラフである。
【図１２】第１実施形態に係る撮像装置に含まれる表示部上での視差を決定する際に用いられるヒストグラムの一例を示すグラフである。
【図１３】第１実施形態に係る入出力関数（Ｆ３．５の場合に用いられる入出力関数）の一例を示すグラフである。
【図１４】第１実施形態に係る撮像装置に含まれる撮像素子上でのぼけ直径と視差量との関係を示す模式図である。
【図１５Ａ】フィルタ係数を模式的に示すグラフである。
【図１５Ｂ】エッジ強調の度合いを模式的に示すグラフである。
【図１６】第１実施形態に係る撮像装置に含まれる画像処理部で行われる画像処理の流れの一例を示すフローチャートである。
【図１７】視差算出を行いながらフィルタ処理を行う態様の一例を示す模式図である。
【図１８】第１実施形態に係る撮像装置に含まれる画像処理部で行われる関数決定処理の流れの一例を示すフローチャートである。
【図１９】第１実施形態に係る入出力関数により導出された出力視差と位相ずらし量との関係の一例を示すグラフである。
【図２０Ａ】第１実施形態に係る左目画像用の２次元フィルタの一例を示す模式図である。
【図２０Ｂ】第１実施形態に係る右目画像用の２次元フィルタの一例を示す模式図である。
【図２１Ａ】第１実施形態に係る撮像装置の表示部に表示されたライブビュー画像であって、ピントが合っていない状態のライブビュー画像の一例を示す画面図である。
【図２１Ｂ】第１実施形態に係る撮像装置の表示部に表示されたライブビュー画像であって、ピントが合っている状態のライブビュー画像の一例を示す画面図である。
【図２２】第１実施形態に係る撮像装置に含まれる撮像素子の他の構成例を示す模式図である。
【図２３Ａ】図２２に示す撮像素子における第１の画素群の一例を示す模式図である。
【図２３Ｂ】図２２に示す撮像素子における第２の画素群の一例を示す模式図である。
【図２４】第１実施形態に係るスプリットイメージの変形例であって、第１の画像及び第２の画像を奇数ラインと偶数ラインとに分けて交互に並べられて形成されたスプリットイメージの一例を示す模式図である。
【図２５】第１実施形態に係るスプリットイメージの変形例であって、水平方向に対して傾いた斜めの分割線により分割されているスプリットイメージの一例を示す模式図である。
【図２６Ａ】第１実施形態に係るスプリットイメージの変形例であって、格子状の分割線で分割されたスプリットイメージの一例を示す模式図である。
【図２６Ｂ】第１実施形態に係るスプリットイメージの変形例であって、市松模様に形成されたスプリットイメージの一例を示す模式図である。
【図２７】第２実施形態に係るスマートフォンの外観の一例を示す斜視図である。
【図２８】第２実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。
【発明を実施するための形態】
【００３５】
以下、添付図面に従って本発明に係る撮像装置の実施の形態の一例について説明する。
【００３６】
［第１実施形態］
図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図であり、図２は、図１に示す撮像装置１００の背面図である。
【００３７】
撮像装置１００は、レンズ交換式カメラであり、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ３００（撮影レンズ及びフォーカスレンズ３０２（手動操作部））と、を含み、レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用可能なファインダーを指す。
【００３８】
カメラ本体２００と交換レンズ３００とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６（図３参照）とが結合されることにより交換可能に装着される。
【００３９】
カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー（ファインダー切替え部）２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）とが選択的に表示される（後述）。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズボタン２１１及び撮影モードや再生モード等の設定用のダイヤル２１２が設けられている。
【００４０】
カメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４、ＢＡＣＫ／ＤＩＳＰボタン２２５が設けられている。
【００４１】
十字キー２２２は、メニューの選択、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。ＭＥＮＵ／ＯＫキー２２４は、表示部２１３の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。ＢＡＣＫ／ＤＩＳＰボタン２２５は、選択項目などの表示内容の消去や指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。
【００４２】
表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、表示部２１３は、静止画像の撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示やメニュー画面等の表示にも用いられる。
【００４３】
図３は第１実施形態に係る撮像装置１００の電気系の構成（内部構成）の一例を示すブロック図である。
【００４４】
撮像装置１００は、撮像した静止画像や動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ（central processing unit：中央処理装置）１２によって統括制御されている。撮像装置１００は、ＣＰＵ１２の他に、操作部１４、インタフェース部２４、メモリ２６、エンコーダ３４、表示制御部３６及び接眼検出部３７を含む。また、撮像装置１００は、本発明に係る画像取得部、視差算出部、第１判定部、係数決定部、画像処理部及び第２判定部の一例である画像処理部２８を含む。ＣＰＵ１２、操作部１４、インタフェース部２４、メモリ２６、画像処理部２８、エンコーダ３４、表示制御部３６、接眼検出部３７及び外部インタフェース（Ｉ／Ｆ）３９は、バス４０を介して相互に接続されている。
【００４５】
操作部１４は、レリーズボタン２１１、撮影モード等を選択するダイヤル（フォーカスモード切替え部）２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、ＭＥＮＵ／ＯＫキー２２４及びＢＡＣＫ／ＤＩＳＰボタン２２５を含む。また、操作部１４は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部２１３の表示画面に重ねられている。操作部１４から出力された各種の操作信号はＣＰＵ１２に入力される。
【００４６】
撮影モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズを含む撮影レンズ１６及びシャッタ１８を介してカラーの撮像素子（一例としてＣＭＯＳセンサ）２０の受光面に結像される。撮像素子２０に蓄積された信号電荷は、デバイス制御部２２から入力される読出し信号によって信号電荷（電圧）に応じたデジタル信号として順次読み出される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、読出し信号のタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する。なお、本第１実施形態に係る撮像素子２０は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)型のイメージセンサであるが、これに限らず、ＣＣＤ(Charge-Coupled Device)イメージセンサでもよい。
【００４７】
図４には撮像素子２０に設けられているカラーフィルタの配列及び遮光部材の配置の一例が模式的に示されている。図４に示すように撮像素子２０は、各画素上に配置されている赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタとして、ベイヤ配列のＡ面の画素群とベイヤ配列のＢ面の画素群とが、水平方向及び垂直方向に互いに半ピッチずれて配置されている。
【００４８】
Ａ面の画素群は第１の画素群を含み、Ｂ面の画素群は第２の画素群を含む。また、Ａ面の画素群及びＢ面の画素群の各々は、それぞれ第３の画素群を含む。第１の画素群とは、例えば位相差検出用の複数の第１の画素を指す。第２の画素群とは、例えば位相差検出用の複数の第２の画素を指す。第３の画素群とは、例えば複数の通常の画素を指す。通常の画素とは、位相差検出用の画素ではない画素を指す。ここで言う「通常の画素」とは、例えば後述する遮光部材２０Ａ，２０Ｂを有しない画素を指す。なお、以下では、第１の画素及び第２の画素を区別して説明する必要がない場合は「位相差画素」と称する。
【００４９】
図５には撮像素子２０に配置されている第１の画素及び第２の画素の一例が示されている。図５に示す第１の画素は、遮光部材２０Ａを有し、第２の画素は、遮光部材２０Ｂを有する。遮光部材２０Ａは、フォトダイオードＰＤの前面側（マイクロレンズＬ側）に設けられており、受光面の左半分を遮光する。一方、遮光部材２０Ｂは、フォトダイオードＰＤの前面側に設けられており、受光面の右半分を遮光する。
【００５０】
マイクロレンズＬ及び遮光部材２０Ａ，２０Ｂは瞳分割部として機能し、第１の画素は、撮影レンズ１６の射出瞳を通過する光束の光軸の左側のみを受光し、第２の画素は、撮影レンズ１６の射出瞳を通過する光束の光軸の右側のみを受光する。このように、射出瞳を通過する光束は、瞳分割部であるマイクロレンズＬ及び遮光部材２０Ａ，２０Ｂにより左右に分割され、それぞれ第１の画素および第２の画素に入射する。
【００５１】
また、撮影レンズ１６の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている（合焦状態である）部分は、撮像素子２０上の同じ位置に結像する。これに対し、前ピン又は後ピンの部分は、それぞれ撮像素子２０上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と右半分の光束に対応する被写体像とは視差が異なる画像として取得することができる。
【００５２】
図６には、図４に示す撮像素子２０における第１の画素群及び第２の画素群の一例が模式的に示されている。図６に示すように、第１の画素群及び第２の画素群の各々における位相差画素のカラーフィルタの配列は、それぞれベイヤ配列とされており、第１の画素及び第２の画素は、一例として図４に示すように、互いに隣接して（最小ピッチで）対になって配設されている。これにより、第１の画素群と第２の画素群との位相差は、本構成を有しない場合に比べ、高精度に算出される。
【００５３】
図３に戻って、撮像素子２０は、Ａ面のベイヤ配列と同じカラー配列のカラー画像（Ａ面のデジタル信号）及びＢ面のベイヤ配列と同じカラー配列のカラー画像（Ｂ面のデジタル信号）を出力する。撮像素子２０から出力されたカラー画像は、インタフェース部２４を介してメモリ２６（一例としてＳＤＲＡＭなど）に一時記憶される。
【００５４】
画像処理部２８は、通常処理部３０を有する。通常処理部３０は、Ａ面及びＢ面の各々のデジタル信号（Ｒ，Ｇ，Ｂ信号）のうち、第３の画素群に対応するＲ，Ｇ，Ｂ信号を処理することでカラー画像を生成する。また、画像処理部２８は、生成部の一例であるスプリットイメージ処理部３２を有する。スプリットイメージ処理部３２は、第１の画素群及び第２の画素群に対応するＲ，Ｇ，Ｂ信号を処理することでカラーのスプリットイメージを生成する。なお、本第１実施形態に係る画像処理部２８は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）により実現される。しかし、ハードウェア構成はこれに限定されるものではなく、例えばプログラマブルロジックデバイスやＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータなどの他のハードウェア構成であっても良い。
【００５５】
エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。ＬＣＤ２４７における所定方向（一例として視差発生方向である水平方向）の画素数は、表示部２１３における同方向の画素数よりも少ない。表示制御部３６は、表示部２１３及びＬＣＤ２４７に接続されており、ＬＣＤ２４７及び表示部２１３を選択的に制御することによりＬＣＤ２４７又は表示部２１３に対して画像を表示させる。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。
【００５６】
なお、本第１実施形態に係る撮像装置１００は、ダイヤル２１２（フォーカスモード切替え部）が操作されることによりマニュアルフォーカスモードとオートフォーカスモードとが切り替えられる。マニュアルフォーカスモードが選択されると、表示制御部３６は、スプリットイメージが合成されたライブビュー画像を表示装置に表示させる。一方、ダイヤル２１２によりオートフォーカスモードが選択されると、ＣＰＵ１２は、位相差検出部及び自動焦点調整部として動作する。位相差検出部は、第１の画素群から出力された画像（以下、「第１の画像」という）と第２の画素群から出力された画像（以下、「第２の画像」という）との位相差を検出する。自動焦点調整部は、検出された位相差に基づいて撮影レンズ１６のデフォーカス量をゼロにするように、デバイス制御部２２からマウント２５６，３４６を介してレンズ駆動部（図示省略）を制御し、撮影レンズ１６を合焦位置に移動させる。なお、上記の「デフォーカス量」とは、例えば第１の画像及び第２の画像の位相ずれ量を指す。
【００５７】
接眼検出部３７は、人（例えば撮影者）がファインダー接眼部２４２を覗き込んだことを検出し、検出結果をＣＰＵ１２に出力する。従って、ＣＰＵ１２は、接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されているか否かを把握することができる。
【００５８】
外部Ｉ／Ｆ３９は、接続線（図示省略）を介して外部装置（例えばプリンタ）に接続され、外部装置とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮像して得た静止画像をプリンタに出力して印刷させることができる。また、撮影者は、静止画像を記録する記録媒体の種類（例えばＬ版）及び印刷枚数を、操作部１４を操作することにより指定してプリンタに対して印刷させることができる。
【００５９】
図７は第１実施形態に係る撮像装置１００の要部機能の一例を示す機能ブロック図である。なお、図３に示すブロック図と共通する部分には同一の符号が付されている。
【００６０】
通常処理部３０及びスプリットイメージ処理部３２は、それぞれＷＢゲイン部、ガンマ補正部及び同時化処理部を有し（図示省略）、メモリ２６に一時記憶された元のデジタル信号（ＲＡＷ画像）に対して各処理部で順次信号処理を行う。すなわち、ＷＢゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整してホワイトバランス（ＷＢ）補正を行う。ガンマ補正部は、ＷＢゲイン部でＷＢ補正された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。同時化処理部は、撮像素子２０のカラーフィルタの配列（ここでは一例としてベイヤ配列）に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。なお、通常処理部３０及びスプリットイメージ処理部３２は、撮像素子２０により１画面分のＲＡＷ画像が取得される毎に、そのＲＡＷ画像に対して並列に画像処理を行う。
【００６１】
通常処理部３０は、インタフェース部２４からＲ，Ｇ，ＢのＲＡＷ画像が入力され、第１の画素群及び第２の画素群のＲ，Ｇ，Ｂの画素を、第３の画素群のうちの同色の周辺画素により補間して生成する。これにより、第３の画素群のみを有する撮像素子と同様に１画面分の第３の画素群のＲＡＷ画像（以下、「第３の画像」）を得ることができ、第３の画素群のＲＡＷ画像に基づいて記録用の通常のカラー画像を生成することができる。
【００６２】
また、通常処理部３０は、生成した記録用の通常のカラー画像の画像データをエンコーダ３４に出力する。通常処理部３０により処理されたＲ，Ｇ，Ｂ信号は、エンコーダ３４により記録用の信号に変換（エンコーディング）され、記録部４０（図７参照）に記録される。また、通常処理部３０により処理された第３の画像に基づく画像である表示用の通常のカラー画像は、表示制御部３６に出力される。なお、以下では、説明の便宜上、上記の「記録用の通常のカラー画像」及び「表示用の通常のカラー画像」を区別して説明する必要がない場合は「通常画像」と称する。
【００６３】
撮像素子２０は、Ａ面の画素群とＢ面の画素群との露出条件（一例として電子シャッタによるシャッタ速度）を変えることができ、これにより露出条件の異なる２枚の画像を同時に取得することができる。従って、画像処理部２８は、露出条件の異なる２枚の画像に基づいて広ダイナミックレンジの画像を生成することができる。また、同じ露出条件で２枚の画像を同時に取得することができ、これら画像を加算することによりノイズの少ない高感度の画像を生成し、あるいは高解像度の画像を生成することができる。
【００６４】
一方、スプリットイメージ処理部３２は、メモリ２６に一旦記憶されたＲＡＷ画像から第１の画素群及び第２の画素群のＲ，Ｇ，Ｂ信号を抽出する。そして、抽出した第１の画素群及び第２の画素群のＲ，Ｇ，Ｂ信号に基づいて、通常処理部３０と同様の同時化処理等を含む画像処理を行うことで、左の視差画像及び右の視差画像を生成する。なお、以下では、説明の便宜上、上記の「左の視差画像」を「左目画像」と称し、上記の「右の視差画像」を「右目画像」と称する。
【００６５】
スプリットイメージ処理部３２は、第１の画素群から出力された第１の画像に基づく左目画像の上半分の画像と、第２の画素群から出力された第２の画像に基づく右目画像の下半分の画像とを合成することによりスプリットイメージを生成する。生成したスプリットイメージの画像データは表示制御部３６に出力される。
【００６６】
なお、第１の画素群及び第２の画素群は、受光面の左半分又は右半分が遮光されているため、第１の画素群及び第２の画素群のＲ，Ｇ，Ｂ信号は、第３の画素群のＲ，Ｇ，Ｂ信号よりも小さな値になる。従って、スプリットイメージ処理部３２は、スプリットイメージの明るさが、第３の画素群から出力される第３の画像と同じ明るさとなるように明るさの補正を行うことが好ましい。
【００６７】
表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データと、スプリットイメージ処理部３２から入力された第１、第２の画素群に対応するスプリットイメージの画像データとに基づいて表示用の画像データを生成する。例えば、表示制御部３６は、通常処理部３０から入力された第３の画素群に対応する記録用の画像データにより示される通常画像の表示領域内に、スプリットイメージ処理部３２から入力された画像データにより示されるスプリットイメージを合成する。そして、合成して得た画像データを表示部２１３に出力する。ここで、スプリットイメージ処理部３２により生成されるスプリットイメージは、左目画像の一部と右目画像の一部とを合成した２分割の画像である。ここで言う「２分割の画像」としては、例えば左目画像のうちの上半分の画像と右目画像のうちの下半分の画像とを合成した画像であって、合焦状態に応じて２分割された上下画像間が所定方向（例えば視差発生方向）にずれた画像が挙げられる。
【００６８】
通常画像にスプリットイメージを合成する方法は、通常画像の一部の画像に代えて、スプリットイメージを嵌め込む合成方法に限定されない。例えば、通常画像の上にスプリットイメージを重畳させる合成方法であってもよい。また、スプリットイメージを重畳する際に、スプリットイメージが重畳される通常画像の一部の画像とスプリットイメージとの透過率を適宜調整して重畳させる合成方法であってもよい。これにより、連続的に撮像して得た被写体像を示すライブビュー画像が表示部２１３の画面上に表示されるが、表示されるライブビュー画像は、通常画像の表示領域内にスプリットイメージが表示された画像となる。
【００６９】
ハイブリッドファインダー２２０は、ＯＶＦ２４０及びＥＶＦ２４８を含む。ＯＶＦ２４０は、対物レンズ２４４と接眼レンズ２４６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ２４８は、ＬＣＤ２４７、プリズム２４５及び接眼レンズ２４６を有する。
【００７０】
また、対物レンズ２４４の前方には、液晶シャッタ２４３が配設されており、液晶シャッタ２４３は、ＥＶＦ２４８を使用する際に、対物レンズ２４４に光学像が入射しないように遮光する。
【００７１】
プリズム２４５は、ＬＣＤ２４７に表示される電子像又は各種の情報を反射させて接眼レンズ２４６に導くと共に、光学像とＬＣＤ２４７に表示される情報（電子像、各種の情報）とを合成する。
【００７２】
ここで、ファインダー切替えレバー２１４を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ２４０により光学像を視認することができるＯＶＦモードと、ＥＶＦ２４８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。
【００７３】
表示制御部３６は、ＯＶＦモードの場合、液晶シャッタ２４３が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、ＬＣＤ２４７には、スプリットイメージのみを表示させる。これにより、光学像の一部にスプリットイメージが重畳されたファインダー像を表示させることができる。
【００７４】
一方、表示制御部３６は、ＥＶＦモードの場合、液晶シャッタ２４３が遮光状態になるように制御し、接眼部からＬＣＤ２４７に表示される電子像のみが視認できるようにする。なお、ＬＣＤ２４７には、表示部２１３に出力されるスプリットイメージが合成された画像データと同等の画像データが入力され、これにより、表示部２１３と同様に通常画像の一部にスプリットイメージが合成された電子像を表示させることができる。
【００７５】
ところで、本第１実施形態に係る撮像装置１００では、視差を補正する処理と共にスプリットイメージのエッジを強調する処理が行われる。ここで言う「視差を補正する処理」とは、例えば、画像処理部２８により、スプリットイメージに対して付与される位相ずらし量に依存する視差（スプリットイメージを通して表現される視差）を補正する処理を指す。以下では、説明の便宜上、上記の「視差を補正する処理」及び「エッジを強調する処理」をまとめて「視差補正処理」と称する。
【００７６】
画像処理部２８は、視差補正処理を行う場合、先ず、左目画像及び右目画像の対応点を検出し、視差を計測する。左目画像及び右目画像の対応点を検出するには、相関法などを用いればよい。例えば２次元座標系においてｘ方向に１５［pixel］、ｙ方向に１［pixel］であるようなカーネルをスキャンし、最も画素値の差分の２乗和が小さい箇所を探索することにより左目画像及び右目画像の対応点を検出することができる。視差の計測結果は、一例として図８に示すように遠いほど明るく近いほど暗いようなモノクロ画像（距離画像）で表現することができる。サブピクセル単位での視差の測定も可能である。この詳細な方法については新井らによる「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化（情報処理学会研究報告）、巻：２００４、号：４０（CVIM-144）、頁：33-40)」などに記載されている。
【００７７】
なお、一般に視差計測においては、「視差が大きい場合に誤検出しやすい。」という問題点および「（差分の２乗和が小さくなる）平坦部分同士での対応点では、対応点の検出が難しい。」という問題点がある。しかしながら、単一の撮影レンズ１６＋位相差検出用の撮像素子２０による単眼の撮像装置１００では、元々の視差が極めて小さいため、前者の誤検出は一般に少ない。また、後者の誤検出についても、元が平坦部分であるため、たとえ対応点検出を誤って位相がずれたとしても最終的な画質への影響は少ないと言える。
【００７８】
画像処理部２８は、視差補正処理を行う場合、次に、左目画像及び右目画像にかける位相ずらしフィルタ（以下、単に「フィルタ」という）を局所ごとに設定する。例えば、左目画像内のある箇所において、１画素だけ位相をずらす場合は、一例として図８に示すようにフィルタリングの中心を故意に１［pixel］だけずらしたフィルタ係数（画像処理係数の一例）を有するフィルタＦ（ＦＬ，ＦＲ）を設定する。なお、ハードウェア構成としてのフィルタＦは１つでよく、左目画像の畳み込み演算（以下、「フィルタ処理」という）時又は右目画像のフィルタ処理時にそれぞれの画像用のフィルタ係数を設定する。
【００７９】
フィルタＦは、ハイパスフィルタを含んで直流成分のフィルタとなっている。そのため、エッジ強調と位相ずらしを同時に行うことが可能である。なお、一例として図８に示すフィルタＦＬ，ＦＲは、それぞれ１×７画素のカーネルサイズ（演算対象画素範囲）を有し、各フィルタＦＬ，ＦＲのフィルタ係数は、そのフィルタ係数の中心がカーネル中心から互いに逆方向にシフトしている。図８に示す例では、フィルタＦＬのフィルタ係数の中心は、左方向に１画素［pixel］分シフトしており、フィルタＦＲは、右方向に１画素［pixel］分シフトしているので、全体として視差を２画素［pixel］分拡張（強調）することができる。
【００８０】
また、図８に示す例では、１×７画素のカーネルサイズを例示しているが、これに限らず、１×５画素のカーネルサイズであってもよい。この場合も、例えば、図９に示すように、各フィルタＦＬ，ＦＲのフィルタ係数は、そのフィルタ係数の中心がカーネル中心から互いに逆方向にシフトしている。図９に示す例では、フィルタＦＬのフィルタ係数の中心は、左方向に１．２５画素［pixel］分シフトしており、フィルタＦＲは、右方向に１．２５画素［pixel］分シフトしているので、全体として視差を２．５画素［pixel］分拡張（強調）することができる。
【００８１】
しかし、全ての画素について視差を単調に拡張しただけでは、拡張する必要のない視差も拡張されてしまう場合がある。例えば、所定の条件を満足する第１の視差範囲の一例である所定の条件を満足する合焦確認可能視差範囲外であり、スプリットイメージを通して十分に視認することができるほど大きな視差であるにも拘らず視差が拡張されてしまう場合が挙げられる。この他にも、合焦確認可能視差範囲内であり、スプリットイメージを通して視認させる必要がない視差であるにも拘らず視差が過度に拡張されてしまう場合が挙げられる。上記の「所定の条件を満足する合焦確認可能視差範囲」とは、例えば、画像処理の対象画素が表示装置（例えば表示部２１３）の表示画面上で人が合焦状態であると視認できる視差の範囲を指す。なお、撮像装置１００の撮像系において画像処理の対象画素に対応する撮像素子２０内の素子が被写界深度内である場合、画像処理の対象画素は、表示装置の表示画面上で人が合焦状態であると視認できる視差を有することとなる。逆に、撮像装置１００の撮像系において画像処理の対象画素に対応する撮像素子２０内の素子が被写界深度内でない場合、画像処理の対象画素は、表示装置の表示画面上で人が非合焦状態であると視認できる視差を有することなる。
【００８２】
また、全ての画素について視差を単調に拡張しただけでは、十分に拡張する必要のある視差が十分に拡張されない場合がある。例えば、合焦確認可能視差範囲外であり、スプリットイメージを通して十分に視認することができないほど小さな視差であるにも拘らず視差が十分に拡張されない場合が挙げられる。
【００８３】
そこで、本第１実施形態に係る撮像装置１００は、スプリットイメージ用の視差として最終的に出力する視差を、一例として図１０に示す入出力関数ｆを用いて決定し、決定した視差に基づいてフィルタＦＬ，ＦＲのフィルタ係数を決定する。
【００８４】
図１０には、本第１実施形態に係る入出力関数ｆの一例が示されている。図１０に示すように、入出力関数ｆによる変換前の視差（以下、「入力視差」という）の範囲は、合焦確認可能視差範囲Ｐｉｎと合焦確認可能視差範囲外Ｐｉｎ’とに分類される。入出力関数ｆによる変換後の視差（以下、「出力視差」という）の範囲は、例えばスプリットイメージの視差の範囲を指す。出力視差の範囲は、スプリットイメージ内の画像のずれを人が視認できない視差が属する画像ずれ視認不可能範囲Ｐｏｕｔとスプリットイメージ内の画像のずれを人が視認できる視差が属する画像ずれ視認可能範囲Ｐｏｕｔ’とに分類される。つまり、画像ずれ視認不可能範囲Ｐｏｕｔは、スプリットイメージにおける合焦状態を視認可能な視差の範囲内であることを視認可能な視差の範囲と換言することができる。ここで言う「スプリットイメージにおける合焦状態を視認可能な視差の範囲」とは、例えばスプリットイメージにおける左目画像に基づく画像と右目画像に基づく画像とがずれていないことが視認可能な視差の範囲を指す。また、画像ずれ視認可能範囲Ｐｏｕｔ’は、スプリットイメージにおける非合焦状態を視認可能な視差の範囲内であることを視認可能な視差の範囲と換言することができる。ここで言う「スプリットイメージにおける非合焦状態を視認可能な視差の範囲」とは、例えばスプリットイメージにおける左目画像に基づく画像と右目画像に基づく画像とがずれていることが視認可能な視差の範囲を指す。入出力関数ｆは、合焦確認可能視差範囲内Ｐｉｎを画像ずれ視認不可能範囲Ｐｏｕｔに変換すると共に合焦確認可能視差範囲外Ｐｉｎ’を画像ずれ視認可能範囲Ｐｏｕｔ’に変換する。
【００８５】
なお、以下では、説明の便宜上、合焦確認可能視差範囲内Ｐｉｎと合焦確認可能視差範囲外Ｐｉｎ’との境界を「変換前視差境界」と称する。但し、変換前視差境界は、図１０に示すように入力視差のプラス側及びマイナス側に各々現れる。そのため、以下では、区別して説明する必要がある場合は入力視差のプラス側の変換前視差境界を「プラス側変換前視差境界」と称し、入力視差のマイナス側の変換前視差境界を「マイナス側変換前視差境界」と称する。また、画像ずれ視認可能範囲Ｐｏｕｔと画像ずれ視認可能範囲Ｐｏｕｔ’との境界を「変換後視差境界」と称する。但し、変換後視差境界は、図１０に示すように出力視差のプラス側及びマイナス側に各々現れる。そのため、以下では、区別して説明する必要がある場合は出力視差のプラス側の変換後視差境界を「プラス側変換後視差境界」と称し、出力視差のマイナス側の変換後視差境界を「マイナス側変換後視差境界」と称する。
【００８６】
変換後視差境界は、例えば複数の被験者による官能試験の結果に基づいて定められる。例えば複数の被験者による官能試験により、画像ずれ視認可能範囲内（一例として合焦状態）であると評価された範囲と画像ずれ視認可能範囲外（一例として非合焦状態）にあると評価された範囲との境界が変換後視差境界として採用される。なお、ここで言う「官能試験」とは、例えば複数の試験用画像の各々を複数の被験者に予め視認させて複数の被験者のうち予め定められた人数以上の被験者によって合焦状態であるか否かを評価する試験を指す。また、ここでは、錯綜を回避するために、「官能試験」として合焦状態であるか否かを評価する試験を適用しているが、本発明はこれに限定されるものではなく、「官能試験」として非合焦状態であるか否かを評価する試験を適用してもよい。また、「試験用画像」としては、例えばスプリットイメージを想定した画像であって左目画像及び右目画像を組み合わせた画像が挙げられる。ここで言う「左目画像及び右目画像を組み合わせた画像」とは、例えば、第１の画像に基づく左目画像の上半分の画像と第２の画像に基づく右目画像の下半分の画像とを合成することにより得た画像（スプリットイメージに相当する画像）が挙げられる。
【００８７】
上記の「複数の試験用画像」とは、例えば視差が異なる複数の画像を指し、具体的には、視差を−１０［pixel］から＋１０［pixel］まで０．１［pixel］毎にずらした画像群を指す。この場合、例えば複数の被験者がＥＶＦ２４８により上記画像群に含まれる各画像をコマ送りしながら視認し、最も画像のずれが少ない（合焦状態である）と判断した答えを集計して、統計的手法により変換後視差境界を特定する。ここで言う「統計的手法」の一例としては、ヒストグラム及び標準偏差を用いた手法が挙げられる。例えば、複数の被験者が合焦状態であると判断した答えの集計結果は、一例として図１１に示すように、視差０［pixel］を中心にしてほぼ左右対称なヒストグラムで表される。そのため、ヒストグラムにおける±標準偏差ｓの所定倍の範囲（図１１に示す例では±標準偏差ｓの３倍の範囲）を画像ずれ視認可能範囲Ｐｏｕｔとして採用する。なお、図１１に示すヒストグラムは、例えば被験者の人数が５０人であれば積分値が“５０”となるヒストグラムであり、縦軸が“合焦状態である”と被験者が判断した頻度を示し、横軸がＥＶＦ２４８上での視差［pixel］を示す。
【００８８】
図１２には、複数の被験者が表示部２１３に表示された画像を評価した結果を表すヒストグラムの一例が示されている。図１２に示すように、複数の被験者が表示部２１３に表示された画像を評価した場合も図１１と同様に、視差０［pixel］を中心にしてほぼ左右対称なヒストグラムで表される。そのため、ヒストグラムにおける±標準偏差ｓ’の所定倍の範囲（図１２に示す例では±標準偏差ｓ’の３倍の範囲）を画像ずれ視認可能範囲Ｐｏｕｔとして採用する。なお、図１２に示すヒストグラムは、例えば被験者の人数が５０人であれば積分値が“５０”となるヒストグラムであり、縦軸が“合焦状態である”と被験者が判断した頻度を示し、横軸が表示部２１３上での視差［pixel］を示す。
【００８９】
図１０に戻って、入出力関数ｆは、連続関数であり、合焦確認可能視差範囲内Ｐｉｎを画像ずれ視認可能範囲Ｐｏｕｔに変換する関数Ｆ１を含む。関数Ｆ１は、プラス側変換前視差境界及びプラス側変換後視差境界の交点とマイナス側変換前視差境界及びマイナス側変換後視差境界の交点とを結ぶ線形関数（ここでは、一例として原点を通る一次関数）である。
【００９０】
入出力関数ｆは、関数Ｆ１に各々連続する関数Ｆ２，Ｆ３を含む。関数Ｆ２は、プラス側変換前視差境界及びプラス側変換後視差境界の交点とプラス側の特定の入力視差と恒等関数との交点（以下、「プラス側の特定の交点」という）とを結ぶ線形関数である。ここで言う「プラス側の特定の入力視差」の一例としては、そのまま出力視差として用いても十分に視認可能なプラス側の入力視差が挙げられる。この場合、複数の被験者による官能試験により出力視差として用いても十分に視認可能な視差であると評価された視差を採用すればよい。また、撮影者が上記の「特定の入力視差」として好みの視差（例えば出力視差として用いても自身が十分に視認可能な視差）を、操作部１４を介して指示してもよい。
【００９１】
関数Ｆ３は、マイナス側変換前視差境界及びマイナス側変換後視差境界の交点とマイナス側の特定の入力視差と恒等関数との交点（以下、「マイナス側の特定の交点」という）とを結ぶ線形関数である。ここで言う「マイナス側の特定の入力視差」の一例としては、上記の「プラス側の特定の入力視差」と同様に、そのまま出力視差として用いても十分に視認可能なマイナス側の入力視差が挙げられる。
【００９２】
入出力関数ｆは、関数Ｆ２に連続する関数Ｆ４を含む。関数Ｆ４は、プラス側の特定の交点を起点にした恒等関数である。また、入出力関数ｆは、関数Ｆ３に連続する関数Ｆ５を含む。関数Ｆ５は、マイナス側の特定の交点を起点にした恒等関数である。
【００９３】
図１３には、本第１実施形態に係る他の入出力関数ｆの一例が示されている。本第１実施形態に係る撮像装置１００は、複数の入出力関数ｆを有しており、これらの入出力関数ｆの各々は撮影レンズのＦ値に応じて定まる。例えば、図１０に示す入出力関数ｆは、Ｆ値が“１．４”の場合に使用され、図１３に示す入出力関数ｆは、Ｆ値が“３．５”の場合に使用される。図１０に示す入出力関数ｆ及び図１３に示す入出力関数ｆは、画像ずれ視認不可能範囲Ｐｏｕｔ及び画像ずれ視認可能範囲Ｐｏｕｔ’が不変である（固定されている）。これに対して、図１３に示す入出力関数ｆの合焦確認可能視差範囲内Ｐｉｎは、図１０に示す入出力関数ｆの合焦確認可能視差範囲内Ｐｉｎに比べ、狭い。つまり、図１３に示す入出力関数ｆに含まれる関数Ｆ１の傾きが図１０に示す入出力関数ｆに含まれる関数Ｆ１の傾きよりも大きい。換言すると、図１３に示す入出力関数ｆの関数Ｆ１は、図１０に示す入出力関数ｆの関数Ｆ１に比べ、合焦確認可能視差範囲内Ｐｉｎに属する視差を変換した際の利得が大きいと言える。このように、本第１実施形態に係る撮像装置１００では、複数の入出力関数ｆの各々において、変換前視差境界は、Ｆ値が高くなるほど合焦確認可能視差範囲内Ｐｉｎを狭める位置とされている。
【００９４】
ところで、合焦確認可能視差範囲は撮像素子２０上での視差に依存することが知られている。撮像素子２０上での視差は、一例として図１４に示すように、撮像素子２０の第３の画素が取得するぼけ円の像の直径（ぼけ直径）［pixel］から一意に定まる。撮像素子２０上での視差をＰｃとし、撮像素子２０上でのぼけ直径をＢ［pixel］とすると、視差Ｐｃは、Ｐｃ＝κＢ［pixel］との式で表現することができる。ここで、“κ”とは、撮像素子２０の感度特性及び撮影レンズ１６のＦ値に依存する１未満の値である。なお、ここでは、“κ”を、撮像素子２０の感度特性及び撮影レンズ１６のＦ値に依存する１未満の値としているが、これに限らず、撮像素子２０の感度特性又は撮影レンズ１６のＦ値に依存する１未満の値であってもよい。
【００９５】
ＥＶＦ２４８に合焦確認可能視差範囲内の画像を表示させるためには、撮像素子２０上のぼけ直径Ｂを１［pixel］未満にすればよい。つまり、Ｐｃ＜κとの不等式が成立すればＥＶＦ２４８上で合焦確認可能視差範囲内の画像が得られる。Ｐｃ＜κとの不等式は、ＥＶＦ２４８上での視差をＰｅとし、ＥＶＦ２４８の幅［pixel］をＷｅとし、撮像素子２０の幅［pixel］をＷｃとすると、Ｐｅ×Ｗｃ／Ｗｅ＜κ［pixel］との不等式に置き換えることができる。従って、Ｐｅ＜κ×Ｗｅ／Ｗｃ［pixel］との不等式が成立すれば、ＥＶＦ２４８上で合焦確認可能視差範囲内の画像を得ることができる。そこで、本第１実施形態に係る撮像装置１００では、合焦確認可能視差範囲内ＰｉｎをＰｅ＜κ×Ｗｅ／Ｗｃ［pixel］との不等式に従って規定している。なお、ＥＶＦ２４８の幅Ｗｅとは、例えばＥＶＦ２４８の所定方向（一例として視差発生方向である水平方向）の画素数を指し、撮像素子２０の幅Ｗｃとは、例えば撮像素子２０の所定方向（一例として視差発生方向である水平方向）の画素数を指す。
【００９６】
画像処理部２８は、視差補正処理を行う場合、次に、上述したように設定されたフィルタＦＬ，ＦＲによるフィルタ処理を行うことで、左目画像及び右目画像に対して位相ずらしを行う。すなわち、左目画像内の対応点検出を行った対象画素（注目画素）を中心とする１×７画素の画素群について例えば図８に示すフィルタＦＬを用いてフィルタ処理を行う。これにより、注目画素はエッジ強調されると共に、左方向に１画素分位相がずれる。同様に、左目画像の注目画素に対応する右目画像の注目画素を中心とする１×７画素の画素群について例えば図８に示すフィルタＦＲを用いてフィルタ処理を行う。これにより、注目画素はエッジ強調されると共に、右方向に１画素分位相がずれる。このように、左目画像内の注目画素が左方向に１画素分位相がずれ、右目画像内の注目画素が右方向に１画素分位相がずれると、全体として画素位置が２画素分拡張されて視差が拡張されることとなる。
【００９７】
本第１実施形態に係るフィルタは、上述したように視差の拡張と同時にエッジ強調も行うが、一般に位相差画素を利用した３Ｄ撮像装置により撮像された左目画像及び右目画像は、視差の大きな箇所ほどぼけているという特徴がある。ぼけている箇所では、過度のエッジ強調がノイズ増大に繋がる可能性もある。
【００９８】
そこで、本第１実施形態に係る撮像装置１００では、視差の拡張に応じてエッジ強調の程度を弱める処理を行っている。これにより、ぼけた箇所でのノイズは減らしつつ、くっきりした箇所をよりくっきりさせることができる。
【００９９】
視差の拡張に応じてエッジ強調の程度を補正するには、例えば、以下の方法が考えられる。先ず、周波数特性が以下の（１）式で表現可能なフィルタリングを考える。
【０１００】
（フィルタ係数の周波数特性）＝（直流成分）＋α×（ＨＰＦ成分）
＝（直流成分）＋α×（（直流成分）−（ＬＰＦ成分））・・・・（１）
【０１０１】
エッジ強調の強さをαとし、ずらす位相ずらし量をμとし、ＬＰＦ成分を標準偏差σのガウシアンとし、上記（１）式をフーリエ変換すると、フィルタ係数は次式となる。なお、このフィルタ係数は、一例として図１５Ａに示すように表現される。また、エッジ強調の強さαは、周波数帯域σで制御することができる。また、ＨＰＦの強さは、エッジ強調の強さαを、元画像の視差［pixel］の関数（例えば図１５Ｂ参照）にすることで、視差に応じて制御することができる。
【０１０２】
【数１】
2014045740.tif 000003
【０１０３】
次に本第１実施形態の作用として画像処理部２８で行われる上記の視差補正処理を含む画像処理について、図１６を参照して説明する。なお、ここでは、画像処理が画像処理部２８で行われる場合を例示するが、本発明はこれに限定されるものではなく、例えばＣＰＵ１２が画像処理プログラムを実行することにより撮像装置１００で画像処理が行われるものとしてもよい。
【０１０４】
図１６において、ステップ４００では、入力された第３の画像に基づく通常画像が画像処理部２８により生成される。上記ステップ４００で生成された通常画像は画像処理部２８により所定の記憶領域（例えばメモリ２６）に記憶される。次のステップ４０２では、入力された第１の画像に基づく左目画像及び入力された第２の画像に基づく右目画像が画像処理部２８により生成され、その後、ステップ４０４へ移行する。
【０１０５】
ステップ４０４では、画像処理部２８により、上記ステップ４０２で生成された左目画像及び右目画像の一方の全画素のうちの処理対象の画素が設定される。なお、ここでは、錯綜を回避するために、上記ステップ４０２で生成された左目画像の全画素のうちの処理対象の画素（注目画素（ｉ，ｊ））が設定されることとする。この場合、例えば、左目画像の画像サイズがｍ×ｎ画素の場合、画素（１，１）から画素（ｍ，ｎ）まで、本ステップ４０４が行われる毎に順次注目画素を移動させる。
【０１０６】
次のステップ４０６では、画像処理部２８により、ステップ４０４で設定された注目画素（ｉ，ｊ）を基準にした画素群であって所定のブロックサイズ［Ｃｘ×Ｃｙ］［pixel］の画素群が抽出される。次のステップ４０８では、画像処理部２８により、上記ステップ４０６で抽出された左目画像の各画素に対する上記ステップ４０６で抽出された右目画像の対応する画素のずれ量を示す視差が算出される。
【０１０７】
上記ステップ４０８において、画像処理部２８は、例えば、先ず上記ステップ４０６で抽出した左目画像の画素群を元に、右目画像内から特徴点が一致する画素群を探索する。すなわち、一例として図１７に示すように左目画像から抽出した画素群（ブロック）と、右目画像のうちの左目画像から抽出した画素群（ブロック）と右目画像内のブロックとの一致度を評価する。そして、ブロック間の一致度が最大となるときの右目画像のブロックの基準の画素を、左目画像の注目画素に対応する右目画像の対応点の画素とする。本第１実施形態では、ブロックマッチング法を用いてブロック間の一致度を評価しており、一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するもの（ＳＳＤブロックマッチング法）がある。
【０１０８】
ＳＳＤブロックマッチング法では、比較対象とされる両画像のブロック内の各画素ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）について、次式の演算を行う。
【０１０９】
【数２】
2014045740.tif 000004
【０１１０】
上記［数２］式の演算を、右目画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。そして、左目画像上の注目画素と、探索した対応する右目画像上の画素との画素間のずれ量を示す視差を算出する。
【０１１１】
次のステップ４１０では、画像処理部２８により、関数決定処理が行われる。関数決定処理とは、本発明に係る視差変換係数を決定する処理に含まれる処理の一例であり、例えば入出力関数ｆを決定する処理を指す。図１８には、関数決定処理の流れの一例を示すフローチャートが示されている。
【０１１２】
図１８に示すように、ステップ４１０Ａでは、画像処理部２８により、現時点で設定されているＦ値に対応する入出力関数ｆが取得される。ここで言う「現時点で設定されているＦ値に対応する入出力関数ｆ」とは、例えばライブビュー画像撮像時に使用するＦ値として現時点で設定されているＦ値が“１．４”の場合は一例として図１０に示す入出力関数ｆを指す。また、現時点で設定されているＦ値が“３．５”の場合は一例として図１３に示す入出力関数ｆを指す。なお、ここでは、説明の便宜上、上記ステップ４１０Ａで取得される入出力関数ｆに適用される画像ずれ視認不可能範囲Ｐｏｕｔの一例として、図１２に示すヒストグラムにより規定された画像ずれ視認不可能範囲Ｐｏｕｔを採用している。また、上記ステップ４１０Ａで取得された入出力関数ｆの傾き（例えば関数Ｆ１〜Ｆ５の各傾き）が本発明に係る不使用時視差変換係数及び表示部使用時係数の一例である。また、ここでは、Ｆ値に対応する入出力関数ｆを取得する例を挙げているが、本発明はこれに限定されるものではなく、Ｆ値に依らずに予め定められた入出力関数ｆを取得してもよい。
【０１１３】
ステップ４１０Ｂでは、画像処理部２８により、現時点で指示されている撮像が静止画像の撮像でないか否かが判定される。本ステップ４１０Ｂにおいて現時点で指示されている撮像が静止画像の撮像でない場合は判定が肯定されてステップ４１０Ｃへ移行する。本ステップ４１０Ｂにおいて現時点で指示されている撮像が静止画像の撮像である場合は判定が否定されてステップ４１０Ｄへ移行する。
【０１１４】
ステップ４１０Ｄでは、画像処理部２８により、静止画像の撮像時に使用するＦ値として現時点で設定されているＦ値がライブビュー画像の撮像時に使用するＦ値として現時点で設定されているＦ値と一致していないか否かが判定される。本ステップ４１０Ｄにおいて静止画像の撮像時に使用するＦ値として現時点で設定されているＦ値がライブビュー画像の撮像時に使用するＦ値として現時点で設定されているＦ値と一致していない場合は判定が肯定されてステップ４１０Ｅへ移行する。本ステップ４１０Ｄにおいて静止画像の撮像時に使用するＦ値として現時点で設定されているＦ値がライブビュー画像の撮像時に使用するＦ値として現時点で設定されているＦ値と一致している場合は判定が否定されてステップ４１０Ｃへ移行する。
【０１１５】
ステップ４１０Ｅでは、画像処理部２８により、静止画像の撮像時に使用するＦ値として現時点で設定されているＦ値に応じて、上記ステップ４１０Ａで取得された入出力関数ｆが補正される。ここで、画像処理部２８は、例えば、静止画像の撮像時に使用するＦ値として現時点で設定されているＦ値がライブビュー画像の撮像時に使用するＦ値として現時点で設定されているＦ値よりも高い場合、強調の程度を緩くするように入出力関数ｆを補正する。すなわち、上記ステップ４１０Ａで取得された入出力関数ｆの関数Ｆ１の傾き（入力視差に対する出力視差の利得）を、ライブビュー画像の撮像時に比べ、小さくする。例えば、ライブビュー画像の撮像時のＦ値が“１．４”の場合において静止画像の撮像時のＦ値を“４．０”とした場合、入出力関数ｆにおける図１０に示す合焦確認可能視差範囲内Ｐｉｎに対して、補正項“４．０／１．４”を乗じる。これにより、図１０に示す合焦確認可能視差範囲内Ｐｉｎが拡げられる。
【０１１６】
逆に、例えば、静止画像の撮像時に使用するＦ値として現時点で設定されているＦ値がライブビュー画像の撮像時に使用するＦ値として現時点で設定されているＦ値よりも低い場合、強調の程度を厳しくするように関数を補正する。すなわち、上記ステップ４１０Ａで取得された入出力関数ｆの関数Ｆ１の傾きを、ライブビュー画像の撮像時に比べ、大きくする。例えば、ライブビュー画像の撮像時のＦ値が“３．５”の場合において静止画像の撮像時のＦ値を“１．４”とした場合、入出力関数ｆにおける図１３に示す合焦確認可能視差範囲内Ｐｉｎに対して、補正項“１．４／３．５”を乗じる。これにより、図１０に示す合焦確認可能視差範囲内Ｐｉｎが狭められる。
【０１１７】
なお、原則としてライブビュー画像の撮像時は、Ｆ値が大きいほど合焦確認可能視差範囲内Ｐｉｎは狭められ、これにより、視差の拡張の度合いが強められる。例えば、撮像装置１００は、ライブビュー画像の撮像で使用されるＦ値を“２．８”とし、静止画像の撮像時のＦ値として“２．８”を予定した場合、合焦確認可能視差範囲内Ｐｉｎを“０．３５”に設定して視差の拡張を行い、“２．８”のＦ値で本露光を行う。また、例えば、ライブビュー画像の撮像で使用されるＦ値を“４．０”とし、静止画像の撮像時のＦ値として“２．８”を予定した場合、合焦確認可能視差範囲内Ｐｉｎを“０．２５”に設定して視差の拡張を行い、“２．８”のＦ値で本露光を行う。更に、例えば、ライブビュー画像の撮像で使用されるＦ値を“５．６”とし、静止画像の撮像時のＦ値として“２．８”を予定した場合、合焦確認可能視差範囲内Ｐｉｎを“０．１８”に設定して視差の拡張を行い、“２．８”のＦ値で本露光を行う。
【０１１８】
一方、ライブビュー画像を撮像している間に静止画像の撮像が指示された場合、ライブビュー画像の撮像で使用されるＦ値は不変のまま、静止画像の撮像時のＦ値が高くなったならば、合焦確認可能視差範囲内Ｐｉｎは拡げられる。これにより、視差の拡張の度合いが弱められる。例えば、撮像装置１００は、ライブビュー画像の撮像で使用されるＦ値を“２．８”とし、静止画像の撮像時のＦ値として“２．８”を予定した場合、合焦確認可能視差範囲内Ｐｉｎを“０．３５”に設定して視差の拡張を行い、“２．８”のＦ値で本露光を行う。また、例えば、ライブビュー画像の撮像で使用されるＦ値を“２．８”とし、静止画像の撮像時のＦ値として“４．０”を予定した場合、合焦確認可能視差範囲内Ｐｉｎを“０．５０”に設定して視差の拡張を行い、“４．０”のＦ値で本露光を行う。更に、例えば、ライブビュー画像の撮像で使用されるＦ値を“２．８”とし、静止画像の撮像時のＦ値として“５．６”を予定した場合、合焦確認可能視差範囲内Ｐｉｎを“０．７０”に設定して視差の拡張を行い、“５．６”のＦ値で本露光を行う。
【０１１９】
このように、画像取得部２８は、更に、撮像素子２０により連続フレームで撮像されたライブビュー画像（連続フレーム画像の一例）を取得すると共に、静止画像（単一フレーム画像の一例）の撮像の指示が与えられた場合に撮像された静止画像を取得する。そして、ライブビュー画像が撮像されている間に静止画像の撮像の指示が与えられた場合において合焦確認可能視差範囲内であると判定される注目画素（画像処理の対象画素）の視差の範囲を、Ｆ値に応じて調整する。つまり、静止画像の撮像時のＦ値がライブビュー画像の撮像時のＦ値よりも大きい場合は視差の範囲を拡げ、静止画像の撮像時のＦ値がライブビュー画像の撮像時のＦ値よりも小さい場合は視差の範囲を狭める。
【０１２０】
ステップ４１０Ｃでは、画像処理部２８により、Ｌ版鑑賞条件を満足していないか否かが判定される。Ｌ版鑑賞条件とは、例えば撮影者が表示部２１３による鑑賞よりもＬ版プリントによる鑑賞を好んでいることを表す条件を指す。Ｌ版鑑賞条件としては、例えば所定時点からのＬ版によるプリント枚数の合計が所定枚数（例えば５００枚）以上であるとの条件が挙げられる。つまり、所定時間からのＬ版によるプリント枚数の合計が所定枚数以上あれば、撮影者がＬ版プリントによる鑑賞を好んでいるということになる。本ステップ４１０ＣにおいてＬ版鑑賞条件を満足していない場合は判定が肯定されてステップ４１０Ｆへ移行する。本ステップ４１０ＣにおいてＬ版鑑賞条件を満足している場合は判定が否定されてステップ４１０Ｇへ移行する。
【０１２１】
ステップ４１０Ｇでは、画像処理部２８により、上記ステップ４１０Ａで取得された入出力関数ｆ又は上記ステップ４１０Ｅで補正された入出力関数ｆがＬ版用の入出力関数ｆに補正された後、本関数決定処理を終了する。Ｌ版用の入出力関数ｆとは、例えば上記ステップ４１０Ａで取得された入出力関数ｆ又は上記ステップ４１０Ｅで補正された入出力関数ｆについて合焦確認可能視差範囲内Ｐｉｎの範囲を予め定められた範囲まで拡げた入出力関数ｆを指す。なお、合焦確認可能視差範囲内Ｐｉｎの範囲を拡げる前後で、入出力関数ｆの画像ずれ視認不可能範囲Ｐｏｕｔ及び画像ずれ視認可能範囲Ｐｏｕｔ’は不変とされている。このように合焦確認可能視差範囲内Ｐｉｎの範囲を拡げるのは、Ｌ版プリントのように画像を縮小して鑑賞する場合は、入力視差の範囲を表示部２１３で画像を鑑賞する場合よりも拡張させても問題ないからである。
【０１２２】
ステップ４１０Ｆでは、画像処理部２８により、ＥＶＦ鑑賞条件を満足しているか否かが判定される。ＥＶＦ鑑賞条件とは、例えば現時点でユーザがＥＶＦ２４８を使用していることを表す条件を指す。ユーザがＥＶＦ２４８を使用しているか否かは、例えば接眼検出部３７での検出結果に基づいてファインダー接眼部２４２が使用されていると判定されたか否かにより判定される。つまり、ファインダー接眼部２４２が使用されていると判定された場合はユーザがＥＶＦ２４８を使用していると判定され、ファインダー接眼部２４２が使用されていないと判定された場合はユーザがＥＶＦ２４８を使用していないと判定される。本ステップ４１０ＦにおいてＥＶＦ鑑賞条件を満足していない場合は判定が否定されて本関数決定処理を終了する。本ステップ４１０ＦにおいてＥＶＦ鑑賞条件を満足している場合は判定が肯定されてステップ４１０Ｈへ移行する。
【０１２３】
ステップ４１０Ｈでは、画像処理部２８により、上記ステップ４１０Ａで取得された入出力関数ｆ又は上記ステップ４１０Ｅで補正された入出力関数ｆがＥＶＦ用の入出力関数ｆに補正された後、本関数決定処理を終了する。ＥＶＦ用の入出力関数ｆとは、例えば入出力関数ｆについて合焦確認可能視差範囲内Ｐｉｎ及び合焦確認可能視差範囲外Ｐｉｎ’を変えることなく画像ずれ視認不可能範囲Ｐｏｕｔを図１１に示すヒストグラムで規定された画像ずれ視認不可能範囲Ｐｏｕｔにまで拡げた入出力関数ｆを指す。なお、画像ずれ視認不可能範囲Ｐｏｕｔにまで拡げた入出力関数ｆの傾き（例えば関数Ｆ１〜Ｆ５の各傾き）が本発明に係る使用時視差変換係数の一例である。
【０１２４】
なお、仮に上記ステップ４１０Ａで取得された入出力関数ｆにおける画像ずれ視認不可能範囲Ｐｏｕｔとして図１１に示すヒストグラムで規定された画像ずれ視認不可能範囲Ｐｏｕｔを適用した場合は、ステップ４１０Ｈの処理は不要なる。その代わり、ステップ４１０Ｆが否定判定されると、入出力関数ｆについて画像ずれ視認不可能範囲Ｐｏｕｔを図１２に示すヒストグラムで規定された画像ずれ視認不可能範囲Ｐｏｕｔにまで縮めた入出力関数ｆに補正する処理が加わる。なお、画像ずれ視認不可能範囲Ｐｏｕｔの範囲を縮める前後で、合焦確認可能視差範囲内Ｐｉｎ及び合焦確認可能視差範囲外Ｐｉｎ’は不変とされている。
【０１２５】
図１６に戻って、ステップ４１２では、画像処理部２８により、上記ステップ４０４で設定された注目画素が合焦確認可能視差範囲内であるか否かが判定される。本ステップ４１２において合焦確認可能視差範囲内である場合は判定が肯定されてステップ４１４へ移行する。本ステップ４１２において合焦確認可能視差範囲外である場合は判定が否定されてステップ４１６へ移行する。なお、ここでは、上記ステップ４０８で算出された視差に基づいて注目画素が合焦確認可能視差範囲内であるか否かを判定しているが、これに限らず、注目画素が合焦確認可能視差範囲内であるか否かを判定することができる方法であれば如何なる方法も適用可能である。また、ここでは、注目画素の判定結果を、右目画像の対応点の画素にも適用しているため、注目画素についてのみ合焦確認可能視差範囲内であるか否かを判定する例を挙げているが、注目画素に対応する右目画像の画素についても合焦確認可能視差範囲内であるか否かを判定してもよい。
【０１２６】
ステップ４１４，４１６の処理は、本発明に係る視差変換係数を決定する処理に含まれる処理の一例である。ステップ４１４では、画像処理部２８により、上記ステップ４１０で決定された入出力関数ｆから上記ステップ４０８で算出された視差に対応する関数として関数Ｆ１が取得され、その後、ステップ４１８へ移行する。一方、ステップ４１６では、画像処理部２８により、上記ステップ４１０で決定された入出力関数ｆの合焦確認可能視差範囲外Ｐｉｎ’に含まれる関数Ｆ２〜Ｆ４から、上記ステップ４０８で算出された視差に対応する関数が取得され、その後、ステップ４１８へ移行する。
【０１２７】
ステップ４１８では、画像処理部２８により、上記ステップ４１４又はステップ４１６で取得された関数を用いて導出される出力視差に対応するフィルタ係数が決定される。ここで、画像処理部２８は、先ず、上記ステップ４１４又はステップ４１６で取得した関数を用いて出力視差に相当する視差γを導出する。すなわち、入力視差として上記ステップ４０８で算出された視差を、上記ステップ４１４又はステップ４１６で取得した関数を用いて出力視差としての視差γに変換する。そして、視差γに対応する位相ずらし量μ［pixel］を導出する。位相ずらし量μは例えば図１９に示す関数（実線又は破線のグラフ）によって一意に定まる。図１９に示す実線のグラフは、左目画像に対する位相ずらし量μを示しており、合焦している被写体（視差０）よりも遠い被写体の視差γの符号はプラス、合焦している被写体よりも近い被写体の視差γの符号はマイナスとされている。また、右方向の位相ずらし量μはプラス、左方向の位相ずらし量μはマイナスとされている。そして、図１９の破線のグラフに示すように、右目画像に対する位相ずらし量μは、左目画像に対する位相ずらし量μとは符号が逆になる。
【０１２８】
図１９に示す例では、入出力関数ｆにより決定された出力視差［pixel］の符号を変えることなく、所定のピクセル数範囲（一例として±Ｐ１）の視差γに対しては、傾きε（＞０）を乗じることで位相ずらし量μへの変換を行っている。所定の画素数範囲を超える視差γに対しては、視差計測結果にミスがあった場合に備え、傾きεが“ε＝０”になるように位相ずらし量μを一定にする。なお、本第１実施形態では、“ε＞０”の視差γの範囲として、入出力関数ｆに含まれる関数Ｆ１，Ｆ２，Ｆ３により規定される出力視差の範囲を適用している。また、“ε＝０”の視差γの範囲（位相ずらし量μを一定にする対象となる出力視差の範囲）として、入出力関数ｆに含まれる関数Ｆ４，Ｆ５により規定される出力視差の範囲を適用している。
【０１２９】
次に、画像処理部２８は、一例として図１９に示す関数に従って導出された位相ずらし量μ、予め設定された標準偏差σ、及びエッジ強調の強さのα（図１５Ａ及び図１５Ｂ参照）に基づいて、上述の［数１］式によりフィルタＦＬ，ＦＲのフィルタ係数を算出する。なお、本第１実施形態では、［数１］式を用いてフィルタＦＬ，ＦＲのフィルタ係数を算出する態様を例示しているが、本発明はこれに限定されるものではない。例えば、出力視差或いは位相ずらし量等に対応するフィルタ係数のセットが予め記憶されたルックアップテーブル（ＬＵＴ）を準備しておき出力視差等に基づいて対応するフィルタ係数のセットを読み出し、フィルタＦＬ，ＦＲを決定するようにしてもよい。
【０１３０】
ステップ４２０では、画像処理部２８により、上記ステップ４０６で抽出された画素群及び対応する画素群（例えば上記ステップ４０４で設定された注目画素（ｉ，ｊ）に対応する右目画像の対応点を基準に抽出された画素群）について画像処理が行われる。
【０１３１】
本ステップ４２０において、例えば、画像処理部２８は、先ず、上記ステップ４０６で抽出された画素群（ブロック）について、このブロックサイズと同じカーネルサイズのフィルタＦＬによりフィルタ処理を行うことにより注目画素（ｉ，ｊ）の画素値を算出する。また、上記ステップ４０４で設定された注目画素（ｉ，ｊ）に対応する右目画像の対応点を基準に抽出された画素群について、このブロックサイズと同じカーネルサイズのフィルタＦＲによりフィルタ処理を行うことにより右目画像の対応点の画素値を算出する。
【０１３２】
画像処理部２８は、次に、上記のようにフィルタ処理された左目画像の注目画素（ｉ，ｊ）の画素値及び右目画像の対応点の画素の画素値を、元の位置から位相ずらし量μだけシフトした位置に配置（マッピング）する。
【０１３３】
ここで、ブロックサイズ［Ｃｘ×Ｃｙ］を、例えば７×７［pixel］とした場合、一例として図２０Ａ及び図２０Ｂに示すようにフィルタＦＬ，ＦＲのカーネルサイズも７×７［pixel］とする。そして、ブロックマッチング法により対応点の検出及び視差γの算出が行われた左目画像の画素群（ブロック）と右目画像の画素群（ブロック）を開放せずに、そのままＦＬ，ＦＲによりフィルタ処理を行う。これにより、メモリ使用量を削減することができ、また、処理も高速化させることができる。
【０１３４】
次のステップ４２２では、画像処理部２８により、上記ステップ４２０で行われた画像処理により得られた画素値が画素毎に所定の記憶領域（例えばメモリ２６）に記憶されることにより画像が記憶され、その後、ステップ４２４へ移行する。
【０１３５】
ステップ４２４では、画像処理部２８により、左目画像の全ての画素のフィルタ処理が終了したか否かが判定される。本ステップ４２４において左目画像の全ての画素のフィルタ処理が終了した場合は判定が肯定されてステップ４２６へ移行する。本ステップ４２４において左目画像の全ての画素のフィルタ処理が終了していない場合は判定が否定されてステップ４０４へ移行する。
【０１３６】
ステップ４２６では、画像処理部２８により、上記ステップ４００，４２２で所定の記憶領域に記憶された画像が所定の出力先に出力された後、本画像処理を終了する。なお、上記の「所定の出力先」としては、例えば表示制御部３６が挙げられ、この他にも、撮影者等により外部装置への出力が操作部１４を介して指示された場合は上記の「所定の出力先」として外部Ｉ／Ｆ４０が適用される。
【０１３７】
図１６に示す画像処理が画像処理部２８によって行われると、一例として図２１Ａ及び図２１Ｂに示すように表示部２１３やハイブリッドファインダー２２０にライブビュー画像が表示される。図２１Ａ及び図２１Ｂに示す例では、画面中央の枠６０の内側領域にスプリットイメージが表示されており、枠６０の外側領域に通常画像が表示されている。
【０１３８】
すなわち、第１及び第２の画素群は、枠６０のサイズに対応して設けられている。スプリットイメージは、第１の画素群から出力された第１の画像に対応する画像おける枠６０の上半分６０Ａの画像（視差画像）と、第２の画素群から出力された第２の画像に対応する画像における枠６０の下半分６０Ｂの画像（視差画像）とに大別される。
【０１３９】
ここで、枠６０内の画像に対応する被写体に対して、撮影レンズ１６のピントが合っていない場合は、図２１Ａに示すようにスプリットイメージの上半分６０Ａの視差画像と、下半分６０Ｂの視差画像との境界の画像が視差発生方向（一例として水平方向）にずれる。また、通常画像とスプリットイメージとの境界の画像も視差発生方向にずれる。これは、位相差が生じていることを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていること及び視差発生方向を認識することができる。
【０１４０】
一方、枠６０内の画像に対応する被写体に対して、撮影レンズ１６のピントが合っている場合は、図２１Ｂに示すようにスプリットイメージの上半分６０Ａの視差画像と、下半分６０Ｂの視差画像との境界の画像が一致する。また、通常画像とスプリットイメージとの境界の画像も一致する。これは、位相差が生じていないことを表しており、撮影者はスプリットイメージを通して視覚的に位相差が生じていないことを認識することができる。
【０１４１】
このように、撮影者は、表示部２１３に表示されるスプリットイメージにより撮影レンズ１６の合焦状態を確認することができる。また、マニュアルフォーカスモード時には、撮影レンズ１６のフォーカスリング３０２を手動操作することによりピントのずれ量（デフォーカス量）をゼロにすることができる。また、通常画像とスプリットイメージとをそれぞれ色ずれのないカラー画像で表示することができ、撮影者の手動によるフォーカス調整をカラーのスプリットイメージで支援することができる。
【０１４２】
図２２には撮像素子２０の変形例が示されており、特にカラーフィルタの配列例及び遮光部材の配置例が示されている。図２２に示す撮像素子２０’のカラーフィルタの配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示すパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。すなわち、カラーフィルタの配列は、Ｒ，Ｇ，Ｂの各色のフィルタが所定の周期性をもって配列されている。
【０１４３】
また、撮像素子２０’は、図４に示す撮像素子２０と同様に、第１の画素群、第２の画素群及び第３の画素群を含む。第１の画素群は、受光面の左半分が遮光部材により遮光され、第２の画素群は、受光面の右半分が遮光部材により遮光される。第３の画素群には、遮光部材が設けられていない。
【０１４４】
図２３Ａ及び図２３Ｂは、図２２に示す撮像素子２０’に含まれる第１の画素群及び第２の画素群のみを示す図である。図２３Ａ及び図２３Ｂに示すように第１の画素群及び第２の画素群におけるカラーフィルタの配列は、それぞれベイヤ配列とされている。すなわち、第１の画素群及び第２の画素群におけるカラーフィルタの配列がそれぞれベイヤ配列となるように、撮像素子２０’の全画素群のうちの一部の画素が位相差画素として配置されている。
【０１４５】
図２２に示す撮像素子２０’のカラーフィルタ配列は、６×６画素の基本配列パターンＰを有し、２×２画素の基本配列パターンを有するベイヤ配列よりも複雑である。従って、同時化処理等の信号処理が複雑になるが、上記のようにカラーフィルタの配列がそれぞれベイヤ配列になるように位相差画素を配置することにより、スプリットイメージを生成するための同時化処理等の信号処理を容易に行うことができる。
【０１４６】
なお、図２３Ａ及び図２３Ｂに示すようにカラーフィルタの配列をベイヤ配列とする位相差画素の配置例を挙げたが、図２２に示すカラーフィルタの配列において、水平方向及び垂直方向の６画素置きに位相差画素（一対の第１及び第２の画素）を配置してもよい。これにより、第１及び第２の画素群のカラー配列を、元のＲＡＷ画像と同じカラー配列にすることができる。
【０１４７】
以上に説明にしたように、本第１実施形態に係る撮像装置１００は、撮影レンズ１６の射出瞳を通過する光束の光軸の左側及び右側（第１及び第２の領域を通過した被写体像の一例）が瞳分割されてそれぞれ結像される第１及び第２の画素群を有する。画像取得部の一例である画像処理部２８は、第１及び第２の画素群から出力された第１及び第２の画像に相当する左目画像及び右目画像を取得する（ステップ４０２）。また、視差算出部の一例である画像処理部２８は、左目画像の各画素と右目画像の各画素とのずれ量を示す入力視差を算出する（ステップ４０８）。また、第１判定部の一例である画像処理部２８は、画像処理の対象画素が合焦確認可能視差範囲内であるか否かを判定する（ステップ４１２）。また、係数決定部の一例である画像処理部２８は、左目画像及び右目画像における対象画素毎に、視差変換係数の一例である係数（一例として傾き）を有する入出力関数ｆを決定する（ステップ４１０，４１４，４１６）。入出力関数ｆは、合焦確認可能視差範囲内であると判定された場合は、算出された入力視差を、画像ずれ視認不可能範囲Ｐｏｕｔの出力視差（スプリットイメージが合焦確認可能視差範囲内であることが視差可能な視差の一例）に変換させる。また、入出力関数ｆは、合焦確認可能視差範囲外であると判定された場合は、算出された入力視差を、画像ずれ視認可能範囲Ｐｏｕｔ’の出力視差（スプリットイメージが合焦確認可能視差範囲外であることが視差可能な視差の一例）に変換させる。更に、画像処理部２８は、対象画素に対して、入出力関数ｆに基づいて画像処理を行う（ステップ４２０）。これにより、本構成を有しない場合に比べ、視差の強調を過不足なく行うことができる。
【０１４８】
また、本第１実施形態に係る撮像装置１００では、画像ずれ視認不可能範囲Ｐｏｕｔの視差が、複数の被験者による官能試験で合焦状態であると評価された視差とされている。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲内の視差の強調の程度を適切に定めることができる。
【０１４９】
また、本第１実施形態に係る撮像装置１００では、画像ずれ視認可能範囲Ｐｏｕｔ’の視差が、複数の被験者による官能試験で非合焦状態であると評価された視差とされている。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲外の視差の強調の程度を適切に定めることができる。
【０１５０】
また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、画像処理の対象画素が合焦確認可能視差範囲よりも広い所定視差範囲内であるか否かを判定する（ステップ４２）。画像処理の対象画素が所定視差範囲（例えばマイナス側変換前視差境界以上かつプラス側変換前視差境界以下）内であると判定された場合、画像処理の対象画素の視差を拡張させる関数が採用される。これにより、合焦確認可能視差範囲よりも広い所定視差範囲内において視差の強調が過不足するという事態の発生を高精度に抑制することができる。
【０１５１】
また、本第１実施形態に係る撮像装置１００では、合焦確認可能視差範囲外であると判定された場合、入力視差を、関数Ｆ２，Ｆ３の傾き（予め定められた拡張率以下の拡張率の一例）に従って拡張された出力視差に変換している。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲外において視差の強調が過不足するという事態の発生を高精度に抑制することができる。
【０１５２】
また、本第１実施形態に係る撮像装置１００では、関数Ｆ２の傾きが、プラス側変換前視差境界及びプラス側変換後視差境界の交点（合焦確認可能視差範囲内であることが視認可能な視差の最大値の一例）とプラス側の特定の入力視差とに基づいて定められている。また、関数Ｆ３の傾きが、マイナス側変換前視差境界及びマイナス側変換後視差境界の交点（合焦確認可能視差範囲内であることが視認可能な視差の最小値の一例）とマイナス側の特定の入力視差とに基づいて定められている。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲外において視差の強調を過不足させない関数Ｆ２，Ｆ３の傾きを容易に定めることができる。
【０１５３】
また、本第１実施形態に係る撮像装置１００では、合焦確認可能視差範囲外であると判定された対象画素の入力視差が特定の入力視差以上の場合、関数Ｆ４，Ｆ５により、入力視差を、そのまま出力視差としている（特定の入力視差以下の視差に変換させる一例）。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲外における視差の過度な強調を回避することができる。
【０１５４】
また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、Ｐｅ＜κ×Ｗｅ／Ｗｃ［pixel］との不等式に従って、画像処理の対象画素が合焦確認可能視差範囲内であるか否かを判定している。これにより、本構成を有しない場合に比べ、画像処理の対象画素が合焦確認可能視差範囲内であるか否かを高精度に判定することができる。
【０１５５】
また、本第１実施形態に係る撮像装置１００では、合焦確認可能視差範囲内Ｐｉｎ（合焦確認可能視差範囲内であると判定される対象画素の視差の範囲の一例）が、撮影レンズ１６のＦ値が高くなるほど狭められる。これにより、本構成を有しない場合に比べ、Ｆ値に応じて視差の強調が過不足するという事態の発生を抑制することができる。
【０１５６】
また、本第１実施形態に係る撮像装置１００では、画像取得部２８が、更に、連続フレームで撮像されたライブビュー画像（連続フレーム画像の一例）を取得すると共に、静止画像（単一フレーム画像の一例）の撮像の指示が与えられた場合に撮像された静止画像を取得する。そして、静止画像の撮像の指示が与えられない場合は合焦確認可能視差範囲がＦ値（撮影レンズの絞り値の一例）が高くなるほど狭められる。これにより、本構成を有しない場合に比べ、静止画像の撮像の指示が与えられない場合の視差の強調を過不足なく行うことができる。
【０１５７】
また、本第１実施形態に係る撮像装置１００では、静止画像の撮像の指示が与えられた場合は合焦確認可能視差範囲が静止画像の撮像で使用するＦ値に応じて定められる。これにより、本構成を有しない場合に比べ、静止画像の撮像の指示が与えられた場合であっても視差の強調を過不足なく行うことができる。
【０１５８】
また、本第１実施形態に係る撮像装置１００では、静止画像の撮像の指示が与えられた場合の合焦確認可能視差範囲が、静止画像の撮像の指示が与えられたときのＦ値がライブビュー画像の撮像で使用するＦ値よりも高い場合はＦ値が高いほど拡げられる。また、静止画像の撮像の指示が与えられたときのＦ値がライブビュー画像の撮像で使用するＦ値よりも低い場合はＦ値が低いほど狭められる。これにより、本構成を有しない場合に比べ、静止画像の撮像の指示が与えられた場合であっても、Ｆ値に応じて視差の強調が過不足するという事態の発生を抑制することができる。
【０１５９】
また、本第１実施形態に係る撮像装置１００では、画像ずれ視認不可能範囲Ｐｏｕｔ及び画像ずれ視認可能範囲Ｐｏｕｔ’を固定している。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲に応じて視差の強調の程度が異なるという事態の発生を回避することができる。なお、画像ずれ視認不可能範囲Ｐｏｕｔの視差及び画像ずれ視認可能範囲Ｐｏｕｔ’は画像の出力先毎に固定されることが好ましい。
【０１６０】
また、本第１実施形態に係る撮像装置１００では、入出力関数ｆが、入力視差に応じて、画像ずれ視認不可能範囲Ｐｏｕｔの視差及び画像ずれ視認可能範囲Ｐｏｕｔ’の視差を選択的に出力する連続関数とされている。これにより、本構成を有しない場合に比べ、視差の強調の度合いを容易に予測することができる。
【０１６１】
また、本第１実施形態に係る撮像装置１００では、入出力関数ｆとして、合焦確認可能視差範囲内Ｐｉｎにおいて第１線形関数の一例である関数Ｆ１を採用している。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲内Ｐｉｎにおいて視差の強調の度合いを容易に予測することができる。
【０１６２】
また、本第１実施形態に係る撮像装置１００では、入出力関数ｆとして、合焦確認可能視差範囲外Ｐｉｎ’において、関数Ｆ１に連続すると共に関数Ｆ１に比べ軽勾配の第２線形関数の一例である関数Ｆ２，Ｆ３を採用している。これにより、本構成を有しない場合に比べ、視差の強調の急激な変化を抑制することができる。なお、ここで言う「軽勾配」は、例えば関数Ｆ１の傾きの符号と変わらない符合の傾きを前提にした意味での軽勾配である。
【０１６３】
また、本第１実施形態に係る撮像装置１００では、入出力関数ｆとして、合焦確認可能視差範囲外Ｐｉｎ’において、関数Ｆ２，Ｆ３、関数Ｆ２に連続する恒等関数の一例である関数Ｆ４、及び関数Ｆ３に連続する恒等関数の一例である関数Ｆ５を採用している。これにより、本構成を有しない場合に比べ、合焦確認可能視差範囲外Ｐｉｎ’において視差の過度な強調を抑制することができる。
【０１６４】
また、本第１実施形態に係る撮像装置１００では、入出力関数ｆが、画像処理が行われた得られた画像が鑑賞される鑑賞媒体の種類に応じて定められている。これにより、本構成を有しない場合に比べ、鑑賞媒体の種類に応じて視差の強調の程度を適切に定めることができる。
【０１６５】
また、本第１実施形態に係る撮像装置１００では、スプリットイメージ処理部３２により、第１及び第２の画像に基づいて合焦確認画像の一例であるスプリットイメージを生成している。これにより、本構成を有しない場合に比べ、合焦状態であるか否かを容易に把握することができる。
【０１６６】
また、本第１実施形態に係る撮像装置１００では、スプリットイメージを、第１の画像と第２の画像とが入出力関数による変換後の出力視差に応じた位相ずらし量μ（ずれ量の一例）で視差発生方向に沿ってずれた画像に相当する画像としている。これにより、本構成を有しない場合に比べ、視差の大きさ及び視差発生方向を推測することができる。
【０１６７】
また、本第１実施形態に係る撮像装置１００では、画像処理部２８が、通常画像を取得し、表示装置が画像を表示する。そして、表示制御部３６が、表示装置に対して画像処理部２８により取得された通常画像を表示させる。また、表示制御部２６は、表示装置に対して通常画像の表示領域内にスプリットイメージを表示させる。これにより、本構成を有しない場合に比べ、合焦状態の画像が得易くなる。
【０１６８】
また、本第１実施形態に係る撮像装置１００では、撮像素子２０が、第３の画素群を有し、画像処理部２８が、第３の画素群から出力される第３の画像に基づいて通常画像を生成する。これにより、本構成を有しない場合に比べ、通常画像の画質を向上させることができる。
【０１６９】
なお、上記第１実施形態では、入出力関数ｆで導出される出力視差として、複数の被験者による官能試験の評価結果に基づく視差を採用する例を挙げて説明したが、これに限らず、例えば撮影者が自身にとって視認可能な視差を操作部１４を介して指示してもよい。
【０１７０】
また、上記第１実施形態では、入出力関数ｆを連続関数としたが、これに限らず、不連続な関数としてもよい。この場合、関数Ｆ１に相当する関数と関数Ｆ２，Ｆ３の各々に相当する各関数とを図１０に示す出力視差方向について不連続にしたり、関数Ｆ１〜Ｆ５の各々に相当する各関数を図１０に示す出力視差方向について不連続にしたりする例が挙げられる。
【０１７１】
また、上記第１実施形態では、関数Ｆ１〜Ｆ５を線形関数としたが、これに限らず、関数Ｆ１〜Ｆ５の少なくとも１つに代えて、非線形関数を適用してもよい。
【０１７２】
また、上記第１実施形態では、関数Ｆ４，Ｆ５を恒等関数としたが、これに限らず、関数Ｆ４，Ｆ５の少なくとも１つを傾きが０以上１未満の線形関数としてもよい。
【０１７３】
また、上記第１実施形態では、入力視差を入出力関数ｆを用いて出力視差に変換する形態例を挙げて説明したが、入力視差をＬＵＴを用いて出力視差に変換してもよい。この場合、入力視差と、入出力関数ｆが有する係数（例えば関数Ｆ１〜Ｆ５の各々の傾き）と出力視差と、を関連付けておくことで、入力視差に対応する出力視差を導出することができる。
【０１７４】
また、上記第１実施形態では、Ｌ版鑑賞条件を適用したが、鑑賞媒体がＬ版以外であれば、鑑賞媒体の種類に応じた鑑賞条件を適用してもよい。
【０１７５】
また、上記第１実施形態では、レフレックスミラーが省略されたレンズ交換式のデジタルカメラを例示したが、これに限らず、一体型レンズを有する撮像装置に対しても本発明を適用することができる。
【０１７６】
また、上記第１実施形態では、表示部２１３及びＥＶＦ２４８を有する撮像装置１００を例示したが、これに限らず、表示部２１３及びＥＶＦ２４８の何れか一方を有しているものであってもよい。
【０１７７】
また、上記第１実施形態では、上下方向に２分割されたスプリットイメージを例示したが、これに限らず、左右方向又は斜め方向に複数分割された画像をスプリットイメージとして適用してもよい。
【０１７８】
例えば、図２４に示すスプリットイメージ６６ａは、水平方向に平行な複数の分割線６３ａにより奇数ラインと偶数ラインとに分割されている。このスプリットイメージ６６ａでは、第１の画素群から出力された出力信号に基づいて生成されたライン状（一例として短冊状）の位相差画像６６Ｌａが奇数ライン（偶数ラインでも可）に表示される。また、第２の画素群から出力された出力信号に基づき生成されたライン状（一例として短冊状）の位相差画像６６Ｒａが偶数ラインに表示される。
【０１７９】
また、図２５に示すスプリットイメージ６６ｂは、水平方向に傾き角を有する分割線６３ｂ（例えば、スプリットイメージ６６ｂの対角線）により２分割されている。このスプリットイメージ６６ｂでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｂが一方の領域に表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｂが他方の領域に表示される。
【０１８０】
また、図２６Ａ及び図２６Ｂに示すスプリットイメージ６６ｃは、水平方向及び垂直方向にそれぞれ平行な格子状の分割線６３ｃにより分割されている（図２０（Ａ）参照）。スプリットイメージ６６ｃでは、第１の画素群から出力された出力信号に基づき生成された位相差画像６６Ｌｃが市松模様（チェッカーパターン）状に並べられて表示される。また、第２の画素群から出力された出力信号に基づき生成された位相差画像６６Ｒｃが市松模様状に並べられて表示される（図２０（Ｂ）参照）。
【０１８１】
更に、スプリットイメージに限らず、２つの位相差画像から他の合焦確認画像を生成し、合焦確認画像を表示するようにしてもよい。例えば、２つの位相差画像を重畳して合成表示し、ピントがずれている場合は２重像として表示され、ピントが合った状態ではクリアに画像が表示されるようにしてもよい。
【０１８２】
また、上記第１実施形態で説明した画像出力処理の流れ（図１６参照）及び関数決定処理の流れ（図１８参照）は一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。また、画像出力処理に含まれる各処理及び関数決定処理に含まれる各処理は、プログラムを実行することにより、コンピュータを利用してソフトウェア構成により実現されてもよいし、ハードウェア構成で実現されてもよい。また、ハードウェア構成とソフトウェア構成の組み合わせによって実現してもよい。
【０１８３】
画像出力処理及び関数決定処理の少なくとも１つを、コンピュータによりプログラムを実行することにより実現する場合は、プログラムを所定の記憶領域（例えばメモリ２６）に予め記憶しておけばよい。なお、必ずしも最初からメモリ２６に記憶させておく必要はない。例えば、コンピュータに接続されて使用されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの任意の「可搬型の記憶媒体」に先ずはプログラムを記憶させておいてもよい。そして、コンピュータがこれらの可搬型の記憶媒体からプログラムを取得して実行するようにしてもよい。また、インターネットやＬＡＮ（Local Area Network）などを介してコンピュータに接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータがこれらからプログラムを取得して実行するようにしてもよい。
【０１８４】
［第２実施形態］
上記第１実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えばカメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機などが挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
【０１８５】
図２７は、スマートフォン５００の外観の一例を示す斜視図である。図２７に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２と、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド構造を有する構成を採用することもできる。
【０１８６】
図２８は、図２７に示すスマートフォン５００の構成の一例を示すブロック図である。図２８に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、を備える。また、スマートフォン５００の主たる構成要素として、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１と、を備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１８７】
無線通信部５１０は、主制御部５０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１８８】
表示入力部５２０は、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。そのため、表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。
【０１８９】
表示パネル５２１は、ＬＣＤ、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０１９０】
図２７に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１９１】
なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１９２】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力する。また、通話部５３０は、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力する。また、図２７に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
【０１９３】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２７に示すように、操作部５４０は、スマートフォン５００の筐体５０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１９４】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータを記憶する。また、記憶部５５０は、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶する。また、記憶部５５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２を有する。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）などの格納媒体を用いて実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）が例示できる。
【０１９５】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等又はネットワークにより直接的又は間接的に接続するためのものである。他の外部機器に通信等としては、例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４などが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth（登録商標））、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ（登録商標））が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（Ultra Wideband（登録商標））、ジグビー（ZigBee（登録商標））などが挙げられる。
【０１９６】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）が挙げられる。外部機器の他の例としては、ＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなども適用可能である。
【０１９７】
外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１９８】
ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１９９】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０２００】
電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０２０１】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０２０２】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０２０３】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０２０４】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御とを実行する。
【０２０５】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０２０６】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御の実行により、主制御部５０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０２０７】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定する。そして、この判定結果を受けて、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
【０２０８】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０２０９】
カメラ部５４１は、ＣＭＯＳやＣＣＤなどの撮像素子を用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。
【０２１０】
また、カメラ部５４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部５４０又は表示入力部５２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部５４１の撮影レンズのピント合わせを行うことができる。そして、マニュアルフォーカスモード時には、スプリットイメージが合成されたライブビュー画像を表示パネル５２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図７に示すハイブリッドファインダー２２０をスマートフォン５００に設けるようにしてもよい。
【０２１１】
また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ(Joint Photographic coding Experts Group)などの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図２７に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。
【０２１２】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０２１３】
その他、静止画又は動画の画像データに各種情報を付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力したりすることもできる。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）が挙げられる。この他にも、モーションセンサ部５８０により取得した姿勢情報等などであってもよい。
【０２１４】
なお、上記各実施形態では、第１〜第３の画素群を有する撮像素子２０を例示したが、本発明はこれに限定されるものではなく、第１の画素群及び第２の画素群のみからなる撮像素子であってもよい。この種の撮像素子を有するデジタルカメラは、第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像に基づいて３次元画像（３Ｄ画像）を生成することができるし、２次元画像（２Ｄ画像）も生成することができる。なお、この場合、２次元画像の生成は、例えば第１の画像及び第２の画像の相互における同色の画素間で補間処理を行うことで実現される。また、補間処理を行わずに、第１の画像又は第２の画像を２次元画像として採用してもよい。
【０２１５】
上記各実施形態では、通常画像の表示領域内にスプリットイメージが表示される例を挙げて説明したが、本発明はこれに限定されるものではなく、表示装置に対して通常画像（第１の表示用画像の一例）を表示させずにスプリットイメージ（第２の表示用画像）を表示させてもよい。また、全画面を使用してスプリットイメージを表示させてもよい。ここで言う「スプリットイメージ」としては、位相差画素群（例えば第１の画素群及び第２の画素群）のみからなる撮像素子を使用する場合及び通常画素に対して所定の割合で位相差画素（例えば第１の画素群及び第２の画素群）が配置された撮像素子を使用する場合において、位相差画群から出力された画像（例えば第１の画素群から出力された第１の画像及び第２の画素群から出力された第２の画像）に基づくスプリットイメージが例示できる。このように、本発明は、通常画像とスプリットイメージとの双方を表示装置の同画面に同時に表示する態様に限定されるものではなく、スプリットイメージの表示が指示されている状態で通常画像の表示指示が解除された場合は表示制御部３６が表示装置に対して通常画像を表示させずにスプリットイメージを表示させる制御を行うようにしてもよい。
【符号の説明】
【０２１６】
１２  ＣＰＵ
１６  撮影レンズ
２０  撮像素子
２６  メモリ
２８  画像処理部
３０  通常処理部
３２  スプリットイメージ処理部
３６  表示制御部
３７  接眼検出部
１００  撮像装置
２１３  表示部
２２０  ハイブリッドファインダー
２４７  ＬＣＤ
【図１】
2014045740.tif 000005
【図２】
2014045740.tif 000006
【図３】
2014045740.tif 000007
【図７】
2014045740.tif 000008
【図９】
2014045740.tif 000009
【図１０】
2014045740.tif 000010
【図１１】
2014045740.tif 000011
【図１２】
2014045740.tif 000012
【図１３】
2014045740.tif 000013
【図１５Ａ】
2014045740.tif 000014
【図１５Ｂ】
2014045740.tif 000015
【図１６】
2014045740.tif 000016
【図１７】
2014045740.tif 000017
【図１８】
2014045740.tif 000018
【図１９】
2014045740.tif 000019
【図２０Ａ】
2014045740.tif 000020
【図２０Ｂ】
2014045740.tif 000021
【図２４】
2014045740.tif 000022
【図２５】
2014045740.tif 000023
【図２６Ａ】
2014045740.tif 000024
【図２６Ｂ】
2014045740.tif 000025
【図２７】
2014045740.tif 000026
【図２８】
2014045740.tif 000027
【図４】
2014045740.tif 000028
【図５】
2014045740.tif 000029
【図６】
2014045740.tif 000030
【図８】
2014045740.tif 000031
【図１４】
2014045740.tif 000032
【図２１Ａ】
2014045740.tif 000033
【図２１Ｂ】
2014045740.tif 000034
【図２２】
2014045740.tif 000035
【図２３Ａ】
2014045740.tif 000036
【図２３Ｂ】
2014045740.tif 000037
【手続補正書】
【提出日】平成28年1月5日(2016.1.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得部と、
前記画像取得部により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出部と、
画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定部と、
前記画像取得部により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定部により前記第１の視差範囲内であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定部により前記第１の視差範囲外であると判定された場合は前記視差算出部により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定部と、
前記対象画素に対して、前記係数決定部により決定された前記視差変換係数に基づいて画像処理を行う画像処理部と、
前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成部と、
画像を表示する表示部と、
前記表示部に対して、前記生成部により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成部により生成された前記第２の表示用画像を表示させる表示制御部と、
を含む画像処理装置。
【請求項２】
前記第１判定部は、Ｗｃを前記第１及び第２の画素群を有する撮像素子の視差発生方向の画素数とし、Ｗｅを前記画像処理が行われることにより得られた画像の出力先の視差発生方向の画素数とし、κを前記撮像素子の感度及び前記撮影レンズの絞り値の少なくとも１つが高くなるほど減少する１未満の係数とし、Ｐｅを前記第１の視差範囲内の視差としたとき、以下の（１）式に従って、前記対象画素が前記第１の視差範囲内であるか否かを判定する請求項１に記載の画像処理装置。
Ｐｅ＜κ×（Ｗｅ／Ｗｃ）・・・・・（１）
【請求項３】
前記視差算出部により算出された視差が前記第１の視差範囲よりも広い第２の視差範囲内であるか否かを判定する第２判定部を更に備え、
前記視差変換係数を、前記第２判定部により前記視差算出部により算出された視差が前記第２の視差範囲内であると判定された場合に前記視差算出部により算出された視差を拡張させる視差変換係数とした請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記視差変換係数は、前記視差算出部により算出された視差を入力とし、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差及び前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差を選択的に出力とする連続関数により規定される請求項１〜請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記連続関数を、前記第１判定部により前記第１の視差範囲内であると判定された場合の前記視差算出部により算出された視差の範囲において第１線形関数とした請求項４に記載の画像処理装置。
【請求項６】
前記連続関数を、前記第１判定部により前記第１の視差範囲外であると判定された場合の前記視差算出部により算出された視差の範囲において、前記第１線形関数に連続すると共に該第１線形関数に比べ軽勾配の第２線形関数とした請求項５に記載の画像処理装置。
【請求項７】
前記連続関数を、前記第１判定部により前記第１の視差範囲外であると判定された場合の前記視差算出部により算出された視差の範囲において、前記第２線形関数及び該第２線形関数に連続する恒等関数とした請求項６に記載の画像処理装置。
【請求項８】
前記視差変換係数は、前記画像処理が行われて得られた画像が鑑賞される鑑賞媒体の種類に応じて定まる請求項１〜請求項７の何れか１項に記載の画像処理装置。
【請求項９】
前記第１の視差範囲を前記撮影レンズの絞り値が高くなるほど狭める請求項１〜請求項８の何れか１項に記載の画像処理装置。
【請求項１０】
前記画像取得部は、更に、連続フレームで撮像された連続フレーム画像を取得すると共に、単一フレーム画像の撮像の指示が与えられた場合に撮像された単一フレーム画像を取得し、
前記単一フレーム画像の撮像の指示が与えられない場合は前記第１の視差範囲を前記撮影レンズの絞り値が高くなるほど狭める請求項９に記載の画像処理装置。
【請求項１１】
前記単一フレーム画像の撮像の指示が与えられた場合は前記第１の視差範囲を、単一フレーム画像の撮像で使用する絞り値に応じて定める請求項１０に記載の画像処理装置。
【請求項１２】
前記単一フレーム画像の撮像の指示が与えられた場合の前記第１の視差範囲を、前記単一フレーム画像の撮像の指示が与えられたときの前記絞り値が前記連続フレーム画像の撮像で使用する前記絞り値よりも高い場合は前記絞り値が高いほど拡げ、前記単一フレーム画像の撮像の指示が与えられたときの前記絞り値が前記連続フレーム画像の撮像で使用する前記絞り値よりも低い場合は前記絞り値が低いほど狭める請求項１１に記載の画像処理装置。
【請求項１３】
前記第２の表示用画像を、前記第１の画像と第２の画像とが前記視差変換係数による変換後の視差に応じたずれ量で視差発生方向に沿ってずれた画像に相当するスプリットイメージとした請求項１〜請求項１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記第１の視差範囲内であることが視認可能な視差を、視差が異なる複数の試験用画像の各々を複数の被験者に予め視認させて前記複数の被験者のうち予め定められた人数以上の被験者によって合焦状態であると評価された視差とした請求項１〜請求項１３の何れか１項に記載の画像処理装置。
【請求項１５】
前記第１の視差範囲外であることが視認可能な視差を、視差が異なる複数の試験用画像の各々を複数の被験者に予め視認させて前記複数の被験者のうち予め定められた人数以上の被験者によって非合焦状態であると評価された視差とした請求項１〜請求項１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記撮像素子は、被写体像が瞳分割されずに結像されて第３の画像信号を出力する第３の画素群を有し、
前記生成部は、前記第３の画素群から出力される前記第３の画像信号に基づいて前記第１の表示用画像を生成する請求項１〜請求項１５の何れか１項に記載の画像処理装置。
【請求項１７】
請求項１〜請求項１６の何れか１項に記載の画像処理装置と、
前記画像処理が行われることにより得られた画像を記憶する記憶部と、
を含む撮像装置。
【請求項１８】
前記画像処理が行われた画像を表示する電子ビューファインダーと、
前記電子ビューファインダーの使用を検出する検出部と、を更に含み、
前記係数決定部は、前記検出部により前記電子ビューファインダーの使用が検出された場合は前記電子ビューファインダーの使用時に用いる前記視差変換係数として予め定められた使用時視差変換係数を決定し、前記検出部により前記電子ビューファインダーの使用が検出されなかった場合は前記電子ビューファインダーの不使用時に用いる前記視差変換係数として予め定められた不使用時視差変換係数を決定する請求項１７に記載の撮像装置。
【請求項１９】
視差発生方向の画素数が前記電子ビューファインダーの視差発生方向の画素数と異なる表示領域に前記画像処理が行われた画像を表示する場合、前記不使用時視差変換係数を、前記表示領域の使用時に用いる前記視差変換係数として予め定められた表示領域使用時係数とした請求項１８に記載の撮像装置。
【請求項２０】
前記表示領域の視差発生方向の画素数は前記電子ビューファインダーの視差発生方向の画素数よりも多く、
前記第１判定部により前記第１の視差範囲内であると判定された前記対象画素について前記表示領域使用時係数による変換後の視差の範囲を狭めた請求項１９に記載の撮像装置。
【請求項２１】
撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得工程と、
前記画像取得工程により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出工程と、
画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定工程と、
前記画像取得工程により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定工程により前記第１の視差範囲内であると判定された場合は前記視差算出工程により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定工程により前記第１の視差範囲外であると判定された場合は前記視差算出工程により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定工程と、
前記対象画素に対して、前記係数決定工程により決定された前記視差変換係数に基づいて画像処理を行う画像処理工程と、
前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成工程と、
画像を表示する表示部に対して、前記生成工程により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成工程により生成された前記第２の表示用画像を表示させる表示制御工程と、
を含む画像処理方法。
【請求項２２】
コンピュータを、
請求項１〜請求項１６の何れか１項に記載の画像処理装置における前記画像取得部、前記視差算出部、前記第１判定部、前記係数決定部、前記画像処理部、前記生成部及び前記表示制御部として機能させるための画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の第４の態様は、本発明の第１の態様から第３の態様の何れか１つにおいて、前記視差変換係数が、前記視差算出部により算出された視差を入力とし、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差及び前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差を選択的に出力とする連続関数により規定されるものとしてもよい。これにより、これにより、本構成を有しない場合に比べ、視差の強調の度合いを容易に予測することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
本発明の第２１の態様に係る画像処理方法は、撮影レンズにおける第１及び第２の領域を通過した被写体像が瞳分割されてそれぞれ結像され、第１及び第２の画像信号を出力する第１及び第２の画素群から出力された前記第１及び第２の画像信号に基づく第１及び第２の画像を取得する画像取得工程と、前記画像取得工程により取得された前記第１の画像の各画素と前記第２の画像の対応する画素とのずれ量を示す視差を算出する視差算出工程と、画像処理の対象画素が所定の条件を満たす第１の視差範囲内であるか否かを判定する第１判定工程と、前記画像取得工程により取得された前記第１及び第２の画像における前記対象画素毎に、前記第１判定工程により前記第１の視差範囲内であると判定された場合は前記視差算出工程により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲内であることが視認可能な視差に変換させ、前記第１判定工程により前記第１の視差範囲外であると判定された場合は前記視差算出工程により算出された視差を、前記第１及び第２の画像が前記第１の視差範囲外であることが視認可能な視差に変換させる視差変換係数を決定する係数決定工程と、前記対象画素に対して、前記係数決定工程により決定された前記視差変換係数に基づいて画像処理を行う画像処理工程と、前記第１及び第２の画素群を有する撮像素子から出力された画像信号に基づいて第１の表示用画像を生成し、かつ、前記第１及び第２の画像における前記対象画素の各々に対して前記画像処理が行われた画像に基づいて合焦確認に使用する第２の表示用画像を生成する生成工程と、画像を表示する表示部に対して、前記生成工程により生成された前記第１の表示用画像を表示させ、かつ、該第１の表示用画像の表示領域内に前記生成工程により生成された前記第２の表示用画像を表示させる表示制御工程と、を含む。従って、本構成を有しない場合に比べ、視差の強調を過不足なく行うことができる。
【国際調査報告】
2014045740.tif 000038
2014045740.tif 000039