(57)【要約】【課題】被写界深度内の被写体を正確に示すことが可能な技術の提供。【解決手段】レンズを通過した光を受光する受光センサーと、前記受光センサーと同一の基板に設けられた測距センサーと、前記受光センサーが受光した光量に応じて画像データを生成する画像生成部とを備える画像生成装置において、前記受光センサーが撮影する被写体と基準位置との間の距離を前記測距センサーの出力に基づいて測定し、前記レンズの絞りと焦点距離と被写体距離とを含むレンズ情報を取得し、前記レンズ情報と前記被写体と基準位置との間の距離とに基づいて被写界深度に含まれる前記被写体を特定し、被写界深度に含まれる前記被写体を示す情報と前記画像データが示す画像とを表示部に表示させる。【選択図】図２
2013186293.tif 000002
【特許請求の範囲】
【請求項１】
レンズを通過した光を受光する受光センサーと、
前記受光センサーと同一の基板に設けられた測距センサーと、
前記受光センサーが受光した光量に応じて画像データを生成する画像生成部と、
前記受光センサーが撮影する被写体と基準位置との間の距離を前記測距センサーの出力に基づいて測定する距離測定部と、
前記レンズの絞りと焦点距離と被写体距離とを含むレンズ情報を取得するレンズ情報取得部と、
前記レンズ情報と、前記被写体と基準位置との間の距離とに基づいて被写界深度に含まれる前記被写体を特定する被写体特定部と、
被写界深度に含まれる前記被写体を示す情報と前記画像データが示す画像とを表示部に表示させる表示制御部と、
を備える画像生成装置。
【請求項２】
電磁波を出力する電磁波出力部をさらに備え、
前記距離測定部は、前記電磁波出力部が前記電磁波を出力した後、前記電磁波が前記被写体に反射されて前記測距センサーで測定されるまでの時間に基づいて前記被写体と基準位置との間の距離を測定する、
請求項１に記載の画像生成装置。
【請求項３】
前記測距センサーは、前記受光センサーの各画素に設けられている、
請求項１または請求項２のいずれかに記載の画像生成装置。
【請求項４】
前記測距センサーは、前記受光センサーの受光面を分割した分割領域毎に設けられている、
請求項１または請求項２のいずれかに記載の画像生成装置。
【請求項５】
前記受光センサーが撮影する被写体と基準位置との間の距離は、前記被写体から前記レンズの主点までの距離であり、
前記被写体特定部は、前記レンズの絞りと焦点距離と予め決められた許容錯乱円の直径とに基づいて過焦点距離を特定し、当該過焦点距離と前記レンズの焦点距離と前記被写体距離とに基づいて、被写界深度に含まれる物体と前記レンズの主点との距離の範囲に前記被写体から前記レンズの主点までの距離が含まれるか否かを特定する、
請求項１〜請求項４のいずれかに記載の画像生成装置。
【請求項６】
レンズを通過した光を受光する受光センサーと、
前記受光センサーと同一の基板に設けられた測距センサーと、
前記受光センサーが受光した光量に応じて画像データを生成する画像生成部とを備える画像生成装置における画像表示方法であって、
前記受光センサーが撮影する被写体と基準位置との間の距離を前記測距センサーの出力に基づいて測定する距離測定工程と、
前記レンズの絞りと焦点距離と被写体距離とを含むレンズ情報を取得するレンズ情報取得工程と、
前記レンズ情報と、前記被写体と基準位置との間の距離とに基づいて被写界深度に含まれる前記被写体を特定する被写体特定工程と、
被写界深度に含まれる前記被写体を示す情報と前記画像データが示す画像とを表示部に表示させる表示制御工程と、
を含む画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置および画像表示方法に関する。
【背景技術】
【０００２】
従来、被写体を示す画像内で合焦領域を強調することにより、合焦している被写体を判別しやすくする技術が知られている。例えば、特許文献１には、被写体像の各領域のＡＦ評価値を導出し、合焦領域と同レベルのＡＦ評価値を持つ領域を合焦領域として強調する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１５３０４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、被写界深度によってピントが厳密に合っていなくてもピントが合っているように撮影できるが、このようにピントが合っているように撮影できる（本願では、これを「被写界深度に含まれる」というように呼ぶこととする。）被写体を正確に特定することができなかった。特許文献１に開示された技術においてはＡＦ評価値によって合焦領域を特定しており、ＡＦ評価値は一般に被写体の位相差やコントラストに基づいて特定される。従って、ＡＦ評価値は被写体が被写界深度内に存在することを直接的に示しているわけではなく、被写体が被写界深度内に存在する可能性の高低を間接的に評価しているに過ぎない。このため、被写体のコントラストが小さい場合などにおいてはＡＦ評価値によって合焦度合いを正確に判定することができない。
本発明は上記課題にかんがみてなされたもので、被写界深度内の被写体を正確に示すことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明にかかる画像生成装置は、受光センサーが受光した光量に応じて画像データを生成する画像生成装置であり、受光センサーと同一の基板に設けられた測距センサーの出力に基づいて受光センサーが撮影する被写体と基準位置との間の距離を測定する。そして、画像生成装置は、レンズの絞りと焦点距離と被写体距離とを含むレンズ情報と、被写体と基準位置との間の距離とに基づいて被写界深度に含まれる被写体を特定し、当該被写界深度に含まれる被写体を示す情報を画像データが示す画像とともにを表示部に表示させる。
【０００６】
すなわち、画像生成装置においては受光センサーと同一の基板に設けられた測距センサーによって被写体と基準位置との間の距離を測定し、被写界深度内の被写体を特定する。また、測距センサーが受光センサーと同一の基板に設けられている構成においては、レンズを通過した光を受光する受光センサーと同様に測距センサーにおいてもレンズを通過した光を受光することになる。従って、測距センサーにおいては、受光センサーに向かう光路とほぼ同様の光路を進む光に基づいて被写体と基準位置との間の距離を測定することができる。このため、画像生成装置においては被写体が被写界深度内に存在するか否かを正確に特定することが可能であり、表示部において被写界深度内の被写体を正確に示すことが可能である。
【０００７】
ここで、受光センサーは１枚以上のレンズを通過した光を受光するセンサーであれば良く、例えば、受光量に応じた情報を出力する受光素子が２次元的に配置されたセンサーによって構成可能である。
【０００８】
測距センサーは、受光センサーが撮影する被写体と基準位置との間の距離を測距センサーの出力に基づいて測定することができればよい。基準位置は、被写体と画像生成装置内の一点との距離を測定する際の基準となればよく、受光センサーの受光面の光軸方向の位置や主点の位置等を基準位置とすることができればよい。被写体と基準位置との間の距離は、直接的に測定されてもよいし、間接的に測定されてもよい。例えば、被写体と受光センサーとの距離を測定可能な構成において、受光センサーの受光面を基準位置とすれば被写体と基準位置との間の距離を直接的に測定可能である。一方、被写体と受光センサーとの距離を測定可能な構成において、主点を基準位置とすれば測定値に対して主点と受光センサーとの距離を加えることで被写体と基準位置との間の距離を間接的に測定可能である。
【０００９】
また、測距センサーは、被写界深度内に存在するか否かを示す対象となる被写体と基準位置との距離を特定することができればよく、画像データが示す画像内で被写界深度内に存在するか否かを特定すべき被写体が存在する部分において、当該被写体と基準位置との距離を特定することができればよい。従って、画像内の特定の場所に存在する被写体について被写界深度内に存在するか否かを判定するためには、測距センサーは受光センサーと同一の基板上において当該特定の場所に存在する被写体と基準位置との距離を測定できるように設けられていればよい。また、各部分について一個の測距センサーによって被写体と基準位置との距離を測定するのであれば、部分の数と同数の測距センサーを受光センサーに設ければよい。
【００１０】
画像生成部は、受光センサーの受光量に応じて画像データを生成することができればよい。すなわち、受光センサーに対して被写体からの光が照射された状態で所定の露光時間内に各受光素子で受光した受光量に基づいて被写体の画像を示す画像データを生成することができればよい。むろん、当該画像データの生成に伴って各種の画像処理を実行しても良い。
【００１１】
レンズ情報取得部は、レンズ情報を取得することができればよい。すなわち、被写界深度を算出するためのパラメータとなるレンズに関する情報を取得することができればよい。当該レンズ情報はレンズの絞りと焦点距離と被写体距離とを含む情報であり、画像生成装置における設定値に基づいてレンズ情報を特定する構成であってもよいし、交換式レンズが出力する情報に基づいてレンズ情報を特定する構成であってもよい。むろん、焦点距離や被写体距離と同等の距離を算出可能な情報であればよく、各種の表現を採用可能である。すなわち、焦点距離や被写体距離と実質的に同等な距離を利用する限り、本発明の範囲である。例えば、ピントが合っている物体と主点との距離を被写体距離としたとき、当該ピントが合っている物体と受光センサーとの距離である撮影距離は被写体距離に主点から受光センサーまでの距離を加えた値であるため、実質的に同一である。
【００１２】
被写体特定部は、被写体と基準位置との間の距離およびレンズ情報に基づいて被写界深度に含まれる被写体を特定することができればよい。被写界深度は、その光学上の定義により、レンズの絞りと焦点距離と許容錯乱円の直径とによって特定可能な過焦点距離とレンズの焦点距離と被写体距離とを含むレンズ情報によって特定可能である。許容錯乱円の直径を予め決められた固定値とすれば、レンズ情報と、被写体と基準位置との間の距離とに基づいて当該被写体が被写界深度内に存在するか否かを特定可能である。
【００１３】
表示制御部は、被写界深度に含まれる被写体を示す情報と画像データが示す画像とを表示部に表示させることができればよい。すなわち、被写体の画像とともに被写界深度に含まれる被写体を視認できるように表示部に情報を表示する。被写界深度に含まれる被写体を示す情報の位置は限定されないが、被写界深度に含まれる被写体を示す情報は当該被写体の像の位置に表示されることが好ましい。例えば、被写界深度に含まれる被写体を強調表示することで被写界深度に含まれる被写体を示す情報を表示する構成等を採用可能である。
【００１４】
さらに、測距センサーは、受光センサーが撮影する被写体と基準位置との間の距離を測定するための情報を出力することができればよく、被写体からの光であってレンズを通過した光に基づいて当該距離を測定するセンサー等を採用可能である。より具体的には、電磁波出力部によって電磁波を出力するように構成し、当該電磁波出力部が電磁波を出力した後、電磁波が被写体に反射されて測距センサーで測定されるまでの時間に基づいて距離を測定する構成としてもよい。すなわち、電磁波が空間を進行する速度が既知であるとすれば、電磁波の出力後、測距センサーで測定されるまでの時間に基づいて全光路の距離を特定可能である。そこで、当該全光路の距離の１／２の距離に基づいて被写体と基準位置との間の距離を取得することができる。
【００１５】
なお、電磁波は、画像生成装置が備える電磁波出力部から出力可能であり、被写体によって反射され、測距センサーで検出可能であればよく、受光センサーによって受光する画像データを生成するための光と異なる波長域の電磁波であることが好ましい。このような電磁波としては、例えば、赤外線が挙げられる。
【００１６】
さらに、測距センサーを受光センサーの各画素に設けてもよい。この構成によれば、受光センサーの画素のそれぞれで撮影される被写体の部分と基準位置との間の距離を測定することが可能である。この結果、画像データが示す画像に含まれる全ての被写体において、被写体が被写界深度内に存在するか否かを詳細に示すことが可能である。
【００１７】
さらに、測距センサーを受光センサーの受光面を分割した分割領域毎に設けてもよい。この構成によれば、分割領域内の受光センサーで撮影された被写体と基準位置との間の距離を測定することが可能である。この結果、各分割領域の受光センサーで撮影された被写体毎に被写体が被写界深度内に存在するか否かを示すことが可能である。
【００１８】
さらに、本発明のように、受光センサーと同一の基板に設けられた測距センサーによって測定された、受光センサーが撮影する被写体と基準位置との間の距離に基づいて被写界深度に含まれる被写体を特定し、表示する手法は、プログラムや方法としても適用可能である。また、以上のような装置、プログラム、方法は、単独の装置として実現される場合もあれば、複合的な機能を有する装置において共有の部品を利用して実現される場合もあり、各種の態様を含むものである。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態にかかる画像生成装置を含む撮影装置のブロック図である。
【図２】（２Ａ）は撮像ユニットを示す模式図、（２Ｂ）は被写界深度を説明する説明図である。
【図３】撮影処理を示すフローチャートである。
【発明を実施するための形態】
【００２０】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）画像生成装置の構成：
（２）撮影処理：
（３）他の実施形態：
【００２１】
（１）画像生成装置の構成：
図１は本発明の一実施形態にかかる画像生成装置を含む撮影装置１を示しており、当該撮影装置１には、光学系１０、撮像ユニット１４、記憶部１５、表示部２０、記録部３０、操作部４０、絞り調整部４５、シャッター制御部５０、撮像ユニット制御部６０、ＣＰＵ７０、画像生成部８０、電磁波出力部９０が備えられている。ＣＰＵ７０は、所定のプログラムに従って、絞り調整部４５、シャッター制御部５０、撮像ユニット制御部６０、記憶部１５、画像生成部８０、電磁波出力部９０、表示部２０、記録部３０、操作部４０の動作を制御する。
【００２２】
操作部４０はシャッターボタンと、撮影モードを切り換えるための操作部と、絞りを切り替えるための操作部と、シャッター速度を切り換えるための操作部と、各種の設定メニューを操作するための操作部とを備えており、利用者は当該操作部４０に対する操作によって撮影装置１に対して各種の指示を与えることができる。なお、本実施形態においてシャッターボタンのストローク量は２段階で検出可能である。すなわち、シャッターボタンが半押しされた状態と全押しされた状態とを区別して検出可能である。また、本実施形態においてシャッターボタンが半押しされた場合にはライブビュー表示を継続しながらピント調整を行う指示が行われたと見なされ、シャッターボタンが全押しされた場合には記録媒体に画像を記録する指示が行われたと見なされる。
【００２３】
表示部２０は、図示しないインターフェース回路、液晶パネルドライバー、液晶パネル、図示しない接眼レンズ等を備えている。本実施形態において、表示部２０は、撮影対象となる被写体を示す画像を表示して利用者に撮影前の被写体の様子および撮影条件等の情報を把握させるＥＶＦ（Electronic View Finder）であり、本実施形態にかかる撮影装置１はＥＶＦを備えたミラーレスデジタルカメラである。
【００２４】
記録部３０は、図示しない記録媒体を挿入することが可能であり、記録部３０に記録媒体が挿入された状態で、記録媒体に対して情報を記録し、また、記録媒体から情報を読み出すことができる。すなわち、撮影した画像を示す画像データを記録媒体に記録することができる。
【００２５】
光学系１０は、受光センサーに被写体画像を結像させるレンズ１１、絞り１２、シャッター１３を備えている。本実施形態においてレンズ１１と絞り１２とは鏡筒内に備えられており、当該鏡筒は図示しない筐体に交換可能に取り付けられる。本実施形態において、レンズ１１は光軸に平行な方向に沿って並べられた複数枚のレンズを含むが、図１では簡便のために１枚のレンズのみを表現している。各レンズは外縁部で支持されるとともに、鏡筒に備えられたピントリングをユーザーが操作すること又は撮影装置１からのピント調整指示によって光軸方向に１部又は全部のレンズを移動可能とすることでピントの位置を調整可能である。また、鏡筒に備えられたズームリングをユーザーが操作すること又は撮影装置１からのズーム調整指示によって光軸方向に１部又は全部のレンズを移動可能とすることで光学的なズーム動作を行うことが可能である。すなわち、本例は、撮影装置１にマニュアルフォーカスレンズが取り付けられた状態である。なお、本実施形態におけるマニュアルフォーカスレンズはＣＰＵ７０と通信を行うことで、焦点距離と被写体距離とを示す情報を出力可能である。ここで、被写体距離はレンズ１１によってピントが合っている被写体と主点の撮影面との距離であり、ピントリングの回転角度に応じた値が出力される。従って、ＣＰＵ７０は、任意のタイミングでピントリングによって操作された後のレンズ１１の状態に対応した被写体距離を焦点距離とともに特定可能である。また、光学系の構成は他の構成を採用しても良く、例えば、レンズを液体レンズによって構成し、レンズを変形させることでピントの位置を調整し、また、光学的なズーム動作を行う構成としてもよい。
【００２６】
絞り１２は、レンズ１１の光軸に対して垂直な平面内で回動可能に支持された複数の遮蔽板によって構成され、複数の遮蔽板が連動して回動することによって光軸に対して垂直な平面内で遮蔽されていない部分の面積を変化させることが可能である。絞り１２の開口径は絞り調整部４５によって制御されるように構成されており、当該絞り調整部４５が絞り１２の開口径を指示されると、絞り調整部４５が絞り１２を駆動させて当該指示された開口径となるように設定する。
【００２７】
本実施形態においてシャッター１３は機械式のフォーカルプレーン型シャッターであり、受光センサーの受光面に対して平行な平面板状の遮光部としての開閉式（折り畳み式）の複数の遮光幕を備えている。この遮光幕はシャッター制御部５０からの制御信号に応じて光軸に対して垂直な方向に移動するように構成されており、通常は遮光幕が光軸に平行な方向の光路を遮らない状態で保持されている。また、遮光幕が光路を遮らない状態で保持されている状態において、所定のトリガが与えられると当該遮光幕が光路を遮らない状態で保持された状態が解除され、遮光幕は光軸に対して垂直な方向に駆動して複数の羽根が光路を遮る状態となる。なお、図１においては、シャッター１３の移動方向を破線の矢印Ａmで示している。
【００２８】
撮像ユニット１４は、ＲＧＢのカラーフィルターと光量に応じた電荷を光電変換によって画素ごとに蓄積する受光素子とを備えるＲＧＢ各色の受光センサーと、測距センサーとを備えている。本実施形態において、受光センサーと測距センサーとは画素毎に備えられている。撮像ユニット１４において受光センサーと測距センサーとが形成された受光面は矩形の領域であり、図２Ａの左側には、撮像ユニット１４の受光面（レンズ１１側に向けられた面）を見た場合に視認される矩形の領域を模式的に示している。
【００２９】
図２Ａの右側には、撮像ユニット１４に形成された受光センサーと測距センサーとを拡大して示している。当該拡大においては矩形によって受光センサーと測距センサーとを示しており、図２Ａに例示するように、撮像ユニット１４は受光面においてＲＧＢ各色の受光センサー１４ａ，１４ｂ，１４ｃと測距センサー１４ｄとを複数個備えており、ＲＧＢ各色に対応する受光センサーと１個の測距センサーによって１画素を構成している。なお、図２Ａの拡大図においては、１個の画素を太線の矩形で囲んで示している。受光センサー１４ａ，１４ｂ，１４ｃは、被写体から受けた光の強度をＲＧＢのそれぞれについて示す情報を出力するセンサーであり、これらの受光センサー１４ａ，１４ｂ，１４ｃの出力に基づいて被写体の画像を示す画像データが生成される。生成された画像データは記憶部１５に記憶される。
【００３０】
なお、記憶部１５は、受光センサー１４ａ，１４ｂ，１４ｃが出力する画像データ（受光素子毎の受光量を示す情報）を一時的に記録しておくメモリである。また、本実施形態における受光センサーはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサーであるが、むろん、受光センサーはＣＣＤ（Charge Coupled Device）イメージセンサー等の他のセンサーであってもよい。
【００３１】
本実施形態にかかる受光センサー１４ａ，１４ｂ，１４ｃは、撮像ユニット制御部６０がリセット指示を行うことによって受光素子の受光量に対応した蓄積電荷をリセットするリセット動作を行い、各受光素子での露光を開始することができる。また、受光センサー１４ａ，１４ｂ，１４ｃは、撮像ユニット制御部６０が読出指示を行うことによって受光素子の受光量を示す情報の読出を行うことで露光を終了させることができる。さらに、受光センサー１４ａ，１４ｂ，１４ｃにおいて、これらの露光の開始および終了はライン毎あるいは一画面毎に制御することが可能である。
【００３２】
本実施形態にかかる撮影装置１によって記録用の画像を撮影する際（通常の撮影）には、機械シャッターであるシャッター１３と受光センサー１４ａ，１４ｂ，１４ｃの電子シャッターとの組み合わせによって露光時間を制御する。すなわち、本実施形態において通常の撮影の場合には、受光センサー１４ａ，１４ｂ，１４ｃにおける電子シャッターで露光を開始させ、シャッター１３で露光を終了させる電子先幕−機械後幕シャッター方式によって露光時間が制御される。具体的には、通常の撮影の場合、電子シャッターによりライン順次で露光が開始され、ライン毎の露光時間が、設定されたシャッター速度となるタイミングで各ラインが遮光されるように機械シャッターによる遮光が開始される。また、撮影装置１においては表示部２０においてライブビュー表示を行うことが可能であり、当該ライブビュー表示を行うための画像を撮影する際には、電子シャッター方式によって露光時間が制御される。すなわち、先幕も後幕も電子シャッターによって制御される。
【００３３】
測距センサー１４ｄは、被写体で反射された赤外線を受けて被写体と受光センサー１４ａ，１４ｂ，１４ｃとの距離を示す情報を出力するセンサーである。すなわち、撮影装置１が備える電磁波出力部９０は、光学系１０の視野方向に向けた広い範囲に赤外線（図１において一点鎖線で示すＩｒ）を出力する装置であり、赤外線の出力口は、撮像ユニット１４の受光面の延長線上に存在する。電磁波出力部９０から周期的に出力された赤外線が被写体で反射されて測距センサー１４ｄに到達すると、測距センサー１４ｄは赤外線が到達したことを示す情報を撮像ユニット制御部６０に対して出力する。撮像ユニット制御部６０は、さらに、当該赤外線が到達したことを示す情報をＣＰＵ７０に受け渡す。測距センサー１４ｄと受光センサー１４ａ，１４ｂ，１４ｃとは同一基板上に形成されており、受光面に露出する部分が同一面となるように測距センサー１４ｄと受光センサー１４ａ，１４ｂ，１４ｃとが形成されている。従って、本実施形態において、被写体から測距センサー１４ｄまでの距離と被写体から受光センサー１４ａ，１４ｂ，１４ｃまでの距離とは同一距離と見なしている。
【００３４】
そこで、ＣＰＵ７０は、電磁波出力部９０に対して赤外線を出力させる制御信号を出力するとともに、赤外線の出力後の経過時間を計測する。測距センサー１４ｄによって赤外線が到達したことが検出されると、当該検出されたことを示す情報が撮像ユニット制御部６０によってＣＰＵ７０に出力される。そこで、ＣＰＵ７０は、電磁波出力部９０から赤外線が出力された後、当該赤外線が被写体に反射されて測距センサー１４ｄで測定されるまでの時間と赤外線が進行する速度とに基づいて被写体から受光センサー１４ａ，１４ｂ，１４ｃまでの距離を特定する。
【００３５】
画像生成部８０は、受光センサー１４ａ，１４ｂ，１４ｃが出力する画像データに対して予め決められた手順によって各種の処理を実行する回路によって構成されている。具体的には、画像生成部８０は、ＣＰＵ７０の処理によって記憶部１５に記憶された画像データを取得し、当該画像データが示す画像データに対してγ変換等の所定の画像処理を行って表示用の画像および記録用の画像を示すデータを生成する機能を備えている。表示用の画像を示すデータは表示部２０に受け渡され、撮影された画像が表示部２０に表示される。記録用の画像を示すデータは記録部３０に受け渡され、記録部３０に挿入された記録媒体に当該データが記録される。
【００３６】
画像生成部８０が実行する画像処理には、ＡＥ（Automatic Exposure）処理を行うための評価値を出力する処理が含まれる。すなわち、画像生成部８０は、受光センサー１４ａ，１４ｂ，１４ｃによる撮影範囲内に設定された所定の測光エリアに含まれる画素の明るさを評価するための評価値（例えば、輝度の平均値等）を特定し、ＡＥ処理を行うための評価値として出力することが可能である。
【００３７】
ＣＰＵ７０は、ＡＥ処理を行うための評価値に基づいて絞り調整部４５、シャッター制御部５０、撮像ユニット制御部６０に制御信号を出力し、適正露出となるように絞り１２の開口径およびシャッター速度を調整する。すなわち、ＣＰＵ７０は、操作部４０における指示やデフォルト設定に基づいて画像データを撮影する際の撮影条件を特定し、当該撮影条件通りに各部を設定する機能を備えている。具体的には、ＣＰＵ７０が上述のＡＥ処理を行うための評価値に基づいて適正露出となるために必要な撮影条件を特定し、当該撮影条件通りに絞り１２およびシャッター速度が設定されるように、絞り調整部４５、シャッター制御部５０、撮像ユニット制御部６０に対して制御信号を出力する。なお、適正露出となるための必要な撮影条件は、各種の前提条件（例えば、絞り優先、シャッター速度優先等）において特定可能である。
【００３８】
ここで、シャッター速度は受光センサー１４ａ，１４ｂ，１４ｃに光が当たっている時間を示しており、ＣＰＵ７０は、受光センサー１４ａ，１４ｂ，１４ｃの各ラインが当該シャッター速度に相当する時間だけ露光されているように受光センサー１４ａ，１４ｂ，１４ｃにおける露光開始タイミングを調整する。
【００３９】
本実施形態においては、マニュアルフォーカスレンズによって利用者自身がピントの位置を調整することができる。利用者自身が合焦対象として選択した被写体に合焦した状態とするためには、当該利用者自身が合焦対象として選択した被写体が被写界深度内に存在するようにピントリングが調整される必要がある。一般的な撮影装置においては、利用者自身の目によって被写体のエッジが適正な状態となるようにピントリングを操作することによってピントの位置が調整される。しかし、任意の被写体において表示部２０を視認することによってエッジが適正な状態となっているか否かを判断することは一般に難しい。
【００４０】
そこで、本実施形態においてＣＰＵ７０は、記録用の画像データが撮影される前にＥＶＦで被写体が視認されている状態（ライブビュー表示を行っている状態）において、被写界深度内に存在する被写体を強調するための処理を行う。すなわち、本実施形態においてＣＰＵ７０は、電磁波出力部９０に対して赤外線を出力させる制御信号を出力するとともに、赤外線出力後の経過時間を計測することで、赤外線出力後、測距センサー１４ｄによって赤外線が検出されるまでの時間を特定し、赤外線の速度によって被写体から受光センサー１４ａ，１４ｂ，１４ｃまでの距離を画素毎に特定する。この状態においては、各画素の受光センサー１４ａ，１４ｂ，１４ｃで撮影される被写体から受光センサー１４ａ，１４ｂ，１４ｃまでの距離が特定された状態となる。
【００４１】
また、ＣＰＵ７０は、レンズ１１の状態および撮影時に設定される絞り１２の状態に応じてピントが合っているように撮影できる距離（被写体距離及び被写界深度でもよい）を特定し、画素毎の被写体毎に被写体が被写界深度に含まれるか否かを判定する。なお、被写界深度は、レンズ１１の状態に対応した焦点距離と絞り１２の開口径に対応したＦ値と予め特定された許容錯乱円の直径の値に基づいて特定される過焦点距離を利用して算出される。すなわち、ＣＰＵ７０は、当該過焦点距離と、焦点距離と、被写体距離とに基づいて被写界深度の前端と後端とを特定し、当該前端と後端との間の範囲が、被写界深度に含まれる物体と主点との距離の範囲であると見なす。そして、ＣＰＵ７０は、被写体から受光センサー１４ａ，１４ｂ，１４ｃまでの距離が、当該前端と後端との間に存在する場合に、当該被写体が被写界深度に含まれると判定する。当該被写界深度に関する計算は後に詳述する。当該判定は画素毎に行われ、被写界深度に含まれると判定された被写体を撮像した画素の画像データに対して、ＣＰＵ７０は当該被写体を強調する処理（例えば、２値化や縁取り）を行う。
【００４２】
そして、ＣＰＵ７０は、当該被写体を強調する処理が行われた画像データを表示部２０に出力し、当該画像データに基づいて表示部２０に被写体を表示させる。この結果、被写界深度に含まれる被写体が強調された状態で光学系１０の視野内の被写体が表示部２０に表示される。利用者は、表示部２０を視認することにより被写界深度内にある被写体を特定することができるため、自身が合焦させたいと望む被写体が表示部２０にて強調されるまでピントリングを調整することにより、容易に当該被写体が被写界深度内に存在するようにピントの位置を調整することができる。
【００４３】
利用者が記録用の画像データの撮影を指示すると、ＣＰＵ７０は、絞り調整部４５に制御信号を出力して絞り１２の開口径を撮影のための大きさに設定し、撮像ユニット制御部６０に制御信号を出力して受光センサー１４ａ，１４ｂ，１４ｃのライン毎に露光を開始させ、設定通りのシャッター速度に相当する時間だけ露光するようなタイミングでシャッター制御部５０に制御信号を出力して機械シャッターにより露光を終了させる。この結果、被写体の画像を示す画像データが記憶部１５に出力され、ＣＰＵ７０は、当該画像データを記録部３０に受け渡し、図示しない記録媒体に当該画像データを記録させる。
【００４４】
以上の構成においては、受光センサー１４ａ，１４ｂ，１４ｃと同一の基板に設けられた測距センサー１４ｄによって被写体と受光センサー１４ａ，１４ｂ，１４ｃとの間の距離を画素毎に測定し、被写体が被写界深度内に存在するか否かを画素毎に特定する。また、レンズ１１を通過した光を受光する受光センサー１４ａ，１４ｂ，１４ｃと同様に測距センサー１４ｄにおいてもレンズ１１を通過した光を受光する。従って、測距センサー１４ｄにおいては、受光センサー１４ａ，１４ｂ，１４ｃに向かう光路とほぼ同様の光路を進む光に基づいて被写体と受光センサー１４ａ，１４ｂ，１４ｃとの間の距離を測定することができる。このため、測距センサーを全く別の場所に設ける場合と比べて、撮影装置１においてはどの被写体が被写界深度内に存在するか否かをより正確に特定することが可能であり、表示部２０において被写界深度内の被写体をより正確に示すことが可能である。
【００４５】
（２）撮影処理：
次に、実例とともに本実施形態における撮影処理を詳細に説明する。図３は撮影処理のフローチャートである。ＣＰＵ７０は、通常、表示部２０におけるライブビュー表示を行うための処理を実行している。ここでは、絞り優先モードによって撮影処理を行う場合の例を説明する。また、本実施形態においては、シャッターボタンを半押しすることによってＡＥ処理と被写界深度に含まれる被写体を表示部２０に表示する処理を実行する指示を行うように構成されている。このため、まず、ＣＰＵ７０は、シャッターボタンが半押しされたか否かを判定し、半押しされたと判定されるまで待機する（ステップＳ１００）。本例のように絞り優先モードで撮影モードを開始する場合、ＣＰＵ７０は、次に、利用者によって設定された絞り１２の設定値に応じた開口径となるように絞り１２を調整する（ステップＳ１０５）。すなわち、利用者は操作部４０によって予め絞り１２のＦ値を設定する。ＣＰＵ７０は設定通りのＦ値に絞り１２を調整させるための制御信号を調整部４５に出力し、絞り調整部４５は当該絞り１２のＦ値に応じた開口径になるように絞り１２を制御する。
【００４６】
絞り１２の開口径が利用者によって設定された設定値となるように制御されると、次にＡＥ処理が実行される。すなわち、ＣＰＵ７０は、絞り１２の開口径が利用者によって設定された設定値となった状態において画像生成部８０は、受光センサーの撮影範囲内に予め設定された測光エリアの画素の明るさを評価するための評価値を特定し、ＣＰＵ７０に対してＡＥ処理を行うための評価値として出力する（ステップＳ１１０）。なお、この段階におけるシャッター速度はデフォルト値（あるいは、前回の撮影の際の設定値）である。
【００４７】
次に、ＣＰＵ７０は、ＡＥ処理を行うための評価値に基づいて適正露出となるようにシャッター速度を調整する（ステップＳ１１５）。すなわち、ＣＰＵ７０は、ＡＥ処理を行うための評価値と予め決められた適正露出範囲とを比較し、ＡＥ処理を行うための評価値が適正露出範囲内に入るために必要なシャッター速度を特定する。そして、ＣＰＵ７０は、当該シャッター速度を示す制御信号を撮像ユニット制御部６０に対して出力する。この結果、撮像ユニット制御部６０が受光センサーにおける電子シャッターのシャッター速度を、ＡＥ処理を行うための評価値が適正露出範囲内に入るために必要なシャッター速度となるように調整する。
【００４８】
以上のようなＡＥ処理により、撮影される画像の露出が適正露出となった状態においてＣＰＵ７０は、画像生成部８０が生成する画像データを表示部２０受け渡し、表示部２０においてライブビュー表示を継続する。このようなライブビュー表示が行われた状態において、利用者がピントリングを調整することでピントの位置を調整することが可能であるが、表示部２０において単に被写体の画像を表示するのみの状態では適正なピントの位置を判定することが困難になる場合も多いため、ここで、ＣＰＵ７０はピントの位置を明示するための処理を行う。
【００４９】
すなわち、ＣＰＵ７０は、被写体と受光センサーとの距離Ｌを画素毎に取得する（ステップＳ１２０）。すなわち、ＣＰＵ７０は、電磁波出力部９０に対して赤外線を出力させる制御信号を出力して、電磁波出力部９０から光学系１０の視野方向に赤外線を出力させる。また、ＣＰＵ７０は、これと同時に電磁波出力部９０から赤外線が出力された後の経過時間の計測を開始する。なお、本実施形態における電磁波出力部９０は、光学系１０の視野内の被写体に赤外線が到達するように予め決められた広い範囲に赤外線を出力することが可能である。図２Ｂは、電磁波出力部９０と撮像ユニット１４と被写体Ｏとの位置関係を模式的に示しており、赤外線の出力範囲Ｒirを一点鎖線によって模式的に示している。
【００５０】
さらに、ＣＰＵ７０は、測距センサー１４ｄから赤外線を検出したことを示す情報が出力され、撮像ユニット制御部６０から当該情報が受け渡されると、赤外線出力後、測距センサー１４ｄによって赤外線が検出されるまでの時間と赤外線の速度（＝光速）との積によって、赤外線が出力された後、測距センサー１４ｄに到達するまでの全光路の距離を特定する。電磁波出力部９０から出力された赤外線は、被写体Ｏによって反射されて光学系１０を介して撮像ユニット１４に到達するが、電磁波出力部９０と撮像ユニット１４との距離は、通常は被写体と撮像ユニット１４との距離と比較して極めて短いため、本実施例では、被写体Ｏから撮像ユニット１４に到達する光の光路は、水平方向にほぼ平行であると見なしている。また、電磁波出力部９０における赤外線の出力口は撮像ユニット１４の受光面の延長線上にある。従って、電磁波出力９０から出力された赤外線が被写体Ｏに到達するまでの光路と、被写体Ｏで反射された赤外線が受光センサーに到達するまでの光路とはほぼ等しい。
【００５１】
そこで、ＣＰＵ７０は、上述のようにして特定した全光路の１／２を被写体から受光センサー１４ａ，１４ｂ，１４ｃまでの距離Ｌとして特定する。当該処理は、測距センサー１４ｄによって赤外線が到達したことが検出された全ての画素について行われる。
【００５２】
次に、ＣＰＵ７０は、レンズ情報を取得する（ステップＳ１２５）。すなわち、ＣＰＵ７０は、マニュアルフォーカスレンズと通信を行ってピントリングの回転角度に対応したピントが合っている被写体と主点との距離である被写体距離ｓを示す情報と、ズームリングの回転角度に対応したレンズの焦点距離ｆを示す情報とを取得する。また、ＣＰＵ７０は、操作部４０を通じてユーザーによって設定された絞り１２のＦ値を示す情報を取得する。
【００５３】
次に、ＣＰＵ７０は、被写界深度を特定する（ステップＳ１３０）。すなわち、被写界深度の前端ＤNと後端ＤFとを特定することによって被写界深度を特定する。なお、図２Ｂにおいては、被写界深度の前端ＤNおよび後端ＤFと受光センサーとの位置関係を図示している。すなわち、本例において、前端ＤNはピントが合っている範囲の最も撮影装置１側の点と主点との距離であり、後端ＤFはピントが合っている範囲の最も撮影装置１から遠い側の点と主点との距離である。
【００５４】
被写界深度を特定するため、ＣＰＵ７０は、まず以下の式に基づいて過焦点距離Ｈを特定する。
Ｈ＝ｆ2／Ｎｃ
ここで、ｆはレンズ１１の焦点距離、Ｎは絞り１２のＦ値、ｃは予め決められた許容錯乱円の直径である。なお、許容錯乱円の直径は、受光センサーの大きさやユーザーの指定に応じて決定すればよい。例えば、受光センサーの大きさが２２．５ｍｍ×１５．０ｍｍであれば０．０１９ｍｍ、受光センサーの大きさが３６ｍｍ×２４ｍｍであれば０．０２６ｍｍなどの値を許容錯乱円の直径とすることができる。
次に、ＣＰＵ７０は、過焦点距離Ｈ、焦点距離ｆ、被写体距離ｓに基づいて以下の式によって被写界深度の前端ＤNおよび後端ＤFを特定する。
ＤN＝ｓＨ／（Ｈ＋ｓ−ｆ）
ＤF＝ｓＨ／（Ｈ＋ｆ−ｓ）
【００５５】
次に、ＣＰＵ７０は、被写界深度に含まれる被写体を特定する（ステップＳ１３５）。すなわち、ＣＰＵ７０は各画素で撮影される被写体と受光センサー１４ａ，１４ｂ，１４ｃとの距離Ｌから、レンズ１１における主点と受光センサー１４ａ，１４ｂ，１４ｃとの距離を減じることにより、被写体から主点までの距離Ｌsを取得する。そして、ＣＰＵ７０は、前端ＤNと後端ＤFとに基づいて、Ｌs＞ＤNであるとともにＬs＜ＤFであるか否かを判定し、Ｌs＞ＤNであるとともにＬs＜ＤFであると判定された場合、当該画素で撮影された被写体は被写界深度に含まれると判定する。例えば、図２Ｂに示すように、被写界深度の前端ＤNと後端ＤFとの間に距離Ｌsが存在するような画素で撮影された被写体は被写界深度に含まれると判定される。
【００５６】
次に、ＣＰＵ７０は、被写界深度に含まれる被写体を示す情報を画像に重畳して表示する（ステップＳ１４０）。すなわち、ＣＰＵ７０は、ステップＳ１３５において、被写界深度に含まれると判定された被写体を撮影した画素の画像データを強調する処理を行うことで、被写界深度に含まれる被写体を示す情報が重畳された画像データを生成する。そして、ＣＰＵ７０は、当該生成された画像データを表示部２０に受け渡す。この結果、表示部２０においては、被写界深度に含まれる被写体が強調された画像を表示する。以上の処理は、シャッターボタンが半押しされている間、表示部２０における画像の更新が行われる度に繰り返し実行される。この結果、撮影装置１においてライブビュー表示中にシャッターボタンを半押しすることで、被写界深度に含まれる被写体を強調した画像が表示部２０にライブビュー表示されることになる。
【００５７】
従って、利用者は、表示部２０を視認することによって、利用者自身が合焦させることを望む被写体が強調されている場合に当該被写体が合焦しており、強調されていない場合に当該被写体が合焦していないと判断することができる。すなわち、利用者は、表示部２０を視認することによって、被写体の合焦状態に基づいて記録用の画像を撮影するか、ピント調整を継続するかを判断することができる。
【００５８】
本実施形態においては、シャッターボタンを全押しすることによって記録用の画像を撮影する指示を行うように構成されているため、ＣＰＵ７０は、操作部４０におけるシャッターボタンの半押しが解除され、あるいは、全押しされたか否かを判定する（ステップＳ１４５）。ステップＳ１４５にて、シャッターボタンの半押しが解除されたと判定された場合、ステップＳ１００以降の処理を繰り返す。すなわち、画像の強調をキャンセルして表示部２０におけるライブビュー表示を継続させる。
【００５９】
一方、ステップＳ１４５において、シャッターボタンが全押しされたと判定された場合、ＣＰＵ７０は、記録用の画像を撮影して記録媒体に記録する（ステップＳ１５０）。すなわち、ＣＰＵ７０は、ピントの位置と、ステップＳ１００にて設定された絞り１２の開口径とが維持された状態で、撮像ユニット制御部６０に制御信号を出力して受光センサーの露光をライン順次に開始させる。さらに、ＣＰＵ７０は、シャッター制御部５０に制御信号を出力し、受光センサーの各ラインの露光時間がステップＳ１１０にて設定されたシャッター速度に対応した時間となるようなタイミングでシャッター１３の駆動を開始させる。この結果、受光センサーから画像データが出力されて記憶部１５に記憶されるので、ＣＰＵ７０は、当該画像データを記録部３０に転送し、図示しない記録媒体に記録させる。そして、撮影が終了すると次の撮影に向けてＳ１００に戻る。
【００６０】
（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、受光センサーと同一の基板に設けられた測距センサーによって測定された、受光センサーが撮影する被写体と基準位置との間の距離に基づいて被写界深度に含まれる被写体を特定し、表示する限りにおいて、下記の変形例を適宜組み合わせでも良いし、その他にも種々の実施形態を採用可能である。
【００６１】
例えば、上述の実施形態において表示部２０は液晶パネルを用いたＥＶＦであったが、表示部２０はＥＶＦ以外の表示部、例えば、撮影装置１の背面に取り付けられる液晶パネルを用いた表示部であっても良いし、液晶パネル以外の方式を用いたものであっても良い。また、撮影装置１はミラーを備えた一眼レフカメラでも良く、さらにムービーカメラであっても良いし、撮影機能を備えた携帯電話等の装置であっても良い。さらに、上述の受光センサー１４ａ，１４ｂ，１４ｃの配列は、図２Ｂに示す配列以外の配列であってもよい。また、３ＣＣＤ方式や３層式センサーを利用した画像生成装置に本発明を適用しても良い。
【００６２】
さらに、上述の実施形態においては、マニュアルフォーカスレンズを利用していたが、撮影装置１にオートフォーカスレンズを取り付け、測距センサーの出力に基づいて被写体と基準位置との間の距離を特定し、当該距離とレンズ情報とに基づいて合焦対象の被写体が被写界深度に含まれるか否かを判定し、合焦対象の被写体が被写界深度に含まれるまでレンズの位置を自動で移動させる構成としてもよい。
【００６３】
さらに、測距センサーを画素毎ではなくＮ個の画素に１個の割合で測距センサーを設ける構成としてもよい。例えば、受光センサーが形成される基板と同一の基板上において、受光センサーの受光面を分割した分割領域毎に測距センサーを設け、各分割領域の受光センサーで撮影される被写体と受光センサーとの距離を、各分割領域の測距センサーで測定する構成としてもよい。この構成によれば、測距センサーの数を抑制することができる。
【００６４】
さらに、受光センサーの受光面全域に均等に測距センサーを配置するのではなく、特定の領域に測距センサーを設け、他の領域には測距センサーを設けない構成としてもよい。特定の領域としては、受光面の中央や中央周辺の複数カ所など、フォーカス領域として予め決められた領域が挙げられる。
また、受光センサー１４ａ，１４ｂ，１４ｃのそれぞれを画素とし、複数の測距センサー１４ｄが測定した距離に基づいて補間等の演算を行って、被写体から各受光センサーまでの距離を決定してもよい。
また、電磁波出力部９０と撮像ユニット１４との距離も計算に入れて被写体から各画素までの距離を決定してもよい。
また、上述の実施形態においては、赤外線を用いて距離の測定を行ったが、このほかの波長の電磁波を用いるなど、他の方式で距離の測定を行ってもよい。
また、被写体と受光センサーとの距離を画素毎に取得する処理（ステップＳ１２０）と、レンズ情報を取得し被写界深度を特定する処理（ステップＳ１２５とステップＳ１３０）とは、順番が逆でもよいし、並行処理をしてもよい。
また、測距センサー１４ｄの出力に基づいて計算する距離は、被写体と受光センサーとの間の距離に限られず、被写体とレンズの取り付け位置との間の距離や、被写体と表示部２０までの距離など他の距離でもよく、これらの距離を表示部２０にＳ１４０での表示と切り替えて表示してもよい。表示方法は、表示部の中心に表示している被写体までの距離を数字で表示してもよいし、距離に応じた色を各被写体に付けて表示してもよい。
絞り１２のＦ値の情報は、レンズから現在のＦ値を示す情報を取得してもよいし、ユーザーが設定した値をメモリから取得してもよいし、ＡＥ処理で絞りを決定する場合には、ＡＥ処理で決定した値をメモリから取得してもよい。
さらに、前端ＤNおよび後端ＤFを記述するための式は、上述の式の他、各種の近似等を用いて変形した結果得られる式を利用可能であるし、被写体距離と実質的に同一なパラメータ、例えば、撮影距離を利用して前端ＤNおよび後端ＤFを記述してもよい。すなわち、
前端ＤN＝（過焦点距離×撮影距離）／（過焦点距離＋撮影距離）
後端ＤF＝（過焦点距離×撮影距離）／（過焦点距離−撮影距離）
として前端ＤNおよび後端ＤFを特定する構成を採用してもよい。
【符号の説明】
【００６５】
１…撮影装置、１０…光学系、１１…レンズ、１２…絞り、１３…シャッター、１４…撮像ユニット、１４ａ，１４ｂ，１４ｃ…受光センサー、１４ｄ…測距センサー、１５…記憶部、２０…表示部、３０…記録部、４０…操作部、４５…調整部、５０…シャッター制御部、６０…撮像ユニット制御部、７０…ＣＰＵ、８０…画像生成部、９０…電磁波出力部
【図１】
2013186293.tif 000003
【図２】
2013186293.tif 000004
【図３】
2013186293.tif 000005