(57)【要約】【課題】ライブビュー画像と静止画像とで同じ被写界深度の画像を表示可能な撮像装置の提供、および使用者が任意の被写界深度を指定し、合焦領域とボケ領域を指定可能な撮像装置の提供を目的とする。【解決手段】本開示における撮像装置は、少なくとも１枚のレンズを含む光学系と、光学系により集光された被写体像を結像して第１画像データを生成する撮像素子と、被写体像に関する被写体距離を算出するとともに、第１画像データに対し、画像処理を行うことにより第２画像データを生成する画像処理部と、を備える。画像処理部は、算出された被写体距離に基づいて被写界深度を設定し、被写界深度を適用することによって画像処理を行う。【選択図】図４
2016072965.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１枚のレンズを含む光学系と、
前記光学系により集光された被写体像を結像して第１画像データを生成する撮像素子と、
前記被写体像に関する被写体距離を算出するとともに、前記第１画像データに対し、画像処理を行うことにより第２画像データを生成する画像処理部と、
を備え、
前記画像処理部は、算出された前記被写体距離に基づいて被写界深度を設定し、前記被写界深度を適用することによって前記画像処理を行う、撮像装置。
【請求項２】
使用者による記録指示を受け付けるレリーズ操作部と、
被写体像をリアルタイムで表示するライブビュー画像を表示可能な表示部と、を更に備え、
前記画像処理部は、
前記被写界深度として、前記レリーズ操作部が使用者による記録指示を受け付けた際に適用される記録時被写界深度を設定し、
前記表示部は、
前記ライブビュー画像として前記記録時被写界深度が適用された前記第２画像データを表示する、
請求項１に記載の撮像装置。
【請求項３】
前記光学系はフォーカスレンズを含み、
前記画像処理部は、前記フォーカスレンズを駆動して得られた、合焦状態の異なる複数の画像データのボケ量から被写体距離を算出する、
請求項１に記載の撮像装置。
【請求項４】
撮像された画像を記録する記録部を更に備え、
前記第２画像データは、前記記録部に記録される、
請求項１に記載の撮像装置。
【請求項５】
使用者による操作を受け付ける操作部を更に備え、
前記被写界深度は、前記操作部により入力された情報に基づいて設定される、
請求項１に記載の撮像装置。
【請求項６】
前記画像処理部は、前記操作部を介して使用者により指定された少なくとも２点に対して被写体距離を算出し、当該少なくとも２点の被写体距離の内、最短位置と最長位置を含むように前記被写界深度を設定する、
請求項５に記載の撮像装置。
【請求項７】
前記画像処理部は、前記操作部を介して使用者により入力された特定のレンズ情報に基づいて前記被写界深度を設定する、
請求項５に記載の撮像装置。
【請求項８】
前記画像処理部は、使用者が前記操作部を介して指定したオブジェクトが前記第１画像データに写っているかどうかを判断するオブジェクト認識部を更に備え、認識された前記オブジェクトが合焦範囲に入るように前記被写界深度を設定する、
請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、デジタルカメラや携帯電話などの撮像装置に関する。
【背景技術】
【０００２】
３次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。その方法は、能動的手法と受動的手法とに大別される。能動的手法では、赤外線、超音波、又はレーザーなどを照射し、反射波が戻ってくるまでの時間、又は、反射波の角度などをもとに距離を算出する。受動的手法では、被写体の像に基づいて距離を算出する。特にカメラでは、赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。
【０００３】
受動的手法の一つとして、ＤＦＤ（Ｄｅｐｔｈ  ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式（以降、ＤＦＤともいう）が開示されている。ＤＦＤは、被写体距離によって大きさや形状が変化するボケの情報に基づいて距離を計測する。ＤＦＤは、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。ＤＦＤを用いて被写体までの距離を計測する処理を、ＤＦＤ処理という。
【０００４】
以下、ＤＦＤの原理について簡単に説明する。ＤＦＤは、合焦位置の異なる複数枚の画像から、ボケの情報に基づいて距離を計測する方法である。ボケを含んだ撮影画像は、レンズによるボケのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は被写体距離を変数とする関数であるので、ＤＦＤではボケ画像からボケを検出することによって、被写体距離を求めることができる。
【０００５】
このとき、全焦点画像と被写体距離とが未知数であるボケ画像１枚に対して、ボケ画像、全焦点画像、及び、被写体距離に関する式が１つ成立する。合焦位置の異なるボケ画像を新たに撮影することで、新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、その式を解く方法等に関しては、特許文献１をはじめとして、様々な方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２９６３９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ライブビュー時には動画像の滑らかさを優先しているため、静止画撮影時とシャッタースピード、絞りが異なり、ライブビューで確認している画像と静止画像でボケ味など見え方が大きく変わっていた。また、レンズ交換のできない撮像装置においては、レンズの特性によっては大きなボケ味を表現することができず、画像の表現方法に限界があった。
【０００８】
本開示は、ライブビュー画像と静止画像とで同じ被写界深度の画像を表示可能な撮像装置の提供、および使用者が任意の被写界深度を指定し、合焦領域とボケ領域を指定可能な撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
本開示における撮像装置は、少なくとも１枚のレンズを含む光学系と、光学系により集光された被写体像を結像して第１画像データを生成する撮像素子と、被写体像に関する被写体距離を算出するとともに、第１画像データに対し、画像処理を行うことにより第２画像データを生成する画像処理部と、を備える。画像処理部は、算出された被写体距離に基づいて被写界深度を設定し、被写界深度を適用することによって画像処理を行う。
【発明の効果】
【００１０】
本開示によれば、ライブビュー画像と静止画像とで同じ被写界深度の画像を表示可能な撮像装置の提供、および使用者が任意の被写界深度を指定し、合焦領域とボケ領域を指定可能な撮像装置の提供が可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る撮像装置の電気的構成を示す図
【図２】実施の形態１に係る撮像装置の要部構成を示す図
【図３】（ａ）実施の形態１に係る撮像装置と被写体との位置関係を示した図、（ｂ）実施の形態１に係る撮像装置で撮像される被写体の被写体距離情報を示す図
【図４】実施の形態１に係る撮像装置のライブビュー表示及び撮影画像の一例を示す図
【図５】実施の形態１に係る撮像装置の静止画撮影時のフローチャート
【図６】（ａ）実施の形態２に係る撮像装置と被写体との位置関係を示した図、（ｂ）実施の形態２に係る撮像装置の第１の表示例を示す図、（ｃ）実施の形態２に係る撮像装置の第２の表示例を示す図
【図７】実施の形態２に係る撮像装置の静止画撮影時のフローチャート
【図８】実施の形態２に係る撮像装置における被写界深度変更の際の表示例を示す図
【発明を実施するための形態】
【００１２】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１３】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１４】
〔１．実施の形態１〕
図１〜図５を用いて、実施の形態１について説明する。
【００１５】
〔１−１．構成〕
本実施の形態における撮像装置１００の電気的構成について説明する。図１は、本実施の形態における撮像装置１００の構成を示す図である。撮像装置１００は、光学系１１０と、ＣＭＯＳイメージセンサ１５０（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  イメージセンサ）と、映像処理部１６０と、メモリ１７０と、コントローラ１８０と、カードスロット１９０と、メモリカード２００（記録部）と、操作部材２１０と、液晶モニタ２３０を備える。本実施の形態において撮像装置１００は、デジタルカメラである。また、本実施の形態において、撮像装置１００は、光学系１１０を着脱可能な、いわゆるレンズ交換式のデジタルカメラである。
【００１６】
光学系１１０は、絞り１１１と、フォーカスレンズ１１３と、レンズ情報保持部１１４と、絞り駆動部１２０と、フォーカスモータ１４０とを有する。
【００１７】
絞り１１１は、光学系１１０の破線で示す光軸上の光量を調整する部材である。絞り１１１は、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）において、コントローラ１８０からの制御信号に基づき、絞り駆動部１２０によって駆動される。なお、絞り１１１は、調整機能がなくてもよく、固定絞りであってもよい。
【００１８】
フォーカスレンズ１１３は、光学系１１０の光軸に沿って移動することにより、被写体像のピントを調整するためのレンズである。フォーカスレンズ１１３は、フォーカスモータ１４０によって制御される。
【００１９】
レンズ情報保持部１１４は、光学系１１０に固有のレンズパラメータ情報を保持する。レンズパラメータ情報としては、Ｆ値や、レンズ駆動速度などが挙げられる。レンズ情報保持部１１４に保持されるレンズパラメータ情報は、ＢＬ（Ｂｏｄｙ−Ｌｅｎｓ）通信によってコントローラ１８０に送られる。
【００２０】
フォーカスモータ１４０は、フォーカスレンズ１１３を駆動制御する。フォーカスモータ１４０は、パルスモータ、ＤＣモータ、リニアモータ、又は、サーボモータなどで実現してもよいし、カム機構又はボールネジなどの機構を介してフォーカスレンズ１１３を駆動するようにしてもよい。
【００２１】
ＣＭＯＳイメージセンサ１５０は、光学系１１０により形成された像を撮影して、画像信号を生成する。ＣＭＯＳイメージセンサ１５０は、露光、転送、電子シャッタなどの動作を行う。ＣＭＯＳイメージセンサ１５０は、撮像素子に相当する。
【００２２】
なお、ＣＭＯＳイメージセンサ１５０の代わりに、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを用いてもよい。
【００２３】
映像処理部１６０は、ＣＭＯＳイメージセンサ１５０で生成された画像信号に対して各種の処理を施す。映像処理部１６０は、画像信号に対して処理を施し、液晶モニタ２３０に表示するための画像データ（以下、ライブビュー画像と称す）を生成する。また、映像処理部１６０は、メモリカード２００に格納するための記録画像データを生成する。さらに、映像処理部１６０は、画像信号に対してガンマ補正、ホワイトバランス補正、又は、傷補正などの映像処理を行う。映像処理部１６０は、後述する被写界深度の変更処理も行う。映像処理部１６０は、画像処理部に相当する。
【００２４】
映像処理部１６０は、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）又はマイコンなどで実現可能である。ライブビュー画像の解像度は、液晶モニタ２３０の画面解像度に設定してもよいし、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）規格に準拠した圧縮形式等により圧縮され形成される記録画像データの解像度に設定してもよい。
【００２５】
メモリ１７０は、映像処理部１６０及びコントローラ１８０のワークメモリとして機能する。メモリ１７０は、例えば、映像処理部１６０で処理された映像信号、若しくは、映像処理部１６０で処理される前のＣＭＯＳイメージセンサ１５０から入力される画像データを一時的に蓄積する。
【００２６】
また、メモリ１７０は、撮影時における光学系１１０及びＣＭＯＳイメージセンサ１５０の撮影条件を一時的に蓄積する。撮影条件とは、画角情報、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度、シャッタースピード、ＥＶ（Ｅｘｐｏｓｕｒｅ  Ｖａｌｕｅ）値、Ｆ値（絞り値）、レンズ間距離、撮影時刻、フォーカスレンズ１１３の光学系１１０における位置情報等である。
【００２７】
さらに、メモリ１７０は、光学系１１０を交換可能とした際に、複数の光学系１１０に共通して使用することができるボケ信号（以下、基本ボケ信号とよぶ）を、インデックス（ボケ信号インデックス）と対応付けて格納する。ここで、基本ボケ信号のそれぞれは、ボケ形状に対応している。また、基本ボケ信号は複数あり、複数の基本ボケ信号をまとめて、基本ボケセットという。
【００２８】
また、メモリ１７０は、コントローラ１８０が取得した光学系１１０のレンズパラメータ情報を格納する。メモリ１７０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、又は、強誘電体メモリなどで実現できる。
【００２９】
コントローラ１８０は、撮像装置１００全体を制御する。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコンなどで実現できる。
【００３０】
コントローラ１８０は、光学系１１０により像が形成された被写体について、距離に関する情報を算出するように制御する。具体的には、コントローラ１８０は、光学系１１０のレンズパラメータ情報を取得する。そして、コントローラ１８０は、メモリ１７０に格納される複数のボケ信号と、光学系１１０のレンズパラメータ情報と、ＣＭＯＳイメージセンサ１５０で撮影されて得られる合焦位置の異なる複数の画像信号とに基づいて、映像処理部１６０が行うＤＦＤ処理を制御し、距離に関する情報を算出させる。合焦位置の異なる複数の画像信号は、フォーカスレンズ１１３を異なる位置に駆動させることにより取得することができる。距離に関する情報とは、例えば、撮像装置１００から被写体までの距離である。言い換えれば、距離に関する情報とは、ＣＭＯＳイメージセンサ１５０で撮影された被写体についての、撮像装置１００から見た奥行き方向の距離である。距離の基準点は、任意に設定することができるが、例えば、光学系１１０に含まれるレンズのうち所定のレンズの位置に設定できる。以下では、距離に関する情報を、ＤＦＤ距離情報、或いは被写体距離情報と称する。
【００３１】
なお、コントローラ１８０は、ＤＦＤ処理の制御を行う前に、予め光学系１１０からレンズパラメータ情報を取得しておき、メモリ１７０に格納してもよいし、ＤＦＤ処理を制御する際に、レンズパラメータ情報を光学系１１０から読み出す構成にしてもよい。また、コントローラ１８０は、光学系１１０のレンズパラメータ情報すべてをメモリ１７０に蓄積しておくように制御してもよい。この場合、操作部材２１０（操作部）を介して入力される使用者の操作により、メモリ１７０に蓄積するレンズパラメータ情報の一部を削除するようにしてもよい。また、コントローラ１８０は、メモリカード２００からレンズパラメータ情報を読み出し、メモリ１７０に蓄積しておくように制御してもよい。
【００３２】
なお、レンズパラメータ情報は、これまでに装着された光学系１１０のレンズパラメータ情報を含んでもよいし、さらに、装着したことのないレンズのレンズパラメータ情報を含んでもよい。
【００３３】
コントローラ１８０は、被写体からの光をＣＭＯＳイメージセンサ１５０に導くための光学系１１０に固有のレンズパラメータ情報であって、複数の基本ボケ信号のうちの一部を特定する情報を含むレンズパラメータ情報を取得する。そして、コントローラ１８０は、メモリ１７０に保持されている複数の基本ボケ信号のうち、取得したレンズパラメータ情報により特定される複数の測距用ボケ信号に基づいて、ＣＭＯＳイメージセンサ１５０により撮像された被写体についての距離に関する情報を算出するように制御する。
【００３４】
カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能であり、メモリカード２００に情報を書き込み、メモリカード２００から情報を読み出す。カードスロット１９０は、メモリカード２００を着脱可能である。
【００３５】
メモリカード２００は、フラッシュメモリ又は強誘電体メモリなどを内部に含む記録媒体である。メモリカード２００は、カードスロット１９０に着脱可能である。
【００３６】
操作部材２１０は、レリーズボタン（レリーズ操作部）を含む。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ１８０を介してＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）制御及び、ＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）制御を開始する。また、使用者がレリーズボタンを全押しした場合は、被写体の撮影を行う。
【００３７】
液晶モニタ２３０は、ＣＭＯＳイメージセンサ１５０で生成した画像信号、又は、メモリカード２００から読み出した画像信号を表示する表示デバイスである。また、液晶モニタ２３０は、撮像装置１００の各種の設定情報を表示可能である。例えば、液晶モニタ２３０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、又は、ＩＳＯ感度等を表示可能である。液晶モニタ２３０は、表示部に相当する。なお、液晶モニタ２３０はタッチパネルとしての機能を備えており、使用者は、液晶モニタ２３０に表示された各種の設定情報を介して、撮像装置１００を操作することが可能である。この場合、液晶モニタ２３０は操作部材２１０に含まれる。
【００３８】
〔１−２．ライブビュー表示時の動作〕
実施の形態１における撮像装置１００の撮影動作を説明する。図２は、図１に示す撮像装置１００のうち、撮影動作に関する構成を中心に取り出した図であり、映像処理部１６０とコントローラ１８０の構成を詳細に示している。
【００３９】
図２において、映像処理部１６０は、ＤＦＤ処理部１６１を含み、コントローラ１８０は、制御部１８２とＡＦ処理部１８３を含む。
【００４０】
使用者が、撮像装置１００の電源をオン（ＯＮ）にすると、撮像装置１００は、光学系１１０によってＣＭＯＳイメージセンサ１５０に結像された被写体像を、映像処理部１６０、コントローラ１８０を介して液晶モニタ２３０に表示する。このとき、液晶モニタ２３０にリアルタイムで表示される被写体像であるライブビュー画像は、ＣＭＯＳイメージセンサ１５０から得られる画像データを順次表示することで実現される動画像である。撮像装置１００は、ＣＭＯＳイメージセンサ１５０により得られた画像データを、所定の時間間隔であるフレームレート毎に更新して、ライブビュー画像として液晶モニタ２３０に表示する。以下では、ライブビュー画像として表示される動画像データの内の一枚を、１フレームと称する。また、本実施の形態に係る撮像装置１００は、ライブビュー表示において１秒間に６０フレームの画像を表示するものとする。即ち、本実施の形態における撮像装置１００のライブビュー表示におけるフレームレートは１／６０秒である。
【００４１】
図３（ａ）は、撮像装置１００と、撮像装置１００に撮像される被写体との位置関係を示した図である。
【００４２】
撮像装置１００は０地点に位置し、撮像装置１００の近く（ｎｅａｒ）に人物（被写体Ｘ）、遠く（ｆａｒ）に山（被写体Ｙ）がある。
【００４３】
図３（ｂ）は、図３（ａ）の撮像装置１００で撮像される被写体に対し、ＤＦＤ処理部１６１が生成した被写体距離情報を示す図である。ＤＦＤ処理部１６１は、撮像装置１００が撮像する各被写体の距離を算出し、その被写体距離情報を深度マップとして生成する。図３（ｂ）では、被写体距離情報の一例として、撮像装置１００に対して近くに存在する被写体Ｘに対しては右傾斜線が付与され、より遠くに存在する被写体Ｙに対しては左傾斜線が付与され、更に遠い被写体（背景）に対してはドットが付与される。なお、距離情報の表現の仕方はこれにかぎらず、色や数字、そのほかのパターンで表現してもよい。
【００４４】
撮像装置１００は、上述したように、各被写体に対して被写体距離情報を取得することが可能である。また、撮像装置１００は、取得した被写体距離情報をライブビュー表示において液晶モニタ２３０に表示することも可能である。
【００４５】
図４は、撮像装置１００のライブビュー表示及び撮影画像の一例を示す図である。図４のＡに示すライブビュー表示は、図３（ａ）の撮像装置１００において、従来の方式でライブビュー画像を表示した液晶モニタ２３０の表示例である。この時の撮影条件として、シャッタースピード（ＳＳ）は１／６０秒、Ｆ値は４．０としている。ライブビュー表示は動画像であるので、自然な動画像を得るためにシャッタースピードは遅めに設定している。ライブビュー表示においてシャッタースピードを速く設定すると、１フレームあたりの画像を取り込む時間が短くなるが、動画再生におけるフレームレートはシャッタースピードを変更しても変わらず、各フレーム間で被写体の動きなどが欠落してしまうためである。
【００４６】
図４のＢに示す撮影画像は、図３（ａ）の撮像装置１００で静止画撮影をして得られた画像である。このときの撮影条件では、静止画の適正露光を行うためにはシャッタースピードは１／１２０秒、Ｆ値は２．８に設定され、図４のＡに示すライブビュー表示の状態（ＳＳ：１／６０秒、Ｆ値：４．０）とは変わってしまう。そのため、使用者は撮影後の画像（記録される画像）と同じ画像をライブビュー表示中にライブビュー画像として確認することできない。
【００４７】
ここで、ライブビュー表示において静止画撮影時の撮影条件でシャッタースピードを１／１２０秒に設定した場合、フレームレートが１／６０なので、フレームレートの半分の時間で１フレームの画像を撮像することとなる。この結果、ライブビュー表示される動画像が各フレーム間で被写体の動きが欠落した不自然な動画像になってしまう。
【００４８】
そこで、本開示に係る撮像装置１００は、ライブビュー表示において、自然な動画像となるようなシャッタースピードを適用し、同時に、静止画撮影時（記録時）と同様の被写界深度をもったライブビュー画像を表示する。
【００４９】
図４のＣは、本実施の形態に係る撮像装置１００において、ライブビュー表示時に液晶モニタ２３０に表示されるライブビュー画像を示している。図４のＣに示すライブビュー表示においては、シャッタースピードは１／６０秒、Ｆ値は４．０と、図４のＡの場合と同じ値に設定されている。また、図４のＣに示す液晶モニタ２３０に表示されるライブビュー画像は、図４のＢに示す静止画撮影時の画像と同じ被写界深度（Ｆ値２．８に相当）を、画像処理によって実現している。すなわち、本実施の形態に係る撮像装置１００は、ライブビュー表示において自然な動画像が得られるシャッタースピードを維持しつつ、静止画撮影時に得られる画像と同様の被写界深度を画像処理によって実現している。これにより、撮像装置１００は、静止画撮影時に得られる被写界深度をライブビュー画像として表示することが可能となる。
【００５０】
図５は、撮像装置１００の静止画撮影時のフローチャートである。使用者が撮像装置１００の電源をＯＮにすると、撮像装置１００は光学系１１０を備える交換レンズからレンズ情報を取得する（ステップＳ１１）。
【００５１】
撮像装置１００は、レンズ情報を取得した後、撮影モードに設定されているかどうかを監視する（ステップＳ１２）。
【００５２】
撮像装置１００は、撮影モードに設定されていると（ステップＳ１２におけるＹｅｓ）、使用者から被写界深度を変更する指示があるか否かを確認する（ステップＳ１３）。被写界深度の変更指示がない場合（ステップＳ１３におけるＮｏ）、撮像装置１００は、ステップＳ２１において使用者によるレリーズ操作があるか否かを監視する。
【００５３】
使用者による被写界深度の変更指示があれば（ステップＳ１３におけるＹｅｓ）、撮像装置１００はＤＦＤ処理部１６１を用いてＤＦＤ距離情報を取得する（ステップＳ１４）。すなわち、撮像装置１００は、撮像される被写体に対して被写体距離情報を取得する。
【００５４】
撮像装置１００は、ＤＦＤ距離情報を取得すると、使用者によるレリーズ操作があるか否かを監視する（ステップＳ１５）。
【００５５】
使用者によるレリーズ操作があるまでは（ステップＳ１５におけるＮｏ）、撮像装置１００は、液晶モニタ２３０にライブビュー（ＬＶ）画像を表示するため、ステップＳ１６〜Ｓ１９の処理を行う。ステップＳ１６において、撮像装置１００は、ライブビュー画像の各フレーム単位でＡＦ／ＡＥ処理を実施する。
【００５６】
撮像装置１００は、被写体距離情報と、ＡＦ／ＡＥ処理の結果に基づいて、静止画撮影時（記録時）のシャッタースピード及びＦ値を算出する（ステップＳ１７）。
【００５７】
撮像装置１００は、算出されたＦ値と、被写体距離情報に応じてライブビュー画像を加工し（ステップＳ１８）、液晶モニタ２３０表示する（ステップＳ１９）。具体的には、撮像装置１００は、ステップＳ１４にてＤＦＤ処理部１６１によって得られた被写体距離情報から、図３（ｂ）に示す深度マップを生成し、その後、算出されたＦ値から被写界深度を計算する。撮像装置１００は、計算された被写界深度の範囲内に存在しない被写体に対してぼかし処理（画像処理）を行い、静止画撮影時に得られる被写界深度（記録時被写界深度）を実現する。
【００５８】
使用者がレリーズ操作を行うと（ステップＳ１５におけるＹｅｓ、ステップＳ２１におけるＹｅｓ）、撮像装置１００は、静止画撮影を開始する。ステップＳ２２において、撮像装置１００は被写体像に対してＡＦ／ＡＥ処理を行う。
【００５９】
撮像装置１００は、ＡＦ／ＡＥ処理の結果に応じて、静止画撮影に応じたシャッタースピードとＦ値を算出する（ステップＳ２３）。
【００６０】
撮像装置１００は、算出されたシャッタースピードとＦ値に基づいて、絞り１１１やＣＭＯＳイメージセンサ１５０、シャッター（不図示）などを制御し、静止画撮影を行う（ステップＳ２４）。
【００６１】
撮像装置１００は、撮影された静止画像をメモリカード２００等の記録媒体に保存する（ステップＳ２５）。
【００６２】
上述した撮影動作において、ライブビュー表示に適用されるＦ値は、ステップＳ２２において静止画撮影時に適用されるＦ値より大きな値となるように設定されることが好ましい。即ち、ライブビュー表示時に適用される被写界深度は、静止画撮影時に適用される被写界深度より深いことが好ましい。これは、撮像装置１００は、画像に対してぼかし処理を行うことは可能であるが、すでにぼけている画像を鮮明にすることは困難なためである。
【００６３】
また、撮像装置１００は、ライブビュー画像に対してぼかし処理を行う際に、特定のＬＰＦ（Ｌｏｗ  Ｐａｓｓ  Ｆｉｌｔｅｒ：高域遮断フィルタ）を用いてぼかし処理を行うようにしてもよい。または、撮像装置１００は、取得した距離情報に従ってボケ具合が変わるように、ＬＰＦの遮断周波数を適宜変更して、ぼかし処理を行うようにしてもよい。または、撮像装置１００は、取得したレンズ情報に従って、フーリエ変換を行うことでぼかし処理を行うようにしてもよい。
【００６４】
〔１−３．効果等〕
以上のように、本実施の形態における撮像装置１００は、ライブビュー表示において、被写界深度と被写体距離情報を算出し、静止画撮影時と同様の被写界深度を画像処理によって実現することができる。これにより、使用者は、ライブビュー表示時において、静止画撮影時に得られる画像を確認することが可能となり、利便性が向上する。
【００６５】
なお、本実施の形態では静止画撮影時の動作として説明したが、本開示はこれに限定されるものではない。例えば、動画撮影時に、使用者の操作により、ライブビュー画像と撮影する動画像とで同じ被写界深度を得る場合にも、本開示は適用可能である。
【００６６】
〔２．実施の形態２〕
実施の形態２では、撮像装置１００により撮影された静止画像に対してぼかし処理を行う例について説明する。撮像装置１００の構成は、実施の形態１で説明した図１、図２と同じ構成であるとして、詳細な説明を省略する。以下、図６及び図７を用いて、実施の形態２の静止画撮影動作について説明する。
【００６７】
〔２−１．静止画記録時の動作〕
本実施の形態に係る撮像装置１００は、撮影される静止画像に対して任意の被写界深度を適用することが可能である。
【００６８】
図６（ａ）は、撮像装置１００と、撮像装置１００に撮像される被写体との位置関係を示した図である。撮像装置１００は０地点に位置し、撮像装置１００から近い順に被写体Ｐ、被写体Ｑ、被写体Ｒがある。ここで、被写界深度Ａは光学系１１０により決まる被写界深度を示し、被写界深度Ｂは使用者が指定する被写界深度を示している。
【００６９】
図６（ｂ）は、図６（ａ）の状態にある撮像装置１００で撮影される静止画像の一例を示す図である。図６（ｂ）は、被写界深度Ａが適用されて撮影された静止画像を示す。従って、図６（ｂ）では、被写体Ｐ及び被写体Ｑに対して合焦しており、被写体Ｒはぼけて表示される。
【００７０】
図６（ｃ）は、図６（ａ）の状態にある撮像装置１００で撮影される静止画像の一例を示す図である。図６（ｃ）は、被写界深度Ｂが適用されて撮影された静止画像を示す。従って、図６（ｃ）では、被写体Ｐに対して合焦しており、被写体Ｑ及び被写体Ｒはぼけて表示される。
【００７１】
本実施の形態に係る撮像装置１００は、図６（ａ）〜（ｃ）で示すように、撮影される静止画像に対して任意の被写界深度を適用することが可能である。撮像装置１００は、撮影条件等に基づいて被写界深度Ａを算出する。一方、使用者は、被写体像に対して任意の被写界深度Ｂを指定する。撮像装置１００は、算出された被写界深度Ａに依らず、使用者が指定した任意の被写界深度Ｂを適用した静止画像を画像処理によって実現することができる。
【００７２】
図７は、実施の形態２に係る撮像装置１００の静止画撮影時のフローチャートである。使用者が撮像装置１００の電源をＯＮにすると、撮像装置１００は光学系１１０を備える交換レンズからレンズ情報を取得する（ステップＳ３１）。
【００７３】
撮像装置１００は、レンズ情報を取得した後、撮影モードに設定されているかどうかを監視する（ステップＳ３２）。
【００７４】
撮像装置１００が撮影モードに設定されていると（ステップＳ３２におけるＹｅｓ）、使用者から被写界深度を変更する指示があるか否かを確認する（ステップＳ３３）。ステップＳ３３において、使用者は、操作部材２１０を介して、被写界深度の変更指示として、所望の被写界深度Ｂを入力することができる。被写界深度の変更指示がない場合（ステップＳ３３におけるＮｏ）、撮像装置１００は、実施の形態１と同様に、図５に示すステップＳ２１〜Ｓ２５の処理を行う。
【００７５】
使用者による被写界深度の変更指示があれば（ステップＳ３３におけるＹｅｓ）、撮像装置１００はＤＦＤ処理部１６１を用いてＤＦＤ距離情報を取得する（ステップＳ３４）。すなわち、撮像装置１００は、撮像される被写体に対して被写体距離情報を取得する。
【００７６】
撮像装置１００は、ＤＦＤ距離情報を取得すると、使用者によるレリーズ操作があるか否かを監視する（ステップＳ３５）。
【００７７】
使用者によるレリーズ操作があるまでは（ステップＳ３５におけるＮｏ）、撮像装置１００は、液晶モニタ２３０にライブビュー画像を表示するため、ステップＳ３６〜Ｓ３８の処理を行う。ステップＳ３６において、撮像装置１００は、ライブビュー画像の各フレーム単位でＡＦ／ＡＥ処理を実施する。
【００７８】
撮像装置１００は、被写体距離情報と、ＡＦ／ＡＥ処理の結果に基づいて、使用者によって入力された被写界深度Ｂに応じてライブビュー画像を加工し（ステップＳ３７）、表示する（ステップＳ３８）。具体的には、撮像装置１００は、ＤＦＤ処理部１６１によって得られた被写体距離情報、深度マップから、使用者により入力された被写界深度Ｂに収まる被写体を算出し、被写界深度Ｂの範囲内に存在しない被写体に対してぼかし処理を行い、ライブビュー画像に反映する。例えば、図６（ａ）〜（ｃ）に示すように、使用者により被写界深度Ｂが入力されている場合、被写界深度Ｂの範囲内に存在しない被写体Ｑ、Ｒに対してぼかし処理が行われる。
【００７９】
使用者がレリーズ操作を行うと（ステップＳ３５におけるＹｅｓ）、撮像装置１００は、静止画撮影を開始する。ステップＳ４０において、撮像装置１００は被写体像に対してＡＦ／ＡＥ処理を行う。
【００８０】
撮像装置１００は、ＡＦ／ＡＥ処理の結果に応じて、Ｆ値を算出する（ステップＳ４１）。このとき、ステップＳ３３において被写界深度の変更指示及び所望の被写界深度Ｂの入力がされているので、撮像装置１００は入力された被写界深度Ｂより深い被写界深度ＡのＦ値となるように設定する。これは、撮像装置１００は、画像に対してぼかし処理を行うことは可能であるが、すでにぼけている画像を鮮明にすることは困難なためである。
【００８１】
撮像装置１００は、ステップＳ４１において得られたＦ値に基づいて、適正露光となるようにシャッタースピードを算出する（ステップＳ４２）。
【００８２】
ステップＳ４０〜Ｓ４２の処理を経て、撮影条件が決定されると、撮像装置１００は静止画像の撮影を行う（ステップＳ４３）。
【００８３】
静止画像の撮影の後、撮像装置１００は、撮像された静止画像に対して、使用者によって入力された被写界深度Ｂとなるように、静止画像に対してぼかし処理を行う（ステップＳ４４）。
【００８４】
撮像装置１００は、撮影された静止画像をメモリカード２００等の記録媒体に保存する（ステップＳ４５）。
【００８５】
次に、ステップＳ３３における、使用者による被写界深度Ｂの入力について説明する。図８は、撮像装置１００において、使用者が被写界深度Ｂを入力する際の表示例である。
【００８６】
使用者が被写界深度の変更を撮像装置１００に指示すると、撮像装置１００は、被写界深度の変更指示を受け付けるため、図８（ａ）に示すライブビュー画像を表示する。使用者は、図８（ａ）に示すライブビュー画像から、所望の被写体（例えば、被写体Ｐ）を選択する。撮像装置１００は、被写体Ｐが選択されると、ＤＦＤ処理により得られた被写体距離情報に基づいて、被写体Ｐを含む被写界深度Ｂを算出する。そして、上述のとおり、撮像装置１００は、被写界深度Ｂに応じてライブビュー画像を加工する（図７のステップＳ３７）。その後、使用者によるレリーズ操作が行われると、撮像装置１００は、被写界深度Ｂよりも深い被写界深度ＡとなるＦ値で静止画像を撮影する（図７のステップＳ４３）。そして、撮像装置１００は、図８（ｂ）に示すように、被写界深度Ｂを実現するように、被写界深度Ｂの範囲に含まれない被写体（例えば、被写体Ｑ、Ｒ）に対してぼかし処理を行う。
【００８７】
〔２−２．効果等〕
以上により、本実施の形態の撮像装置１００の静止画撮影動作において、使用者が任意の被写界深度Ｂを指定し、合焦領域とボケ領域を指定可能とすることで、任意の被写界深度の画像を撮影することができる。
【００８８】
なお、本実施の形態では、静止画撮影時の動作として説明したが、本開示はこれに限定されるものではない。例えば、動画撮影時に、使用者の操作によりライブビュー画像と動画像とで同じ被写界深度を得る場合にも、本開示は有効である。
【００８９】
本実施の形態では、撮像装置１００は、ライブビュー画像の表示画面で、使用者が特定の被写体を指定することで、その指定した被写体以外の被写体に対してぼかし処理を行う例を説明しているが、本開示はこれに限定されるものではない。例えば、使用者が被写界深度Ｂを直接入力してもよい。また、撮像装置１００は、ライブビュー画像の表示画面で、使用者が少なくとも２点を指定することで、その画像位置の被写体に対応する被写体距離情報から最短、最長位置を求め、それを被写界深度の情報に変換してもよい。
【００９０】
また、撮像装置１００は、使用者によって入力された特定のレンズ情報に基づいて被写界深度を算出してもよい。このように構成することで、撮像装置１００は、現在装着している交換レンズとは異なる光学性能を有する交換レンズを用いて撮影した際に得られる画像を画像処理により実現することができる。
【００９１】
また、本実施の形態では、ライブビュー画像に写っている被写体に対して、使用者が所望の被写体を選択し、撮像装置１００は当該被写体に合焦するように被写界深度を設定するものとしたが、本開示はこれに限定されるものではない。使用者が予め登録しておいた車や動物、人物等の被写体（オブジェクト）が、ライブビュー画像に含まれるか否かをオブジェクト認識部により撮像装置１００が認識し、当該被写体が含まれている場合、その被写体が合焦範囲に入るように被写界深度を設定するようにしても構わない。被写体の登録には、物体認証、顔認証や個人認証等の従来の技術を用いることが可能である。
【００９２】
〔３．他の実施の形態〕
以上のように、本開示の技術の例示として、実施の形態１、２を説明した。しかしながら、本開示は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、実施の形態１、２で説明した各構成を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
【００９３】
実施の形態１、２では、撮像装置は光学系を着脱可能な、レンズ交換式のデジタルカメラであるとして説明したが、本開示はこれに限定されるものではない。例えば、光学系が撮像装置と一体となっているものとしても構わないし、光学系、ＣＭＯＳイメージセンサ、映像処理部が一体となっているユニット交換式としても構わない。
【００９４】
また、実施の形態１、２では、被写体の距離情報算出の方法としてＤＦＤ方式を用いて説明したが、本開示はこれに限定されるものではない。レーザーなどを照射し、反射波が戻ってくるまでの時間、又は、反射波の角度などをもとに距離を算出するような能動的手法を用いてもよいし、像面位相差イメージセンサや位相差センサによって被写体までの距離情報を算出するような受動的手法を用いてもよい。
【００９５】
また、実施の形態１，２では、メモリカードは着脱可能として説明したが、本開示はこれに限定されるものではない。メモリカードが着脱不可の撮像装置で構成してもよい。
【００９６】
さらに、実施の形態１、２では、撮像装置としてデジタルカメラを用いて説明したが、本開示はこれに限定されるものではない。本開示は、測距及び合焦動作が必要な、電子望遠鏡や電子顕微鏡などにも適用可能である。
【産業上の利用可能性】
【００９７】
本開示は、デジタルカメラや携帯電話などの撮像装置、電子顕微鏡、電子望遠鏡などに適用可能である。
【符号の説明】
【００９８】
１００  撮像装置
１１０  光学系
１１１  絞り
１１３  フォーカスレンズ
１１４  レンズ情報保持部
１２０  絞り駆動部
１４０  フォーカスモータ
１５０  ＣＭＯＳイメージセンサ
１６０  映像処理部
１６１  ＤＦＤ処理部
１７０  メモリ
１８０  コントローラ
１８２  制御部
１８３  ＡＦ処理部
１９０  カードスロット
２００  メモリカード
２１０  操作部材
２３０  液晶モニタ
【図１】
2016072965.tif 000003
【図２】
2016072965.tif 000004
【図３】
2016072965.tif 000005
【図４】
2016072965.tif 000006
【図５】
2016072965.tif 000007
【図６】
2016072965.tif 000008
【図７】
2016072965.tif 000009
【図８】
2016072965.tif 000010