(57)【要約】【課題】煩雑さを回避しつつ、ユーザの望む被写界深度を有する画像を得ることを目的とする。【解決手段】本発明の撮像装置１００は、撮影で用いられる絞り値を第１絞り値に設定する設定手段と、第１絞り値から決定されるシャッタースピードに基づいて、撮影で用いられる絞り値を、第１絞り値より小さい第２絞り値に変更する変更手段と、変更手段によって絞り値が第２絞り値に変更された場合、絞り値を第２絞り値とした撮影によって、リフォーカス可能なライトフィールド画像を撮像手段から取得するように制御する制御手段と、を備えることを特徴とする。【選択図】図４
2018164150.tif 000002
【特許請求の範囲】
【請求項１】
撮影で用いられる絞り値を第１絞り値に設定する設定手段と、
前記第１絞り値から決定されるシャッタースピードに基づいて、撮影で用いられる絞り値を、前記第１絞り値より小さい第２絞り値に変更する変更手段と、
前記変更手段によって絞り値が前記第２絞り値に変更された場合、絞り値を前記第２絞り値とした撮影によって、リフォーカス可能なライトフィールド画像を撮像手段から取得するように制御する制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記変更手段によって絞り値が前記第２絞り値に変更されず、前記第１絞り値に維持された場合、絞り値を前記第１絞り値とした撮影によって、前記第１絞り値に対応する被写界深度の通常画像を前記撮像手段から取得するように制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
測光を行う測光手段と、
前記第１絞り値、及び、前記測光手段による測光の結果に基づいて、所定の露光量を確保するために必要なシャッタースピードを決定する決定手段と、を更に備え、
前記変更手段は、前記決定手段によって決定されたシャッタースピードが所定の低速限界値以下の場合、撮影で用いられる絞り値を前記第２絞り値に変更することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第２絞り値は、シャッタースピードが前記低速限界値の場合に前記所定の露光量を確保できる絞り値であり、
前記制御手段は、前記変更手段によって絞り値が前記第２絞り値に変更された場合、絞り値を前記第２絞り値とし、シャッタースピードを前記低速限界値とした撮影によって、前記ライトフィールド画像を前記撮像手段から取得するように制御することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記ライトフィールド画像は、複数の視差画像を含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記ライトフィールド画像を所定の出力先に出力する出力手段を更に備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記出力手段は、前記変更手段によって絞り値が前記第２絞り値に変更された場合、前記変更手段によって絞り値が前記第２絞り値に変更されたことを表す変更情報を更に出力することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記出力手段は、前記変更手段によって絞り値が前記第２絞り値に変更された場合、前記第１絞り値、及び、前記第２絞り値を、更に出力することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記ライトフィールド画像に基づいて、前記第１絞り値に対応する被写界深度を有する画像を生成する生成手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
撮影で用いられる絞り値を第１絞り値に設定する設定手段と、
前記第１絞り値から決定されるシャッタースピードに基づいて、撮影で用いられる絞り値を、前記第１絞り値より小さい第２絞り値に変更する変更手段と、
前記変更手段によって絞り値が前記第２絞り値に変更された場合、絞り値を前記第２絞り値とした撮影によって、リフォーカス可能なライトフィールド画像を撮像手段から取得するように制御する制御手段と、を備える撮像装置によって撮影された画像を処理する画像処理装置であって、
前記制御手段による制御で取得された前記ライトフィールド画像を取得する取得手段と、
前記ライトフィールド画像に基づいて、前記第１絞り値に対応する被写界深度を有する画像を生成する生成手段と、を備えることを特徴とする画像処理装置。
【請求項１１】
前記ライトフィールド画像は、複数の視差画像を含むことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記取得手段は、前記変更手段によって絞り値が前記第２絞り値に変更されたか否かを表す変更情報を、更に取得し、
前記生成手段は、前記変更情報が前記変更手段によって絞り値が前記第２絞り値に変更されたことを表す場合、前記取得手段によって取得された前記ライトフィールド画像に基づいて、前記第１絞り値に対応する被写界深度を有する画像を生成することを特徴とする請求項１０又は１１に記載の画像処理装置。
【請求項１３】
前記取得手段は、前記第１絞り値、及び、前記第２絞り値を、更に取得し、
前記生成手段は、
前記第１絞り値に対応する第１被写界深度、及び、前記第２絞り値に対応する第２被写界深度を決定し、
前記ライトフィールド画像に基づいて、第１被写界深度と前記第２被写界深度との差分となる被写界深度を有する第１リフォーカス画像、及び、第１被写界深度を有する第２リフォーカス画像を生成し、
前記第１リフォーカス画像、及び、第２リフォーカス画像を合成して、第１絞り値に対応する被写界深度を有する画像を生成することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記生成手段によって生成された画像を所定の画像フォーマットに変換して所定の第１記録領域に記録する第１記録手段を更に備えることを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記取得手段は、前記変更手段によって絞り値が前記第２絞り値に変更されず、前記第１絞り値に維持された場合、前記第１絞り値に対応する被写界深度の通常画像を取得することを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記取得手段によって取得された前記通常画像を所定の画像フォーマットに変換して所定の第２記録領域に記録する第２記録手段を更に備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
撮影で用いられる絞り値を第１絞り値に設定する設定手段と、
前記第１絞り値から決定されるシャッタースピードに基づいて、撮影で用いられる絞り値を、前記第１絞り値より小さい第２絞り値に変更する変更手段と、
前記変更手段によって絞り値が前記第２絞り値に変更された場合、絞り値を前記第２絞り値とした撮影によって、リフォーカス可能なライトフィールド画像を撮像手段から取得するように制御する制御手段と、
前記制御手段による制御によって取得された前記ライトフィールド画像に基づいて、前記第１絞り値に対応する被写界深度を有する画像を生成する生成手段と、を備えることを特徴とする画像処理システム。
【請求項１８】
撮影で用いられる絞り値を第１絞り値に設定する設定ステップと、
前記第１絞り値から決定されるシャッタースピードに基づいて、撮影で用いられる絞り値を、前記第１絞り値より小さい第２絞り値に変更する変更ステップと、
前記変更ステップによって絞り値が前記第２絞り値に変更された場合、絞り値を前記第２絞り値とした撮影によって、リフォーカス可能なライトフィールド画像を撮像手段から取得するように制御する制御ステップと、
前記制御ステップによる制御によって取得された前記ライトフィールド画像に基づいて、前記第１絞り値に対応する被写界深度を有する画像を生成する生成ステップと、を備えることを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１乃至９のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
【請求項２０】
コンピュータを、請求項１０乃至１６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、及び、画像処理システムに関する。
【背景技術】
【０００２】
デジタルカメラ、デジタルビデオカメラ等の撮像装置は、被写体からの光を撮影レンズ等で構成される撮像光学系によって電荷結合素子（ＣＣＤ）やＣＭＯＳセンサ等の撮像素子に導いて、被写体画像に対応する電気信号を取得する。撮像装置は、この電気信号をアナログ−ディジタル（ＡＤ）変換し、デモザイキング処理を行って被写体の撮影画像を得る。
撮影画像の被写界深度は、撮像光学系に指定した機械絞りの絞り値（ｆ値、開口比）を大きくしたり小さくしたりすることで調整する。絞り値を調整することで撮影画像の合焦範囲を調整して、被写体を浮かび上がらせて強調する等の表現を工夫することも、撮像装置特有の楽しみの一つである。
そこで、撮像装置によっては、ユーザが設定した絞り値を固定して、測光に基づいてシャッタースピードを自動的に決定するという絞り優先ＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）モードと呼ばれる撮影モードがある。絞り優先ＡＥモードを使うと、ユーザが望む被写界深度を持つ画像を撮影することができる。
【０００３】
また近年、デジタルカメラの中でもライトフィールド技術を利用したライトフィールドカメラという分野のカメラが注目されている。ライトフィールドカメラで撮影された画像は、撮影後に合焦距離（結像面、リフォーカス面）を変えたリフォーカス画像を作り出すことができるため、あとから色々な被写界深度をもつ画像を入手することが可能となる。ライトフィールド技術は、例えば、特許文献１、及び、特許文献２に記載のように、２次元的な光の強度分布、及び、視差情報をベースとして、様々な方式が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−４４７１号公報
【特許文献２】特開２０１２−１９１３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、撮像装置が絞り優先ＡＥモードのとき、ユーザが設定した絞り値で撮影する際に必要な光量を確保するために、撮像装置がシャッタースピードを低速側に設定することがある。シャッタースピードが低速側に設定されると、手ぶれによって画像が乱れる可能性が高くなり、ユーザの望む撮影画像が得られないケースがある。
このようなケースを回避するために、安全機能を備える撮像装置がある。安全機能は、ユーザが設定した絞り値で撮影する際に必要な光量を確保するためのシャッタースピードが、予め定められたシャッタースピードの変更範囲を下回った場合に、次のように絞り値を開放側に変更する。すなわち、シャッター速度を所定の低速限界値として撮影できるようにユーザが設定した絞り値を開放側に変更する機能である。安全機能により、手ぶれによって画像が乱れる可能性が低減する。
しかしながら、安全機能によってユーザが設定した絞り値が変更された場合、被写界深度が浅くなり、ピントも厳しくなるという問題がある。
【０００６】
また、特許文献１や特許文献２の例では、ライトフィールドカメラでＪＰＥＧのような通常の静止画を保存したい場合、撮影後に改めてフォーカスを設定して通常の静止画を作成する作業が必要となる。ユーザが撮影時に希望した被写界深度がどの程度のものなのかをユーザが画像を見ながら調整する必要があり、煩雑である。
【０００７】
本発明は、煩雑さを回避しつつ、ユーザの望む被写界深度を有する画像を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮影で用いられる絞り値を第１絞り値に設定する設定手段と、前記第１絞り値から決定されるシャッタースピードに基づいて、撮影で用いられる絞り値を、前記第１絞り値より小さい第２絞り値に変更する変更手段と、前記変更手段によって絞り値が前記第２絞り値に変更された場合、絞り値を前記第２絞り値とした撮影によって、リフォーカス可能なライトフィールド画像を撮像手段から取得するように制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、煩雑さを回避しつつ、ユーザの望む被写界深度を有する画像を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】デジタルカメラのハードウェア構成図である。
【図２】撮像部の構造を表す図である。
【図３】デジタルカメラの第１の機能構成図である。
【図４】撮影処理のフローチャートである。
【図５】絞り値変更処理のフローチャートである。
【図６】撮影画像のイメージ図である。
【図７】デジタルカメラの第２の機能構成図である。
【図８】所定深度画像保存処理のフローチャートである。
【図９】リフォーカス範囲を説明する概念図である。
【発明を実施するための形態】
【００１１】
まず、図１を参照して、撮像装置、画像処理装置、及び、画像処理システムの例であるデジタルカメラ１００のハードウェア構成について説明する。図１は、デジタルカメラ１００のハードウェア構成図である。
制御部１０１は、入力された信号や、後述のプログラムに従ってデジタルカメラ１００の各部を制御する。なお、制御部１０１がデジタルカメラ１００全体を制御する代わりに、複数のハードウェアが処理を分担することで、デジタルカメラ１００を制御してもよい。制御部１０１が不揮発性メモリ１０３に記録されたプログラムを作業用メモリ１０４に展開し、展開されたプログラムを制御部１０１が実行することで、図３、図７の機能や、図４、図５、図８の処理が実現される。
【００１２】
撮像部１０２は、撮像部１０２に含まれるメインレンズ２２０で結像された被写体光を電気信号に変換し、ノイズ低減処理等を行い、画像としてデジタルデータを出力する。撮像部１０２が出力した画像は、バッファメモリに蓄えられた後、制御部１０１が所定の演算を行い、記録媒体１１０に記録する。
ここで、図２を参照して、撮像部１０２の構造について説明する。図２（ａ）は、撮像部１０２を横から見たときの構造を表す図である。図２（ｂ）は、撮像部１０２を正面から見たときの構造を表す図である。なお、図２（ａ）、図２（ｂ）は、撮像素子２００の一部のみが示されているが、実際は、図２（ａ）、図２（ｂ）に示す構造が、撮像素子２００の画素数分続く。また、図２（ｂ）では、メインレンズ２２０は省略されている。
一般的に、一つのセンサの上にマイクロレンズアレイを配置することで、ライトフィールド画像のデータを得ることが可能となる。本実施形態も、同様の構成となる。ライトフィールド画像は、リフォーカス可能な画像であり、被写界深度を変更するリフォーカス処理により、所定の被写界深度を有する画像を生成できる。
【００１３】
撮像部１０２は、撮像素子２００と、マイクロレンズアレイ２１０と、メインレンズ２２０とを備える。メインレンズ２２０は、デジタルカメラ１００に対して着脱自在であってもよい。
撮像素子２００は、メインレンズ２２０を通った被写体光を電気信号に変換する。撮像素子２００は、二次元状に配置された複数の画素領域２０１から構成される。それぞれの画素領域２０１は、複数の画素２０２からなる。本実施形態は、画素領域２０１は、５行５列の画素２０２を備えるものとする。
マイクロレンズアレイ２１０は、小型のレンズであるマイクロレンズ２１１を複数備える。マイクロレンズアレイ２１０は、図２（ａ）に示すように、メインレンズ２２０と、撮像素子２００との間に配置される。マイクロレンズアレイ２１０は、１つの画素領域２０１に対して１つのマイクロレンズが対応するように、撮像素子２００の表面に配置される。
【００１４】
撮像素子２００が、マイクロレンズアレイ２１０を通った被写体光から電気信号を出力することで、制御部１０１は、撮像部１０２から、撮像部１０２の一度の撮影で、ライトフィールド画像として、視点の異なる複数の視差画像を取得できる。
より具体的には、例えば、撮像素子２００は、画素領域２０１のそれぞれの画素２０２ごとに電気信号を出力する。制御部１０１は、画素領域２０１の画素２０２ごとに電気信号に対応するデジタルデータを取得することで、複数の視差画像を取得できる。
撮像部１０２は、ここで説明した構造以外の構造であってもよく、制御部１０１が、ライトフィールド画像を取得できるものであればよい。
本実施形態では、制御部１０１は、ライトフィールド画像を、生の画像のデータであるＲＡＷ画像として記録する。制御部１０１は、取得したライトフィールド画像にリフォーカス処理を行うことで、通常画像を生成することが可能となる。
【００１５】
制御部１０１は、撮像部１０２から、通常画像を取得することもできる。通常画像は、ライトフィールド画像ではない通常の画像であり、リフォーカス処理を行うことができない。また、通常画像は、所定の絞り値に対応する被写界深度を有する画像である。
撮像素子２００は、例えば、画素領域２０１ごとに、画素領域２０１に含まれる画素２０２が出力する電気信号を加算した電気信号を出力する。制御部１０１は、画素領域２０１ごとの電気信号に対応するデジタルデータを取得することで、通常画像を取得する。
【００１６】
不揮発性メモリ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部１０１で実行されるプログラム等が格納される。
作業用メモリ１０４は、撮像部１０２で撮影された画像を一時的に保持するバッファメモリや、表示部１０６の画像表示用メモリ、制御部１０１の作業領域等として使用される。
操作部１０５は、デジタルカメラ１００に対する指示をユーザから受け付けるために用いられる。操作部１０５は、例えば、ユーザがデジタルカメラ１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、撮影を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタン等の操作部材を含む。また、操作部１０５は、表示部１０６に形成されるタッチパネルも含む。
【００１７】
表示部１０６は、撮影の際のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示等を行う。なお、表示部１０６は必ずしもデジタルカメラ１００が内蔵する必要はない。デジタルカメラ１００は内部又は外部の表示部１０６と接続することができ、表示部１０６の表示を制御する表示制御機能を少なくとも有していればよい。
記録媒体１１０は、データを記録可能な記録領域であり、撮像部１０２から出力された画像データを記録することができる。記録媒体１１０は、デジタルカメラ１００に着脱可能なよう構成してもよいし、デジタルカメラ１００に内蔵されていてもよい。すなわち、デジタルカメラ１００は少なくとも記録媒体１１０にアクセスする手段を有していればよい。
【００１８】
次に、図３を参照して、撮影処理を行うための必要なデジタルカメラ１００が備える機能について説明する。図３は、デジタルカメラの第１の機能構成図である。
デジタルカメラ１００は、撮影管理部３００と、撮影部３０１と、絞り値変更部３０２と、絞り値変更情報生成部３０３と、視差画像取得部３０４と、画像保存部３０５とを備える。
【００１９】
撮影管理部３００は、デジタルカメラ１００の撮影処理を管理する。
撮影部３０１は、撮像部１０２を制御して、撮影を行う。
絞り値変更部３０２は、絞り優先ＡＥモードのとき、ユーザによって設定された絞り値を変更したり、維持したりする。
絞り値変更情報生成部３０３は、後述の絞り値変更情報を含む撮影画像の付帯情報を生成する。
視差画像取得部３０４は、撮像部１０２から複数の視差画像を取得する。
画像保存部３０５は、視差画像や付帯情報をまとめて１つのＲＡＷ画像ファイルとして、所定の出力先である記録媒体１１０に保存する。なお、画像保存部３０５は、記録媒体１１０以外の出力先にＲＡＷ画像ファイルを出力してもよい。
【００２０】
次に、図４を参照して、撮影処理について説明する。図４は、撮影処理のフローチャートである。図４では、デジタルカメラ１００が絞り優先ＡＥモードのときの撮影処理を説明する。
絞り優先ＡＥモードは、原則として、ユーザによって設定された絞り値を用いて撮影を行うデジタルカメラ１００の撮影モードである。ただし、デジタルカメラ１００は、ユーザによって設定された絞り値を用いた撮影では所定の露光量を確保するためのシャッタースピードが遅くなって、手ぶれ画像が撮影される可能性が高いとき、次のように撮影する。すなわち、絞り値を、ユーザによって設定された絞り値より小さく（開放側に）し、シャッタースピードを、ユーザによって設定された絞り値に対応するシャッタースピードより速くして、撮影する。デジタルカメラ１００は、このようにユーザによって設定された絞り値を変更する安全機能を備える。
【００２１】
ステップＳ４００に先立って、撮影管理部３００は、操作部１０５を介して、ユーザによる絞り優先ＡＥモードでの絞り値の指定を受け付けて、例えば、不揮発性メモリ１０３に保存することで、デジタルカメラ１００に絞り値を設定する。ここで設定された絞り値が、ユーザによって設定された絞り値である。
また、撮影管理部３００は、操作部１０５を介して、デジタルカメラ１００を絞り優先ＡＥモードにするユーザの操作を受け付けたものとする。
ステップＳ４００において、撮影管理部３００は、デジタルカメラ１００の撮影モードを、絞り優先ＡＥモードに設定する。
ステップＳ４０１において、絞り値変更部３０２は、絞り値変更処理を行う。ここで、図５を参照して、絞り値変更処理について説明する。図５は、絞り値変更処理のフローチャートである。
【００２２】
ステップＳ５００において、絞り値変更部３０２は、測光を行う。絞り値変更部３０２は、デジタルカメラ１００が備える測光装置を用いて測光を行ってもよく、撮像素子２００の出力信号に基づいて測光を行ってもよい。
ステップＳ５０１において、絞り値変更部３０２は、ステップＳ５００での測光の結果、及び、ユーザによって設定された絞り値に基づいて、撮影に必要な所定の露光量を確保するためのシャッタースピードを決定する。
【００２３】
ステップＳ５０２において、絞り値変更部３０２は、ステップＳ５０１で決定されたシャッタースピードが低速限界値以下であるか否かを判定する。シャッタースピードが低速限界値以下とは、シャッタースピードが低速限界値であること、及び、シャッタースピードが低速限界値より遅いこと、のいずれかを満たす場合のことである。
シャッタースピードには、設定可能範囲が定められている。設定可能範囲の下限値が低速限界値である。低速限界値は、シャッタースピードが低速限界値より遅くなると手ぶれによってユーザが望むような撮影画像を得られない可能性が高い、と推定される値である。設定可能範囲は、予め定められており、不揮発性メモリ１０３に保存されている。また、設定可能範囲は、ユーザの操作に基づいて、撮影管理部３００等が設定可能であってもよい。
絞り値変更部３０２は、ステップＳ５０１で決定されたシャッタースピードが低速限界値以下のとき処理をステップＳ５０３に進める。
また、絞り値変更部３０２は、ステップＳ５０１で決定されたシャッタースピードが低速限界値より大きいとき、ユーザによって設定された絞り値を変更せずに維持して、処理を図４のステップＳ４０２に進める。ユーザによって設定された絞り値が維持されたとき、図４のステップＳ４０３又はステップＳ４０５では、ステップＳ５０１で決定されたシャッタースピードで撮影が行われる。シャッタースピードが低速限界値より大きいとは、シャッタースピードが低速限界値より速いことである。
【００２４】
ステップＳ５０３において、絞り値変更部３０２は、ステップＳ５００での測光の結果、及び、低速限界値としたシャッタースピードに基づいて、撮影に必要な所定の露光量を確保するための絞り値を決定する。ここで決定される絞り値は、所定の露光量を確保するために、ユーザによって設定された絞り値より小さく（開放側に）なる。次に、絞り値変更部３０２は、決定した絞り値を、例えば、不揮発性メモリ１０３に保存することで、デジタルカメラ１００に絞り値を設定する。こうして、絞り値変更部３０２は、ユーザによって設定された絞り値を、ステップＳ５０３で決定された絞り値に変更する。絞り値変更部３０２は、ユーザによって設定された絞り値を変更したことを表す情報、ユーザによって設定された絞り値、及び、変更後の絞り値を作業用メモリ１０４に記録する。次に、絞り値変更部３０２は、処理を図４のステップＳ４０２に進める。
ユーザによって設定された絞り値が変更されたとき、図４のステップＳ４０３又はステップＳ４０５では、シャッタースピードを低速限界値として撮影が行われる。
【００２５】
図４のステップＳ４０２において、撮影管理部３００は、図５の絞り値変更処理で絞り値が変更されたか否かを判定する。撮影管理部３００は、絞り値変更処理で絞り値が変更されたとき処理をステップＳ４０５に進め、変更されていないとき処理をステップＳ４０３に進める。
ステップＳ４０３において、撮影部３０１は、ユーザによって設定された絞り値、及び、図５のステップＳ５０１で決定されたシャッタースピードで、撮像部１０２を制御して、通常画像を取得できるように撮影を実行する。そして、撮影部３０１は、撮像部１０２から通常画像を取得する。
ステップＳ４０４において、画像保存部３０５は、ステップＳ４０３で取得された通常画像が記録されたＲＡＷ画像ファイルを作成して、記録媒体１１０に保存する。ＲＡＷ画像ファイルには、撮影に関する付帯情報を保存してもよい。付帯情報には、絞り値変更情報として、ユーザによって設定された絞り値が維持されて画像が撮影されたことを表す情報を含めてもよい。
【００２６】
ステップＳ４０５において、撮影部３０１は、撮像部１０２を制御して、絞り値を図５のステップＳ５０３で変更された絞り値とし、シャッタースピードを低速限界値として、複数の視差画像を取得できるように、撮影を実行する。
ステップＳ４０６において、絞り値変更情報生成部３０３は、絞り値変更情報を含む付帯情報を生成する。絞り値変更情報は、図５の絞り値変更処理で行われた絞り値の変更に関する情報である。絞り値変更情報には、ユーザによって設定された絞り値が変更されたことを表す情報、変更前の絞り値、変更後の絞り値、及び、後述のリフォーカス処理で必要な情報が含まれる。変更前の絞り値が、ユーザによって設定された絞り値である。
【００２７】
ステップＳ４０７において、視差画像取得部３０４は、撮像部１０２から複数の視差画像を取得する。
ステップＳ４０８において、画像保存部３０５は、ステップＳ４０６で生成された付帯情報、及び、ステップＳ４０７で取得された複数の視差画像が記録されたＲＡＷ画像ファイルを作成して、記録媒体１１０に保存する。
【００２８】
図５に示す処理によって絞り値とシャッタースピードとを決定する機能を、絞り優先ＡＥモードでのユーザ設定絞り値変更機能と呼ぶ。ユーザ設定絞り値変更機能により、ユーザが設定した絞り値に基づいて決定されたシャッタースピードが低速すぎて、結果、手ぶれした画像になってしまうという失敗を避けることができ、ともかく使える撮影画像が欲しいというユーザには重要な機能である。
【００２９】
しかし、ユーザ設定絞り値変更機能では、次に説明するように、ユーザの意図どおりの撮影画像が得られないことがある。
例えば、デジタルカメラ１００が絞り優先ＡＥモードであり、ユーザが、絞り値をＦ８に設定して、図６（ａ）に示すように、被写界深度が深く前景から遠景までピントのあった風景の撮影画像（写真）を撮影しているケースを想定する。
【００３０】
ユーザの撮影中に天候が変わって暗くなり、図５のステップＳ５０３で絞り値がＦ５．６に変更されたとする。この場合、デジタルカメラ１００が絞り値をＦ５．６として撮影した画像が通常画像だとすると、デジタルカメラ１００が撮影した撮影画像の被写界深度は、図６（ｂ）に示すように、絞り値Ｆ５．６に対応する浅いものになり、遠景がぼけた画像になる。このように遠景がぼけた画像は、ユーザが意図したものとはいえない。
しかしながら、本実施形態では、ユーザによって設定された絞り値が変更されたときは、図４のステップＳ４０５からＳ４０８までの処理によって、複数の視差画像が保存される。よって、ユーザによって設定された絞り値が変更されたとき、次に説明する所定深度画像保存処理によって、複数の視差画像に基づいて、ユーザによって設定された絞り値に対応する被写界深度を有する画像を生成できる。したがって、ユーザが意図した画像の生成が可能となる。
【００３１】
次に、図７を参照して、ユーザによって設定された絞り値に対応する被写界深度を有する画像を保存する所定深度画像保存処理を行うための必要なデジタルカメラ１００が備える機能について説明する。図７は、デジタルカメラの第２の機能構成図である。
デジタルカメラ１００は、画像処理管理部７００と、画像取得部７０１と、絞り値変更情報取得部７０２と、リフォーカス実行部７０３と、ＲＡＷ画像現像部７０４と、表示可能画像保存部７０５とを備える。
本実施形態では、図７に示す各部はデジタルカメラ１００が備える。しかし、図７に示す各部は、デジタルカメラ１００以外の情報処理装置である画像処理装置が備えていてもよい。
【００３２】
画像処理管理部７００は、デジタルカメラ１００の所定深度画像保存処理を管理する。
画像取得部７０１は、画像保存部３０５によって保存されたＲＡＷ画像ファイルを読込んで、画像を取得する。
絞り値変更情報取得部７０２は、画像保存部３０５によって保存されたＲＡＷ画像ファイルから絞り値変更情報を取得して作業用メモリ１０４に展開する。
リフォーカス実行部７０３は、リフォーカス処理を行う。より具体的には、リフォーカス実行部７０３は、複数の視差画像に基づいて、ユーザによって設定された絞り値に対応する被写界深度を有する画像であるリフォーカス画像を生成する。
ＲＡＷ画像現像部７０４は、ＲＡＷ画像を現像して、情報処理装置で表示できる形式の画像フォーマットに変換する。情報処理装置で表示できる形式の画像フォーマットの例として、ＪＰＥＧが挙げられる。
表示可能画像保存部７０５は、ＲＡＷ画像現像部７０４によって変換された画像を記録媒体１１０に保存する。
【００３３】
次に、図８を参照して、所定深度画像保存処理について説明する。図８は、所定深度画像保存処理のフローチャートである。所定深度画像保存処理は、画像処理管理部７００が、図７に示す各部に命令を発行することで実行される。
ステップＳ８００において、画像取得部７０１は、画像保存部３０５によって保存されたＲＡＷ画像ファイルを読込む。
ステップＳ８０１において、絞り値変更情報取得部７０２は、ステップＳ８００で読み込まれたＲＡＷ画像ファイルに含まれる付帯情報から絞り値変更情報を取得する。
ステップＳ８０２において、絞り値変更情報取得部７０２は、絞り値変更情報に基づいて、ユーザによって設定された絞り値が変更されて撮影されたか否かを判定する。図５のステップＳ５０３で絞り値が変更されて撮影された場合が、ユーザによって設定された絞り値が変更されて撮影された場合に相当する。絞り値変更情報取得部７０２は、絞り値が変更されて撮影されたとき処理をステップＳ８０４に進め、変更されずに撮影されたとき処理をステップＳ８０３に進める。
ステップＳ８０３において、ＲＡＷ画像現像部７０４は、ステップＳ８００で読み込まれたＲＡＷ画像ファイルに含まれる通常画像の現像処理を行って、情報処理装置で表示できる形式の画像フォーマットに変換する。
【００３４】
ステップＳ８０４において、画像取得部７０１は、ステップＳ８００で読み込まれたＲＡＷ画像ファイルに含まれるライトフィールド画像を取得する。本実施形態において、ライトフィールド画像は複数の視差画像である。
以降のステップＳ８０５からＳ８０８までの処理によって、リフォーカス実行部７０３はリフォーカス処理を実行する。
ステップＳ８０５において、リフォーカス実行部７０３は、ステップＳ８０１で取得された絞り値変更情報に基づいて、目標被写界深度、及び、撮影被写界深度を決定する。目標被写界深度は、ユーザによって設定された絞り値に対応する被写界深度である。撮影被写界深度は、図５のステップＳ５０３で変更された絞り値、すなわち、撮影時に使用された絞り値に対応する被写界深度である。
被写界深度は、次の式（１）から式（４）までを使うことで算出できる。
【００３５】
【数１】
2018164150.tif 000003
【００３６】
ここでＤＯＦは被写界深度である。Ｄｎは、前方被写界深度であり、被写体からデジタルカメラ１００側の合焦範囲である。Ｄｆは、後方被写界深度であり、被写体から無限遠側の合焦範囲である。また、Ｈは過焦点距離、ｆはレンズの焦点距離、ｓは被写体距離、Ｎは絞り値、ｃは許容錯乱円の直径である。
【００３７】
リフォーカス実行部７０３は、絞り値Ｎに、ユーザによって設定された絞り値を代入して算出した被写界深度ＤＯＦを目標被写界深度とする。また、リフォーカス実行部７０３は、絞り値Ｎに、撮影時に使用された絞り値を代入して算出した被写界深度ＤＯＦを撮影被写界深度とする。
被写界深度ＤＯＦの算出に必要なレンズの焦点距離ｆ、被写体距離ｓ、及び、許容錯乱円の直径ｃは、例えば、ＲＡＷ画像ファイルの絞り値変更情報に含まれるものとする。なお、レンズの焦点距離ｆ、被写体距離ｓ、及び、許容錯乱円の直径ｃの決定に必要な基礎情報がＲＡＷ画像ファイルの絞り値変更情報に含まれていてもよい。リフォーカス実行部７０３は、この基礎情報に基づいて、レンズの焦点距離ｆ、被写体距離ｓ、及び、許容錯乱円の直径ｃの少なくとも１つを決定してもよい。
【００３８】
ステップＳ８０６において、リフォーカス実行部７０３は、ステップＳ８０４で取得された複数の視差画像に基づいて、深度を表現する距離マップを生成する。なお、左右方向等に視差を有する視差画像から距離マップを生成する処理は、例えばＳＳＤＡ法（残差逐次検定法）や面積相関法等の公知の技術を用いることができるため、本実施形態ではこれらの技術を用いることとし、詳細の説明は省略する。
ステップＳ８０７において、リフォーカス実行部７０３は、目標被写界深度、及び、撮影被写界深度に基づいて、リフォーカス範囲を決定する。
【００３９】
ここで、図９を参照して、ステップＳ８０７で決定されるリフォーカス範囲について説明する。図９は、リフォーカス範囲を説明する概念図である。
図９の例では、ユーザ９００は、デジタルカメラ１００を構える撮影者である。ユーザ９００から見て無限遠方向に向かって、第１被写体９０１ａ、第２被写体９０１ｂ、及び、第３被写体９０１ｃの順で被写体９０１が並べられている。
図９に示す目標被写界深度９０２は、ユーザによって設定された絞り値に対応する被写界深度であり、図８のステップＳ８０５で決定された目標被写界深度である。したがって、目標被写界深度９０２は、目標とする被写界深度となる。
図９に示す撮影被写界深度９０３は、図５のステップＳ５０３で変更された絞り値、すなわち、撮影時に使用された絞り値に対応する被写界深度であり、図８のステップＳ８０５で決定された撮影被写界深度である。
【００４０】
図５のステップＳ５０３で変更された絞り値は、ユーザによって設定された絞り値よりも小さい。したがって、撮影被写界深度９０３は目標被写界深度９０２より浅い。目標被写界深度９０２と撮影被写界深度９０３との差分となる被写界深度が差分被写界深度９０４である。本実施形態において、差分被写界深度９０４が、ステップＳ８０７で決定されるリフォーカス範囲である。差分被写界深度９０４は、第１差分被写界深度９０４ａ、及び、第２差分被写界深度９０４ｂからなる。第１差分被写界深度９０４ａは、差分被写界深度９０４のうち、撮影被写界深度９０３よりもユーザ９００側の部分である。第２差分被写界深度９０４ｂは、差分被写界深度９０４のうち、撮影被写界深度９０３よりもユーザ９００から見て無限遠側の部分である。
【００４１】
ステップＳ８０８において、リフォーカス実行部７０３は、ステップＳ８０７で決定されたリフォーカス範囲と、ステップＳ８０６で生成された距離マップとの対応付けを行う。そして、リフォーカス実行部７０３は、ステップＳ８０４で取得された視差画像から、目標被写界深度９０２のリフォーカス画像を生成する。より具体的には、リフォーカス実行部７０３は、視差画像から、第１差分被写界深度９０４ａを有するリフォーカス画像と、第２差分被写界深度９０４ｂを有するリフォーカス画像と、撮影被写界深度９０３を有するリフォーカス画像とを生成する。そして、リフォーカス実行部７０３は、生成した３つのリフォーカス画像を合成して、目標被写界深度９０２を有するリフォーカス画像を生成する。なお、視差画像から焦点位置を変更した画像を生成する手法として公知の方法を用いることができるため、本実施形態では詳細の説明を省略する。
【００４２】
ステップＳ８０９において、ＲＡＷ画像現像部７０４は、ステップＳ８０９生成された目標被写界深度９０２を有するリフォーカス画像の現像処理を行って、情報処理装置で表示できる形式の画像フォーマットに変換する。
ステップＳ８１０において、表示可能画像保存部７０５は、ステップＳ８０３又はステップＳ８０９で現像された画像のファイルを記録媒体１１０に保存する。
【００４３】
以上説明したように、本実施形態では、ユーザによって設定された絞り値ではシャッタースピードが遅くなり手ぶれ画像が撮影される可能性が高くなる場合、視差画像取得部３０４は、絞り値を小さくして撮影されたライトフィールド画像を取得する。そして、リフォーカス実行部７０３は、ライトフィールド画像に基づいて、ユーザによって設定された絞り値に対応する被写界深度を有する画像を生成する。したがって、ユーザは、絞り値が変更された場合であっても望んだ被写界深度を有する画像を得ることができる。また、ユーザは、ユーザの望む被写界深度を有する画像を得るにあたって、特別な操作をする必要がない。したがって、ユーザの操作が煩雑になることが回避される。
【００４４】
また、ユーザによって設定された絞り値が変更されたとき、視差画像取得部３０４は、絞り値を変更後の絞り値としシャッタースピードを低速限界値とした撮影による画像を取得する。したがって、必要な露光量が確保され、手ぶれの可能性が低減した画像を得ることができる。
【００４５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上述実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００４６】
１００  デジタルカメラ、１０１  制御部、３００  撮影管理部、３０１  撮影部、３０２  絞り値変更部、３０３  絞り値変更情報生成部、３０４  視差画像取得部、３０５  画像保存部
【図１】
2018164150.tif 000004
【図２】
2018164150.tif 000005
【図３】
2018164150.tif 000006
【図４】
2018164150.tif 000007
【図５】
2018164150.tif 000008
【図６】
2018164150.tif 000009
【図７】
2018164150.tif 000010
【図８】
2018164150.tif 000011
【図９】
2018164150.tif 000012