(57)【要約】【課題】ライトフィールド技術によって得られた複数のＲＡＷデータから容易に所望の焦点を持つ現像済画像ファイルを生成する。【解決手段】ユーザ操作によって、撮像の際に、異なる焦点を有する複数の画像を含むライトフィールド画像を記録する第１の記録モードおよび焦点が設定された現像済画像ファイルを記録する第２の記録モードのいずれか一方が記録モードとして選択して設定され、さらに、表示部２０７にレックレビューされた際に画像において少なくとも一つのフォーカス位置をフォーカス情報として設定されると、制御部２０１は選択された記録モードおよびフォーカス情報に基づいて、ライトフィールド画像に応じたＲＡＷ画像ファイルを生成するか又は現像済画像ファイルを生成する。そして、ＲＡＷ画像ファイルを生成して記録媒体２０４に記録する際には、制御部はＲＡＷ画像ファイルにフォーカス情報を付加する。【選択図】図５
2015198391.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
撮像の際に、異なる焦点を有する複数のＲＡＷデータを記録する第１の記録モードおよび現像済の画像データを記録する第２の記録モードのいずれか一方を選択する選択手段と、
撮像処理により得られた画像データが表示部にレックレビューされた際に、前記画像データにおいて少なくとも一つのフォーカス位置をフォーカス情報として設定する第１のフォーカス設定手段と、
前記選択された記録モードおよび前記フォーカス情報に基づいて、前記複数のＲＡＷデータを含むＲＡＷ画像ファイルを生成するか又は前記現像済の画像データを含む現像済画像ファイルを生成するかを決定する決定手段と、
前記決定手段による決定に応じて前記ＲＡＷ画像ファイルを生成して記録部に記録する際に前記ＲＡＷ画像ファイルに前記フォーカス情報を付加する画像生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記画像生成手段は、前記決定手段による決定に応じて前記現像済画像ファイルを生成して記録部に記録する際に前記第１のフォーカス設定手段で設定されたフォーカス情報の数に対応する前記現像済画像ファイルを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１のフォーカス設定手段は、前記レックレビューが行われた後、所定の時間が経過してもユーザ操作によるフォーカス位置の設定がないと前記フォーカス情報の設定を停止することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記第１のフォーカス設定手段によって前記フォーカス情報の設定が行われないと、前記画像生成手段は、パンフォーカスで現像済画像ファイルを生成するか又はフォーカス情報が付加されないＲＡＷ画像ファイルを生成することを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
撮影操作を行う前に前記表示部に表示された画像において前記フォーカス情報を設定する第２のフォーカス設定手段と、
前記第１のフォーカス設定手段および前記第２のフォーカス設定手段の各々によって前記フォーカス情報が設定されると、前記レックレビューの際に、前記第１のフォーカス設定手段で設定されたフォーカス情報および前記第２のフォーカス設定手段で設定されたフォーカス情報に応じて、前記表示部に表示されるフォーカス位置の表示形態を互いに異ならせる表示制御手段とを有することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１のフォーカス設定手段は、ユーザ操作に応じて前記フォーカス情報の追加および変更を行うことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
撮像装置の制御方法であって、
撮像の際に、異なる焦点を有する複数のＲＡＷデータを記録する第１の記録モードおよび現像済の画像データを記録する第２の記録モードのいずれか一方を選択する選択ステップと、
撮像処理により得られた画像データが表示部にレックレビューされた際に、前記画像データにおいて少なくとも一つのフォーカス位置をフォーカス情報として設定するフォーカス設定ステップと、
前記選択された記録モードおよび前記フォーカス情報に基づいて、前記複数のＲＡＷデータを含むＲＡＷ画像ファイルを生成するか又は前記現像済の画像データを含む現像済画像ファイルを生成するかを決定する決定ステップと、
前記決定ステップによる決定に応じて前記ＲＡＷ画像ファイルを生成して記録部に記録する際に前記ＲＡＷ画像ファイルに前記フォーカス情報を付加する画像生成ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項８】
撮像装置で用いられるプログラムであって、
前記撮像装置が備えるコンピュータに、
撮像の際に、異なる焦点を有する複数のＲＡＷデータを記録する第１の記録モードおよび現像済の画像データを記録する第２の記録モードのいずれか一方を選択する選択ステップと、
撮像処理により得られた画像データが表示部にレックレビューされた際に、前記画像データにおいて少なくとも一つのフォーカス位置をフォーカス情報として設定するフォーカス設定ステップと、
前記選択された記録モードおよび前記フォーカス情報に基づいて、前記複数のＲＡＷデータを含むＲＡＷ画像ファイルを生成するか又は前記現像済の画像データを含む現像済画像ファイルを生成するかを決定する決定ステップと、
前記決定ステップによる決定に応じて前記ＲＡＷ画像ファイルを生成して記録部に記録する際に前記ＲＡＷ画像ファイルに前記フォーカス情報を付加する画像生成ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
画像処理装置の一つとして、例えば、デジタルカメラなどの撮像装置がある。そして、所謂ライトフィールド技術を用いることによって、撮影の後に焦点距離を変更した画像を生成するリフォーカス機能を備えるライトフィールドカメラと呼ばれる撮像装置が知られている。
【０００３】
ライトフィールドカメラを用いて撮影を行った場合、一般的に、イメージセンサー（撮像素子）で得られた未処理の画像データ（ＲＡＷデータ）がメモリに記録される（特許文献１参照）。
【０００４】
このため、ライトフィールドカメラで得られた撮影結果を表示部に表示する際には、撮影の後に必ず焦点距離を決定して、当該焦点距離に基づいて複数のＲＡＷデータに対してレンダリング処理を行う必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、特許文献１においては、ライトフィールドカメラにおいて、例えば、ＪＰＥＧでフォーマットされた静止画像ファイルをメモリ保存したい場合には、撮影の後に改めてフォーカスを設定して静止画像ファイルを生成する作成する必要がある。このため、ユーザにとっては静止画像ファイルの生成に手間が掛ってしまうことになる。
【０００７】
従って、本発明の目的は、ライトフィールド技術によって得られた画像データから容易に現像済画像ファイルを生成することのできる撮像装置、撮像装置の制御方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明による撮像装置は、撮像の際に、異なる焦点を有する複数のＲＡＷデータを記録する第１の記録モードおよび現像済の画像データを記録する第２の記録モードのいずれか一方を選択する選択手段と、撮像処理により得られた画像データが表示部にレックレビューされた際に、前記画像データにおいて少なくとも一つのフォーカス位置をフォーカス情報として設定する第１のフォーカス設定手段と、前記選択された記録モードおよび前記フォーカス情報に基づいて、前記複数のＲＡＷデータを含むＲＡＷ画像ファイルを生成するか又は前記現像済の画像データを含む現像済画像ファイルを生成するかを決定する決定手段と、前記決定手段による決定に応じて前記ＲＡＷ画像ファイルを生成して記録部に記録する際に前記ＲＡＷ画像ファイルに前記フォーカス情報を付加する画像生成手段と、を有することを特徴とする。
【０００９】
本発明による撮像装置の制御方法は、撮像の際に、異なる焦点を有する複数のＲＡＷデータを記録する第１の記録モードおよび現像済の画像データを記録する第２の記録モードのいずれか一方を選択する選択ステップと、撮像処理により得られた画像データが表示部にレックレビューされた際に、前記画像データにおいて少なくとも一つのフォーカス位置をフォーカス情報として設定するフォーカス設定ステップと、前記選択された記録モードおよび前記フォーカス情報に基づいて、前記複数のＲＡＷデータを含むＲＡＷ画像ファイルを生成するか又は前記現像済の画像データを含む現像済画像ファイルを生成するかを決定する決定ステップと、前記決定ステップによる決定に応じて前記ＲＡＷ画像ファイルを生成して記録部に記録する際に前記ＲＡＷ画像ファイルに前記フォーカス情報を付加する画像生成ステップと、を有することを特徴とする。
【００１０】
本発明によるプログラムは、撮像装置が備えるコンピュータに、撮像の際に、異なる焦点を有する複数のＲＡＷデータを記録する第１の記録モードおよび現像済の画像データを記録する第２の記録モードのいずれか一方を選択する選択ステップと、撮像処理により得られた画像データが表示部にレックレビューされた際に、前記画像データにおいて少なくとも一つのフォーカス位置をフォーカス情報として設定するフォーカス設定ステップと、前記選択された記録モードおよび前記フォーカス情報に基づいて、前記複数のＲＡＷデータを含むＲＡＷ画像ファイルを生成するか又は前記現像済の画像データを含む現像済画像ファイルを生成するかを決定する決定ステップと、前記決定ステップによる決定に応じて前記ＲＡＷ画像ファイルを生成して記録部に記録する際に前記ＲＡＷ画像ファイルに前記フォーカス情報を付加する画像生成ステップと、を実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、記録モードおよびフォーカス情報に基づいて、ライトフィールド画像に応じたＲＡＷ画像ファイルを生成するか又は現像済画像ファイルを生成するかを決定する。そして、ＲＡＷ画像ファイルを生成して記録部に記録する際にはＲＡＷ画像ファイルにフォーカス情報を付加する。これによって、ライトフィールド技術によって得られたＲＡＷ形式のデータから容易に所望のフォーカスを持つ現像済画像ファイルを生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態による画像処理装置の一つである撮像装置を背面側から示す図である。
【図２】図１に示すカメラのハードウェア構成の一例を示すブロック図である。
【図３】図２に示す撮像部の構成についてその一例を説明するための図であり、（ａ）は撮像部を側方から概略的に示す図、（ｂ）は撮像部を正面側から概略的に示す図である。
【図４】図２に示すカメラにおける撮影処理を説明するためのフローチャートである。
【図５】図４に示すフォーカス設定保存処理を説明するためのフローチャートである。
【図６】図５に示す処理で生成されるＲＡＷ画像ファイルの構造の一例を示す図である。
【図７】本発明の第２の実施形態に係るカメラで行われる撮影処理を説明するためのフローチャートである。
【図８】図７に示すフォーカス設定保存処理を説明するためのフローチャートである。
【図９】本発明の第２の実施形態によるカメラで行われる枠線の表示を説明するための図であり、（ａ）はフォーカス情報が設定されていない状態における撮影操作前の表示画像の一例を示す図、（ｂ）は撮影操作前にフォーカス設定を行った際の表示画像の一例を示す図、（ｃ）はレックレビュー表示の際にフォーカス設定を行った際の表示画像の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態による画像処理装置の一例について、図面を参照して説明する。
【００１４】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一つである撮像装置を背面側から示す図である。
【００１５】
図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１００である。カメラ１００は現像処理が未処理のＲＡＷ形式の画像データ（ＲＡＷデータ）とＪＰＥＧやＴＩＦＦなどの現像処理済みの画像データいずれかを記録することができる。
【００１６】
ここでは、カメラ１００は撮像素子で光量を測定した画像データを直接出力し、所謂ライトフィールド技術によって得られた異なる焦点を有する複数のＲＡＷデータをライトフィールド画像として記録するものとする。さらに、カメラ１００は撮影直後のレックレビューの際に、後述するように、フォーカス設定を行うことができる。
【００１７】
さらに、カメラ１００は少なくとも撮影モードおよび再生モードを備えている。そして、撮影モードの際には、ユーザは撮影によって得られたＲＡＷデータを記録するか又は現像済の画像データとしてＪＰＥＧ形式のデータ（ＪＰＥＧデータ）を記録するかを選択して設定することができる。
【００１８】
図１において、カメラ１００は、その背面にユーザインタフェース１０１を備えており、ユーザインタフェース１０１は、撮影の結果得られた画像（撮影画像）又は再生画像などを表示するモニタ１０２を有している。
【００１９】
さらに、ユーザインタフェース１０１は撮影ボタン１０３、モード切替スイッチ１０４、操作ボタン１０５、セット（ｓｅｔ）ボタン１０６、およびメニュー（ｍｅｎｕ）ボタン１０７を備えている。
【００２０】
撮影ボタン１０３は、カメラ１００の筐体上面に配置され、ユーザが撮影ボタン１０３を押し下げると、カメラ１００は撮影を実行する。モード切替スイッチ１０４、操作ボタン１０５、ｓｅｔボタン１０６、およびｍｅｎｕボタン１０７はモニタ１０２の左側に配置される。モード切替スイッチ１０４の操作によって、ユーザは再生モード、撮影モード、および電源オン／オフの切り替えを行うことができる。操作ボタン１０５、ｓｅｔボタン１０６、およびｍｅｎｕボタン１０７はカメラ１００の各種操作を行う際に用いられる。
【００２１】
図示の例では、モニタ１０２はタッチパネルを有しており、ユーザのタッチ操作に応じた指示を受け付ける。操作ボタン１０５は上下左右の４つのボタンを備えており、操作ボタン１０５、ｓｅｔボタン１０６、およびｍｅｎｕボタン１０７を用いて、ユーザは、カメラ１００において撮影又は再生操作およびカメラ設定を行うことができる。
【００２２】
モード切替スイッチ１０４を図中左側に設定すると、カメラ１００は再生モード（ｐｌａｙ）となり、右側に設定すると撮影モード（ｃａｍｅｒａ）となる。そして、モード切替スイッチ１０４を中央に設定すると、カメラ１００は電源オフの状態となる。
【００２３】
図２は、図１に示すカメラのハードウェア構成の一例を示すブロック図である。
【００２４】
カメラ１００は、制御部２０１を有しており、制御部２０１はカメラ１００全体の制御を司る。制御部２０１は、例えば、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）である。
【００２５】
Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）２０２にはプログラムおよびパラメータなどが格納される。ここでは、カメラ１００における処理に必要な制御プログラムはＲＯＭ２０２に記録される。そして、制御プログラムの一つとして、後述する撮影処理プログラムが制御部２０１に読み取り可能なプログラムコードとしてＲＯＭ２０２に記録されており、制御部２０１が当該プログラムコードを実行して撮影処理を行う。
【００２６】
なお、図示のＲＯＭ２０２は、例えば、フラッシュＲＯＭであって、制御プログラムの書き換えが可能である。
【００２７】
Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）２０３には外部から供給されるプログラムおよびデータが一時記憶される。また、ＲＯＭ２０２に記録された制御プログラムはＲＡＭ２０３に展開されて実行される。そして、ＲＡＭ２０３は制御部２０１のワークエリアとしても用いられる。
【００２８】
記録媒体（記録部）２０４は、例えば、カメラ１００に対して取り外し可能なメモリカードであり、ここには、画像データなどのデジタルデータがファイルとして記録される。なお、記録媒体２０４は光ディスク、磁気や光カード、又はＩＣカードなどの他の形態であってもよい。
【００２９】
撮像部２０５は、撮影レンズユニット（以下単にレンズと呼ぶ）、シャッター、絞り、および撮像素子などを有している。そして、撮像部２０５は、後述するように、入力した光学像に応じた画像信号を出力する。ここでは、撮像素子は、画素に対応するマイクロレンズアレイを有しており、これによって、後述するように、ライトフィールド技術による画像信号を得ることができる。
【００３０】
操作入力部２０６は、例えば、図１に示す撮影ボタン１０３、モード切替スイッチ１０４、操作ボタン１０５、セット（ｓｅｔ）ボタン１０６、およびメニュー（ｍｅｎｕ）ボタン１０７である。
【００３１】
また、表示部２０７は、図１に示すモニタ１０２であり、前述のように、タッチパネルを備えており、ユーザはレックレビューの際にタッチパネルを用いてフォーカス設定を行う。
【００３２】
なお、図示のように、制御部２０１、ＲＯＭ２０２、ＲＡＭ２０３、記録媒体２０４、撮像部２０５、操作入力部２０６、および表示部２０７はシステムバス２１０によって相互に接続されている。
【００３３】
図３は、図２に示す撮像部２０５の構成についてその一例を説明するための図である。そして、図３（ａ）は撮像部２０５を側方から概略的に示す図であり、図３（ｂ）は撮像部２０５を正面側から概略的に示す図である。なお、図示の例では、シャッターおよび絞りなどは省略されている。
【００３４】
図３に示す例では、説明の便宜上、撮像素子の一部のみが示されており、撮像素子３０１はイメージセンサー（例えば、ＣＭＯＳイメージセンサー）３０２およびマイクロレンズ（ＭＬ）アレイ３０４を有している。そして、イメージセンサー３０２の前面側（つまり、レンズ３０３の側）にＭＬアレイ３０４が配置されている（図３（ａ）参照）。
【００３５】
イメージセンサー３０２は２次元マトリックス状に配列された複数の画素３０２ａを有しており、また、一つのＭＬアレイ３０４は複数のＭＬ３０４ａを有している。図３（ｂ）に示す例では、５×５画素３０２ａに対して一つのＭＬ３０４ａが対応付けられている。なお、少なくとも一つのＭＬアレイ３０４は、他のＭＬアレイ３０４とその焦点距離が異なる。
【００３６】
上述の撮像部２０５を用いて、一度のレリーズ操作に応答して撮像処理を行うと、少なくとも一つのＭＬアレイ３０４は他のＭＬアレイ３０４と焦点距離が異なる。よって、イメージセンサー３０２からは焦点距離が異なる複数の画像信号（つまり、複数の焦点を有する画像信号）が得られる。この画像信号は撮像処理の後に記録媒体２０４に記録される。これによって、図示のカメラ１００ではライトフィールド技術による複数のＲＡＷデータ（ライトフィールド画像）を得ることができる。
【００３７】
なお、図３に示す構成とは異なる構成でライトフィールド画像を得るようにしてもよい。また、ライトフィールド画像はＲＡＷデータとして記録媒体２０４に記録される。そして、当該ライトフィールド画像に対して後述するリフォーカス処理を行うと、ＪＰＥＧデータなどの現像済の画像ファイルを生成することができる。
【００３８】
図４は、図２に示すカメラにおける撮影処理を説明するためのフローチャートである。
【００３９】
ここでは、図示のフローチャートに係る撮影処理は制御部２０１の制御下で行われる。つまり、制御部２０１はＲＯＭ２０２に格納された制御プログラム（撮影処理プログラム）を読み出して撮影処理を実行する。
【００４０】
なお、制御プログラムを記録媒体２０４に記録するようにしてもよく、さらには、ネットワークから制御プログラムを読み込むようにしてもよい。
【００４１】
前述のように、カメラ１００は、撮影モードおよび再生モードを備えており、撮影モードが選択されると、記録媒体２０４に画像データを記録する処理が行われる。一方、再生モードが選択されると、記録媒体２０４に記録されている画像データを再生する処理が行われる。
【００４２】
撮影処理を行う際には、前述のように、モード切替スイッチ１０４が図１において右側（ｃａｍｅｒａ側）とされて、撮影モードに設定される。撮影モードが設定されると、制御部２０１は撮像部２０５に備えられたイメージセンサー３０２の出力である画像信号に応じたＲＡＷデータを得る（ステップＳ４００）。
【００４３】
続いて、制御部２０１はＲＡＷデータに対して簡易リフォーカス処理を行って表示用画像データを生成する（ステップＳ４０５）。この簡易リフォーカス処理は、表示用画像データを生成するための処理であり、処理時間を短くして、画像を表示部２０７に表示するために行われる。ここでは、表示部２０７において画像を確認しやすくするため、被写界深度の深い、つまり、焦点距離を短く設定して表示用画像データが生成される。
【００４４】
次に、制御部２０１は表示用画像データに応じた画像を表示部２０７に表示する（ステップＳ４１０）。そして、制御部２０１はユーザ操作によって記録モード（つまり、設定記録モード）が変更されたか否かを判定する（ステップＳ４２０）。
【００４５】
なお、記録モードには、ＲＡＷデータを記録する「ＲＡＷ記録モード（第１の記録モード）」と現像済の画像データとしてＪＰＥＧデータを記録する「ＪＰＥＧ記録モード（第２の記録モード）」の２つがある。そして、第１の記録モードおよび第２の記録モードのうちいずれか一方が設定記録モードとして設定される。
【００４６】
ユーザ操作によって記録モードの変更が行われると（ステップＳ４２０において、ＹＥＳ）、制御部２０１は、記録モードに関する情報をユーザ操作によって設定された記録モードに変更する（ステップＳ４３０）。そして、制御部２０１はユーザによって撮影操作（つまり、撮影ボタン１０３の押下げ）が行われたか否かを判定する（ステップＳ４４０）。
【００４７】
なお、ユーザ操作によって記録モードの変更が行われないと（ステップＳ４２０において、ＮＯ）、制御部２０１はステップＳ４４０の処理に進む。
【００４８】
ユーザによって撮影操作が行われると（ステップＳ４４０において、ＹＥＳ）、制御部２０１は、後述するフォーカス設定と保存処理（以下、フォーカス設定保存処理と呼ぶ）を行う（ステップＳ４５０）。その後、制御部２０１はユーザによって撮影モードを終了する操作が行われたか否かを判定する（ステップＳ４６０）。
【００４９】
なお、ユーザが撮影操作を行わないと（ステップＳ４４０において、ＮＯ）、制御部２０１はステップＳ４６０の処理に進む。
【００５０】
撮影モードを終了する操作が行われると（ステップＳ４６０において、ＹＥＳ）、制御部２０１は撮影処理を終了する。一方、撮影モードを終了する操作が行われないと（ステップＳ４６０において、ＮＯ）、制御部２０１はステップＳ４００の処理に戻る。なお、電源をオフとするか又は再生モードに切り替えると、制御部２０１は撮影モードを終了する操作が行われたと判定する。
【００５１】
撮影モードの際には、ステップＳ４００からステップＳ４６０の処理が繰り返されて、リアルタイムで画像が表示部２０７に表示される。そして、制御部２０１は撮影操作および記録モード変更操作を受け付ける。
【００５２】
図５は、図４に示すフォーカス設定保存処理を説明するためのフローチャートである。
【００５３】
図４で説明したように、ユーザが撮影操作を行うと、制御部２０１はフォーカス設定保存処理を開始する。まず、制御部２０１は撮影によって得られた画像データを撮影直後に表示部２０７にレックレビュー表示する（ステップＳ５００）。
【００５４】
なお、ステップＳ５００の処理では、未だフォーカス情報が設定されていないので、制御部２０１はステップＳ４１０において表示部２０７に表示した表示用画像データに応じた画像を表示する。
【００５５】
続いて、制御部２０１は、ユーザ操作によってフォーカス情報が設定されたか否かを判定する（ステップＳ５０５）。フォーカス情報を設定する際には、ユーザは表示部２０７に表示された画像における所望の被写体をタップ操作する。
【００５６】
このタップ操作（つまり、タッチ）によって、制御部２０１は、既知の手法でカメラ１００から当該被写体までの焦点距離を求める。そして、制御部２０１は得られた焦点距離をフォーカス情報として設定する。
【００５７】
タップ操作の際には、制御部２０１は表示部２０７の表示画面からユーザの指が離れた箇所を検知する。よって、タップ操作において、指を表示部２０７の表示画面にタッチした後、指を離すことなくドラッグを行うと、ユーザは所望の位置（つまり、被写体の位置）の調整することができる。
【００５８】
なお、ここでは、タップ操作によって画面上の被写体の位置を指定するようにしたが、他の手法でフォーカス情報を設定するようにしてもよい。例えば、操作ボタンを用いて焦点距離を指定して、制御部２０１は当該指定された焦点距離をフォーカス情報として設定するようにしてもよい。
【００５９】
ユーザ操作によってフォーカス情報が設定されないと（ステップＳ５０５において、ＮＯ）、制御部２０１はレックレビュー表示による画像表示が所定の時間（例えば、４秒）を経過したか否かを判定する。つまり、ここでは、制御部２０１はレックレビュー表示を終了するか（つまり、停止するか）否かを判定する（ステップＳ５０７）。
【００６０】
レックレビュー表示が所定の時間を経過していないと（ステップＳ５０７において、ＮＯ）、制御部２０１はステップＳ５０５の処理に戻る。一方、レックレビュー表示が所定の時間を経過すると（ステップＳ５０７において、ＹＥＳ）、制御部２０１は、後述するステップＳ５２５の処理に進む。
【００６１】
ユーザ操作によってフォーカス情報が設定されると（ステップＳ５０５において、ＹＥＳ）、制御部２０１は当該設定されたフォーカス情報を取得する（ステップＳ５１０）。そして、制御部２０１はフォーカス情報に基づいてＲＡＷデータに対してリフォーカス処理やＲＧＢ処理や色調整などの画像処理を行って現像済の画像データを生成する。その後、制御部２０１は現像済の画像データとフォーカス情報とを対応づけてＲＡＭ２０３に保持する（ステップＳ５１５）。
【００６２】
なお、リフォーカス処理においては、異なる焦点を有する複数のＲＡＷデータを合成する処理が行われる。この際、制御部２０１はフォーカス情報に応じた焦点距離にフォーカスを合わせて現像済の画像データを生成する。
【００６３】
続いて、制御部２０１は現像済の画像データを表示部２０７に表示する処理を行う。つまり、制御部２０１は現像済の画像データに基づき表示用画像データを生成し、当該表示用画像データに応じた画像を表示部（モニタ）２０７に表示する（ステップＳ５２０）。そして、制御部２０１はレックレビュー表示時間（つまり、レックレビュー表示経過時間）をリセットする。その後、制御部２０１はステップＳ５０５の処理に戻る。
【００６４】
このようにして、ステップＳ５０５からステップＳ５２０の処理を繰り返すことによって、ユーザはレックレビューの際にフォーカス情報の設定を何度も行うことができる。さらに、ユーザがフォーカス情報設定のための操作を行うことなく、レックレビュー表示が所定の時間経過すると、後述するようにして、画像の記録処理に移る。
【００６５】
前述のように、ステップＳ５０７において、レックレビュー表示が所定の時間を経過すると、制御部２０１は記録モードがＪＰＥＧ記録モードに設定されているか否かを判定する（ステップＳ５２５）。記録モードがＪＰＥＧ記録モードに設定されていると（ステップＳ５２５において、ＹＥＳ）、制御部２０１はフォーカス情報が１個以上存在するか否かを判定する（ステップＳ５３０）。
【００６６】
フォーカス情報が１個未満であると（つまり、フォーカス情報が０個であると）、言い換えると、ＪＰＥＧ記録モードにおいてフォーカス情報が設定されていないと（ステップＳ５３０において、ＮＯ）、制御部２０１はステップＳ５３５の処理を実行する。制御部２０１は全ての画素にフォーカスが合った現像済の画像データ（全焦点画像、パンフォーカス）を生成するリフォーカス処理を行う（ステップＳ５３５）。なお、ここでは、制御部２０１は、図４に示すステップＳ４０５で生成した画像データを用いるようにしてもよい。
【００６７】
続いて、制御部２０１はステップＳ５３５で生成した画像データをＪＰＥＧ形式にエンコードする処理を行う（ステップＳ５４０）。その後、制御部２０１は後述するステップＳ５７０の処理に進む。
【００６８】
ＪＰＥＧ記録モードにおいてフォーカス情報が設定されていると（ステップＳ５３０において、ＹＥＳ）、制御部２０１はステップＳ５４５の処理を実行する。制御部２０１はステップＳ５１５でＲＡＭ２０３に保持した画像データをＪＰＥＧ形式にエンコードする処理を行って、ＪＰＥＧ形式の現像済画像ファイルを作成する（ステップＳ５４５）。そして、制御部２０１はフォーカス情報が設定された全てのＲＡＷデータについてＪＰＥＧエンコード処理を行ったか否か判定する（ステップＳ５５０）。
【００６９】
フォーカス情報が設定された全てのＲＡＷデータについてＪＰＥＧエンコード処理を行っていないと（ステップＳ５５０において、ＮＯ）、制御部２０１はステップＳ５４５の処理に戻る。一方、フォーカス情報が設定された全てのＲＡＷデータについてＪＰＥＧエンコード処理を行うと（ステップＳ５５０において、ＹＥＳ）、制御部２０１は、後述するステップＳ５７０の処理に進む。
【００７０】
上述のステップＳ５４５およびステップＳ５５０を繰り返すことによって、１つのＲＡＷデータに対してユーザが設定したフォーカス情報の数分だけＪＰＥＧエンコードが行われて、ＪＰＥＧ画像ファイルが生成されることになる。
【００７１】
記録モードがＪＰＥＧ記録モードに設定されていないと（ステップＳ５２５において、ＮＯ）、つまり、記録モードがＲＡＷ記録モードであると、制御部２０１は、ＲＡＷ記録モードにおいてフォーカス情報が１個以上存在するかどうかを判断する（ステップＳ５５５）。フォーカス情報が１個以上存在すると（ステップＳ５５５において、ＹＥＳ）、つまり、ＲＡＷ記録モードにおいてフォーカス情報が設定されていると、制御部はステップＳ５６０の処理を実行する。制御部２０１はＲＡＷ画像ファイルを作成する処理を行って、全てのフォーカス情報を当該ＲＡＷ画像ファイルに関連付けする処理を行う（ステップＳ５６０）。その後、制御部２０１はステップＳ５７０の処理に進む。
【００７２】
なお、ステップＳ５６０の処理においては、複数のフォーカス情報が存在する場合であっても、複数のフォーカス情報を一つのＲＡＷ画像ファイルに対して関連付ける。
【００７３】
図６は、図５に示す処理で生成されるＲＡＷ画像ファイルの構造の一例を示す図である。
【００７４】
ＲＡＷ画像ファイルはヘッダ部６０１および画像データ部６０２を有しており、ヘッダ部６０１には属性情報が記録される。また、画像データ部６０２には全てのＭＬアレイで得られたＲＡＷデータが記録される。
【００７５】
図示のように属性情報には、例えば、撮影日時情報、カメラ機種名、画像サイズ、シャッタースピード、絞り値、ＩＳＯ感度、撮影モード、フォーカス情報の配列、およびその他の付加情報が記録される。ここでは、フォーカス情報の配列が記録されるので、複数のフォーカス情報を一つのＲＡＷ画像ファイルに対して関連付けることができる。
【００７６】
なお、フォーカス情報として、前述の焦点距離の他にフォーカス位置が記録される。さらには、焦点距離およびフォーカス位置以外の情報をフォーカス情報として記録するようにしてもよい。ここで、フォーカス位置とは、ユーザがタップ操作で指定した箇所、つまり、所望の被写体が存在する画像上の位置をいう。
【００７７】
再び図５を参照して、ＲＡＷ記録モードにおいてフォーカス情報が設定されていないと（ステップＳ５５５において、ＮＯ）、制御部２０１はＲＡＷ画像ファイルを作成する処理を行う（ステップＳ５６５）。この際には、制御部２０１は図６に示すフォーカス情報の配列を空に設定する。
【００７８】
ステップＳ５４０、Ｓ５５０、Ｓ５６０、又はＳ５６５の処理の後、制御部２０１はＪＰＥＧ画像ファイルまたはＲＡＷ画像ファイルを記録媒体２０４に保存する処理を行う（ステップＳ５７０）。その後、制御部２０１はＲＡＭ２０３に保持したフォーカス情報および画像データなどの解放を行う（ステップＳ５７５）。そして、制御部２０１はフォーカス設定保存処理を終了する。
【００７９】
なお、上述の説明では、フォーカス情報の設定数に上限を設けていないが、上限を設けるようにしてもよい。
【００８０】
このように、本発明の第１の実施形態では、レックレビューの際にユーザがフォーカス情報を設定ことができる。これによって、ユーザは一連の撮影処理の際に複数のフォーカス情報を設定するための操作を行うことができる。
【００８１】
さらに、記録モード（ＲＡＷ記録モード又はＪＰＥＧ記録モード）とフォーカス情報とに応じて画像保存処理を変更するようにした。これにより、記録モードに拘わらず同一の操作でフォーカス情報を設定できるものの、記録モードに適した画像ファイルを容易に生成することができる。
【００８２】
特に、ライトフィールドカメラにおいても、手間をかけることなくフォーカス情報が設定された現像済の画像ファイルを作成することができる。例えば、記録モードがＪＰＥＧ記録モードの際には、フォーカス情報の数に応じたＪＰＥＧ形式の画像データを保存することができる。
【００８３】
一方、記録モードがＲＡＷ記録モードの際には、フォーカス情報をＲＡＷ画像ファイルに関連付けて保存することができる。これによって、ＲＡＷ画像ファイルからＪＰＥＧ画像ファイルなどを生成する際には、予め付加されているフォーカス情報を用いて容易にリフォーカス処理を行うことができる。
【００８４】
なお、上述の第１の実施形態においては、記録モードとしてＪＰＥＧ記録モードおよびＲＡＷ記録モードを例に挙げて説明したが、例えば、ＪＰＥＧ画像ファイルとＲＡＷ画像ファイルとを同時に記録する「ＲＡＷ＋ＪＰＥＧ記録モード」を備えるようにしてもよい。この場合には、つまり、「ＲＡＷ＋ＪＰＥＧ記録モード」が設定された際には、ＪＰＥＧデータおよびＲＡＷデータの双方を記録処理が行われることになる。
【００８５】
［第２の実施形態］
続いて、本発明の第２の実施形態に係るカメラについて説明する。なお、第２の実施形態に係るカメラの構成は図１および図２に示すカメラと同様であり、撮像部２０５の構成も図３に示す撮像部と同様である。
【００８６】
第２の実施形態に係るカメラでは、前述の第１の実施形態で説明したカメラの機能に加えて、撮影の際（ここでは、撮影操作を行う前）にフォーカス設定を行う機能を有している。さらに、第２の実施形態に係るカメラでは、設定されたフォーカス情報をレックレビュー表示の際に追加および変更する機能を有している。なお、フォーカス設定操作はタッチパネルを用いて行われる。
【００８７】
図７は、本発明の第２の実施形態に係るカメラで行われる撮影処理を説明するためのフローチャートである。
【００８８】
なお、図示のフローチャートに係る処理は、制御部２０１の制御下で行われる。また、図７に示すフローチャートにおいて、図４に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
【００８９】
撮影処理を行う際には、前述のように、モード切替スイッチ１０４が図１において右側（ｃａｍｅｒａ側）とされて、撮影モードに設定される。撮影処理を開始すると、制御部２０１は図４で説明したステップＳ４００からステップＳ４３０と処理を行う。
【００９０】
そして、制御部２０１は、ユーザ操作によってフォーカス情報が設定されたか否かを判定する（ステップＳ７３２）。フォーカス設定操作が行われないと（ステップＳ７３２において、ＮＯ）、制御部２０１は、図４で説明したステップＳ４４０の処理に進む。
【００９１】
一方、フォーカス設定操作が行われると（ステップＳ７３２において、ＹＥＳ）、制御部２０１は、ステップＳ７３２で設定されたフォーカス情報を取得する（ステップＳ７３４）。その後、制御部２０１は当該フォーカス情報に基づいてＲＡＷデータに対してリフォーカス処理を行って、現像済の画像ファイルを生成する。そして、制御部２０１は当該現像済の画像ファイルとフォーカス情報とを対応づけてＲＡＭ２０３に保持する（ステップＳ７３６）。
【００９２】
この場合、撮影時に設定したフォーカス情報であることを区別するため、制御部２０１はフォーカス情報を撮影時フォーカス情報としてＲＡＭ２０３に保持する。
【００９３】
続いて、制御部２０１は、ステップＳ７３６で生成した現像済の画像ファイルを表示部２０７に表示する処理を行う（ステップＳ７３８）。この際、制御部２０１はユーザが設定したフォーカス箇所が分かるように、ユーザがタップ操作した箇所を枠線で表示する。フォーカス箇所が複数設定された際には、制御部２０１は複数の枠線を表示部２０７に表示する。ステップＳ７３８の処理の後、制御部２０１はステップＳ４４０の処理に進む。
【００９４】
ステップＳ４４０において、撮影操作が行われると、制御部２０１は、後述するフォーカス設定保存処理を行って（ステップＳ７５０）、ステップＳ４６０の処理に進む。
【００９５】
図８は、図７に示すフォーカス設定保存処理を説明するためのフローチャートである。
【００９６】
なお、図８において、図５に示すフォーカス設定保存処理と同一のステップについては同一の参照符号を付して説明を省略する。
【００９７】
図７で説明したように、ユーザが撮影操作を行うと、制御部２０１はフォーカス設定保存処理を開始する。まず、制御部２０１は撮影によって得られた画像データを表示部２０７に表示する（ステップＳ８００）。つまり、制御部２０１は撮影直後に撮影によって得られた画像データを表示部２０７にレックレビュー表示する。
【００９８】
この際、図７に示すステップＳ７３２において撮影操作前にフォーカス情報が設定されていると、制御部２０１はユーザが設定したフォーカス箇所を表示部２０７に枠線で表示する。
【００９９】
ステップ５０５において、ユーザ操作によってフォーカス情報が設定されると、前述したように、制御部２０１はステップＳ５１０において、当該設定されたフォーカス情報を取得する。そして、制御部２０１はこのフォーカス情報に基づいてＲＡＷデータに対してリフォーカス処理を行って現像済の画像ファイルを生成する。
【０１００】
その後、制御部２０１は、レックレビューの際に設定されたフォーカス情報であるので、当該フォーカス情報を撮影後フォーカス情報とし、現像済の画像ファイルと撮影後フォーカス情報とを対応づけてＲＡＭ２０３に保持する（ステップＳ８１５）。
【０１０１】
続いて、制御部２０１は現像済の画像ファイルを表示部２０７に表示する処理を行う。つまり、制御部２０１は現像済の画像ファイルに応じて表示用画像データを生成し、当該表示用画像データに応じた画像を表示部（モニタ）２０７に表示する（ステップＳ８２０）。この際、制御部２０１はレックレビュー表示時間（つまり、レックレビュー表示経過時間）をリセットする。
【０１０２】
さらに、ステップＳ８２０においては、制御部２０１はユーザによって設定されたフォーカス箇所が分かるように、当該フォーカス設定箇所を枠線によって表示部２０７に表示する。この際には、制御部２０１は撮影の際（つまり、撮影前）に設定されたフォーカス箇所を実線で表示し、レックレビューの際に設定されたフォーカス箇所を点線で表示して、フォーカス設定のタイミングを区別できるようにする。その後、制御部２０１はステップＳ５０５の処理に戻る。
【０１０３】
図９は、本発明の第２の実施形態によるカメラで行われる枠線の表示を説明するための図である。そして、図９（ａ）はフォーカス情報が設定されていない状態における撮影操作前の表示画像の一例を示す図であり、図９（ｂ）は撮影操作前にフォーカス設定を行った際の表示画像の一例を示す図である。また、図９（ｃ）はレックレビュー表示の際にフォーカス設定を行った際の表示画像の一例を示す図である。
【０１０４】
いま、フォース情報が設定されていない状態において撮影操作前に、図９（ａ）に示す人物９０１が存在する画像が表示部２０７に表示されているとする。当該画像においてユーザが人物９０１の顔９０２をタップ操作したとする。
【０１０５】
このタップ操作によって、制御部２０１は撮影操作前にフォーカス設定が行われたとして、図７に示すステップＳ７３８において画像上に顔９０２に対応付けて枠線９０３を表示する（図９（ｂ）参照）。
【０１０６】
図９（ｂ）に示す画像が表示部２０７に表示されている状態で、撮影操作の後のレックレビュー表示の際、ユーザが背後の山９０４に対してフォーカス設定操作を行ったとする。このフォーカス設定操作（つまり、タップ操作）によって、制御部２０１はレックレビュー表示の際にフォーカス設定が行われたとして、図８に示すステップＳ８２０において画像上に山９０４に対応付けて点線で枠線９０５を表示する（図９（ｃ）参照）。
【０１０７】
この際には、制御部２０１は山９０４に対応付けて点線で枠線９０５を表示する結果、枠線９０３は実線で表示して、フォーカス情報の設定タイミングが区別できるようにする。
【０１０８】
このようにして、ステップＳ５０５からステップＳ８２０の処理を繰り返すことによって、ユーザはレックレビューの際にフォーカス情報の設定を何度も行うことができる。さらに、ユーザがフォーカス情報設定のための操作を行うことなく、レックレビュー表示が所定の時間経過すると、後述するようにして、画像の記録処理に移る。
【０１０９】
ステップＳ５３０において、ＪＰＥＧ記録モードでフォーカス情報が設定されていると、制御部２０１はステップＳ７３６およびＳ８１５で生成した画像データをＪＰＥＧにエンコードする処理を行って、ＪＰＥＧ画像ファイルを作成する（ステップＳ８４５）。そして、制御部２０１はフォーカス情報が設定された全ての画像データについてＪＰＥＧエンコード処理を行ったか否か判定する（ステップＳ８５０）。
【０１１０】
フォーカス情報が設定された全ての画像データについてＪＰＥＧエンコード処理を行っていないと（ステップＳ８５０において、ＮＯ）、制御部２０１はステップＳ８４５の処理に戻る。一方、フォーカス情報が設定された全ての画像データについてＪＰＥＧエンコード処理を行うと（ステップＳ８５０において、ＹＥＳ）、制御部２０１は、図５で説明したステップＳ５７０の処理に進む。
【０１１１】
上述のステップＳ８４５およびステップＳ８５０の処理を繰り返すことによって、ユーザが設定したフォーカス情報の数分だけＪＰＥＧエンコードが行われて、ＪＰＥＧ画像ファイルが生成されることになる。ここでは、撮影の際（つまり、撮影前）とレックレビューの際の双方のフォーカス情報が含まれることになる。
【０１１２】
このように、本発明の第２の実施形態では、撮影の際（つまり、撮影操作が行われる前）においてもユーザがフォーカス情報を設定ことができる。これによって、ユーザは撮影操作の前後のいずれにおいても複数のフォーカス情報を設定するための操作を行うことができる。
【０１１３】
さらに、第２の実施形態では、フォーカス設定を行うと、当該フォーカス設定が行われた領域を枠線で表示し、しかも設定のタイミングに応じて枠線の表示形態を異ならせるように表示制御を行った。これにより、ユーザは撮影操作を行う前か又はレックレビュー表示の際のいずれにおいて設定したフォーカス箇所であるかを容易に区別することができる。
【０１１４】
なお、第２の実施形態においては、レックレビュー表示の際にフォーカス情報を追加するようにした。しかしこれに限らず、レックレビュー表示の際に既に設定されているフォーカス情報を選択して、選択されたフォーカス情報の削除操作およびフォーカス箇所の移動操作などフォーカス情報の変更操作を行うようにしてもよい。
【０１１５】
また、第２の実施形態では、撮影操作前におけるフォーカス設定については、ユーザが手動で行う場合については説明したが、制御部２０１が人物などを識別してフォーカス設定を行うようにしてもよい。
【０１１６】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１１７】
例えば、上記の実施の形態の機能を画像処理方法として、この画像処理方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを画像処理プログラムとして、当該画像処理プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、画像処理プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１１８】
上記の画像処理方法および画像処理プログラムの各々は、少なくとも記録モード設定ステップ、フォーカス設定ステップ、決定ステップ、および画像生成ステップを有している。
【０１１９】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１２０】
１００  デジタルカメラ
２０１  制御部
２０２  ＲＯＭ
２０３  ＲＡＭ
２０４  記録媒体
２０５  撮像部
２０６  操作入力部
２０７  表示部
２１０  システムバス
３０４  マイクロレンズアレイ
【図１】
2015198391.tif 000003
【図２】
2015198391.tif 000004
【図３】
2015198391.tif 000005
【図４】
2015198391.tif 000006
【図５】
2015198391.tif 000007
【図６】
2015198391.tif 000008
【図７】
2015198391.tif 000009
【図８】
2015198391.tif 000010
【図９】
2015198391.tif 000011