(57)【要約】【課題】記録したリフォーカス可能な画像から、望ましいリフォーカス画像をリアルタイムで表示することを可能にすること【解決手段】画像記録手段は、撮影により得られたリフォーカス画像を再構成可能な画像データおよび撮影情報を取得し、取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを画像に含まれる被写体に関連付けて生成し、取得された画像データとともに、生成されたパラメーターを画像データのメタデータとして記録媒体に記録し、画像再生装置は、記録された画像データとパラメーターとを記録媒体から読み出し、読み出されたパラメーターを使用して、読み出された画像データからリフォーカス画像を再構成し、再構成されたリフォーカス画像を編集指示に従って編集し、編集されたリフォーカス画像のパラメーターを編集する。【選択図】図１
2014003404.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの被写体を含む画像のリフォーカス画像を再構成可能な画像データを記録するための画像記録装置において、
前記少なくとも一つの被写体を含む画像を撮影して得られた前記リフォーカス画像を再構成可能な画像データおよび前記画像の撮影情報を取得する取得手段と、
前記取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを前記画像に含まれる被写体に関連付けて生成するパラメーター生成手段と、
前記取得された画像データとともに、前記生成されたパラメーターを前記画像データのメタデータとして記録媒体に記録する記録手段と
を備えることを特徴とする画像記録装置。
【請求項２】
前記撮影情報は、絞り値および前記画像のデフォーカスマップであり、前記パラメーター生成手段は前記デフォーカスマップに基づいて、前記取得された画像データを被写体のリフォーカス画像に変換する変換マトリクスをパラメーターとして生成することを特徴とする請求項１に記載の画像記録装置。
【請求項３】
前記撮影情報は、絞り値および前記画像のデフォーカスマップであり、前記パラメーター生成手段は前記デフォーカスマップに基づいて、前記画像に含まれる被写体のデフォーカス量を表わすパラメーターを生成することを特徴とする請求項１に記載の画像記録装置。
【請求項４】
前記パラメーター生成手段は前記デフォーカスマップに基づいて前記画像に含まれる被写体を検出する被写体検出手段を有し、前記被写体検出手段が複数の被写体を検出したときは、前記パラメーター生成手段は、前記デフォーカスマップに基づいて、前記取得された画像データを各被写体のリフォーカス画像に変換する変換マトリクスを各被写体に関連付けてパラメーターとして生成することを特徴とする請求項２に記載の画像記録装置。
【請求項５】
前記パラメーター生成手段は前記デフォーカスマップに基づいて被写体を検出する被写体検出手段を有し、前記被写体検出手段が複数の被写体を検出したときは、前記パラメーター生成手段は、前記デフォーカスマップに基づいて、前記画像に含まれる各被写体のデフォーカス量を表わすパラメーターを各被写体に関連付けて生成することを特徴とする請求項３に記載の画像記録装置。
【請求項６】
前記記録手段は、前記複数の被写体に優先順位を付ける優先順位手段を有し、当該優先順位に従って前記生成されたパラメーターをメタデータとして記録することを特徴とする請求項４または５に記載の画像記録装置。
【請求項７】
前記優先順位手段は、前記画像データから顔を検出する顔検出手段を有し、顔が検出された場合は、当該検出された顔を含む被写体に第一位の優先順位を与えることを特徴とする請求項６に記載の画像記録装置。
【請求項８】
請求項１乃至７のいずれか一項に記載の画像記録装置で記録された前記画像データを再生する画像再生装置において、
前記記録された画像データとパラメーターとを前記記録媒体から読み出す読み出し手段と、
前記読み出されたパラメーターを使用して、前記読み出された画像データからリフォーカス画像を再構成する再構成手段と、
前記再構成されたリフォーカス画像を編集指示に従って編集し、当該編集されたリフォーカス画像のパラメーターを編集する編集手段と、
を備えることを特徴とする画像再生装置。
【請求項９】
前記編集手段は、リフォーカス位置および絞り値の変更を指示する指示手段を有し、前記再構成手段は、前記指示手段で指示されたパラメーターの変更に基づいてリフォーカス画像を再構成することを特徴とする請求項８に記載の画像再生装置。
【請求項１０】
前記再構成手段で再構成されたリフォーカス画像および前記指示手段を表示する表示手段を有し、前記読み出されたパラメーターが複数あるときは、前記再構成手段は各パラメーターを使用して複数のリフォーカス画像を再構成し、前記表示手段は前記読み出された複数のパラメーターの優先順位に従って前記再構成された複数のリフォーカス画像を表示することを特徴とする請求項８または９に記載の画像再生装置。
【請求項１１】
前記表示手段は、前記指示手段で指示されたパラメーターの変更に基づいて編集されたリフォーカス画像を前記変更手段と供に表示することを特徴とする請求項１０に記載の画像再生装置。
【請求項１２】
前記編集手段は、前記表示手段で表示されたリフォーカス画像の入れ替え又は削除を行なう手段を有し、入れ替え又は削除を行なったときは、編集されたリフォーカス画像に対応するパラメーターの優先順位を当該入れ替え又は削除に応じて変更することを特徴とする請求項１０または１１に記載の画像再生装置。
【請求項１３】
前記編集手段により編集されたパラメーターを前記読み出された画像データのメタデータとして記録する記録手段を有し、前記記録手段は、当該編集された画像データのパラメーターに優先順位を設定する優先順位設定手段を有し、前記編集された画像データおよびパラメーターを当該優先順位設定手段で設定された優先順位に従って記録するとともに、記録されている他のパラメーターの優先順位を当該設定に応じて変更することを特徴とする請求項８乃至１２のいずれか一項に記載の画像再生装置。
【請求項１４】
リフォーカス画像を撮影する撮像手段と、
請求項１乃至７のいずれか一項に記載の画像記録装置と、
請求項８乃至１３のいずれか一項に記載の画像再生装置と、
前記撮像手段による撮影を制御する制御手段と
を備えることを特徴とする撮像装置。
【請求項１５】
前記撮像手段は、
撮影レンズと
複数の光電変換素子と、
前記撮影レンズと前記光電変換素子との間に配置され、所定の数の光電変換素子の配列に対して一つが対応する複数のマイクロレンズのアレイを有し、
前記制御手段は、前記複数の光電変換素子の出力に基づいて前記撮像手段の撮影動作を制御し、前記画像記録装置が取得する撮影情報は、前記制御手段による撮影動作に関連する情報であることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
少なくとも一つの被写体を含む画像のリフォーカス画像を再構成可能な画像データを記録媒体に記録するための画像記録方法において、
前記少なくとも一つの被写体を含む画像を撮影して得られた前記リフォーカス画像を再構成可能な画像データおよび前記画像の撮影情報を取得する取得ステップと、
前記取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを前記画像に含まれる被写体に関連付けて生成するパラメーター生成ステップと、
前記取得された画像データとともに、前記生成されたパラメーターを前記画像データのメタデータとして記録手段により前記記録媒体に記録する記録ステップと
を備えることを特徴とする画像記録方法。
【請求項１７】
請求項１６に記載の画像記録方法で記録された画像データを再生する画像再生方法において、
前記記録された画像データとパラメーターとを前記記録媒体から読み出し手段により読み出しステップと、
前記読み出されたパラメーターを使用して、前記読み出された画像データからリフォーカス画像を再構成する再構成ステップと、
前記再構成されたリフォーカス画像を、指示手段による編集指示に従って編集し、当該編集されたリフォーカス画像のパラメーターを編集する編集ステップと、
を備えることを特徴とする画像再生方法。
【請求項１８】
少なくとも一つの被写体を含む画像のリフォーカス画像を再構成可能な画像データを記録するための画像記録装置を制御するプログラムにおいて、
コンピュータを、
前記少なくとも一つの被写体を含む画像を撮影して得られた前記リフォーカス画像を再構成可能な画像データおよび前記画像の撮影情報を取得する取得手段、
前記取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを前記画像に含まれる被写体に関連付けて生成するパラメーター生成手段、および
前記取得された画像データとともに、前記生成されたパラメーターを前記画像データのメタデータとして記録媒体に記録する記録手段
として機能させるプログラム。
【請求項１９】
請求項１８のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項２０】
コンピュータを、請求項１乃至７のいずれか一項に記載された画像記録装置の各手段として機能させるプログラム。
【請求項２１】
コンピュータを、請求項１乃至７のいずれか一項に記載された画像記録装置の各手段として機能させるプログラムを格納した記録媒体。
【請求項２２】
少なくとも一つの被写体を含む画像のリフォーカス画像を再構成可能な画像データを記録するための画像記録装置であり、前記少なくとも一つの被写体を含む画像を撮影して得られた前記リフォーカス画像を再構成可能な画像データおよび前記画像の撮影情報を取得する取得手段と、前記取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを前記画像に含まれる被写体に関連付けて生成するパラメーター生成手段と、前記取得された画像データとともに、前記生成されたパラメーターを前記画像データのメタデータとして記録媒体に記録する記録手段を備える画像記録装置で記録された画像データの画像再生装置を制御するプログラムにおいて、
コンピュータを、
前記記録された画像データとパラメーターとを前記記録媒体から読み出す読み出し手段と、
前記読み出されたパラメーターを使用して、前記読み出された画像データからリフォーカス画像を再構成する再構成手段、および
前記再構成されたリフォーカス画像を編集指示に従って編集し、当該編集されたリフォーカス画像のパラメーターを編集する編集手段、
として機能させるプログラム。
【請求項２３】
請求項２２のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項２４】
コンピュータを、請求項８乃至１３のいずれか一項に記載された画像記録装置の各手段として機能させるプログラム。
【請求項２５】
コンピュータを、請求項８乃至１３のいずれか一項に記載された画像記録装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に関し、特にリフォーカス機能を有する撮像装置で撮影された画像の記録装置および当該記録された画像の再生装置に関する。
【背景技術】
【０００２】
近年、撮像素子の前面に、複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、画素信号に加えて撮像素子に入射する光線の入射方向の情報をも得られる構成の撮像装置が、非特許文献１などにおいて提案されている。このような撮像装置の用途としては、各画素からの出力信号をもとに通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築することが可能である。
【０００３】
このようなリフォーカス可能な画像を閲覧のために表示する場合、どの焦点位置にリフォーカスした画像を最初に表示したらよいかの判断が難しいという問題があった。この問題を解決するため、特許文献１では、画像からオブジェクトを抽出し、そのオブジェクトの存在する部分に関して合焦したリフォーカス画像を表示している。もしくは、画像取得時の撮像条件をタグデータとして画像データに付与し、そのタグ情報を基に、リフォーカス画像を生成している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２７９６号公報
【非特許文献】
【０００５】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、画像表示前にオブジェクトを抽出する処理が必要であった。また、撮影時の情報をタグデータとして有している場合でも、再構成後のリフォーカス面を決定するために、視点の異なる複数画像間の位相差を算出する必要があり、いずれの場合も演算コストが発生してしまうという問題がある。
【０００７】
そこで、本発明の目的は、被写体をリフォーカス可能な画像として撮影可能な撮像装置で取得した画像データを、望ましいリフォーカス画像として素早く表示することを可能にする画像データの記録装置および再生装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明によれば、少なくとも一つの被写体を含む画像のリフォーカス画像を再構成可能な画像データを記録するための画像記録装置は、少なくとも一つの被写体を含む画像を撮影して得られたリフォーカス画像を再構成可能な画像データおよび画像の撮影情報を取得する取得手段と、取得された撮影情報に基づいて、リフォーカス画像の再構成に使用するパラメーターを画像に含まれる被写体に関連付けて生成するパラメーター生成手段と、取得された画像データとともに、生成されたパラメーターを画像データのメタデータとして記録媒体に記録する記録手段とを備える。
【０００９】
さらに、本発明によれば、上記画像記録装置で記録された画像データを再生する画像再生装置は、記録された画像データとパラメーターとを記録媒体から読み出す読み出し手段と、読み出されたパラメーターを使用して、読み出された画像データからリフォーカス画像を再構成する再構成手段と、再構成されたリフォーカス画像を編集指示に従って編集し、編集されたリフォーカス画像のパラメーターを編集する編集手段とを備える。
【発明の効果】
【００１０】
本発明によれば、希望する合焦状態のリフォーカス画像を素早く表示することを可能とする画像データの記録装置および当該記録データの再生装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】再構成パラメーターをメタデータに持つ、画像データの構成を示す図である。
【図２】本発明の第１の実施例に係る記録装置を適用した撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置で使用される撮像素子とマイクロレンズアレイの構成を模式的に示す図である。
【図４】図２の撮像装置における撮影レンズ、マイクロレンズアレイおよび撮像素子よりなる撮像光学系の構成を概念的に示す図である。
【図５】図２の撮像装置の撮影レンズの瞳領域と図３の撮像素子の画素との対応関係を模式的に示す図である。
【図６】図３の撮像素子の出力を用いた焦点検出及びリフォーカス面検出のための信号の生成を模式的に示す図である。
【図７】異なるリフォーカス面での光線とその受光画素との関係を示す図である。
【図８】本発明の第１の実施例に係る記録動作のフローチャートを示す図である。
【図９】異なる距離にある複数の被写体を含む画像と、その画像のデフォーカスマップを概念的に示す図である。
【図１０】本発明の第２の実施例に係る画像再生装置の再生動作のフローチャートを示す図である。
【図１１】本発明の第２の実施例に係る画像再生装置における再生画像の表示画面を模式的に示す図である。
【図１２】本発明の実施例に適用可能な他の光学系を概念的に示す図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１３】
図２は本発明の第１の実施例に係る画像記録装置を適用した撮像装置としてのデジタルカメラのブロック図である。２０１は撮影レンズであり、不図示ではあるが、複数枚のレンズから構成される。この複数枚のレンズの中に、可動なフォーカシングレンズを含み、フォーカシングレンズを動かすことにより、被写体に対する合焦状態の調節を可能としている。２０２はマイクロレンズアレイ（以下、ＭＬＡと記す）であり、複数のマイクロレンズから構成され、撮影レンズ２０１の焦点位置近傍に配置される。撮影レンズ２０１の異なる瞳領域を通過した光は、ＭＬＡ２０２に入射し、瞳領域毎に分離して出射される。２０３は撮像素子であり、ＣＣＤやＣＭＯＳイメージセンサーなどで構成され、ＭＬＡ２０２の焦点位置近傍に配置される。ＭＬＡ ２０２と撮像素子２０３の詳細については後述する。
【００１４】
２０４はＡＤコンバーターであり、撮像素子２０３から出力される画像信号をＡＤ変換してデジタルデータにし、画像処理部２０５で、そのデジタルデータに所定の画像処理などを施し、被写体のデジタル画像データを得る。２０６は撮影制御部であり、画像処理部２０５で得られたデジタル画像データを、液晶ディスプレイなどで構成される表示部２０７に表示し、また記録部２０８への保存などの制御を行う。撮影制御部２０６は、そのＣＰＵが図示しないメモリに記憶されているプログラムをロードして実行することにより各部の制御を行う。この場合、各部の機能の全部または一部をＣＰＵが行ってもよいし、ハードウェアで構成してもよい。
【００１５】
また、２０９は顔検知部であり、画像処理部２０５で得られたデジタル画像データの中から人物の顔を検出し、その画面内における位置と大きさを検出する。操作部２１０は、ボタンやタッチパネルなどといった、ユーザーからの操作を受け付ける部分であり、受け付けた操作に応じて、合焦動作の開始や、記録部２０８に保存されたデジタル画像データの再生、消去など、各種の動作を行う。また、撮影レンズ２０１は撮影制御部２０６と電気的、機械的に接続され、撮影制御部２０６では撮影レンズの情報を通信により取得できるほか、合焦動作の際はフォーカシングレンズの駆動命令などを送ることができる。
【００１６】
次に、図２に示す撮像装置における、撮影レンズ２０１とＭＬＡ ２０２、撮像素子２０３の構成を説明する。
【００１７】
図３は、撮像素子２０３とＭＬＡ ２０２の構成を説明する図である。同図は、撮像素子２０３およびＭＬＡ２０２を、撮影レンズ２０１からの光軸に平行なｚ方向から見た図である。撮影画像の仮想的な画素３００を構成する複数の単位画素３０１（光電変換素子）に対して1つのマイクロレンズ３０２が対応するように配置されている。マイクロレンズ３０２は、ＭＬＡ ２０２を構成するものの中の一つである。ここでは、１つのマイクロレンズに対応する単位画素３０１が５行５列の計２５個あるものとして記載した。同図に付記している座標軸は、光軸方向をｚ軸で示し、ｚ軸に対して垂直な面を撮像面と平行な面とし、当該撮像面内においてｘ軸（水平方向）とｙ軸（垂直方向）を定義している。なお、図３は撮像素子２０３の受光面の一部を示し、実際の撮像素子には非常に多くの画素が配列されている。
【００１８】
図４は、撮影レンズ２０１から出射された光束が1つのマイクロレンズ３０２を通過して撮像素子２０３で受光される様子を、光軸ｚに対して垂直な方向から見た図である。撮影レンズ２０１の各瞳領域a1〜a5から出射され、マイクロレンズ３０２を通過した光は、撮像素子２０３の対応する単位画素p1〜p5でそれぞれ結像する。
【００１９】
図５（ａ）は撮影レンズ２０１の開口を光軸（ｚ軸）方向から見た図である。図５（ｂ）は1つのマイクロレンズ３０２とその後方に配置された単位画素３００を光軸（ｚ軸）方向から見た図である。図５（ａ）に示すように、撮影レンズ２０１の瞳領域を1つのマイクロレンズ下にある画素と同数の領域に分割した場合、1つの画素には撮影レンズ２０１の1つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズとマイクロレンズのＦナンバーがほぼ一致しているものとする。図５（ａ）に示す撮影レンズの瞳分割領域をa11〜a55、図５（ｂ）に示す画素をp11〜p55としたとき、両者の対応関係は光軸（ｚ軸）方向から見て点対称となる。したがって、撮影レンズの瞳分割領域a11から出射した光はマイクロレンズ後方にある画素３０１のうち、画素p11に結像する。これと同様に、瞳分割領域a11から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズ後方にある画素３０１の中の画素p11に結像する。
【００２０】
このように図５（ｂ）に示すp11〜p55の画素は撮影レンズに対して互いに異なる瞳領域を通過した光を受光するため、これらの画素の出力を用いて焦点検出動作を行うこともできる。図６（ａ）に示すように、各マイクロレンズに対応する画素出力p11〜p55を加算し、次式に示すように水平方向に瞳分割された２つの信号を生成する。
【数１】
2014003404.tif 000003
【数２】
2014003404.tif 000004
【００２１】
式１で示される合成信号Ａは、図４に示すように、撮影レンズの射出瞳の領域a1〜a2を通過した光束を見ている。図６（ｂ）に示すように、水平方向に連続して配置されたｎ個のマイクロレンズに対応する画素群から得られたＡ１〜Ａｎを並べれば、一次元像信号Ａｉ（i=1,2,3…n）が得られる。同様に式２で計算される合成信号Ｂを並べた一次元像信号Ｂｉ（i=1,2,3…n）も生成すると、ＡｉとＢｉは、それぞれ撮影レンズの射出瞳の右側と左側を見ている信号となる。このため、ＡｉとＢｉの相対位置を検出し、その相対的なずれ量に対して所定の変換係数を乗じた結果に従って、位相差検出方式に基づく焦点検出動作を行うことができる。画面内の任意の位置でＡｉとＢｉを生成すれば、その位置での焦点位置を算出することができるため、算出結果に合わせてフォーカシングレンズを駆動することで自動焦点調節を行うことができる。
【００２２】
次に、撮影レンズ２０１、ＭＬＡ ２０２、撮像素子２０３で取得したデジタル画像データを、任意に設定した合焦位置（リフォーカス面）での画像に再構成する処理に関して説明する。図７は、指定のリフォーカス面がｚ＝０の場合と、ｚ＝ｄの場合の光線の様子を示したものである。図７の中央の画素に注目して考えると、ｚ＝０の場合はマイクロレンズからの射出光束は、それぞれ画素ａ３、ｂ３、ｃ３、３ｄ、３ｅに入射する。従って、
［式３］
Ｓ３＝ａ３＋ｂ３＋ｃ３＋ｄ３＋ｅ３
として、Ｓ３を仮想的な画素の出力として求めればよい。Ｓ３以外のＳ１などの画素に関しても同様である。
【００２３】
次にレンズの絞りを絞った場合の画像を再構成したい場合は、絞り値に応じた撮影レンズの中央付近の領域のみの光束を用いればよいので、例えば
［式４］
Ｓ３＝ｂ３＋ｃ３＋ｄ３
とすれば、式３で得られるものよりも、絞ったときのｚ＝０での再構成画像を得ることができ、
［式５］
Ｓ３＝ｃ３
とすれば、更に絞ったときのｚ＝０での画像を、再構成できる。つまり、絞り込む方向の画像に関しては再構成することができる。
なお、ここでは説明のためx方向に並んだ５画素のみを例に説明したが、実際にはxy平面に画素が並んでいるので、２次元に同様の考え方を適用する。例えば、絞り開放の場合のＳ３は２５個の画素出力の和となる。
【００２４】
一方、ｚ＝ｄの場合は、ｚ＝ｄの面の射出光束はそれぞれ画素ａ１、ｂ２、ｃ３、ｄ４、ｅ５に入射するので、
［式６］
Ｓ３＝ａ１＋ｂ２+ｃ３+ｄ４＋ｅ５
としてＳ３を生成すればよい。このように、リフォーカス面の位置ｚ（リフォーカス位置）と再構成時の絞り値Ｆを決めれば、再構成画像を算出することができる。この式６をＳ３以外のほかの再構成画素にも適用すると、ｚ=dの場合の再構成画像は以下の行列演算によって求めることができる。
【数７】
2014003404.tif 000005
【００２５】
つまり式７の意味するところは、再構成画像のリフォーカス面の位置ｚと再構成時の絞り値Ｆが分かっているならば、予め下記の変換マトリクスＭ
【数８】
2014003404.tif 000006
を準備しておけば、全画素出力を行列にしたものにＭを乗算するだけで、容易に再構成画像を得ることができる点である。
【００２６】
ここで、本実施例の記録動作を、図８のフローチャートを用いて説明する。本実施例の場合、この動作は、カメラの撮影制御部２０６の制御によって行われる。ステップＳ８０１でカメラ動作を開始したら、ステップＳ８０２でユーザーにより撮影前準備動作であるスイッチＳ１がＯＮされるのを待つ。ここで撮影前準備動作とは、ＡＥ／ＡＦ動作のことであり、操作部２０９に含まれる操作部材をユーザーが操作することで、Ｓ１はＯＮとなる。ここでは、一般のカメラなどで広く使用されている二段押し込み式の押しボタンスイッチが半押しされた場合をＳ１のＯＮ、全押しされた場合をＳ２のＯＮとする。Ｓ１がＯＮされたらステップＳ８０３へ進む。
【００２７】
ステップＳ８０３〜Ｓ８０６は撮影前準備動作であるＡＥ／ＡＦを行うステップである。ステップＳ８０３ではＡＥを行う。ＡＥは、所定の条件で取得した撮像素子２０３の出力信号レベルから画像の露出レベルを評価し、出力信号の飽和、黒潰れが極力発生しないような露出条件を決定する。なお、既に説明したように、絞り値が大きくなる方向（絞り込む方向）の再構成画像に関しては、式３乃至５に従って算出できるため、できるだけ絞りを開いた条件で撮影するのが望ましい。
【００２８】
Ｓ８０４〜Ｓ８０６ではＡＦ動作を行う。既に図６の説明で述べたように、図２のカメラは画面内の任意の位置での合焦位置を算出することができる。よって、例えば図９（ａ）のように建物、人物、車がそれぞれ異なる距離に分布したような被写体に対して、画面を横９×縦７の６３のブロックに分割してそれぞれ合焦位置を算出したとすると、図９（ｂ）に示すデフォーカスマップを得ることができる。なお、図９（ｂ）では、画面内の背景にあたる部分のデフォーカス量をｄｂとして示した。このようにデフォーカスマップを取得するのがステップＳ８０４である。
【００２９】
このようなデフォーカスマップに対し、デフォーカス量の値が近いブロックをグルーピングすることで、大まかな被写体の数を推定することができる(被写体検出手段)。また、顔検知部２０９により、画面内に人物の顔の存在が検出された場合には、その位置を知ることができる。よって、図９の例では、大きく分けてデフォーカス量がｄ１、ｄ２、ｄ３の位置に３つの被写体が存在し、またｄ２の位置の被写体は人物であることが分かる。そこで、本実施例では被写体に下記のルールで優先順位を付ける(優先順位手段)。
優先順位1.  顔（複数の顔が存在する場合は、検出した顔の大きさが大きい順に高い優先順位を付ける）
優先順位2.  顔以外の被写体には、デフォーカス量が至近寄りのものから順に高い優先順位を付ける
【００３０】
このルールを適用すると、図９の例では、デフォーカスｄ２の人物が最も優先順位の高い被写体となり、次に顔ではないが至近側にあるデフォーカスｄ１の車、最後にデフォーカスｄ３の建物となる。このように、デフォーカスマップから被写体を特定し、特定した被写体に対して優先順位を付けるのがステップＳ８０５である。なお、ここでは人物の顔を優先する思想の優先順位付けルールを示したが、これは一例であり、この限りではない。また、優先順位付けのルールの代わりに、あるいはルールに優先して、スイッチ等により手動で優先順位付けできるようにしてもよい。
【００３１】
ステップＳ８０６では、優先順位付けにより最優先となった人物に合焦するよう、デフォーカス量ｄ２だけフォーカシングレンズを駆動し、ＡＦ動作を完了する。そしてＳ８０７で、ユーザーによりＳ２がＯＮされるまで待ち、Ｓ２がＯＮされたら撮影動作を行うステップＳ８０８以降の動作を行なう。
【００３２】
ステップＳ８０８では、撮影の直前に再度デフォーカスマップ(撮影情報)を取得する動作を行う。ステップＳ８０６で人物に合焦するようフォーカシングレンズを駆動したため、この時点でのデフォーカスマップを取得すると、図９（ｃ）のように人物部分のデフォーカス量は０となり、車の部分はｄ１１、建物の部分はｄ３３とそれぞれ変化する。なお、図９（ｃ）では、画面内の背景にあたる部分のデフォーカス量をｄｂｂとして示した。
【００３３】
それぞれの被写体のデフォーカス量が取得できたら、最後にステップＳ８０９で撮像動作を行い、撮像データに各被写体へフォーカスした再構成画像を得るためのパラメーターを生成してメタデータとして付与する（パラメーター生成手段）。再構成画像の絞り値に関しては、絞り込む方向に関してはユーザーの意思によって後から変更が可能なため、撮影完了時点で記録するパラメーターの絞り値(撮影情報)は撮影時のＦであるとする。また、ステップＳ８０５で優先順位付けした順に、各被写体に合焦した画像を生成できる変換マトリクスＭを、撮影した画像に付与する。すなわち、人物に合焦した画像を再構成できる変換マトリクスＭ１（デフォーカス量０、絞り値Ｆの再構成画像を生成する変換マトリクス）を第一位の優先順位として付与する。第二位は、車に合焦した画像を再構成出来る変換マトリクスＭ２（デフォーカス量ｄ１１、絞り値Ｆの再構成画像を生成する変換マトリクス）である。第三位は、建物に合焦した画像を再構成出来る変換マトリクスＭ３（デフォーカス量ｄ３３、絞り値Ｆの再構成画像を生成する変換マトリクス）となり、結果として図１のように画像のメタデータとして付与する。なお、変換マトリクスは比較的データ量が大きいため、変換マトリクスの代わりに、変換マトリクス生成のために必要になるリフォーカス面の位置（デフォーカス量）と絞り値のみを優先順位の順にメタデータに記憶してもよい。この場合、第一位はデフォーカス０、絞り値Ｆ、第二位はデフォーカス量ｄ１１と絞り値Ｆ、第三位はデフォーカス量ｄ３３と絞り値Ｆを、それぞれパラメーターとして画像に付与することになる。撮影画像のデータと、上述のように被写体に関連付けられて生成されたリフォーカスのためのメタデータを記録したら、撮影動作を終了する。
【００３４】
以上、本発明の記録装置をデジタルカメラである撮像装置を例にして説明したが、これに限るものではない。例えば、カメラから画像データとメタデータを外部に出力して記録する構成であってもよい。また、画像データとメタデータのための情報だけを撮影時に着脱式の記録媒体に保存しておき、そのＰＣ等の処理装置で、顔検出、優先順位の設定、タグデータの付与を行なって記録する構成とすることも可能である。
【実施例２】
【００３５】
第１の実施例では、撮影画像データに画像再構成用のパラメーターをメタデータに付加して記録する構成を説明した。第２の実施例では、第１の実施例に従って記録された、再構成可能な画像データをユーザーが閲覧し、その際にリフォーカスおよび絞り値を変更できる編集作業を可能とする画像再生装置を説明する。本実施例では、図１１に示すようなインターフェースを持つＰＣにより、図１０のフローチャートに従ったアプリケーションにより再構成画像を表示、編集する例を示す。また再生される画像データは、図９に示す被写体を撮影した画像データがあるとする。この画像は、第１の実施例で説明したように、人物に合焦した画像を再構成できる変換マトリクスＭ１を第一位として、図1に示すように画像のメタデータとして付与された画像である。また同様に、車に合焦した画像を再構成できる変換マトリクスＭ２を第二位に、建物に合焦した画像を再構成できる変換マトリクスＭ３は第三位として、画像のメタデータとして付与されている。
【００３６】
図１０は第２の実施例に係わる画像再生動作のフローチャートである。本実施例の場合、上述のように、本動作はＰＣのＣＰＵがアプリケーションプログラムを実行してＰＣの各部、例えば表示部などを制御することで行なわれる。
【００３７】
まず、ステップＳ１００２において、ユーザーにより再構成可能な画像データの再生要求がユーザーから与えられるのを待つ。そして再生要求があった場合には、ステップＳ１００３へ進み、再生要求のあった画像およびそのメタデータを取得する。ここで、画像データおよびメタデータは、第１の実施例に係わる記録装置で記録されたデータであり、当該記録装置から直接、あるいは着脱式の記録媒体等を介して提供されたデータである。
【００３８】
図１１に示すＰＣアプリケーションのインターフェースは、大きく左右に分けられ、右側は複数の再構成画像を表示する領域１１２であるとする。ステップＳ１００３でメタデータ内の再構成パラメーターを読み込み、読み込んだ再構成パラメーター（変換マトリクスＭ１、Ｍ２、Ｍ３）に基づいて再構成した画像を、優先順位の順番に上から表示するのがステップＳ１００４、Ｓ１００５である。この場合、最も優先順位の高い被写体である人物に合焦した再構成画像が画面右側の一番上に表示され、その下に優先順位第二位の車に合焦した再構成画像が、さらにその下に優先順位第三位の建物に合焦した再構成画像が表示されることになる。なお、画面のスペース表示の関係上、再構成画像表示エリア１１２に表示可能な再構成画像の枚数がｎ枚（ただしｎ≧1）に限られている場合は、メタデータに記憶された変換マトリクスのうち、上位ｎ位による再構成画像を表示エリアに表示することになる。
【００３９】
メタデータ内に記憶された再構成パラメーターに基づく再構成画像を表示したら、次にユーザーからのリフォーカス、もしくは絞り値を変更する編集指示を待つステップＳ１００６へ進む。このステップで編集指示が行われなかった場合はステップＳ１００７へ進み、シーケンスを終了する。一方、編集指示が行われた場合は、以下のように動作する。すなわち図１１の左側は、編集している画像を表示する編集エリア１１０になっている。編集エリアでは、再生している画像とリフォーカス面、絞り値を編集するためのインターフェースが存在し、ユーザーが２本のゲージを左右にドラッグすることで、リフォーカス面と絞り値の変更を指示できる。ゲージが操作されるたびに、ゲージに対応した再構成画像を生成するための変換マトリクスが算出され、ステップＳ１００８で編集後の再構成画像を生成、表示する。これにより、ユーザーの指示を画像に反映して表示することが可能となる。
【００４０】
ユーザーがリフォーカス面や絞り値の編集を行い、編集後の再構成画像を保存したいと判断した場合には、ステップＳ１００９で、編集後画像の保存要求をする。保存要求があった場合には、その編集後の画像の優先順位の入力(設定)もユーザーに要求し(優先順位設定手段)、その優先順位に従って、ステップＳ１０１１においてステップＳ１００８で生成した変換マトリクスを画像データのメタデータ部に追記する。それと同時に、図１１の再構成画像表示エリア１１２の優先順位に応じた位置に、編集後の画像を表示して本実施例の動作を終了する。
【００４１】
例えば、画像再生初期には優先順位一位としてメタデータに記憶されていた人物に合焦した再構成画像が、厳密には人物の耳に合焦した画像であったとする。これに対してユーザーが編集により、人物の目に合焦した画像を再構成し、この変換マトリクスを優先順位一位として保存したとする。この場合は、人物の目に合焦した再構成画像が優先順位一位となったので、元々メタデータに保存されていた再構成画像の優先順位は一つずつ下位にシフトされる。その結果、優先順位二位が人物の耳に合焦した画像、優先順位三位が車に合焦した画像、優先順位四位が建物に合焦した画像となる。なお、再構成画像表示エリア１１２にある画像の並び順をユーザーが入れ替えたり、あるいは画像を削除した場合も、優先順位の変更を行うことができるようにしてもよい。この場合、入れ替えや削除に連動して最新の優先順位を再計算し、メタデータに書き込まれた再構成画像生成用の変換マトリクスも、再計算後の優先順位に合わせて書き換わることになる。
【００４２】
なお、本実施例では、ＰＣでのアプリケーションによる画像データの再生、編集動作を例にして説明したが、本発明の実施形態はこれに限るものではない。例えば、第１の実施例に係わる撮像装置の撮影制御部２０６のＣＰＵがプログラムを実行して表示部２０７等の各部を制御して行われる再生動作として実現してもよい。また、表示機能を有するＰＣ以外の機器での画像処理機能として実現してもよいことは言うまでもない。
【００４３】
上述した本発明の第１及び第２の実施例によれば、素早く希望する合焦状態のリフォーカス画像を再構成して表示することを可能とする画像データを、記録データとして提供することが可能となると供に、その有効利用の可能性を広げることが可能となる。
【００４４】
ここで、図１２を用いて本実施例に適用可能な他の光学系の例について説明する。図１２は、物体（被写体）からの光線が撮像素子２０６上に結像する状態を模式的に示した図である。図１２（ａ）は図２〜４で説明した光学系と対応しており、撮影光学系の結像面近傍にＭＬＡ２０２を配置した例である。図１２（ｂ）は撮影光学系の結像面よりも物体寄りにＭＬＡ２０２を配置した例である。図１２（ｃ）は撮影光学系の結像面よりも物体から遠い側にＭＬＡ２０２を配置した例である。同図において、既に説明した図に示されている部分は同じ符号を付して示す。
【００４５】
図１２において、１２００は物体平面を、１２００ａ，１２００ｂは物体上の適当な点を、ａ１〜ａ５は撮影光学系の瞳平面を、１２０１〜１２０９はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図１２（ｂ）および（ｃ）に示した２０３ａは仮想的な撮像素子を、２０２ａは仮想的なＭＬＡを示している。これらは、図１２（ａ）との対応関係を明確にするために参考に示した。また、物体上の点１２００ａから出て瞳平面上の領域ａ１およびａ３を通過する光束を実線で、物体上の点１２００ｂから出て瞳平面上の領域ａ１およびａ３を通過する光束を破線で図示した。
【００４６】
図１２（ａ）の例では、撮影光学系の結像面近傍にＭＬＡ２０３を配置することで、撮像素子２０３と撮影光学系の瞳平面１２１０が共役の関係にある。さらに、物体平面１２００とＭＬＡ２０２が共役の関係にある。このため物体上の点１２００ａから出た光束はマイクロレンズ１２０１に、１２００ｂを出た光束はマイクロレンズ１２０２に到達し、領域ａ１からａ５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。
【００４７】
図１２（ｂ）の例では、ＭＬＡ２０２で撮影光学系からの光束を結像させ、その結像面に撮像素子２０３を設ける。このように配置することで、物体平面１２００と撮像素子２０３は共役の関係にある。物体上の点１２００ａから出で瞳平面上の領域ａ１を通過した光束はマイクロレンズ１２０３に到達し、物体上の点１２００ａから出で瞳平面上の領域ａ３を通過した光束はマイクロレンズ１２０４に到達する。物体上の点１２００ｂから出で瞳平面上の領域ａ１を通過した光束はマイクロレンズ１２０４に到達し、物体上の点１２００ｂから出で瞳平面上の領域ａ３を通過した光束はマイクロレンズ１２０５に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面２０３ａ上の位置に並べなおせば、図１２（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００４８】
図１２（ｃ）の例では、ＭＬＡ２０２で撮影光学系からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子２０３を設ける。このように配置することで、物体平面１２００と撮像素子２０３は共役の関係にある。物体上の点１２００ａから出で瞳平面上の領域ａ１を通過した光束はマイクロレンズ１２０７に到達し、物体上の点１２００ａから出で瞳平面上の領域ａ３を通過した光束はマイクロレンズ１２０６に到達する。物体上の点１２００ｂから出で瞳平面上の領域ａ１を通過した光束はマイクロレンズ１２０９に到達し、物体上の点１２００ｂから出で瞳平面上の領域ａ３を通過した光束はマイクロレンズ１２０８に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図１２（ｂ）と同様に、仮想的な撮像面２０３ａ上の位置に並べなおせば、図１２（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００４９】
図１２ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。
【００５０】
図８および１０に示した各処理は、上述のように各処理の機能を実現する為のプログラムを不図示のメモリから読み出して撮像装置のＣＰＵなどが実行することによりその機能を実現させるものである。
【００５１】
しかし、本発明は上述した構成に限定されるものではなく、図８及び１０に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、コンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。例えば、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せにより構成された記録媒体である。
【００５２】
また、図８および１０に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含む。この場合、書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００５３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。このように、一定時間プログラムを保持しているものも「コンピュータ読み取り可能な記録媒体」に含むものとする。
【００５４】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００５５】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５６】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００５７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014003404.tif 000007
【図２】
2014003404.tif 000008
【図３】
2014003404.tif 000009
【図４】
2014003404.tif 000010
【図５】
2014003404.tif 000011
【図６】
2014003404.tif 000012
【図７】
2014003404.tif 000013
【図８】
2014003404.tif 000014
【図９】
2014003404.tif 000015
【図１０】
2014003404.tif 000016
【図１１】
2014003404.tif 000017
【図１２】
2014003404.tif 000018