(57)【要約】【課題】撮影された画像について、柔軟に合焦距離を補正可能とすること。【解決手段】撮像装置１は、一度のレリーズ動作によって、同一画角で異なる合焦距離の画像を撮影しておき、それらの画像とレンズ情報とに基づいて、合焦距離を変化させた場合の画像を撮影後に擬似的に生成することができる。したがって、撮影された画像において、事後的にピントを前後にずらしたり、被写界深度を変化させるといったように、合焦距離を柔軟に変化させることが可能となる。【選択図】        図１
2004289383.tif 000002
【特許請求の範囲】
【請求項１】
レンズを通過した被写体からの光を撮像素子によって撮影し、デジタル画像を生成する撮像装置であって、
レリーズ動作に対応して、同一画角で異なる合焦距離に設定された複数の画像を連続的に撮影する撮影手段と、
前記複数の画像それぞれの撮影条件を取得する撮影条件取得手段と、
前記レンズの特性あるいは所定のレンズの特性と、前記異なる合焦距離の複数の画像と、該複数の画像の撮影条件とに基づいて、撮影された画像の合焦距離あるいは被写界深度の少なくともいずれかを、事後的に変化させる画像調整手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像調整手段は、
前記複数の画像それぞれにおいて、ピントが合っている合焦領域を抽出する合焦領域抽出手段と、
前記レンズの特性あるいは所定のレンズの特性と、前記撮影条件とに基づいて、前記合焦領域それぞれの画像を変化させる合焦領域調整手段と、
を備えることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記合焦領域抽出手段は、前記複数の画像の画角内における各領域について、該複数の画像のいずれがより正確な合焦状態であるかを判定し、より正確な合焦状態であると判定された各領域の画像を抽出することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮影手段は、前記複数の画像の被写界深度範囲が連続的となるように撮影条件を設定することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記合焦領域抽出手段によって抽出された各領域に基づいて、前記複数の画像と同一画角の１つの画像を生成し、該１つの画像を記憶する合焦画像記憶手段をさらに備えることを特徴とする請求項２〜４のいずれかに記載の撮像装置。
【請求項６】
前記撮影手段によって撮影された複数の画像を関連付けて記憶するグループ画像記憶手段をさらに備えることを特徴とする請求項１〜４のいずれかに記載の撮像装置。
【請求項７】
前記画像調整手段によって画像を変化させる場合に、前記複数の画像における合焦領域以外の画像に基づいて、ピントが合っていない領域の画像を生成することを特徴とする請求項２〜６のいずれかに記載の撮像装置。
【請求項８】
前記画像調整手段は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、撮影時に合焦距離あるいは被写界深度を変化させた場合に想定される画像を、物理的な変化態様に即して擬似的に生成することを特徴とする請求項１〜７のいずれかに記載の撮像装置。
【請求項９】
前記画像調整手段は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、画角内の任意の領域について、任意の合焦距離あるいは被写界深度に変化させることが可能であることを特徴とする請求項１〜７のいずれかに記載の撮像装置。
【請求項１０】
表示装置上に表示可能な画像データを生成する画像データ生成方法であって、
同一画角で異なる合焦距離に設定された複数の画像を撮影し、画角内の各領域について、複数の画像のいずれがより正確な合焦状態であるかを判定し、各領域について、より正確な合焦状態であると判定された画像の合焦距離と対応づけることにより、被写体の色彩に関する情報と距離に関する情報とを含む画像データを生成することを特徴とする画像データ生成方法。
【請求項１１】
デジタル画像データに基づいて画像を表示可能な画像データ処理装置であって、
撮影された被写体の色彩に関する情報と距離に関する情報とを含む画像データに基づいて、該画像データに係る画像の合焦距離あるいは被写界深度の少なくともいずれかを、事後的に変化させる画像調整手段を備え、
任意に設定された合焦距離あるいは被写界深度の画像を表示可能であることを特徴とする画像データ処理装置。
【請求項１２】
デジタル画像データに基づいて画像を表示するための画像データ処理プログラムであって、
撮影された被写体の色彩に関する情報と距離に関する情報とを含む画像データに基づいて、該画像データに係る画像の合焦距離あるいは被写界深度の少なくともいずれかを、事後的に変化させる画像調整機能をコンピュータに実現させ、
任意に設定された合焦距離あるいは被写界深度の画像を表示可能とすることを特徴とする画像データ処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、距離情報を含む画像データに係る撮像装置、画像データ生成方法、画像データ処理装置および画像データ処理プログラムに関する。
【０００２】
【従来の技術】
近年、撮像素子によって画像をデジタル撮影するデジタルカメラが普及しつつある。
デジタルカメラは、フィルムカメラに比べ、撮影された画像を撮影後に補正することが容易であるという特徴を有する。即ち、フィルムカメラにおいては、プリントされた写真の画質は、撮影時の条件に大きく依存しており、撮影後に色調および露出量についての修正を行うことは可能であるものの、画質に大きな影響を及ぼすピントのずれ（合焦距離のずれ）を修正することは不可能である。一方、デジタルカメラにおいては、撮影後に色調および露出量についての修正を行うことに加え、アンシャープマスクやぼかしといった技術により、ピントのずれを修正することも可能である。
【０００３】
ここで、従来、高い画質の写真をより確実に撮影するため、被写体を複数回撮影することが行われている。
特に、フィルムカメラにおいては、露出の過不足による撮影の失敗を防止するため、適正であると想定される撮影条件に対し、絞りやシャッタ速度あるいはフラッシュの発光量を所定量変化させることにより、露出量を変えて複数回撮影することが行われている。
【０００４】
このように撮影した結果、現像された複数の写真はそれぞれ異なる画質のものとなり、それらのうちから適切なものを選択することが可能となる。
また、デジタルカメラやスキャナ等のデジタル機器においては、同一の被写体を同一条件で複数回撮影し、それらの撮影データを平均化することで、撮像素子等において発生するランダムノイズを平滑化することが行われている。
【０００５】
さらに、特開２００１−２３８１２８号公報には、同一の被写体を異なる撮影条件で複数枚撮影し、撮影された画像それぞれの適正な露光領域を抽出して合成することで、ダイナミックレンジの広い適切な彩度の画像を得る技術が開示されている。なお、本技術は露光量に関するものであるが、ピントの位置に関しても同様の方法を適用することは可能である。
【０００６】
【特許文献１】
特開２００１−２３８１２８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特開２００１−２３８１２８号公報に記載された技術は、撮影された複数枚の画像から、所定処理の結果、最適であると想定される１枚の画像を生成するものであることから、処理の結果得られる画像は一意に定められることとなる。
【０００８】
すなわち、特開２００１−２３８１２８号公報に記載された技術は、一度の撮影によって得られる画像の欠陥を、複数回の撮影を行うことによって得られた他の画像を用いて補完するための技術であり、これは、他の従来技術においても共通する概念であった。
一方、撮影された画像において、撮影時に意図していたピントの位置が必ずしも適切でない場合や、画像内のピントが合っている範囲（被写界深度）を変化させたい場合等、事後的に合焦距離を任意に変化させる要求が発生する場合もある。
【０００９】
このような場合、従来の技術においては、ピントの合っていない領域について、ピントを合わせる補正は行えるものの、画像内においてピントを前後にずらしたり、被写界深度を変化させたりするといったように、事後的に合焦距離を変化させる補正を行うことは困難であった。
なお、デジタルカメラにおいては、撮像素子の面積が小さいことから、レンズを通過した光束が一定面積となるように絞る必要がある。そのため、被写界深度が深くなる傾向にあり、風景写真のように画面全体にピントを合わせる場合には適するものの、ポートレートのように、主要な被写体にのみピントを合わせ、他の被写体のピントをぼかすといったことが困難であった。即ち、デジタルカメラにおいては、フィルムカメラに比べて、撮影時に合焦距離を柔軟に変化させることが困難であるという問題もあった。
【００１０】
本発明の課題は、撮影された画像について、柔軟に合焦距離を補正可能とすることである。
【００１１】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
レンズを通過した被写体からの光を撮像素子によって撮影し、デジタル画像を生成する撮像装置であって、レリーズ動作に対応して、同一画角で異なる合焦距離に設定された複数の画像（例えば、発明の実施の形態中の「グループ画像」）を連続的に撮影する撮影手段（例えば、図１のレンズユニット部１０およびカメラユニット部２０）と、前記複数の画像それぞれの撮影条件を取得する撮影条件取得手段（例えば、図１のレンズユニット部１０および中央演算装置２２）と、前記レンズの特性（例えば、発明の実施の形態中のレンズ１１の伝達関数）あるいは所定のレンズの特性（例えば、備えられたレンズより浅い被写界深度となるレンズ等、ユーザが選択したレンズの伝達関数）と、前記異なる合焦距離の複数の画像と、該複数の画像の撮影条件（例えば、撮影時の合焦距離等）とに基づいて、撮影された画像の合焦距離あるいは被写界深度の少なくともいずれかを、事後的に変化させる画像調整手段（例えば、図１のレンズ情報記憶装置１３および中央演算装置２２）とを備えることを特徴としている。
【００１２】
また、前記画像調整手段は、前記複数の画像それぞれにおいて、ピントが合っている合焦領域を抽出する合焦領域抽出手段（例えば、図１の中央演算装置２２）と、前記レンズの特性あるいは所定のレンズの特性と、前記撮影条件とに基づいて、前記合焦領域それぞれの画像を変化させる合焦領域調整手段（例えば、図１のレンズ情報記憶装置１３および中央演算装置２２）とを備えることを特徴としている。
【００１３】
また、前記合焦領域抽出手段は、前記複数の画像の画角内における各領域について、該複数の画像のいずれがより正確な合焦状態であるかを判定し、より正確な合焦状態であると判定された各領域の画像を抽出することを特徴としている。
また、前記撮影手段は、前記複数の画像の被写界深度範囲が連続的となるように撮影条件を設定することを特徴としている。
【００１４】
また、前記合焦領域抽出手段によって抽出された各領域に基づいて、前記複数の画像と同一画角の１つの画像を生成し、該１つの画像を記憶する合焦画像記憶手段（例えば、図１のメモリユニット部３０）をさらに備えることを特徴としている。
また、前記撮影手段によって撮影された複数の画像を関連付けて記憶するグループ画像記憶手段（例えば、図１のメモリユニット部３０）をさらに備えることを特徴としている。
【００１５】
また、前記画像調整手段によって画像を変化させる場合に、前記複数の画像における合焦領域以外の画像に基づいて、ピントが合っていない領域の画像を生成することを特徴としている。
また、前記画像調整手段は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、撮影時に合焦距離あるいは被写界深度を変化させた場合に想定される画像を、物理的な変化態様に即して擬似的に生成することを特徴としている。
【００１６】
また、前記画像調整手段は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、画角内の任意の領域について、任意の合焦距離あるいは被写界深度に変化させることが可能であることを特徴としている。
即ち、物理的な変化態様にとらわれることなく、遠方と近接領域にピントを合わせ、中間距離の領域のピントをぼかすといったことも可能である。
【００１７】
また、本発明は、
表示装置上に表示可能な画像データを生成する画像データ生成方法であって、
同一画角で異なる合焦距離に設定された複数の画像を撮影し、画角内の各領域について、複数の画像のいずれがより正確な合焦状態であるかを判定し、各領域について、より正確な合焦状態であると判定された画像の合焦距離と対応づけることにより、被写体の色彩に関する情報と距離に関する情報とを含む画像データを生成することを特徴としている。
【００１８】
また、本発明は、
デジタル画像データに基づいて画像を表示可能な画像データ処理装置であって、撮影された被写体の色彩に関する情報と距離に関する情報とを含む画像データに基づいて、該画像データに係る画像の合焦距離あるいは被写界深度の少なくともいずれかを、事後的に変化させる画像調整手段を備え、任意に設定された合焦距離あるいは被写界深度の画像を表示可能であることを特徴としている。
【００１９】
なお、前記画像調整手段は、前記複数の画像それぞれにおいて、ピントが合っている合焦領域を抽出する合焦領域抽出手段と、撮影に使用されたレンズの特性あるいは所定のレンズの特性と、撮影条件とに基づいて、前記合焦領域それぞれの画像を変化させる合焦領域調整手段とを備えることとしてもよい。
また、前記合焦領域抽出手段は、前記複数の画像の画角内における各領域について、該複数の画像のいずれがより正確な合焦状態であるかを判定し、より正確な合焦状態であると判定された各領域の画像を抽出することとしてもよい。
【００２０】
また、前記合焦領域抽出手段によって抽出された各領域に基づいて、前記複数の画像と同一画角の１つの画像を生成し、該１つの画像を記憶する合焦画像記憶手段をさらに備えることとしてもよい。
また、撮影された複数の画像を関連付けて記憶するグループ画像記憶手段をさらに備えることとしてもよい。
【００２１】
また、前記画像調整手段によって画像を変化させる場合に、前記複数の画像における合焦領域以外の画像に基づいて、ピントが合っていない領域の画像を生成することとしてもよい。
また、前記画像調整手段は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、撮影時に合焦距離あるいは被写界深度を変化させた場合に想定される画像を、物理的な変化態様に即して擬似的に生成することとしてもよい。
【００２２】
また、前記画像調整手段は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、画角内の任意の領域について、任意の合焦距離あるいは被写界深度に変化させることとしてもよい。
また、本発明は、
デジタル画像データに基づいて画像を表示するための画像データ処理プログラムであって、撮影された被写体の色彩に関する情報と距離に関する情報とを含む画像データに基づいて、該画像データに係る画像の合焦距離あるいは被写界深度の少なくともいずれかを、事後的に変化させる画像調整機能をコンピュータに実現させ、任意に設定された合焦距離あるいは被写界深度の画像を表示可能とすることを特徴としている。
【００２３】
なお、前記画像調整機能は、前記複数の画像それぞれにおいて、ピントが合っている合焦領域を抽出する合焦領域抽出機能と、撮影に使用されたレンズの特性あるいは所定のレンズの特性と、撮影条件とに基づいて、前記合焦領域それぞれの画像を変化させる合焦領域調整機能とを備えることとしてもよい。
また、前記合焦領域抽出機能は、前記複数の画像の画角内における各領域について、該複数の画像のいずれがより正確な合焦状態であるかを判定し、より正確な合焦状態であると判定された各領域の画像を抽出することとしてもよい。
【００２４】
また、前記合焦領域抽出機能によって抽出された各領域に基づいて、前記複数の画像と同一画角の１つの画像を生成し、該１つの画像を記憶させる合焦画像記憶機能をさらに備えることとしてもよい。
また、撮影された複数の画像を関連付けて記憶させるグループ画像記憶機能をさらに備えることとしてもよい。
【００２５】
また、前記画像調整機能によって画像を変化させる場合に、前記複数の画像における合焦領域以外の画像に基づいて、ピントが合っていない領域の画像を生成することとしてもよい。
また、前記画像調整機能は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、撮影時に合焦距離あるいは被写界深度を変化させた場合に想定される画像を、物理的な変化態様に即して擬似的に生成することとしてもよい。
【００２６】
また、前記画像調整機能は、撮影された画像の合焦距離あるいは被写界深度を変化させる際、画角内の任意の領域について、任意の合焦距離あるいは被写界深度に変化させることとしてもよい。
本発明によれば、レリーズ動作によって、同一画角で異なる合焦距離の画像を撮影しておき、それらの画像と、撮影に使用されたレンズの特性あるいは他のレンズの特性および撮影条件とに基づいて、合焦距離を変化させた場合の画像を撮影後に擬似的に生成することができる。
【００２７】
したがって、撮影された画像において、事後的にピントを前後にずらしたり、被写界深度を変化させるといったように、合焦距離を柔軟に変化させることが可能となる。
【００２８】
【発明の実施の形態】
以下、図を参照して本発明に係る撮像装置の実施の形態を説明する。
本発明に係る撮像装置は、一度のレリーズ動作に対応して、同一の画角で異なる位置にピントを合わせた画像を連続して撮影しておく。そして、撮影された複数の画像に基づいて、撮影された画像のピントを変化させる補正や、被写界深度を変化させる補正等、合焦距離の変化を伴う補正を事後的に行うことが可能な撮像装置である。
【００２９】
まず、構成を説明する。
図１は、本発明を適用した撮像装置１の機能構成を示すブロック図である。
図１において、撮像装置１は、レンズユニット部１０と、カメラユニット部２０と、メモリユニット部３０とを含んで構成される。なお、これらの各ユニット部は、一体的な構成および着脱可能な構成のいずれとすることも可能であるが、ここでは着脱可能な構成であるものとして説明する。
【００３０】
レンズユニット部１０は、レンズ１１と、絞り装置１２と、レンズ情報記憶装置１３とをさらに含んで構成される。
レンズ１１は、複数枚のレンズによって構成された光学系であり、被写体からの反射光を収束して結像させる。
絞り装置１２は、複数枚の羽根によって開口面積を変化可能な機構を有し、レンズ１１を通過する光量を調整する。また、絞り装置１２は、カメラユニット部２０の中央演算装置２２によって開口面積が制御される。
【００３１】
レンズ情報記憶装置１３は、レンズ１１の伝達関数、絞りおよび合焦距離に対応する被写界深度、現在の絞り値および開放絞り値、合焦距離、レンズの焦点距離といったレンズ１１に関連する各種情報をレンズ情報として記憶している。このレンズ情報は、撮影時等にカメラユニット部２０に出力される。
ここで、レンズ１１の伝達関数とは、レンズ１１に入射する被写体からの光と、その結像との関係を表す関数であり、レンズ１１の光学特性に基づいて特定される。そのため、絞りおよび合焦距離に対する被写界深度は、レンズ１１の伝達関数から算出することが可能であるが、その算出には複雑な演算を伴うため、予め算出された値を記憶しておくものとする。ただし、絞りおよび合焦距離に対する被写界深度を逐次算出することも可能である。
【００３２】
カメラユニット部２０は、入力装置２１と、中央演算装置２２と、シャッタ装置２３と、撮像素子２４と、主記憶装置２５と、補助記憶装置２６と、表示装置２７とをさらに含んで構成される。
入力装置２１は、画像を撮影するためにユーザによって押下されるシャッタボタンを備え、シャッタボタンの押下信号は中央演算装置２２に出力される。また、入力装置２１は、撮影時の設定および撮影画像の処理のための各種ボタンを備えており、これらのボタンの操作信号も中央演算装置２２に出力される。各種ボタンとして、例えば、入力装置２１には、撮影を行う際に拡大率を調整するためのズームボタン、絞り値を設定するための絞り設定ボタン、シャッタ速度を設定するためのシャッタ速度設定ボタン、撮像装置１に備えられている撮影モードを変更するためのモード設定ボタン等が備えられている。また、入力装置２１には、後述する撮影後補正処理において、撮影された画像の合焦距離を変化させるためのピント位置ボタンおよび被写界深度を変化させるための被写界深度調整ボタンが備えられている。
【００３３】
中央演算装置２２は、撮像装置１全体を制御するものであり、例えば、後述する画像撮影処理プログラムあるいは撮影後補正処理プログラムを補助記憶装置２６から読み出し、画像撮影処理あるいは撮影後補正処理を実行したり、撮像装置１の制御のための各種プログラムを補助記憶装置２６から読み出し、それぞれのプログラムを実行したりする。
【００３４】
また、中央演算装置２２は、入力装置２１への操作に対応する信号を受け付け、各操作に対応する所定処理を実行する。
シャッタ装置２３は、開閉動作を行うことにより、レンズ１１を通過した光を撮像素子２４に所定時間だけ露光させるための機構を備えている。なお、シャッタ装置２３は、シャッタボタンの押下に対応して中央演算装置２２から入力される指示信号に基づいて開閉動作を行う。
【００３５】
撮像素子２４は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｉｏｄｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の素子を含んで構成され、レンズ１１を通過した光を受光し、電気信号に変換することによって、その結像を画像データとする。
主記憶装置２５は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリによって構成され、撮像装置１が動作する際に生成される種々のデータを一時的に保持する。
【００３６】
補助記憶装置２６は、フラッシュＲＯＭ等の不揮発性のメモリによって構成され、画像撮影処理プログラムや撮影後補正処理プログラムおよび撮像装置１を制御するための種々のプログラムを記憶している。
表示装置２７は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等からなる小型の表示装置であり、撮像装置１によって撮影された画像や、メモリユニット３０に記憶された画像等を表示する。
【００３７】
メモリユニット部３０は、メモリカード等の着脱可能な記憶媒体を含んで構成され、撮影された画像や、撮影後補正処理によって生成された画像等を記憶することが可能である。
上述のように、本発明に係る撮像装置１は、カメラユニット部２０に対し、それぞれ着脱可能なレンズユニット部１０、メモリユニット部３０から構成される。そして、着脱可能な任意のレンズユニット部１０内にあるレンズ１１についてのレンズ情報は、同じくレンズユニット部１０に内蔵されるレンズ情報記憶装置１３に記録されている。カメラユニット部２０は、レンズ情報記憶装置１３に記録されたレンズ情報を読み込み、主記憶装置または補助記憶装置内に記憶している。
【００３８】
次に、動作を説明する。
本発明の動作を説明するにあたり、本発明の基本的な考え方について、手順を追って説明する。
本発明に係る撮像装置１は、レンズ情報として、レンズ１１の伝達関数を含むレンズ情報を記憶している。
【００３９】
したがって、撮像装置１においては、合焦距離を定めた場合に、任意の距離に存在する被写体の画像が変化する特性（以下、「焦点ずれ特性」という。）が把握されている。
図２は、種々の合焦距離における焦点ずれ特性を示す図である。なお、図２においては、合焦距離以外の要素が特定の条件に定められている場合を示しており、横軸を距離、縦軸を画像パラメータとして示している。画像パラメータとは、コントラスト、色彩あるいは輝度等、画像の各画素を表すそれぞれの要素である。また、図２において、各特性曲線の頂点の横軸座標は、合焦距離を示している。
【００４０】
図２に示すように、特定の合焦距離の場合（１つの特性曲線に注目した場合）、種々の距離に位置する被写体の画像は、合焦距離を離れるに従って変化する（いわゆるピンぼけ状態となる）。
また、合焦距離が変化した場合（一連の異なる特性曲線に注目した場合）、特定の距離に位置する被写体の画像は、合焦距離から離れるに従って変化する。
【００４１】
さらに、合焦距離が撮像装置１から近いほど、特性曲線は急峻なものとなり、変化が著しいものとなっている。
このように、画像の変化態様が把握されている状態において、ある合焦距離で画像を撮影することにより、図２に示す特性曲線の１つに対応する実データが取得されることとなる。
【００４２】
例えば、２ｍ、１０ｍ、５００ｍの３つの合焦距離で画像を撮影したとする。すると、図２に示す特性曲線のうち、３つの合焦距離の特性曲線に対応する画像データが取得される。
図３は、画像データが取得された３つの特性曲線を示す図である。
図３において、３つの合焦距離を基準とする被写界深度内に位置する被写体については、ピントが合っているとみなせる画像が取得されている。さらに、これらの画像については、合焦距離が変化された場合に、画像が変化する態様が推定可能である。
【００４３】
また、３つの画像における被写界深度の範囲が互いに連続して分布していることから、画角内の全ての被写体について、少なくとも一つはピントが合っているとみなせる画像が取得されていることとなる。
そこで、画像の各領域について、２ｍ、１０ｍ、５００ｍのいずれの合焦距離の画像が最も画質が優れている（ピントがより正確に合っている）かを判定し、最も画質が優れていると判定された距離をそれぞれの領域に対応付ける。
【００４４】
即ち、図４に示すように、画角内の各被写体の距離を、撮影された画像の画質に基づいて、２ｍ、１０ｍ、５００ｍのいずれかに分類し、いずれかの距離に位置するものとみなす。
ここで、図２において、ある距離に注目すると、合焦距離が変化された場合の特性は、図２に示す複数の特性曲線から把握することが可能である。例えば、１０ｍの距離の被写体については、合焦距離が変化されると、図５に示すように画像が変化することが把握可能である。
【００４５】
したがって、図４に示すように分類された各被写体の領域について、合焦距離を変化させた場合の画像は、それぞれの領域内が同一の距離であるとみなされていることから、図６に示すように、それぞれの領域毎に同様の特性に従って変化させることができる。
図６は、撮影された画像の合焦距離を変化させた場合に、各領域の画像が対応して変化する様子を示す図である。
【００４６】
即ち、図５に示すような特性に基づいて、各領域の画像を対応させながら、合焦距離を撮影後に変化させることにより、撮影時において合焦距離を変化させたのと同様の画像を擬似的に生成することができる。
そこで、本発明においては、一度のレリーズ動作で合焦距離の異なる複数の画像を撮影しておき、撮影された複数の画像に基づいて、撮影後に、補正対象となる画像において合焦距離を変化させることを可能とする。
【００４７】
このとき、撮影後に合焦距離を変化させた際に生成される画像は、実際に撮影された画像に基づくものであり、合焦距離を実際に変化させて撮影された画像をより正確に再現（擬似生成）することができる。また、一度のレリーズ動作において撮影する画像の枚数をより多くすることで、撮影後に合焦距離を変化させて得られる画像について、より正確な再現が可能となる。
【００４８】
以下、本発明を適用した撮像装置１の具体的な動作について説明する。
まず、画像撮影処理について説明する。
図７は、撮像装置１が実行する画像撮影処理を示すフローチャートである。画像撮影処理は、シャッタボタンが押下されることに対応して開始される。
図７において、画像撮影処理が開始されると、撮像装置１は、被写体までの距離（合焦距離）、レンズ１１の焦点距離、絞り値等、撮影条件に応じて、そのレリーズ動作で撮影する複数の画像（以下、「グループ画像」と言う。）の枚数を決定するための撮影枚数決定処理（後述）を実行する（ステップＳ１）。なお、ステップＳ１においては、グループ画像の枚数に併せて、撮影される画像の被写界深度が互いに連続的となるように、撮影される各画像の合焦距離も決定される。
【００４９】
次に、撮像装置１は、ステップＳ１において決定したグループ画像の撮影を行い、撮影された画像に合焦距離をデータとして加える（ステップＳ２）。
そして、撮像装置１は、グループ画像の撮影が全て終了したか否かの判定を行い（ステップＳ３）、グループ画像の撮影が全ては終了していないと判定した場合、ステップＳ２の処理に移行する。
【００５０】
一方、ステップＳ３において、グループ画像の撮影が全て終了したと判定した場合、撮像装置１は、撮影されたグループ画像それぞれから、ピントが合っている領域を抽出する（ステップＳ４）。
ここで、撮影された画像において、ピントが合っているか否かを判定する方法としては、各画素について、異なる合焦距離で撮影された画像を比較し、隣接画素間のコントラストが最大となっているものを選択する方法等が知られている。
【００５１】
次に、撮像装置１は、ステップＳ４において抽出された領域それぞれを合成し、画角内の全ての被写体にピントが合っている画像（以下、「合焦画像」と言う。）を生成する（ステップＳ５）。なお、合焦画像の各画素には、その画素が属する領域の合焦距離のデータが付加されている。
そして、撮像装置１は、画像撮影処理を終了する。
【００５２】
このように、画像撮影処理を実行することにより、例えば、図８に示す撮影条件の場合、図９（ａ）〜（ｃ）の画像がグループ画像として撮影され、これらの画像それぞれから、図１０（ａ）〜（ｃ）の画像が抽出される。
そして、図１０（ａ）〜（ｃ）の画像に基づいて、図１１に示す画像が合焦画像として生成される。
【００５３】
図１１に示す合焦画像のデータ量は、図９（ａ）〜（ｃ）の画像のデータ量の合計より少ないものとなっている。したがって、後述する撮影後補正処理において参照するためには、図１１に示す合焦画像を記憶しておく方が、記憶容量を効率的に使用できる。
ただし、図９（ａ）〜（ｃ）の画像をそれぞれ記憶しておくことも可能であり、この場合、ステップＳ４において抽出された領域以外の領域、即ち、ピントが合っていない被写体の画像も記憶されることから、後述する撮影後補正処理において、ピントが合っていない領域の画像を参照することが可能となる。
【００５４】
次に、上述の画像撮影処理におけるサブフローである撮影枚数決定処理について説明する。
撮影枚数決定処理は、グループ画像として撮影する画像の枚数を決定するための処理であり、グループ画像の枚数を決定するためには、被写体までの距離と被写界深度とが重要な要素となることから、初めに、これらの関係について説明する。
【００５５】
図１２は、被写体までの距離と被写界深度の位置範囲（ピントが合う距離範囲）との関係を示す図であり、図１２（ａ）は、レンズ１１の焦点距離が長い場合、図１２（ｂ）は、レンズ１１の焦点距離が短い場合を示している。
一般に、レンズの焦点距離が長いほど被写界深度が浅くなり、また、絞り値が小さい（絞りを開く）ほど被写界深度は浅くなる。さらに、被写体までの距離が短いほど被写界深度は浅くなる。
【００５６】
したがって、画角に含まれる被写体の全てについて、ピントが合った画像を撮影するためには、各被写体が少なくとも一度、合焦距離に対する被写界深度内に含まれる必要がある。
図１２（ａ），（ｂ）において、各線分の幅は被写界深度を示しており、画角内の各被写体が少なくとも一度、合焦距離を基準とした被写界深度内に含まれるということは、被写界深度を示す各線分によって、横軸における被写体の存在する全範囲が網羅されることを意味する。
【００５７】
即ち、図１２（ａ）によれば、被写界深度が浅い撮影条件の場合、少ない枚数（ここでは７枚）の画像で全画角を少なくとも被写界深度内に包含可能であることがわかる。反対に、図１２（ｂ）によれば、被写界深度が深い撮影条件の場合、多くの枚数（ここでは４枚）の画像を要することがわかる。
なお、より正確な合焦画像を得るためには、合焦距離を小間隔で変化させ、多数のグループ画像を撮影することが理想的である。しかしながら、撮影枚数が多くなることに伴って、グループ画像の全てを撮影するために要する時間が長くなり、撮像装置１を同じ姿勢で長時間保持しておく必要が生じると共に、必要な記憶容量も増大することとなる。
【００５８】
そこで、以下に説明する撮影枚数決定処理においては、３枚から１０枚程度の範囲でグループ画像を撮影し、画角内の全ての被写体が少なくとも一度、合焦距離を基準とした被写界深度内に含まれるような設定を行うものとする。
このとき、いかなる合焦距離の画像を撮影するかについては、図１２（ａ），（ｂ）に示すように予め定めた間隔に合焦距離を設定して撮影する方法が可能であり、この方法は、画角内の被写体が近距離から遠距離まで連続的に分布している場合に適している。
【００５９】
また、画角内に存在する主要な被写体が離散的な距離に分布している場合、例えば、図８のように、近距離に人物、数百メートルの遠距離に山、それらの中間距離に建物が分布している場合には、それら主要な被写体（人物、建物および山）に合焦距離を設定し、それらの合焦距離のみを設定して画像を撮影したり、さらに、それらの合焦距離の間を補完するように画像を撮影したりすることが可能である。
【００６０】
以下、撮影枚数決定処理の具体的な処理内容について説明する。
図１３は、撮像装置１が実行する撮影枚数決定処理を示すフローチャートである。撮影枚数決定処理は、画像撮影処理のステップＳ１で呼び出されることに対応して開始される。
図１３において、撮影枚数決定処理が開始されると、撮像装置１は、レンズ情報記憶装置１３に記憶しているレンズ１１の状態に変更があるか否かの判定を行う（ステップＳ１０１）。
【００６１】
ここで、レンズの状態の変更とは、レンズの焦点距離、絞り値および被写体までの距離が変化することを言い、ＡＥ（自動露出制御）機能によって、ズーム操作が行われた場合に絞りが自動的に変更される場合等も含むものである。
具体的には、レンズの焦点距離が変化するとは、ズームレンズにおいて焦点距離が変更されることあるいはレンズが交換されることを言う。また、絞り値が変化するとは、撮影者が絞り設定ボタンを操作することにより絞りが変化することを言い、被写体までの距離が変化するとは、撮像装置１もしくは被写体が位置を移動することにより、撮像装置１と被写体との距離が変化することを言う。
【００６２】
ステップＳ１０１において、レンズ１１の状態に変更がないと判定した場合、撮像装置１は、補助記憶装置２６にグループ画像として撮影する枚数が記憶されているか否かの判定を行い（ステップＳ１０２）、記憶されていると判定した場合、記憶されている撮影枚数に決定する（ステップＳ１０３）。
そして、撮像装置１は、撮影枚数決定処理を終了する。
【００６３】
一方、ステップＳ１０２において、補助記憶装置２６にグループ画像として撮影する枚数が記憶されていないと判定した場合、撮像装置１は、ステップＳ１０４の処理に移行する。
また、ステップＳ１０１において、レンズ１１の状態に変更があると判定した場合、撮像装置１は、レンズ１１に関するレンズ情報をレンズ情報記憶装置１３から読み込み（ステップＳ１０４）、読み込んだレンズ情報に基づいて、グループ画像として撮影する枚数を決定する（ステップＳ１０５）。
【００６４】
次に、撮像装置１は、補助記憶装置２６にステップＳ１０５において決定した枚数を記憶し（ステップＳ１０６）、撮影枚数決定処理を終了する。
次に、撮影後補正処理について説明する。
図１４は、撮像装置１が実行する撮影後補正処理を示すフローチャートである。撮影後補正処理は、画像撮影処理によって生成された合焦画像に対し、撮影後に合焦距離あるいは被写界深度を変化させるための処理であり、撮像装置１のユーザが撮影後補正処理の実行を指示することに対応して起動される。
【００６５】
図１４において、撮影後補正処理が開始されると、撮像装置１は、合焦画像および必要なレンズ情報（レンズ１１の伝達関数等）を読み込み（ステップＳ２０１）、表示装置２７に撮影後補正処理のユーザインターフェースを表示する（ステップＳ２０２）。
図１５は、撮影後補正処理のユーザインターフェースを示す図である。
【００６６】
図１５において、合焦距離を変化させるためのピント位置スライダは、表示されている画像の合焦距離を示している。また、ピント位置スライダは、入力装置２１のピント位置ボタンが操作されることに対応して移動する。
また、図１５において、被写界深度を変化させるための被写界深度スライダは、いずれの絞り値に対応する被写界深度であるかを示している。さらに、被写界深度スライダは、入力装置２１の被写界深度調整ボタンが操作されることに対応して移動する。
【００６７】
図１４に戻り、撮像装置１は、ユーザインターフェースに対して、ピント位置スライダあるいは被写界深度スライダいずれの操作が行われたかの判定を行い（ステップＳ２０３）、被写界深度スライダの操作が行われたと判定した場合、選択された被写界深度に合わせて、合焦画像における各領域の画像を補正する（ステップＳ２０４）。
【００６８】
一方、ステップＳ２０３において、ピント位置スライダの操作が行われたと判定した場合、撮像装置１は、選択されたピント位置に合わせて、合焦画像における各領域の画像を補正する（ステップＳ２０５）。
ステップＳ２０４およびステップＳ２０５の後、撮像装置１は、撮影後補正処理の終了が指示されたか否かの判定を行い（ステップＳ２０６）、撮影後補正処理の終了が指示されていないと判定した場合、ステップＳ２０３の処理に移行する。一方、撮影後補正処理の終了が指示されたと判定した場合、撮影後補正処理を終了する。
【００６９】
以上のように、本実施の形態に係る撮像装置１は、一度のレリーズ動作によって、同一画角で異なる合焦距離の画像を撮影しておき、それらの画像とレンズ情報とに基づいて、合焦距離を変化させた場合の画像を撮影後に擬似的に生成することができる。
したがって、撮影された画像において、事後的にピントを前後にずらしたり、被写界深度を変化させるといったように、合焦距離を柔軟に変化させることが可能となる。
【００７０】
また、このようにして生成された合焦画像のデータには、被写体の色彩に関する情報（例えばＲ，Ｇ，Ｂの各情報等）および被写体までの距離に関する情報が含まれている。
そのため、視差を利用した疑似立体ディスプレイ等のための画像データとして利用することができ、本発明を適用することによって、そのような画像データを簡単に取得することが可能である。
【００７１】
なお、本実施の形態においては、撮影に用いたレンズ１１の伝達関数に基づいて、合焦画像を変化させることとして説明したが、レンズ１１以外のレンズの伝達関数に基づいて、合焦画像を変化させることとしてもよい。
即ち、レンズ情報として、レンズ１１以外のレンズの伝達関数を記憶しておき、撮影後補正処理等において任意のレンズの伝達関数を選択して用いることが可能である。
【００７２】
この場合、撮影に用いたレンズ１１より浅い被写界深度となるレンズの伝達関数を用いることによって、被写界深度が浅い画像を得ることができる等、ユーザが意図する画像を容易に生成することが可能となる。つまり、被写界深度が深くなる傾向にあるデジタルカメラにおいて、被写界深度が浅い画像を容易に取得することが可能となる。
【００７３】
また、本実施の形態においては、撮像装置１において、グループ画像の撮影から合焦画像の生成までを行うこととして説明したが、撮影されたグループ画像をメモリカード等に記憶してＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理装置にデータを移し、その装置上で合焦画像の生成処理を行うこととしてもよい。
以下、このときのグループ画像を撮影する処理（グループ画像撮影処理）および合焦画像を生成する処理（合焦画像生成処理）について説明する。
【００７４】
初めに、グループ画像撮影処理について説明する。
グループ画像撮影処理は、図７に示す画像撮影処理において、グループ画像を撮影した後、撮影した複数の画像を関連づけて記憶するものとなる。
図１６は、グループ画像撮影処理を示すフローチャートである。
図１６において、ステップＳ３０１〜ステップＳ３０３の処理は、図７に示す画像撮影処理のステップＳ１〜ステップＳ３の処理とそれぞれ同様であるため説明を省略し、以後の処理についてのみ説明する。
【００７５】
ステップＳ３０３において、グループ画像の撮影が全て終了したと判定した場合、撮像装置１は、撮影されたグループ画像を関連づけて記憶する（ステップＳ３０４）。
そして、撮像装置１は、グループ画像撮影処理を終了する。
ここで、グループ画像を関連づけて記憶する方法としては、画像ファイル名によってグループを識別する方法と、フォルダあるいはディレクトリによってグループを識別する方法とが例として挙げられる。
【００７６】
画像ファイル名によってグループを識別する場合、ファイル名の形式をグループ名とファイルの番号とによって構成することが可能である。例えば、１３時４３分に撮影された３枚のグループ画像には、「１３４３＿１．ｊｐｇ」、「１３４３＿２．ｊｐｇ」、「１３４３＿３．ｊｐｇ」といったファイル名を付すことが可能である。
【００７７】
また、フォルダあるいはディレクトリによってグループを識別する場合、グループ名を付したフォルダあるいはディレクトリを作成し、そのフォルダあるいはディレクトリ内に、ファイルの番号を付して、グループ画像を格納することが可能である。例えば、１３時４３分に撮影された３枚のグループ画像の場合、フォルダ名が「１３４３」というフォルダを作成し、そのフォルダ内に、「１．ｊｐｇ」、「２．ｊｐｇ」、「３．ｊｐｇ」といったファイル名の画像を格納することが可能である。
【００７８】
なお、他の方法として、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）タグ内にグループ内の写真が同一グループに所属するという情報を付加し、ＰＣ内のアプリケーションがそれを判別する方法が考えられる。
また、１つのグループ画像に対し、その撮影に用いたレンズ情報を記録する必要がある。このレンズ情報は画像と同じ階層内の別のファイルに記録する方法や、特定の画像ファイル（たとえばグループ内で最初に撮影した画像）に埋め込む方法、複数の画像ファイルに分散して記録する方法が考えられる。
【００７９】
画像ファイルにレンズ情報を記録する場合には、Ｅｘｉｆフォーマットのメーカーノートタグ部を利用することが考えられる。
次に、合焦画像生成処理について説明する。
図１７は、合焦画像生成処理を示すフローチャートである。
合焦画像生成処理は、ＰＣ等の情報処理装置において、合焦画像を生成するために、ユーザが実行を指示することにより開始される。
【００８０】
合焦画像生成処理が開始されると、情報処理装置は、メモリカード等、外部から画像を読み込み（ステップＳ４０１）、読み込んだ画像をグループに分類する（ステップＳ４０２）。なお、ステップＳ４０１において、メモリカード等の記憶媒体を介して読み込む場合以外にも、撮像装置１から直接読み込むことも可能である。
【００８１】
次に、情報処理装置は、グループに分類された画像（グループ画像）それぞれからピントが合っている領域を抽出し（ステップＳ４０３）、そのグループ画像の処理が全て終了したか否かの判定を行う（ステップＳ４０４）。
ステップＳ４０４において、そのグループ画像の処理が全ては終了していないと判定した場合、情報処理装置は、ステップＳ４０３の処理に移行し、一方、そのグループ画像の処理が全て終了したと判定した場合、ステップＳ４０４において抽出された領域それぞれを合成し、画角内の全ての被写体にピントが合っている画像（合焦画像）を生成する（ステップＳ４０５）。なお、合焦画像の各画素には、その画素が属する領域の合焦距離のデータが付加されている。
【００８２】
このように、撮像装置１においてはグループ画像の撮影のみを行い、情報処理装置において合焦画像の生成を行うこととすると、撮像装置１の処理負担が軽減される。
なお、本実施の形態において、撮影後補正処理を行う場合、撮影時に合焦距離あるいは被写界深度を変化させた場合を擬似的に再現するものとして説明したが、合焦距離あるいは被写界深度をより柔軟に変化させることも可能である。
【００８３】
即ち、撮影時に合焦距離等を変化させた状態を物理的な正確性をもって再現する場合に加え、物理的に不可能な合焦距離あるいは被写界深度の状態を任意に再現することとしてもよい。
例えば、図８のように、２ｍ、１０ｍ、５００ｍの位置に被写体が存在する場合、物理的には、２ｍの位置と５００ｍの位置にピントが合うことは不可能であるが、撮影後補正処理において、これらの距離に対応する領域を合焦状態とし、他の距離に対応する領域を合焦状態でない画像とすることにより、物理的に不可能な合焦状態を任意に再現することができる。
【００８４】
図１８は、任意に合焦状態を変更する場合のユーザインターフェースを示す図である。図１８において、合焦画像、ピント位置スライダおよび被写界深度スライダは、図１５に示すインターフェースと同様である。また、図１８において、合焦画像には、レイヤ−１およびレイヤ−２の２つの領域が設定されており、図１８（ａ）は、レイヤ−１の調整画面を、図１８（ｂ）は、レイヤ−２の調整画面を示している。
【００８５】
レイヤ−１およびレイヤ−２に領域を区分けする基準としては、被写体までの距離によって区分けする方法や、ユーザが任意に領域を選択する方法等が可能であるが、ここでは、被写体までの距離が０〜５０ｍの領域（レイヤ−１とする）と、５０ｍ〜∞の領域（レイヤ−２とする）とに区分けすることとする。なお、合焦画像の各画素は、合焦距離のデータを有していることから、画面の右半分と左半分に区分けすること等も可能であり、区分けの方法は任意である。
【００８６】
図１８（ａ）において、ピント位置スライダおよび被写界深度スライダの左に表示された小ウィンドウは操作対象領域を示す画面であり、操作対象外であるレイヤ−２の領域（背景の山等）については、画像がマスクされ、操作対象外であることがユーザに通知されている。ユーザは、図１８（ａ）に示す調整画面において、操作対象領域であるレイヤ−１の領域について合焦距離や被写界深度を調整することが可能である。また、図１８（ａ）の合焦画像においては、合焦距離を人物に合わせ、被写界深度を浅くすることにより、人物にのみピントが合い、建物はピントが合っていない状態に補正されている。
【００８７】
なお、図１８（ａ）において、レイヤ−２を示すタブをクリックすることにより、図１８（ｂ）の画面に移行する。
図１８（ｂ）の合焦画像においては、レイヤ−２の領域について、合焦距離を山に合わせ、山のピントが合った状態に補正されている。
したがって、近距離の人物と遠距離の山にピントが合い、中間の建物にピントが合わないという、物理的に不可能な合焦状態とすることができる。
【００８８】
このような画像は、任意の位置にある被写体を強調する場合や、背景に移したくないものが写り込んでしまったため、目立たせないようにする場合等に利用することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置１の機能構成を示すブロック図である。
【図２】種々の合焦距離における焦点ずれ特性を示す図である。
【図３】画像データが取得された３つの特性曲線を示す図である。
【図４】画角内の各被写体の距離を、撮影された画像の画質に基づいて分類する例を示す概念図である。
【図５】特定の距離における被写体について、合焦距離が変化することに対応して画像が変化する特性を示す図である。
【図６】領域毎に同様の特性に従って変化する様子を示す概念図である。
【図７】撮像装置１が実行する画像撮影処理を示すフローチャートである。
【図８】被写体の撮影条件を示す図である。
【図９】グループ画像の例を示す図である。
【図１０】ピントが合っている領域の画像の例を示す図である。
【図１１】合焦画像の例を示す図である。
【図１２】被写体までの距離と被写界深度の位置範囲との関係を示す図である。
【図１３】撮像装置１が実行する撮影枚数決定処理を示すフローチャートである。
【図１４】撮像装置１が実行する撮影後補正処理を示すフローチャートである。
【図１５】撮影後補正処理のユーザインターフェースを示す図である。
【図１６】グループ画像撮影処理を示すフローチャートである。
【図１７】合焦画像生成処理を示すフローチャートである。
【図１８】任意に合焦状態を変更する場合のユーザインターフェースを示す図である。
【符号の説明】
１  撮像装置，１０  レンズユニット部，１１  レンズ，１２  絞り装置，１３レンズ情報記憶装置，２０  カメラユニット部，２１  入力装置，２２  中央演算装置，２３  シャッタ装置，２４  撮像素子，２５  主記憶装置，２６  補助記憶装置，２７  表示装置，３０  メモリユニット部，３０  メモリユニット部
【図１】
2004289383.tif 000003
【図２】
2004289383.tif 000004
【図３】
2004289383.tif 000005
【図４】
2004289383.tif 000006
【図５】
2004289383.tif 000007
【図６】
2004289383.tif 000008
【図７】
2004289383.tif 000009
【図８】
2004289383.tif 000010
【図９】
2004289383.tif 000011
【図１０】
2004289383.tif 000012
【図１１】
2004289383.tif 000013
【図１２】
2004289383.tif 000014
【図１３】
2004289383.tif 000015
【図１４】
2004289383.tif 000016
【図１５】
2004289383.tif 000017
【図１６】
2004289383.tif 000018
【図１７】
2004289383.tif 000019
【図１８】
2004289383.tif 000020