(57)【要約】【課題】合焦度を用いた画像処理や合焦状態の確認を素早く行えるようにする。【解決手段】合焦度導出用情報（例えば入力画像の画像信号）に基づいて、入力画像の各位置における合焦度（ピントがどの程度合っているかを表す度合い）をマッピングした合焦度マップを生成し、合焦度マップに基づく画像処理を入力画像に施すことで任意の被写界深度及び焦点距離を有する出力画像を生成する。記録制御部５４は、入力画像又は出力画像を記録対象画像とし、記録対象画像と合焦度マップとを互いに関連付けて記録媒体に記録する。或いは、記録対象画像内に合焦度マップを埋め込んだ上で記録対象画像を記録媒体に記録する。後に、記録対象画像に対して上記画像処理を施す場合や、記録対象画像の合焦状態を確認する場合には、記録媒体から合焦度マッピを読み出す。【選択図】図４
2011239195.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の各位置における合焦度を表す合焦度マップを生成する合焦度マップ生成部と、
前記合焦度マップに応じた画像処理を前記入力画像に施すことで出力画像を生成する出力画像生成部と、
前記入力画像又は前記出力画像を記録対象画像とし、前記記録対象画像と前記合焦度マップとを互いに関連付けて記録媒体に記録する、或いは、前記記録対象画像内に前記合焦度マップを埋め込んだ上で前記記録対象画像を前記記録媒体に記録する記録制御部と、を備えた
ことを特徴とする電子機器。
【請求項２】
編集指示に応じて前記合焦度マップを編集する合焦度マップ編集部を更に備え、
前記出力画像生成部は、編集後の合焦度マップを用いて前記出力画像を生成し、
前記記録制御部は、前記記録対象画像と前記編集後の合焦度マップとを互いに関連付けて前記記録媒体に記録する、或いは、前記記録対象画像内に前記編集後の合焦度マップを埋め込んだ上で前記記録対象画像を前記記録媒体に記録する
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記記録制御部は、前記記録対象画像が前記画像処理を経て得られた画像であるか否かを表す処理有無情報をも、前記記録対象画像に関連付けて前記記録媒体に記録する
ことを特徴とする請求項１又は請求項２に記載の電子機器。
【請求項４】
前記記録対象画像が前記出力画像である場合、
前記記録制御部は、前記入力画像を格納した第１画像ファイルを前記記録媒体に記録するとともに、前記出力画像と前記合焦度マップと前記第１画像ファイルのリンク情報とを格納した第２画像ファイルを前記記録媒体に記録する
ことを特徴とする請求項１〜請求項３の何れかに記載の電子機器。
【請求項５】
前記記録媒体への前記第１及び第２画像ファイルの記録後、前記第２画像ファイル内の出力画像に前記画像処理を施すべき指示が成された際、
前記出力画像生成部は、前記リンク情報を用いて前記第１画像ファイルから前記入力画像を読み出し、読み出した前記入力画像に前記合焦度マップに応じた画像処理を施すことで新たな出力画像を生成する
ことを特徴とする請求項４に記載の電子機器。
【請求項６】
前記記録制御部は、前記記録対象画像を格納した画像ファイル内の記録領域に前記合焦度マップを格納する
ことを特徴とする請求項１〜請求項５の何れかに記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等の電子機器に関する。
【背景技術】
【０００２】
現在、ＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラ等の撮影装置が広く普及している。
【０００３】
ところで、撮影対象のうち、ピントの合った被写体が鮮明に撮影される一方でそれ以外の被写体がぼけたように撮影され、結果、全体としてピントの合った被写体が強調されて浮き立ったような、いわゆる“ぼけ味”のある撮影画像の取得が望まれることも多い。このような撮影画像を取得するためには、例えば、固体撮像素子のサイズやレンズ口径が大きいタイプの撮影装置を用いる必要がある。このようなタイプの撮影装置によると、被写界深度を十分に浅くして撮影することができるため、上記のような“ぼけ味”のある撮影画像を取得することができる。しかし、固体撮像素子のサイズやレンズ口径の小さい、コンパクトな撮影装置を用いた場合には、被写界深度を十分に浅くして撮影することができないため“ぼけ味”のある撮像画像を取得することが困難であった。
【０００４】
これに鑑み、被写界深度の深い状態で撮影された原画像から“ぼけ味”のあるぼけ画像を画像処理によって生成する方法が提案されている（例えば、下記特許文献１参照）。図２５（ａ）及び（ｂ）に、原画像及びぼけ画像の例としての、原画像９００及びぼけ画像９０１を示す。このような画像処理を用いれば、被写界深度を十分に浅くして撮影することができない撮影装置においても、ぼけ味”のある画像を取得することが可能となる。
【０００５】
画像上において、ピントがどの程度合っているかを表す度合いを合焦度と呼ぶ。原画像９００のような入力画像からぼけ画像９０１のような出力画像を生成する際、例えば、入力画像の各位置における合焦度を出力画像生成部に与えることで、その合焦度に対応した出力画像を得ることができる。より具体的には例えば、比較的小さな合焦度を有する画像部分を意図的にぼかすことによって、出力画像の被写界深度を入力画像のそれよりも浅くすることができる。
【０００６】
合焦度を何らかの合焦度導出用情報に基づいて生成するためには、相応の時間（演算時間等）が必要になる。従って、入力画像の撮影後にユーザが出力画像の生成を望む際、ユーザは合焦度導出用の時間を経なければ合焦度を得ることはできず、合焦度を得てから更に出力画像生成用の時間を経なければ出力画像を得ることはできない。また単に、入力画像の合焦状態（即ち、入力画像の各位置の合焦度）を確認したいだけでも、ユーザは合焦度導出用の時間を待たなければならない。このような待機時間が長いと、当然にユーザは不快感を覚える。
【０００７】
尚、下記特許文献２には、電子透かしの埋め込み先となるべき撮影画像である元撮影画像に対し、前記元撮影画像とは別の撮影画像である隠し画像を電子透かしとして埋め込む方法が開示されている。この方法は上記のような不快感の軽減に何ら寄与しない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−２２９１９８号公報
【特許文献２】特開２０１０−１１２５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで本発明は、合焦度を用いた画像処理や合焦状態の確認を素早く行うことができる電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る電子機器は、入力画像の各位置における合焦度を表す合焦度マップを生成する合焦度マップ生成部と、前記合焦度マップに応じた画像処理を前記入力画像に施すことで出力画像を生成する出力画像生成部と、前記入力画像又は前記出力画像を記録対象画像とし、前記記録対象画像と前記合焦度マップとを互いに関連付けて記録媒体に記録する、或いは、前記記録対象画像内に前記合焦度マップを埋め込んだ上で前記記録対象画像を前記記録媒体に記録する記録制御部と、を備えたことを特徴とする。
【００１１】
これにより、出力画像生成用の画像処理や合焦状態の確認を、必要なときに素早く行うことが可能となる。
【００１２】
そして例えば、当該電子機器は、編集指示に応じて前記合焦度マップを編集する合焦度マップ編集部を更に備え、前記出力画像生成部は、編集後の合焦度マップを用いて前記出力画像を生成し、前記記録制御部は、前記記録対象画像と前記編集後の合焦度マップとを互いに関連付けて前記記録媒体に記録する、或いは、前記記録対象画像内に前記編集後の合焦度マップを埋め込んだ上で前記記録対象画像を前記記録媒体に記録する。
【００１３】
上記構成によれば、ユーザは必要に応じて合焦度マップを編集することができ、これによって所望の合焦状態を有する出力画像を生成することが可能である。また、編集後の合焦度マップを記録しておくことで、編集内容を後から容易に且つ確実に再現することができる。
【００１４】
また例えば、前記記録制御部は、前記記録対象画像が前記画像処理を経て得られた画像であるか否かを表す処理有無情報をも、前記記録対象画像に関連付けて前記記録媒体に記録するようにしてもよい。
【００１５】
処理有無情報を利用すれば、記録対象画像が画像処理を経て得られた画像であるか否かを確実に認識することができる。
【００１６】
また例えば、前記記録対象画像が前記出力画像である場合、前記記録制御部は、前記入力画像を格納した第１画像ファイルを前記記録媒体に記録するとともに、前記出力画像と前記合焦度マップと前記第１画像ファイルのリンク情報とを格納した第２画像ファイルを前記記録媒体に記録するようにしても良い。
【００１７】
そして例えば、前記記録媒体への前記第１及び第２画像ファイルの記録後、前記第２画像ファイル内の出力画像に前記画像処理を施すべき指示が成された際、前記出力画像生成部は、前記リンク情報を用いて前記第１画像ファイルから前記入力画像を読み出し、読み出した前記入力画像に前記合焦度マップに応じた画像処理を施すことで新たな出力画像を生成するようにしても良い。
【００１８】
これにより、ユーザの意図していた、新たな出力画像が生成されやすくなる。
【００１９】
また例えば、前記記録制御部は、前記記録対象画像を格納した画像ファイル内の記録領域に前記合焦度マップを格納する。
【発明の効果】
【００２０】
本発明によれば、合焦度を用いた画像処理や合焦状態の確認を素早く行うことができる電子機器を提供することが可能である。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１の撮像部の内部構成図である。
【図３】二次元画像とＸＹ座標面との関係を示す図である。
【図４】本発明の実施形態に係るデジタルフォーカス部の内部ブロック図である。
【図５】図４のデジタルフォーカス部に供給される入力画像と、デジタルフォーカス部にて生成される出力画像及び合焦度画像を示す図である。
【図６】オリジナル入力画像と出力画像との関係を説明するための図である。
【図７】画像ファイルの構造を説明するための図である。
【図８】記録対象画像及び合焦度マップの例を示す図である。
【図９】記録対象画像及び合焦度マップの他の例を示す図である。
【図１０】基礎となる合焦度マップを示す図（ａ）と、基礎となる合焦度マップにおける合焦度ヒストグラムを示す図（ｂ）と、該合焦度ヒストグラムに基づくＬＵＴ（ルックアップテーブル）を示す図（ｃ）と、該ＬＵＴを用いて得られた変形合焦度マップを示す図（ｄ）と、該ＬＵＴを用いて再現された合焦度マップを示す図（ｅ）である。
【図１１】オリジナル入力画像と出力画像との関係を説明するための図（ａ）と、再入力画像と出力画像との関係を説明するための図（ｂ）である。
【図１２】画像ファイルに保存されるべき処理有無情報を説明するための図である。
【図１３】画像ファイルに保存されるべきリンク情報を説明するための図である。
【図１４】編集前後の合焦度マップを示した図である。
【図１５】図４の出力画像生成部として採用することのできる第１の出力画像生成部の内部ブロック図である。
【図１６】図１５の変換テーブルにて指定される、合焦度とぼかし度との関係及び合焦度とエッジ強調度との関係を示す図である。
【図１７】図４の出力画像生成部として採用することのできる第２の出力画像生成部の内部ブロック図である。
【図１８】図１８の変換テーブルにて指定される、合焦度と合成比率との関係を示す図である。
【図１９】入力画像上の合焦部における典型的な輝度信号のパターンを示す図と、入力画像上の非合焦部における典型的な輝度信号のパターンを示す図である。
【図２０】合焦度として用いることのできる拡張エッジ差分比の導出に関与する部位のブロック図である。
【図２１】入力画像の輝度信号から、極局所領域の輝度差分値、局所領域の輝度差分値及びエッジ差分比が求められる様子を示した図である。
【図２２】図２０の拡張処理部による拡張処理の概要を説明するための図である。
【図２３】図２０の拡張処理部による拡張処理の具体例を説明するための図である。
【図２４】合焦度として用いることのできる拡張周波数成分比の導出に関与する部位のブロック図である。
【図２５】従来技術に係り、撮影によって得られた原画像と、原画像の一部を画像処理によってぼかすことで得たぼけ画像と、を示す図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態の幾つかを、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第５実施形態を説明するが、まず、各実施形態に共通する事項又は各実施形態にて参照される事項について説明する。尚、本明細書では、記述の簡略化上、符号を参照することによって該符号に対応する名称を省略又は略記することがある。例えば、入力画像を符号２１０によって参照する場合、入力画像２１０を画像２１０と表記する場合もある。
【００２４】
図１に、本発明の実施形態に係る撮像装置１の概略全体ブロック図を示す。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。
【００２５】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、を備えている。
【００２６】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部１３からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量を制御する。
【００２７】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の受光画素を備え、各撮影において、各受光画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各受光画素からのアナログ信号は、撮像装置１内で生成される駆動パルスに従って順次ＡＦＥ１２に出力される。
【００２８】
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして主制御部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部１３によって制御される。
【００２９】
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等から成る。主制御部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像信号を生成する。ここで生成される画像信号には、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも、画像信号の一種である。また、主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を表示部１５に対して行う。
【００３０】
内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。操作部１７は、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。
【００３１】
図３に、任意の二次元画像が配置されるべき二次元座標面としてのＸＹ座標面を示す。図３において、符号２００が付された矩形枠は、二次元画像の外形枠を表している。ＸＹ座標面は、二次元画像２００の水平方向に伸びるＸ軸と、二次元画像２００の垂直方向に伸びるＹ軸と、を座標軸として有する。本明細書において述べられる画像は、全て、特に記述なき限り二次元画像である。ＸＹ座標面上及び二次元画像２００上における或る注目点の位置を（ｘ，ｙ）にて表す。ｘは、該注目点のＸ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の水平位置を表す。ｙは、該注目点のＹ軸座標値を表すと共に、ＸＹ座標面上及び二次元画像２００上における該注目点の垂直位置を表す。ＸＹ座標面及び二次元画像２００において、位置（ｘ，ｙ）に配置された画素の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ−１）である。画素が配置される位置を、単に画素位置とも言う。また、本明細書では、画素位置（ｘ，ｙ）に配置された画素のことも、（ｘ，ｙ）によって参照することがある。また、或る画素についての画像信号を、特に画素信号とも呼び、画素信号が持つ値を画素値とも呼ぶ。
【００３２】
撮像装置１は、フォーカスレンズ３１の位置を制御することで、主要被写体の光学像を撮像素子３３の撮像面上に結像させることができる。主要被写体に見たてられた点光源からの入射光は光学系３５を介して結像点にて結像するが、その結像点が撮像素子３３の撮像面上にあるとき、その主要被写体に対して完全にピントがあっている。その結像点が撮像素子３３の撮像面上にない場合、撮像面上において上記点光源からの像はぼける（即ち許容錯乱円径を超える径を持った像を形成する）。この状態においては、上記主要被写体に対してピントは合っていない或いはピントは或る程度合っているものの完全には合っていない。本明細書では、ピントがどの程度合っているかを表す度合いを合焦度と呼ぶ。注目領域又は注目画素に対する合焦度が大きいほど、注目領域又は注目画素における被写体に、よりピントが合っていると考える（よりピントが合っているほど、上記径は小さくなる）。また、ピントが合っている度合いが比較的高い部分を合焦部又は合焦部分と呼び、ピントが合っている度合いが比較的低い部分を非合焦部又は非合焦部分と呼ぶ。
【００３３】
ところで、撮像装置１は、被写界深度を十分に浅くした状態で撮影されていない入力画像から“ぼけ味”を持つ出力画像を画像処理によって生成する機能を備える。
【００３４】
この機能は、図１の主制御部１３に内在するデジタルフォーカス部５０によって実現される。図４に、デジタルフォーカス部５０の内部ブロック図を示す。デジタルフォーカス部５０は、合焦度マップ生成部５１、合焦度マップ編集部５２、出力画像生成部５３、記録制御部５４及び表示制御部５５を備える。デジタルフォーカス部５０には、入力画像の画像信号が供給される。入力画像とは、例えば、撮像部１１の撮影によって得られた静止画像としての撮影画像である。或いは、撮像部１１の撮影によって得られた動画像中の１つ１つのフレーム（換言すればフレーム画像）が、入力画像であっても良い。
【００３５】
図５（ａ）に、入力画像の例としての入力画像２１０を示す。入力画像２１０は、花ＳＵＢ1、人物ＳＵＢ2及び建物ＳＵＢ3を被写体に含めた状態で撮影された画像である。花ＳＵＢ1、人物ＳＵＢ2及び建物ＳＵＢ3の被写体距離を、夫々、ｄ1、ｄ2及びｄ3にて表すと、不等式「ｄ1＜ｄ2＜ｄ3」が成立するものとする。花ＳＵＢ1の被写体距離ｄ1とは、花ＳＵＢ1と撮像装置１との、実空間上における距離を指す（被写体距離ｄ2及びｄ3についても同様）。
【００３６】
合焦度マップ生成部５１は、合焦度導出用情報に基づいて入力画像の各画素位置における合焦度を導出し、各画素位置における合焦度をＸＹ座標面上に書き並べた合焦度マップを生成して出力する。合焦度導出用情報は、様々な形態をとりうる。例えば、入力画像のエッジ状態や各画素位置の距離情報を合焦度導出用情報として用いることができるが、合焦度導出用情報の具体例の説明は後に設ける。
【００３７】
合焦度マップを画像として捉えたものを合焦度画像と呼ぶ。合焦度マップと合焦度画像は等価なものと言える。従って、以下の説明文中において、適宜、合焦度マップを合焦度画像と読み替え、逆に合焦度画像を合焦度マップと読み替えることもできる。合焦度画像は、画素位置（ｘ，ｙ）における合焦度を画素位置（ｘ，ｙ）における画素値として有するグレースケール画像である。図５（ｃ）に、図５（ａ）の入力画像２１０に対する合焦度画像２１２を示す。図５（ｃ）を含む、合焦度画像又は合焦度マップを表す図面においては、合焦度が大きな部分ほど白く示され、合焦度が小さな部分ほど黒く示される。但し、合焦度画像又は合焦度マップを表す図面において、異なる被写体間の境界（例えば、花ＳＵＢ1と人物ＳＵＢ2との境界）を明確に示すべく、該境界では合焦度に関係なく黒の境界線が図示されている。
【００３８】
花ＳＵＢ1、人物ＳＵＢ2及び建物ＳＵＢ3の画像信号が存在する部分の合焦度を夫々Ｆ1、Ｆ2及びＦ3にて表す。入力画像２１０の撮影の際、花ＳＵＢ1に対して最もピントが合っており、その結果、不等式「Ｆ1＞Ｆ2＞Ｆ3」が成立するものとする。また、被写体距離ｄ1及びｄ2の差異は少なく、この結果、合焦度Ｆ1及びＦ2の差異は少ないことを想定する。一方で、被写体距離ｄ2及びｄ3の差異は非常に大きく、この結果、合焦度Ｆ2及びＦ3の差異は非常に大きいことを想定する。このため、花ＳＵＢ1及び人物ＳＵＢ2は合焦部となり、建物ＳＵＢ3は非合焦部となっている。
【００３９】
尚、合焦度マップにおいては、ピントが合っている主要被写体の部分の数値が大きくなり、ピントが合っていない背景の部分の数値が小さくなる。従って、合焦度マップは主要被写体又は背景の存在する確率の分布を表している、とも言える。また、ピントが完全に合っている被写体距離の被写体部分に対して最大の数値を与え、それ以外の被写体部分に対してはピントが合っていないほど低い数値を与えた距離マップが、合焦度マップである、と考えることもできる。
【００４０】
合焦度マップ編集部５２は、ユーザから編集指示が与えられた際、合焦度マップ生成部５１にて生成された合焦度マップを該編集指示に基づき編集し、編集後の合焦度マップを出力する。ユーザは、操作部１７を用いて、編集指示を含む任意の指示を撮像装置１に与えることができる。或いは、表示部１５にタッチパネル機能が設けられている場合においては、ユーザはタッチパネル操作によって編集指示を含む任意の指示を撮像装置１に与えることもできる。以下、合焦度マップ生成部５１にて生成された合焦度マップを、編集前の合焦度マップと呼ぶことがある。
【００４１】
出力画像生成部５３は、入力画像に対して合焦度マップに基づく画像処理を施すことにより、所謂“ぼけ味”のある出力画像を生成する。この画像処理によって、例えば、入力画像に現れている複数の被写体の内、比較的大きな合焦度を有する画像部分の被写体が、比較的小さな合焦度を有する画像部分の被写体よりも視覚的に強調される（強調前の画像が入力画像であり、強調後の画像が出力画像である）。具体的には例えば、比較的小さな合焦度を有する画像領域内の画像を平均化フィルタ等を用いてぼかすことにより、上記の強調は実現される。出力画像生成部５３にて実行される上記画像処理を、特に、出力画像生成処理という。出力画像生成処理により、入力画像及び出力画像間で被写界深度が変更されうる。また、出力画像生成処理により、入力画像及び出力画像間で合焦距離も変更されうる。入力画像の合焦距離は、入力画像上でピントが合っている被写体の被写体距離を指し、出力画像の合焦距離は、出力画像上でピントが合っている被写体の被写体距離を指す。
【００４２】
出力画像生成部５３は、上記編集指示が成されていない場合、合焦度マップ生成部５１から出力される編集前の合焦度マップを用いて出力画像の生成を成すことができ、上記編集指示が成された場合、合焦度マップ編集部５２から出力される編集後の合焦度マップを用いて出力画像の生成を成すことができる。
【００４３】
図５（ｂ）に、図５（ａ）の入力画像２１０に基づく出力画像２１１を示す。花ＳＵＢ1及び人物ＳＵＢ2の合焦度Ｆ1及びＦ2が比較的大きい一方で建物ＳＵＢ3の合焦度Ｆ3が比較的小さい結果、出力画像２１１において建物ＳＵＢ3の画像がぼかされ、花ＳＵＢ1や人物ＳＵＢ2が浮き立って見える。
【００４４】
記録制御部５４は、記録媒体１６内に画像ファイルを作成し、記録媒体１６内の画像ファイルに必要な情報を書き込むことによって、その必要な情報を記録媒体１６内に記録する。換言すれば、必要な情報を格納した画像ファイルを記録媒体１６に保存することによって、その必要な情報を記録媒体１６内に記録する。ここにおける必要な情報には、入力画像の画像信号、出力画像の画像信号、編集前の合焦度マップ及び編集後の合焦度マップの内の、全部又は一部が含まれる。尚、以下の説明における画像ファイルとは、特に記述なき限り、記録媒体１６内に作成された画像ファイルを指す。また、本明細書において、画像又は任意の情報（信号又はデータ）についての記録、保存及び格納は同義であり、特に記述なき限り、記録、保存及び格納とは、記録媒体１６又は画像ファイルへの記録、保存及び格納を指す。また、注目した画像の画像信号の記録、保存及び格納を、単に該注目した画像の記録、保存及び格納と表記することがある。記録制御部５４の動作については後に詳説される。
【００４５】
表示制御部５５は、入力画像、出力画像又は合焦度画像を表示部１５に表示させる。入力画像、出力画像及び合焦度画像の内の、２つ又は３つを同時に表示部１５に表示させることも可能である。入力画像を表示部１５に表示させる際、入力画像の全体を表示部１５に表示させることも可能であるし、入力画像の一部を表示部１５に表示させることも可能である（出力画像又は合焦度画像を表示する場合も同様）。
【００４６】
出力画像生成処理が成されることによって得られた画像を、入力画像として、出力画像生成部５３に再度入力することもできる。以下の説明では、出力画像生成処理が１度も成されていない入力画像を、特にオリジナル入力画像と呼ぶことがある。以下の説明において、単に入力画像といった場合、それはオリジナル入力画像であると解釈されるが、それを出力画像生成処理が１度以上成された後の画像（例えば、後述の図１１（ｂ）における再入力画像２３１）と解釈することも可能である。
【００４７】
以下、撮像装置１にて採用することのできる要素技術等を、第１実施形態〜第５実施形態において説明する。矛盾が生じない限り、或る実施形態に記載した事項と他の実施形態に記載した事項を、自由に組み合わせて実施することができる。
【００４８】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。第１実施形態では、デジタルフォーカス部５０の全体的な基本動作について説明する。
【００４９】
図６（ａ）を参照する。撮影によってオリジナル入力画像２３０を取得されたら、原則として、オリジナル入力画像２３０が記録対象画像として設定される。図４の記録制御部５４は、記録対象画像と合焦度マップとを互いに関連付けた状態で記録媒体１６に記録する或いは記録対象画像内に合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録する。ここにおける合焦度マップは、編集前又は編集後の合焦度マップである。
【００５０】
オリジナル入力画像２３０の記録後、ユーザは、操作部１７等を用いて出力画像生成指示を成すことができる（図６（ａ）参照）。出力画像生成指示が成された場合、出力画像生成部５３は、記録媒体１６に記録された合焦度マップ及びオリジナル入力画像２３０を記録媒体１６から読み出し、読み出した合焦度マップに基づく出力画像生成処理を読み出したオリジナル入力画像２３０に対して施すことで出力画像２３１を生成する。出力画像２３１の生成にあたり、ユーザは、記録媒体１６から読み出された合焦度マップを編集指示によって自由に変更することができ、この編集指示が成された場合には、編集後の合焦度マップを用いて出力画像２３１が生成される。
【００５１】
出力画像２３１が生成されると、記録制御部５４は、出力画像２３１を記録対象画像として設定し、再び、記録対象画像と合焦度マップとを互いに関連付けた状態で記録媒体１６に記録する或いは記録対象画像内に合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録する（ここにおける合焦度マップも、編集前又は編集後の合焦度マップである）。出力画像２３１の記録の際、記録媒体１６に記録されていたオリジナル入力画像２３０を記録媒体１６から削除するようにしても良いし、オリジナル入力画像２３０の記録を保持しておいても良い。
【００５２】
また、オリジナル入力画像２３０の取得前に、ユーザは、自動合焦度調整機能を有効にしておくこともできる。ユーザは、操作部１７等を用いて、自動合焦度調整機能を有効にするか無効にするかを設定することができる。自動合焦度調整機能が有効となっているとき、オリジナル入力画像２３０が得られたら、出力画像生成部５３は、出力画像生成指示の有無によらずオリジナル入力画像２３０に対して出力画像生成処理を施して出力画像２３１を生成する（図６（ｂ）参照）。自動合焦度調整機能が有効となっているときにおける出力画像生成処理は、通常、編集前の合焦度マップに基づいて成されるが、編集指示の有無を確認してから出力画像生成処理を行うようにすれば、出力画像生成処理を編集後の合焦度マップに基づいて成すこともできる。
【００５３】
自動合焦度調整機能が有効となっているとき、記録制御部５４は、出力画像２３１を記録対象画像として設定し、記録対象画像と合焦度マップとを互いに関連付けた状態で記録媒体１６に記録する或いは記録対象画像内に合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録する（ここにおける合焦度マップも、編集前又は編集後の合焦度マップである）。
【００５４】
ユーザは、記録媒体１６から読み出した記録対象画像の画質（被写界深度等）を調整するために、合焦度マップに基づく出力画像生成処理を利用することができる。また、合焦度マップを表示部１５に表示させることで、記録対象画像（入力画像）の合焦状態を確認することができる。一方で、合焦度マップの生成には相応の時間が必要になる。従って、仮に合焦度マップが記録媒体１６に保存されていないならば、出力画像生成処理や合焦状態の確認を行おうとするたびに、合焦度マップの生成を成す必要がある。即ち、出力画像生成処理や合焦状態の確認を素早く行うことが困難となる。これを考慮し、撮像装置１では、記録対象画像を記録する際、対応する合焦度マップも記録しておく。これにより、出力画像生成処理や合焦状態の確認を、必要なときに素早く行うことが可能となる。
【００５５】
尚、合焦度導出用情報がオリジナル入力画像の画像信号である場合において、オリジナル入力画像の取得時にオリジナル入力画像の画像信号のみを記録媒体１６に保存しておき、その後、必要なときに、記録媒体１６から読み出したオリジナル入力画像の画像信号より合焦度マップを生成するといったことも可能である。しかしながら、画像信号の記録方式によっては、オリジナル入力画像の画像信号の記録時にオリジナル入力画像の情報の一部が欠落することもある。このような欠落が生じる場合には、本来のオリジナル入力画像に忠実な合焦度マップを記録信号から生成することが困難となる。このことからも、画像信号の記録時に合焦度マップを併せて記録することの優位性が理解される。
【００５６】
また、ユーザは、必要に応じて合焦度マップを編集することができ、これによって所望の合焦状態を有する出力画像を生成することが可能である。
【００５７】
また、記録される合焦度マップは、原則として編集前の合焦度マップであるが、編集指示が成されて編集後の合焦度マップが生成されている場合には、編集後の合焦度マップが編集前の合焦度マップに代えて或いは編集前の合焦度マップに加えて保存される。この際も、記録対象画像と編集後の合焦度マップとを互いに関連付けた状態で記録媒体１６に記録する或いは記録対象画像内に編集後の合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録する。合焦度マップの編集は、例えば、編集前の合焦度マップにおける第１特定位置の合焦度を或る合焦度から他の合焦度へと増大させ、編集前の合焦度マップにおける第２特定位置の合焦度を或る合焦度から他の合焦度へと減少させる編集である。このような編集内容を保存しておかない場合、後にユーザが同じ編集内容を再現することは難しく、再現できたとしても再現に関わるユーザの負担は大きい。撮像装置１では、合焦度マップが編集された場合、編集後の合焦度マップが保存されて後に自由に読み出し可能となるため、編集内容が容易且つ確実に再現されると共にユーザ負担も軽減される。
【００５８】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。図４の記録制御部５４において採用することのできる合焦度マップの具体的な記録方法として、第１〜第４の合焦度マップ記録方法を例示する。
【００５９】
――第１の合焦度マップ記録方法――
第１の合焦度マップ記録方法を説明する。図７（ａ）のＦＬAは、第１の合焦度マップ記録方法において想定される画像ファイルである。画像ファイルＦＬAの記録領域には、本体領域及び付加領域が設けられている。ファイル規格に依存して、例えば、付加領域はヘッダ領域又はフィッタ領域と呼ばれる。記録制御部５４は、画像ファイルＦＬAの本体領域に記録対象画像を保存し、画像ファイルＦＬAの付加領域に合焦度マップを保存する。
【００６０】
共通の画像ファイルＦＬA内の本体領域と付加領域は互いに関連付けられた記録領域であるため、当然に、記録対象画像と合焦度マップは互いに関連付けられる。即ち、記録対象画像と合焦度マップとが互いに関連付けられた状態で記録媒体１６に記録される。
【００６１】
付加領域には、合焦度マップだけでなく記録対象画像のサムネイル画像等も保存される。記録対象画像のサムネイル画像とは、記録対象画像の画像サイズを縮小した画像であり、画像ファイルＦＬAの付加領域には、サムネイル画像の画像信号を保存するためのサムネイル記録領域が設けられている。ファイル規格によっては、画像ファイルＦＬAの付加領域に２以上のサムネイル記録領域が設けられていることがある。この場合には、付加領域内の１つのサムネイル記録領域（例えば第１サムネイル記録領域）に記録対象画像のサムネイル画像を保存し、他のサムネイル記録領域（例えば第２サムネイル記録領域）に合焦度マップ（換言すれば合焦度画像）を保存するようにしても良い。
【００６２】
――第２の合焦度マップ記録方法――
第２の合焦度マップ記録方法を説明する。図７（ｂ）のＦＬBは、第２の合焦度マップ記録方法において想定される画像ファイルである。画像ファイルＦＬBのファイルフォーマットは、マルチピクチャフォーマットとも呼ばれ、画像ファイルＦＬBには、複数枚分の画像を記録するための複数の画像記録領域が設けられる。複数の画像記録領域には、互いに異なる第１及び第２画像記録領域が含まれる。記録制御部５４は、画像ファイルＦＬBの第１画像記録領域に記録対象画像を保存し、画像ファイルＦＬBの第２画像記録領域に合焦度マップを保存する。
【００６３】
共通の画像ファイルＦＬB内の複数の画像記録領域は互いに関連付けられた記録領域であるため、当然に、記録対象画像と合焦度マップは互いに関連付けられる。即ち、記録対象画像と合焦度マップとが互いに関連付けられた状態で記録媒体１６に記録される。
【００６４】
――第３の合焦度マップ記録方法――
第３の合焦度マップ記録方法を説明する。第３の合焦度マップ記録方法では、電子透かしを用いて合焦度マップを記録対象画像内に埋め込み、合焦度マップを埋め込んだ記録対象画像を画像ファイルに保存する。即ち、電子透かしを用いて記録対象画像内に合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録する。埋め込み方法は、合焦度マップの解像度及び階調に応じて異なる。埋め込み方法の具体例を、以下に列記する。尚、合焦度マップは合焦度画像とも言うべきものであるので、以下の説明では、合焦度マップ上の位置も画素位置と呼ぶことがある。
【００６５】
・第１の埋め込み方法
第１の埋め込み方法を説明する。第１の埋め込み方法では、記録対象画像の解像度と合焦度マップの解像度が同じであることを想定する。即ち、記録対象画像の画像サイズと合焦度マップとしての合焦度画像の画像サイズが同じであることを想定する。更に、合焦度マップの各画素位置における合焦度が１ビットにて表現されることを想定する。即ち、合焦度マップの階調数が２であることを想定する。この場合、合焦度マップとしての合焦度画像は二値化画像であり、合焦度画像の各画素位置における画素信号は、１ビットデジタルデータである。図８（ｂ）の２５２は、この想定下における合焦度マップ（合焦度画像）の例であり、図８（ａ）の２５１は、合焦度マップ２５２に対応する記録対象画像の例である。
【００６６】
記録対象画像の各画素位置における画素信号はＢＢビットのデジタルデータから形成される（ＢＢは２以上の整数であって、例えば１６）。記録対象画像の或る画素において、その画素の画像の比較的大きな変化（例えば比較的大きな輝度変化）は、ＢＢビットのデジタルデータにおける上位側ビットに変化を与え、その画素の画像の比較的小さな変化（例えば比較的小さな輝度変化）は、ＢＢビットのデジタルデータにおける下位側ビットにしか変化を与えないものとする。この場合、第１の埋め込み方法では、記録対象画像の画素位置（ｘ，ｙ）における画素信号の最下位ビットに、合焦度マップとしての合焦度画像の画素位置（ｘ，ｙ）における画素信号を埋め込む。即ち、その最下位ビットに、合焦度画像の画素位置（ｘ，ｙ）における画素信号を代入する。
【００６７】
合焦度マップの階調数が２よりも大きい場合には、記録対象画像の各画素信号の下位側複数ビットを用いればよい。例えば、合焦度マップの階調数が４である場合には（即ち、合焦度画像の各画素位置における画素信号が２ビットデジタルデータである場合には）、記録対象画像の各画素信号の下位側２ビットに、合焦度マップとしての合焦度画像の画素位置（ｘ，ｙ）における画素信号を埋め込めばよい。
【００６８】
一般化すれば、第１の埋め込み方法では、以下のような埋め込みが成される。合焦度マップの階調数が２Nである場合（即ち、合焦度画像の各画素位置における画素信号がＮビットデジタルデータである場合）、記録対象画像の各画素信号の下位側Ｎビットに、合焦度マップとしての合焦度画像の画素位置（ｘ，ｙ）における画素信号を埋め込む（ここで、Ｎは自然数）。このような埋め込みを行えば、記録対象画像の画質が若干劣化するが、合焦度マップ保存用の記録領域を別途用意する必要がなくなる。記録対象画像の画像ファイルの保存後、必要なときに、デジタルフォーカス部５０は、記録対象画像の各画素信号の下位側Ｎビットを記録対象画像の画像ファイルから読み出すことで、合焦度マップを得ることができる。尚、記録対象画像の画像サイズと合焦度画像の画像サイズが同じであることを想定したが、後者が前者よりも小さい場合においても、第１の埋め込み方法を利用可能である。
【００６９】
・第２の埋め込み方法
第２の埋め込み方法を説明する。第２の埋め込み方法では、合焦度マップの解像度が記録対象画像の解像度よりも小さいことを想定する。即ち、合焦度マップとしての合焦度画像の画像サイズが記録対象画像の画像サイズよりも小さいことを想定する。説明の具体化のため、合焦度マップの解像度が記録対象画像の解像度の１／２であることを想定する。更に、合焦度マップの階調数が１６以下である場合を想定する。この場合、合焦度画像における１つの画素信号は４ビット以下のデジタルデータである。図９（ｂ）の２６２は、この想定下における合焦度マップ（合焦度画像）の例であり、図９（ａ）の２６１は、合焦度マップ２６２に対応する記録対象画像の例である。
【００７０】
この場合、記録対象画像上における４画素の画素信号の最下位ビットを組み合わせて４ビットのデータ領域を形成し、その４ビットのデータ領域に、合焦度画像の１つの画素位置における画素信号を埋め込む。即ち、その４ビットのデータ領域に、合焦度画像の１つの画素位置における画素信号を代入する。具体的には例えば、記録対象画像の画素位置（ｘ，ｙ）、（ｘ＋１，ｙ）、（ｘ，ｙ＋１）及び（ｘ＋１，ｙ＋１）における画素信号の最下位ビットを組み合わせて４ビットのデータ領域を形成し、その４ビットのデータ領域に、４ビット以下のデジタルデータである、合焦度画像の画素位置（ｘ，ｙ）における画素信号を埋め込む。
【００７１】
上述した数値は様々に変形されうる。一般化すれば、第２の埋め込み方法では、以下のような埋め込みが成される。合焦度マップの階調数が２Nである場合、記録対象画像のＭ画素についての下位側Ｏビットに、合焦度画像の１画素分の画素信号を埋め込む（ここで、Ｎ、Ｍ及びＯは自然数であって、Ｎ≦Ｍ×Ｏを満たす）。記録対象画像の画像ファイルの保存後、必要なときに、デジタルフォーカス部５０は、記録対象画像の各画素信号の下位側Ｏビットを記録対象画像の画像ファイルから読み出すことで、合焦度マップを得ることができる。
【００７２】
・第３の埋め込み方法
第３の埋め込み方法を説明する。第３の埋め込み方法では、記録対象画像の解像度と合焦度マップの解像度が同じであることを想定する。即ち、記録対象画像の画像サイズと合焦度マップとしての合焦度画像の画像サイズが同じであることを想定する。更に、合焦度マップの階調数が１２８であることを想定する。この場合、合焦度画像の各画素位置における画素信号は、７ビットデジタルデータである。７ビットデジタルデータそのものを記録対象画像の画像信号に埋め込むと、記録対象画像の画質劣化が大きくなりすぎる。そこで、第３の埋め込み方法では、１２８段階の階調から主要な階調（合焦度マップにおける支配的な階調）を抽出し、主要な階調についての合焦度情報だけを記録対象画像の画像信号に埋め込むようにする。
【００７３】
具体的な方法を説明する。今、基礎となる合焦度マップの階調数が上述の如く１２８であることを想定する。基礎となる合焦度マップとは、記録対象画像に埋め込まれる前の合焦度マップを指す。基礎となる合焦度マップの各画素信号は０以上且つ１２７以下の整数値をとる。図１０（ａ）の２７０は、基礎となる合焦度マップを表している。図１０（ａ）には、合焦度マップ２７０の各画素位置における画素値の数値例が示されている。記録制御部５４は、合焦度マップ２７０の画素値のヒストグラムを作成する。図１０（ｂ）の２７５は、作成されたヒストグラムである。記録制御部５４は、ヒストグラム２７５において、１、２及び３番目に度数の多い画素値を抽出する。本例において、１、２及び３番目に度数の多い画素値は、夫々、１０５、７８及び６２であったとする。
【００７４】
記録制御部５４は、画素値１０５、７８及び６２が主要な階調であるとみなし、画素値１０５、７８及び６２に夫々２ビットデジタルデータ“００”、“０１”及び“１０”を割り当てた、図１０（ｃ）に示すようなＬＵＴ（ルックアップテーブル）２８０を作成する。また、ＬＵＴ２８０において、画素値Ｒに２ビットデジタルデータ“１１”を割り当てる。画素値Ｒは、予め設定された固定値（例えば、０や６４）であっても良いし、合焦度マップ２７０から画素値１０５、７８及び６２以外の画素値を抽出し、抽出した画素値の平均値を画素値Ｒとして用いてもよい。
【００７５】
図１０（ｄ）の２７０ａは、ＬＵＴ２８０を用いて合焦度マップ２７０の階調数を２2に減少させたものである。記録制御部５４は、第１の埋め込み方法を用いて、合焦度マップ２７０ａを記録対象画像に埋め込む。即ち、記録対象画像の各画素信号の下位側２ビットに、合焦度マップ２７０ａの各画素位置における画素信号を埋め込む。そして、合焦度マップ２７０ａが埋め込まれた記録対象画像を記録媒体１６に記録する。この際、記録対象画像の画像ファイルの付加領域にＬＵＴ２８０の情報であるＬＵＴ情報も記録しておくようにする。
【００７６】
デジタルフォーカス部５０は、必要なときに、記録対象画像の各画素信号の下位側２ビットを記録対象画像の画像ファイルから読み出すことで合焦度マップ２７０ａを得ることができ、記録対象画像の画像ファイル内のＬＵＴ情報を用いて合焦度マップ２７０ａから図１０（ｅ）に示す合焦度マップ２７０ｂを生成することができる。合焦度マップ２７０ｂは、図１０（ａ）の合焦度マップ２７０における画素値１０５、７８及び６２以外の画素値を全て画素値Ｒに置き換えることで得られる合焦度マップに相当する。出力画像生成部５３は、合焦度マップ２７０ｂを用いて出力画像生成処理を実行することができる。合焦度マップ２７０ｂには、合焦度マップ２７０における主要な階調の情報が残存しているため、合焦度マップ２７０ｂを用いても、合焦度マップ２７０を用いた場合との比較において、大きく遜色のない出力画像を得ることが可能である。
【００７７】
上述した数値は様々に変形されうる。一般化すれば、第３の埋め込み方法では、以下のような埋め込みが成される。基礎となる合焦度マップの階調数が２Nよりも多い場合、基礎となる合焦度マップの階調数を２Nにまで減少させることで、階調数が２Nの合焦度マップを生成すると共に対応するＬＵＴ情報を生成し、記録対象画像の各画素信号の下位側Ｏビットに、階調数が２Nの合焦度マップにおける各画素位置の画素信号を埋め込む（ここで、Ｎ及びＯは自然数であって、Ｎ≦Ｏを満たす）。記録対象画像の画像ファイルの保存後、必要なときに、デジタルフォーカス部５０は、記録対象画像の各画素信号の下位側Ｏビット及びＬＵＴ情報を記録対象画像の画像ファイルから読み出すことで、階調数が２Nの合焦度マップを得ることができる。尚、第２及び３の埋め込み方法を組み合わせることも可能である。即ち、合焦度マップの解像度が記録対象画像の解像度よりも小さい場合には、第３の埋め込み方法に第２の埋め込み方法を組み合わせて利用することもできる。
【００７８】
――第４の合焦度マップ記録方法――
第４の合焦度マップ記録方法を説明する。合焦度マップを記録対象画像のサムネイル画像に埋め込むことも可能である。第４の合焦度マップ記録方法では、電子透かしを用いて合焦度マップを記録対象画像のサムネイル画像内に埋め込み、合焦度マップを埋め込んだサムネイル画像を画像ファイルの付加領域に保存する。即ち、電子透かしを用いて記録対象画像のサムネイル画像内に合焦度マップを埋め込んだ状態で該サムネイル画像を記録対象画像と共に記録媒体１６に記録する。埋め込み方法は、第３の合焦度マップ記録方法で述べた方法と同じである。
【００７９】
記録対象画像のサムネイル画像は、記録対象画像に関連付けられて記録されるものであるため、第４の合焦度マップ記録方法では、記録対象画像と合焦度マップが互いに関連付けられる。即ち、記録対象画像と合焦度マップとが互いに関連付けられた状態で記録媒体１６に記録される。合焦度マップを埋め込んだ記録対象画像から合焦度マップを読み出す方法と同様にして、合焦度マップを埋め込んだサムネイル画像から合焦度マップを読み出すことで、記録媒体１６より合焦度マップを得ることができる。
【００８０】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態では、撮像装置１において成すことのできる応用技術を説明する。矛盾なき限り、以下の第１〜第５の応用技術の内、複数の応用技術を組み合わせて実施することも可能である。
【００８１】
――第１の応用技術――
第１の応用技術を説明する。図１１（ａ）及び（ｂ）を参照する。図１１（ａ）に示されるオリジナル入力画像２３０及び出力画像２３１は、図６（ａ）又は（ｂ）に示されたそれらと同じものである。上述したように、出力画像生成部５３は、合焦度マップ生成部５１若しくは合焦度マップ編集部５２から出力される合焦度マップ、又は、記録媒体１６から読み出される合焦度マップを用いた出力画像生成処理によって、オリジナル入力画像２３０から出力画像２３１を生成することができる。更に、出力画像２３１を、再度、入力画像として出力画像生成部５３に入力することも可能である。出力画像生成部５３に対する入力画像の内、出力画像生成処理を１度以上経て得られたものを、特に再入力画像と呼ぶ。出力画像２３１を入力画像として出力画像生成部５３に入力する場合、出力画像２３１は再入力画像２３１と呼ばれる（図１１（ｂ）参照）。
【００８２】
ユーザは、再入力画像２３１に対して出力画像生成処理を成すことを指示することができ、その指示が成された場合、出力画像生成部５３は、出力画像２３１の画像ファイルから読み出した合焦度マップを用いた出力画像生成処理を再入力画像２３１に対して実行することで、新たな出力画像２３２を生成する（図１１（ｂ）参照）。出力画像２３２の生成に当たり、ユーザが編集指示を成した場合には、出力画像２３１の画像ファイルから読み出された合焦度マップが合焦度マップ編集部５２において該編集指示に従い編集され、編集後の合焦度マップが、出力画像２３２を生成するための出力画像生成処理に用いられる。出力画像２３２を、更に、再入力画像として出力画像生成部５３に入力することも可能である。
【００８３】
ところで、合焦度マップ生成部５１による合焦度マップは、本来、オリジナル入力画像に適用されることを想定して生成されるものである。従って、出力画像生成処理を１度以上成された画像に対して、再度、出力画像生成処理を実行しても、所望の出力画像が得られるとは限らない。特に、出力画像生成処理に画像劣化を復元するための画像復元処理が含まれる場合においては、再入力画像に対して出力画像生成処理を施しても復元がうまく成されず、結果、意図していたものと異なる出力画像が生成されることもある。
【００８４】
また、ユーザは、オリジナル入力画像２３０又は出力画像２３１を表示部１５に表示させ、必要に応じて表示画像に対して出力画像生成処理を成すことを指示することができるが、何ら工夫をしなければ、ユーザは表示画像が出力画像２３１であったとしても、それがオリジナル入力画像２３０であると誤認して、表示画像に対して上記指示を行ってしまうこともある。
【００８５】
これを考慮し、記録制御部５４は、記録対象画像を記録媒体１６に記録する際、記録対象画像が出力画像生成処理を経て得られた画像であるか否かを表す処理有無情報を記録対象画像に関連付けて記録媒体１６に記録する。具体的には例えば、図１２（ａ）に示す如く、記録対象画像を画像ファイル内に保存する際、記録対象画像の画像ファイルの付加領域に、上記処理有無情報を保存しておけばよい。処理有無情報は、記録対象画像がオリジナル入力画像であるか否かを表す情報である、とも言える。図１２（ｂ）に示す如く、記録対象画像がオリジナル入力画像であるとき、処理有無情報には「記録対象画像が出力画像生成処理を経て得られた画像ではないこと」を意味するデジタル値「０」が書き込まれ、記録対象画像がオリジナル入力画像ではないとき（例えば、記録対象画像が出力画像２３１又は２３２であるとき）、処理有無情報には「記録対象画像が出力画像生成処理を経て得られた画像であること」を意味するデジタル値「１」が書き込まれる。
【００８６】
デジタルフォーカス部５０は、記録媒体１６から記録対象画像を読み出す際、それに対応する処理有無情報も読み出す。そして、表示制御部５５は、記録媒体１６から読み出された記録対象画像を表示部１５に表示させる際、読み出された処理有無情報に基づく処理有無指標も表示部１５に表示すると良い。処理有無指標は、表示画像がオリジナル入力画像であるか否かをユーザに認識させるための指標である。例えば、表示部１５に表示される記録対象画像についての処理有無情報が「１」の場合、出力画像生成処理の実行済みを表すアイコンを記録対象画像と共に表示する。一方、表示部１５に表示される記録対象画像についての処理有無情報が「０」の場合には、そのアイコンを表示しない、或いは、そのアイコンと異なるアイコンを記録対象画像と共に表示する。
【００８７】
また、ユーザが、記録媒体１６に保存された記録対象画像に出力画像生成処理を成すことを指示した場合において、その記録対象画像についての処理有無情報が「１」のとき、デジタルフォーカス部５０は、その旨を表す警告報知をユーザに成すようにしても良い。警告報知の方法は任意である。例えば、表示部１５による映像表示又は図示されないスピーカを用いた音声出力によって、警告報知を成すことができる（後述の他の警告報知についても同様）。
【００８８】
――第２の応用技術――
第２の応用技術を説明する。図１１（ａ）と図１３を参照する。オリジナル入力画像２３０から出力画像２３１を生成した際、記録制御部５４は、オリジナル入力画像２３０を格納した画像ファイルＦＬ230と、出力画像２３１を格納した画像ファイルＦＬ231を、記録媒体１６に保存することができる。この際、記録制御部５４は、画像ファイルＦＬ230のリンク情報を画像ファイルＦＬ231の付加領域に保存しておく。更に、記録制御部５４は、オリジナル入力画像２３０から出力画像２３１を生成するために用いた合焦度マップを画像ファイルＦＬ231の付加領域に保存しておく、或いは、その合焦度マップを出力画像２３１に埋め込んだ状態で画像ファイルＦＬ231に保存しておく。
【００８９】
各画像ファイルには、画像ファイルの固有情報（例えばファイル番号）が与えられており、デジタルフォーカス部５０は、固有情報を参照することで、固有情報に対応する画像ファイルを特定することができる。画像ファイルＦＬ230のリンク情報とは、画像ファイルＦＬ230に固有情報（例えば、画像ファイルＦＬ230にファイル番号）であり、デジタルフォーカス部５０は、画像ファイルＦＬ230のリンク情報を参照すれば、画像ファイルＦＬ230が記録媒体１６上のどの記録領域に存在しているかを認識することができる。
【００９０】
第２の応用技術では、ユーザが、画像ファイルＦＬ231内の出力画像２３１に対して出力画像生成処理を成すことを指示した場合、以下のような動作が行われる。
デジタルフォーカス部５０（例えば、出力画像生成部５３）は、画像ファイルＦＬ231から合焦度マップ及び画像ファイルＦＬ230のリンク情報を読み出し、読み出したリンク情報を用いて記録媒体１６上の画像ファイルＦＬ230を認識し、画像ファイルＦＬ230からオリジナル入力画像２３０を読み出す。ユーザが、画像ファイルＦＬ231から読み出された合焦度マップＭＡＰ231を適宜編集指示によって編集することで、編集後の合焦度マップである合焦度マップＭＡＰ231’が生成される。出力画像生成部５３は、合焦度マップＭＡＰ231’基づく出力画像生成処理を、画像ファイルＦＬ230から読み出したオリジナル入力画像２３０に対して成すことにより、出力画像２３１とは別の新たな出力画像２３１’（不図示）を生成する。尚、出力画像２３１’の生成の際、合焦度マップＭＡＰ231’ではなく合焦度マップＭＡＰ231を用いたならば、出力画像２３１’は出力画像２３１と同じものとなる。このように、オリジナル入力画像に対して出力画像生成処理を行うようにすれば、上述したような、意図していたものと異なる出力画像が生成されるといった事態の発生が回避される。
【００９１】
尚、画像ファイルＦＬ230のリンク情報を用いて記録媒体１６内で画像ファイルＦＬ230を探索しても、画像ファイルＦＬ230が見つからない場合もある。例えば、リンク情報の生成後に画像ファイルＦＬ230が記録媒体１６から削除された場合、記録媒体１６から画像ファイルＦＬ230を見つけることができない。このような場合には、オリジナル入力画像が見つからない旨をユーザに警告報知するようにしても良い。
【００９２】
また、画像ファイルＦＬ230のリンク情報が画像ファイルＦＬ230のファイル番号である場合、リンク情報の保存後に画像ファイルＦＬ230のファイル番号がユーザによって変更されると、リンク情報にて画像ファイルＦＬ230を識別することができなくなる。従って、ユーザが変更できない固定固有情報を画像ファイルＦＬ230に与えておき、固定固有情報を画像ファイルＦＬ230のリンク情報として画像ファイルＦＬ231に保存しておくと良い。
【００９３】
――第３の応用技術――
第３の応用技術を説明する。上述したように、ユーザの編集指示に基づいて生成された編集後の合焦度マップを、編集前の合焦度マップに代えて或いは編集前の合焦度マップに加えて記録媒体１６に保存することができる。編集後の合焦度マップが破棄された場合、全く同じ合焦度マップを再現することは難しいため、編集後の合焦度マップは保存しておいた方が好ましい。しかしながら、編集後の合焦度マップの保存は、画像ファイルのファイルサイズを増大させる。
【００９４】
この増大を極力抑えるべく、編集後の合焦度マップを保存する際、編集後の合焦度マップの内、編集指示によってユーザが変更した部分のみを保存するようにしても良い。即ち、図１４（ａ）及び（ｂ）の３００及び３０１が夫々編集前及び編集後の合焦度マップであって、合焦度マップ３００の全領域の一部である領域３１０のみに対して合焦度（画素値）を変更する編集指示が成された場合、合焦度マップ３０１の領域３１０における合焦度（変更後の合焦度）のみを、対応する画像ファイルに保存するようにしても良い。合焦度マップ３０１の領域３１０における合焦度さえ保存しておけば、合焦度マップ３００を用いて、合焦度マップ３０１の全体を再現することができるからである。
【００９５】
尚、領域３１０における合焦度のみを格納した合焦度マップ３０１と、合焦度マップ３００との差分をとれば、編集指示によって変更されていない部分の合焦度（画素値）がゼロになるため、画像圧縮率が高くなってファイルサイズを小さくなる。また、領域３１０における合焦度のみを格納した合焦度マップ３０１を、上記の第２サムネイル記録領域に保存するようにしても良い。そのときに、領域３１０を注目領域として設定し、領域３１０内の合焦度（画素値）だけを保存するようにすれば、ファイルサイズの増大を低く抑えることができる。
【００９６】
――第４の応用技術――
第４の応用技術を説明する。各画像ファイルの付加情報には、記録対象画像の生成時刻を表すタイムスタンプが含められる。オリジナル入力画像２３０のタイムスタンプは、オリジナル入力画像２３０の撮影時刻を表す。出力画像２３１のタイムスタンプを出力画像２３１の生成時刻とすることもできる。しかしながら、そのようにすると、オリジナル入力画像２３０及び出力画像２３１間でタイムスタンプが一致せず（但し、図６（ｂ）を参照して説明した自動合焦度調整機能が無効になっていることを想定）、ユーザは、出力画像２３１の画像ファイルＦＬ231を閲覧したときに、出力画像２３１のオリジナルファイルである画像ファイルＦＬ230がどの画像ファイルであるのかを認識しづらくなる。
【００９７】
これを考慮し、画像ファイルＦＬ231の生成時において、出力画像２３１の生成時刻と関係なく画像ファイルＦＬ231のタイムスタンプを画像ファイルＦＬ230のタイムスタンプと一致させるようにしても良い。再入力画像に基づく出力画像（例えば図１１（ｂ）の出力画像２３２）の画像ファイルのタイムスタンプについても同様である。
【００９８】
――第５の応用技術――
第５の応用技術を説明する。各画像ファイルの付加情報には、カメラ情報が含められる。カメラ情報には、記録対象画像の撮影時における絞り値、焦点距離など、記録対象画像の撮影条件が含まれる。出力画像２３１が生成された際、出力画像２３１の画像ファイルＦＬ231におけるカメラ情報を、オリジナル入力画像２３０の画像ファイルＦＬ230におけるカメラ情報と同じにしておくこともできる。再入力画像に基づく出力画像（例えば図１１（ｂ）の出力画像２３２）の画像ファイルにおけるカメラ情報についても同様である。
【００９９】
一方で、出力画像生成処理によって画像の被写界深度等が変更されうる（詳細は後述）。例えば、出力画像生成処理によって、出力画像２３１の被写界深度がオリジナル入力画像２３０のそれよりも浅くされることがある。この場合において、画像ファイルＦＬ230及びＦＬ231間でカメラ情報が同じであると、カメラ情報に基づく画像ファイルの検索が成し難くなる。即ち例えば、被写界深度が比較的浅い出力画像２３１を格納した画像ファイルＦＬ231を記録媒体１６内の多数の画像ファイルから検索するべく、検索条件を「被写界深度が比較的浅い画像」に設定した上で検索を実行したとしても、画像ファイルＦＬ231のカメラ情報が、被写界深度が比較的深いオリジナル入力画像２３０のそれと同じであると、画像ファイルＦＬ231が上記検索によって見つからない。
【０１００】
これを考慮し、画像ファイルＦＬ231に保存されるカメラ情報を、出力画像生成処理の内容に応じて、画像ファイルＦＬ230のカメラ情報から変更するようにしても良い。再入力画像に基づく出力画像（例えば図１１（ｂ）の出力画像２３２）の画像ファイルにおけるカメラ情報についても同様である。
【０１０１】
＜＜第４実施形態＞＞
第４実施形態を説明する。第４実施形態では、図４の出力画像生成部５３において採用することのできる出力画像生成処理の方法として、第１〜第６の画像処理方法を例示する。
【０１０２】
――第１の画像処理方法――
第１の画像処理方法を説明する。図１５に、図４の出力画像生成部５３として採用することのできる出力画像生成部５３ａの内部ブロック図を示す。出力画像生成部５３ａは、符号６１〜６４によって参照される各部位を備える。但し、ＹＵＶ生成部６１は、図１の主制御部１３内に設けられるものの、出力画像生成部５３ａの外部に設けられたものであっても良い。
【０１０３】
ＹＵＶ生成部６１は、入力画像の画像信号の形式をＲＡＷデータ形式からＹＵＶ形式に変換する。即ち、入力画像のＲＡＷデータから入力画像の輝度信号並びに色差信号を生成する。以下、輝度信号をＹ信号と呼び、色差信号を形成する２つの信号成分をＵ信号及びＶ信号と呼ぶ。
【０１０４】
変換テーブル６２は、自身に与えられた合焦度マップに基づき、画素ごとにぼかし度及びエッジ強調度を求めて出力する。画素（ｘ，ｙ）に対する合焦度、ぼかし度及びエッジ強調度を、夫々、ＦＤ（ｘ，ｙ）、ＢＤ（ｘ，ｙ）及びＥＤ（ｘ，ｙ）にて表す。
【０１０５】
図１６（ａ）は、合焦度マップを形成する合焦度とぼかし度との関係を表している。図１６（ａ）に示す如く、変換テーブル６２は、不等式「ＦＤ（ｘ，ｙ）＜ＴＨA」の成立時には、ぼかし度ＢＤ（ｘ，ｙ）を上限ぼかし度ＢＤHに設定し、不等式「ＴＨA≦ＦＤ（ｘ，ｙ）＜ＴＨB」の成立時には、合焦度ＦＤ（ｘ，ｙ）が閾値ＴＨAから閾値ＴＨBに向かって増大するにつれてぼかし度ＢＤ（ｘ，ｙ）を上限ぼかし度ＢＤHから下限ぼかし度ＢＤLに向かって線形的に（或いは非線形的に）減少させ、不等式「ＴＨB≦ＦＤ（ｘ，ｙ）」の成立時には、ぼかし度ＢＤ（ｘ，ｙ）を下限ぼかし度ＢＤLに設定する。ここで、ＢＤH、ＢＤL、ＴＨA及びＴＨBを、不等式「０＜ＢＤL＜ＢＤH」且つ「０＜ＴＨA＜ＴＨB」が満たされるように予め設定しておくことができる（例えば、ＢＤH＝７、ＢＤL＝１とされる）。
【０１０６】
図１６（ｂ）は、合焦度マップを形成する合焦度とエッジ強調度との関係を表している。図１６（ｂ）に示す如く、変換テーブル６２は、不等式「ＦＤ（ｘ，ｙ）＜ＴＨC」の成立時には、エッジ強調度ＥＤ（ｘ，ｙ）を下限強調度ＥＤLに設定し、不等式「ＴＨC≦ＦＤ（ｘ，ｙ）＜ＴＨD」の成立時には、合焦度ＦＤ（ｘ，ｙ）が閾値ＴＨCから閾値ＴＨDに向かって増大するにつれてエッジ強調度ＥＤ（ｘ，ｙ）を下限強調度ＥＤLから上限強調度ＥＤHに向かって線形的に（或いは非線形的に）増大させ、不等式「ＴＨD≦ＦＤ（ｘ，ｙ）」の成立時には、エッジ強調度ＥＤ（ｘ，ｙ）を上限強調度ＥＤHに設定する。ここで、ＥＤH、ＥＤL、ＴＨC及びＴＨDを、不等式「０＜ＥＤL＜ＥＤH」且つ「０＜ＴＨC＜ＴＨD」が満たされるように予め設定しておくことができる。
【０１０７】
図１５の背景ぼかし部６３は、変換テーブル６２から出力される画素ごとのぼかし度に応じて、ＹＵＶ生成部６１から出力されるＹ、Ｕ及びＶ信号に対し、画素ごとにぼかし処理を施す。但し、ぼかし度ＢＤ（ｘ、ｙ）が下限ぼかし度ＢＤLと一致している画像部分に対しては、ぼかし処理を施さない方が望ましい。ぼかし処理は、Ｙ、Ｕ及びＶ信号の夫々に対して行っても良いし、Ｙ信号に対してのみ行っても良い。Ｙ信号を空間方向において平滑化する空間フィルタを用いた空間フィルタリングにより、Ｙ信号のぼかし処理を実現することができる（Ｕ及びＶ信号についても同様）。空間フィルタとして、平均化フィルタ、加重平均化フィルタ、ガウシアンフィルタ等を用いることができ、ぼかし度をガウシアンフィルタにおけるガウス分布の分散として用いることもできる。また、Ｙ信号に含まれる空間周波数成分の内、低周波成分は残し且つ高周成分を除去するようなローパスフィルタを用いた周波数フィルタリングによって、Ｙ信号のぼかし処理を実現することもできる（Ｕ及びＶ信号についても同様）。
【０１０８】
注目画素（ｘ，ｙ）に対する合焦度ＦＤ（ｘ，ｙ）が小さく、これによって注目画素（ｘ，ｙ）のぼかし度ＢＤ（ｘ、ｙ）が大きいほど、注目画素（ｘ，ｙ）及び該注目画素の周辺画素から成る画像部分のぼかしの度合いは大きくなる。ぼかし処理に平均化フィルタを用いる場合を想定して、単純な例を挙げる。例えば、ぼかし度ＢＤ（ｘ，ｙ）が下限ぼかし度ＢＤLよりも大きいが上限ぼかし度ＢＤHよりも小さいときに３×３のフィルタサイズを有する平均化フィルタを用いて注目画素（ｘ，ｙ）に対するぼかし処理を行い、ぼかし度ＢＤ（ｘ，ｙ）が上限ぼかし度ＢＤHと一致している時に５×５のフィルタサイズを有する平均化フィルタを用いて注目画素（ｘ，ｙ）に対するぼかし処理を行うようにする。これにより、ぼかし度ＢＤ（ｘ，ｙ）が大きいほど対応部分のぼかしの度合いは大きくなる。
【０１０９】
図１５のエッジ強調処理部６４は、背景ぼかし部６３から出力されるぼかし処理後のＹ、Ｕ及びＶ信号に対し、画素ごとにエッジ強調処理を施す。エッジ強調処理は、ラプラシアンフィルタ等の鮮鋭化フィルタを用いた、画像のエッジを強調する処理である。注目画素（ｘ，ｙ）に対するエッジ強調度ＥＤ（ｘ，ｙ）が大きくなるにつれて、注目画素（ｘ，ｙ）及び該注目画素の周辺画素から成る画像部分のエッジの強調度合いが大きくなるように、エッジ強調度ＥＤ（ｘ，ｙ）に応じて鮮鋭化フィルタのフィルタ係数を可変設定するとよい。
【０１１０】
エッジ強調処理部６４によるエッジ強調処理後のＹ、Ｕ及びＶ信号が、出力画像のＹ、Ｕ及びＶ信号として生成される。尚、エッジ強調処理部６４を割愛することも可能であり、この場合、背景ぼかし部６３から出力されるぼかし処理後のＹ、Ｕ及びＶ信号が、出力画像のＹ、Ｕ及びＶ信号として機能する。
【０１１１】
上述のようなぼかし処理を出力画像生成処理に含めることにより、背景被写体（建物ＳＵＢ3）がぼけ、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が浮き立って見える“ぼけ味”のある出力画像２１１（図５（ｂ）参照）が得られる。即ち、比較的大きな合焦度を有する画像部分の被写体が比較的小さな合焦度を有する画像部分の被写体よりも視覚的に強調された出力画像が得られる（同様の強調効果は、後述の第２〜第４の画像処理方法によっても実現される）。
【０１１２】
――第２の画像処理方法――
第２の画像処理方法を説明する。第２の画像処理方法では、図１５の背景ぼかし部６３にて実行される上記ぼかし処理を輝度低減処理に置換する。この置換を除き、第１の画像処理方法と第２の画像処理方法は同じである。
【０１１３】
第２の画像処理方法において、図１５の背景ぼかし部６３は、変換テーブル６２から出力される画素ごとのぼかし度に応じて、ＹＵＶ生成部６１から出力されるＹ信号に対し、画素ごとに輝度低減処理を施す。但し、ぼかし度ＢＤ（ｘ，ｙ）が下限ぼかし度ＢＤLと一致している画像部分に対しては、輝度低減処理を施さない方が望ましい。
【０１１４】
輝度低減処理では、注目画素（ｘ，ｙ）に対する合焦度ＦＤ（ｘ，ｙ）が小さく、これによって注目画素（ｘ，ｙ）のぼかし度ＢＤ（ｘ，ｙ）が大きいほど、注目画素（ｘ，ｙ）のＹ信号の信号レベルは、より大きく低減される。注目画素（ｘ，ｙ）のＹ信号の信号レベルが低減するに伴って、注目画素（ｘ，ｙ）の輝度は低くなるものとする。このような輝度低減処理を出力画像生成処理に含めることにより、背景被写体（建物ＳＵＢ3）が暗くなり、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が強調されて浮き立って見える出力画像を生成することができる。
【０１１５】
――第３の画像処理方法――
第３の画像処理方法を説明する。第３の画像処理方法では、図１５の背景ぼかし部６３にて実行される上記ぼかし処理を彩度低減処理に置換する。この置換を除き、第１の画像処理方法と第３の画像処理方法は同じである。
【０１１６】
第３の画像処理方法において、図１５の背景ぼかし部６３は、変換テーブル６２から出力される画素ごとのぼかし度に応じて、ＹＵＶ生成部６１から出力されるＵ及びＶ信号に対し、画素ごとに彩度低減処理を施す。但し、ぼかし度ＢＤ（ｘ，ｙ）が下限ぼかし度ＢＤLと一致している画像部分に対しては、彩度低減処理を施さない方が望ましい。
【０１１７】
彩度低減処理では、注目画素（ｘ，ｙ）に対する合焦度ＦＤ（ｘ，ｙ）が小さく、これによって注目画素（ｘ，ｙ）のぼかし度ＢＤ（ｘ，ｙ）が大きいほど、注目画素（ｘ，ｙ）のＵ及びＶ信号の信号レベルは、より大きく低減される。注目画素（ｘ，ｙ）のＵ及びＶ信号の信号レベルが低減するに伴って、注目画素（ｘ，ｙ）の彩度は低くなるものとする。このような彩度低減処理を出力画像生成処理に含めることにより、背景被写体（建物ＳＵＢ3）の彩度が低くなり、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が強調されて浮き立って見える出力画像を生成することができる。
【０１１８】
尚、上記のぼかし処理、輝度低減処理及び彩度低減処理の内、２つ以上の処理を、図１５の背景ぼかし部６３にて実行するようにしても良い。
【０１１９】
――第４の画像処理方法――
第４の画像処理方法を説明する。図１７に、第４の画像処理方法において、図４の出力画像生成部５３として採用することのできる出力画像生成部５３ｂの内部ブロック図を示す。出力画像生成部５３ｂは、符号６１及び７２〜７４によって参照される各部位を備える。但し、ＹＵＶ生成部６１は、図１の主制御部１３内に設けられるものの、出力画像生成部５３ｂの外部に設けられたものであっても良い。図１７のＹＵＶ生成部６１は、図１５のそれと同じものである。
【０１２０】
全景ぼかし部７２は、ＹＵＶ生成部６１から出力される画像信号に対し、一律にぼかし処理を施す。全景ぼかし部７２におけるぼかし処理を、第１の画像処理方法におけるそれと区別すべく、全景ぼかし処理と呼ぶ。全景ぼかし処理では、合焦度マップに関係なく、入力画像の全体が共通の条件にてぼかされる。全景ぼかし処理は、画像信号を形成するＹ、Ｕ及びＶ信号の夫々に対して行っても良いし、Ｙ信号に対してのみ行っても良い。Ｙ信号を空間方向において平滑化する空間フィルタを用いた空間フィルタリングにより、Ｙ信号の全景ぼかし処理を実現することができる（Ｕ及びＶ信号についても同様）。空間フィルタとして、平均化フィルタ、加重平均化フィルタ、ガウシアンフィルタ等を用いることができる。また、Ｙ信号に含まれる空間周波数成分の内、低周波成分は残し且つ高周成分を除去するようなローパスフィルタを用いた周波数フィルタリングにより、Ｙ信号の全景ぼかし処理を実現することもできる（Ｕ及びＶ信号についても同様）。
【０１２１】
全景ぼかし部７２は、全景ぼかし処理後のＹ、Ｕ及びＶ信号を加重加算合成部７４に出力する。全景ぼかし処理後のＹ、Ｕ及びＶ信号を画像信号として有する画像、即ち、全景ぼかし処理後の入力画像を、全景ぼかし画像と呼ぶ。
【０１２２】
変換テーブル７３は、自身に与えられた合焦度マップに基づき、画素ごとに、入力画像と全景ぼかし画像との合成比率を求めて出力する。画素（ｘ，ｙ）に対する合焦度を上述したようにＦＤ（ｘ，ｙ）にて表し、画素（ｘ，ｙ）に対する合成比率をＫ（ｘ，ｙ）にて表す。
【０１２３】
図１８は、合焦度マップを形成する合焦度と合成比率との関係を表している。図１８に示す如く、変換テーブル７３は、不等式「ＦＤ（ｘ，ｙ）＜ＴＨE」の成立時には、合成比率Ｋ（ｘ，ｙ）を下限比率ＫLに設定し、不等式「ＴＨE≦ＦＤ（ｘ，ｙ）＜ＴＨF」の成立時には、合焦度ＦＤ（ｘ，ｙ）が閾値ＴＨEから閾値ＴＨFに向かって増大するにつれて合成比率Ｋ（ｘ，ｙ）を下限比率ＫLから上限比率ＫHに向かって線形的に（或いは非線形的に）増大させ、不等式「ＴＨF≦ＦＤ（ｘ，ｙ）」の成立時には、合成比率Ｋ（ｘ，ｙ）を上限比率ＫHに設定する。ここで、ＫH、ＫL、ＴＨE及びＴＨFを、不等式「０≦ＫL＜ＫH≦１」且つ「０＜ＴＨE＜ＴＨF」が満たされるように予め設定しておくことができる。通常は、ＫL＝０、ＫH＝１とされる。
【０１２４】
加重加算合成部７４は、入力画像の画像信号と全景ぼかし画像の画像信号が、変換テーブル７３から出力される合成比率に従って画素毎に混合されるように、入力画像及び全景ぼかし画像を合成する。これによって得た合成画像が、第４の画像処理方法による出力画像である。勿論、画像信号の混合は、Ｙ、Ｕ及びＶ信号の夫々に対して行われる。より具体的には、入力画像の画素（ｘ，ｙ）におけるＹ信号、全景ぼかし画像の画素（ｘ，ｙ）におけるＹ信号及び出力画像の画素（ｘ，ｙ）におけるＹ信号を、夫々、Ｙ１（ｘ，ｙ）、Ｙ２（ｘ，ｙ）及びＹ３（ｘ，ｙ）にて表したとすると、次式に従ってＹ３（ｘ，ｙ）が生成される（出力画像のＵ及びＶ信号も同様にして生成される）。
Ｙ３（ｘ，ｙ）
＝Ｋ（ｘ，ｙ）・Ｙ１（ｘ，ｙ）＋（１−Ｋ（ｘ，ｙ））・Ｙ２（ｘ，ｙ）
【０１２５】
合焦度が比較的大きな画像部分に対しては入力画像の出力画像に対する寄与度が高くなる一方で、合焦度が比較的小さな画像部分に対しては全景ぼかし画像の出力画像に対する寄与度が高くなる。従って、上述のような全景ぼかし処理と画像合成処理にて出力画像生成処理を形成することにより、入力画像から出力画像が生成される過程において、比較的小さな合焦度を有する画像部分が比較的大きな合焦度を有する画像部分よりも大きくぼかされることになる。結果、背景被写体（建物ＳＵＢ3）がぼけ、主要被写体（花ＳＵＢ1や人物ＳＵＢ2）が浮き立って見える“ぼけ味”のある出力画像２１１（図５（ｂ）参照）を得ることができる。
【０１２６】
尚、第１の画像処理方法を第２の画像処理方法へと変更するのと同様に、全景ぼかし部７２において、入力画像に対し、全景ぼかし処理の代わりに全景輝度低減処理を行うようにしても良い。全景輝度低減処理では、合焦度マップに関係なく、入力画像の全画素のＹ信号の信号レベルが共通の条件にて低減される。この低減後のＹ信号と入力画像そのもののＹ信号を、上記の如く画素毎に合成比率に従って混合することで、出力画像のＹ信号を得ることができる（この場合、出力画像のＵ及びＶ信号は入力画像のＵ及びＶ信号と同じとされる）。全景輝度低減処理を行う場合、入力画像から出力画像が生成される過程において、比較的小さな合焦度を有する画像部分の輝度が比較的大きな合焦度を有する画像部分の輝度よりも大きく低減されることになる。
【０１２７】
また、第１の画像処理方法を第３の画像処理方法へと変更するのと同様に、全景ぼかし部７２において、入力画像に対し、全景ぼかし処理の代わりに全景彩度低減処理を行うようにしても良い。全景彩度低減処理では、合焦度マップに関係なく、入力画像の全画素のＵ及びＶ信号の信号レベルが共通の条件にて低減される。この低減後のＵ及びＶ信号と入力画像そのもののＵ及びＶ信号を、上記の如く画素毎に合成比率に従って混合することで、出力画像のＵ及びＶ信号を得ることができる（この場合、出力画像のＹ信号は入力画像のＹ信号と同じとされる）。全景彩度低減処理を行う場合、入力画像から出力画像が生成される過程において、比較的小さな合焦度を有する画像部分の彩度が比較的大きな合焦度を有する画像部分の彩度よりも大きく低減されることになる。上記の全景ぼかし処理、全景輝度低減処理及び全景彩度低減処理の内、２つ以上の処理を、図１７の全景ぼかし部７２にて実行するようにしても良い。
【０１２８】
――第５の画像処理方法――
第５の画像処理方法を説明する。上述の第１〜第４の画像処理方法によれば、出力画像における被写界深度を入力画像のそれよりも浅めたような作用を得ることができる。しかしながら、上述の第１〜第４の画像処理方法の何れかを単体で用いた場合には、出力画像における被写界深度を入力画像のそれよりも深くすることは難しい。
【０１２９】
但し、画像のぼけによる劣化を復元する画像復元処理を出力画像生成処理に含めるようにすれば、出力画像における被写界深度を、部分的に或いは画像全体において、入力画像の被写界深度よりも深くすることも可能である。例えば、入力画像上におけるぼけを劣化とみなし、その劣化を復元する画像復元処理（換言すれば、その劣化を除去する画像復元処理）を入力画像に対して施すことにより全合焦画像を生成することも可能である。全合焦画像とは、画像全体にわたってピントがあった画像である。全合焦画像を生成するための画像復元処理を出力画像生成処理に含め、更に上述の第１〜第４の画像処理方法の何れかを用いれば、任意の被写界深度及び合焦距離を有する出力画像を生成することが可能である。上記の画像復元処理の方法として、公知の方法を利用することが可能である。
【０１３０】
――第６の画像処理方法――
第６の画像処理方法を説明する。第６の画像処理方法では、“Light Field Photography”と呼ばれる方法（以下、Light Field法と呼ぶ）を用いて、撮像素子３３の出力信号に基づく入力画像から任意の被写界深度及び合焦距離を有する出力画像を生成する。撮像素子３３の出力信号に基づき任意の被写界深度及び合焦距離を有する画像を生成する方法として、Light Field法に基づく公知の方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法）を利用することができる。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。Light Field法を採用した撮像装置は、撮像素子からの画像信号に基づいた画像処理を行うことにより、任意の被写界深度及び合焦距離を有する画像を再構築することができる。即ち、Light Field法を用いれば、画像の撮影後に、任意の被写体にピントを合わせた出力画像を自由に構築することができる。
【０１３１】
従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる（後述の第５実施形態においても同様）。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。
【０１３２】
出力画像生成部５３は、与えられた合焦度マップから出力画像上の各位置におけるピントの合わせ度合いを認識し、合焦度マップを用いて、入力画像に対し、Light Field法による画像処理を出力画像生成処理として実行することで出力画像を生成する。単純には例えば、合焦度マップの全体領域が第１及び第２領域から成り、第１領域における合焦度が十分に高く且つ第２領域における合焦度が十分に低い場合、出力画像上の第１領域内の画像のみにピントが合い且つ出力画像上の第２領域内の画像がぼけるように、Light Field法による画像処理を実行する。Light Field法を用いる場合、出力画像生成部５３に与えられるべき入力画像は、撮像素子３３の出力信号そのものに基づくオリジナル入力画像であることが望ましい。撮像素子３３の出力信号中にLight Field法の実現に必要な入射光の進行方向情報が含まれており、その進行方向情報は再入力画像（図１１（ｂ）参照）においては劣化している可能性があるからである。
【０１３３】
＜＜第５実施形態＞＞
第５実施形態を説明する。第５実施形態では、図４の合焦度マップ生成部５１において採用することのできる合焦度の導出方法及び合焦度マップの生成方法として、第１〜第６の合焦度導出方法を例示する。
【０１３４】
――第１の合焦度導出方法――
第１の合焦度導出方法を説明する。第１の合焦度導出方法及び後述の第２の合焦度導出方法では、入力画像（特にオリジナル入力画像）の画像信号が合焦度導出用情報（図４参照）として用いられている。まず、一次元のみに注目して、第１の合焦度導出方法の原理を説明する。図１９（ａ）は、入力画像上の合焦部における典型的な輝度信号のパターンを表し、図１９（ｂ）は、入力画像上の非合焦部における典型的な輝度信号のパターンを表している。但し、図１９（ａ）及び（ｂ）に対応する合焦部及び非合焦部には、輝度変化の境界部分であるエッジが存在しているものとする。図１９（ａ）及び（ｂ）の各グラフにおいて、横軸はＸ軸を表し、縦軸は輝度値を表している。輝度値とは、輝度信号の値を表し、輝度信号（即ちＹ信号）の信号レベルと同義である。注目画素（ｘ，ｙ）の輝度値が増大するに伴って、注目画素（ｘ，ｙ）の輝度は高くなる。
【０１３５】
図１９（ａ）の合焦部においてエッジの中心部を注目画素と捉え、注目画素を中心とした極局所領域（例えば３画素分の幅を有する領域）内における輝度信号の最大値と最小値の差（以下、極局所領域の輝度差分値という）と、注目画素を中心とした局所領域（例えば７画素分の幅を有する領域）内における輝度信号の最大値と最小値の差（以下、局所領域の輝度差分値という）とを求めたとすると、合焦部では輝度が急峻に変化するため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）は概ね１となる。
【０１３６】
これに対し、図１９（ｂ）の非合焦部においてエッジの中心部を注目画素と捉え、上述の如く、注目画素を中心とした極局所領域の輝度差分値と、注目画素を中心とした局所領域の輝度差分値とを求めたとすると、非合焦部では輝度が緩やかに変化するため、（極局所領域の輝度差分値）／（局所領域の輝度差分値）は１よりも随分小さくなる。
【０１３７】
第１の合焦度導出方法では、比“（極局所領域の輝度差分値）／（局所領域の輝度差分値）”が合焦部及び非合焦部間で異なるという性質を利用して、合焦度の導出を行う。
【０１３８】
図２０は、第１の合焦度導出方法に係り、合焦度の導出を行う部位のブロック図である。図２０のＹＵＶ生成部６１は、図１５又は図１７に示されるそれと同じものである。図２０の符号１０１〜１０４によって参照される各部位を、図４の合焦度マップ生成部５１に設けておくことができる。
【０１３９】
ＹＵＶ生成部６１から出力される入力画像のＹ信号は、極局所領域差分抽出部１０１（以下、抽出部１０１と略記することがある）及び局所領域差分抽出部１０２（以下、抽出部１０２と略記することがある）に送られる。抽出部１０１は、入力画像のＹ信号から、画素ごとに極局所領域の輝度差分値を抽出して出力する。抽出部１０２は、入力画像のＹ信号から、画素ごとに局所領域の輝度差分値を抽出して出力する。エッジ差分比算出部１０３（以下、算出部１０３と略記することがある）は、画素ごとに、極局所領域の輝度差分値と局所領域の輝度差分値との比または該比に準ずる値を、エッジ差分比として算出及び出力する。
【０１４０】
図２１は、入力画像のＹ信号から、極局所領域の輝度差分値、局所領域の輝度差分値及びエッジ差分比が求められる様子を示した図である。説明の簡略化上、７×７画素分の画像領域に着目して該算出処理を説明する。入力画像上の画素（ｉ，ｊ）における輝度値をａｉｊにて表す。従って例えば、ａ１２は入力画像上の画素（１，２）における輝度値を表す。ここで、ｉ及びｊは、整数であって、画素の水平座標値ｘ及び垂直座標値ｙを表す任意の変数である。また、画素（ｉ，ｊ）に対して求められた、極局所領域の輝度差分値、局所領域の輝度差分値及びエッジ差分比を、夫々、ｂｉｊ、ｃｉｊ及びｄｉｊにて表す。極局所領域とは、注目画素を中心とする比較的狭い画像領域を指し、局所領域とは、注目画素を中心とする極局所領域よりも広い画像領域を指す。
【０１４１】
図２１では、例として、３×３画素から成る画像領域を極局所領域として定義し、７×７画素から成る画像領域を局所領域として定義している。従って、注目画素が画素（４，４）である場合には、３≦ｉ≦５且つ３≦ｊ≦５を満たす計９個の画素（ｉ，ｊ）にて形成される画像領域が注目画素（４，４）の極局所領域であり、１≦ｉ≦７且つ１≦ｊ≦７を満たす計４９個の画素（ｉ，ｊ）にて形成される画像領域が注目画素（４，４）の局所領域である。
【０１４２】
極局所領域差分抽出部１０１は、注目画素の極局所領域における輝度値の最大値及び最小値の差を、注目画素に対する極局所領域の輝度差分値として算出する。但し、極局所領域の輝度差分値ｂｉｊが０以上となるように演算が成される。例えば、注目画素（４，４）の極局所領域においてａ５５が最大値且つａ３３が最小値であったならば、注目画素（４，４）に対する極局所領域の輝度差分値ｂ４４は、「ｂ４４＝ａ５５−ａ３３」にて求められる。
【０１４３】
局所領域差分抽出部１０２は、注目画素の局所領域における輝度値の最大値及び最小値の差を、注目画素に対する局所領域の輝度差分値として算出する。但し、局所領域の輝度差分値ｃｉｊが０以上となるように演算が成される。例えば、注目画素（４，４）の局所領域においてａ１１が最大値且つａ１７が最小値であったならば、注目画素（４，４）に対する局所領域の輝度差分値ｃ４４は、「ｃ４４＝ａ１１−ａ１７」にて求められる。
【０１４４】
注目画素は、１画素単位で水平又は垂直方向にシフトされ、シフトの度に、極局所領域の輝度差分値及び局所領域の輝度差分値が算出される。この結果、最終的に、全画素に対する極局所領域の輝度差分値及び局所領域の輝度差分値が求められる。図２１の例では、ｂ１１〜ｂ７７及びｃ１１〜ｃ７７が全て求められる。
【０１４５】
エッジ差分比算出部１０３は、各画素について、極局所領域の輝度差分値と局所領域の輝度差分値に所定の微小値ＶOFFSETを加えた値との比を、エッジ差分比として算出する。即ち、
等式「ｄｉｊ＝ｂｉｊ／（ｃｉｊ＋ＶOFFSET）」
に従って、画素（ｉ，ｊ）に対するエッジ差分比ｄｉｊを求める。図２１に示す如く、ｂ１１〜ｂ７７及びｃ１１〜ｃ７７からｄ１１〜ｄ７７が求められる。尚、ＶOFFSETは、上記等式の分母がゼロになることを防止するために設定された、正の値を有するオフセット値である。
【０１４６】
拡張処理部１０４は、算出された各画素のエッジ差分比に基づいて、エッジ差分比の大きな領域を拡張する。この拡張を行う処理を単に拡張処理といい、該拡張処理を経たエッジ差分比を拡張エッジ差分比という。図２２は、拡張処理部１０４の拡張処理の概念図である。図２２において、折れ線４１１は、入力画像上の合焦部における典型的な輝度信号のパターンを表しており、折れ線４１２は、折れ線４１１にて表される輝度信号から導出されたエッジ差分比のパターンを表しており、折れ線４１３は、折れ線４１２にて表されるエッジ差分比から導出された拡張エッジ差分比のパターンを表している。
【０１４７】
折れ線４１２からも明らかなように、エッジ差分比は、エッジの中心部分である地点４１０において極大値をとる。拡張処理部１０４は、地点４１０を中心とし且つ所定の大きさを有する画像領域を拡張対象領域として設定し、拡張対象領域に属する各画素のエッジ差分比を地点４１０におけるエッジ差分比に置換する。この置換を経たエッジ差分比が、拡張処理部１０４にて求められるべき拡張エッジ差分比である。即ち、拡張処理部１０４は、拡張対象領域に属する各画素のエッジ差分比を、拡張対象領域における最大のエッジ差分比にて置換する。
【０１４８】
画素（ｉ，ｊ）に対する拡張エッジ差分比をｄｉｊ’にて表す。図２３（ａ）〜（ｈ）は、図２０の拡張処理部１０４による拡張処理を説明するための図である。図２３（ａ）〜（ｄ）では、エッジ差分比算出部１０３から出力されるエッジ差分比の内、７×７画素分のエッジ差分比ｄ１１〜ｄ７７が示されている。図２３（ａ）等に示される例では、注目画素を中心とする３×３画素分の画像領域が拡張対象領域とされる。図２３（ａ）、（ｂ）、（ｃ）及び（ｄ）の順番に拡張処理が進行するものとする。図２３（ａ）の状態から、注目画素及び拡張対象領域が右側、上側及び下側に一画素分だけシフトされると、夫々、図２３（ｂ）、（ｃ）及び（ｄ）の状態に至る。
【０１４９】
図２３（ａ）の状態においては、画素（４，４）が注目画素として設定される。従って、３≦ｉ≦５且つ３≦ｊ≦５を満たす計９個の画素（ｉ，ｊ）にて形成される画像領域が拡張対象領域４２１として設定される。今、拡張対象領域４２１に属する９画素についてのエッジ差分比の内、注目画素（４，４）のエッジ差分比ｄ４４が最大であったとする。この場合、拡張処理部１０４は、注目画素（４，４）のエッジ差分比に対して上記置換を行わず、そのまま維持する。即ち、注目画素（４，４）に対する拡張エッジ差分比ｄ４４’は、エッジ差分比ｄ４４そのものとされる。図２３（ｅ）は、図２３（ａ）の状態に対して拡張処理を行った結果を表している。図２３（ｅ）において、黒塗り部分は、拡張処理後においてｄ４４の拡張エッジ差分比が付与される部分を表している（後述の図２３（ｆ）、（ｇ）及び（ｈ）も同様）。
【０１５０】
図２３（ｂ）の状態においては、画素（４，５）が注目画素として設定され、注目画素（４，５）に対して拡張対象領域４２２が設定される。今、拡張対象領域４２２に属する９画素についてのエッジ差分比の内、ｄ４４が最大であったとすると、拡張処理部１０４は、注目画素（４，５）のエッジ差分比ｄ４５をｄ４４に置換する。即ち、ｄ４５’＝ｄ４４、とされる。図２３（ｆ）は、図２３（ａ）及び（ｂ）の状態に対して拡張処理を行った結果を表している。
【０１５１】
図２３（ｃ）の状態においては、画素（３，４）が注目画素として設定され、注目画素（３，４）に対して拡張対象領域４２３が設定される。今、拡張対象領域４２３に属する９画素についてのエッジ差分比の内、ｄ４４が最大であったとすると、拡張処理部１０４は、注目画素（３，４）のエッジ差分比ｄ３４をｄ４４に置換する。即ち、ｄ３４’＝ｄ４４、とされる。図２３（ｇ）は、図２３（ａ）〜（ｃ）の状態に対して拡張処理を行った結果を表している。
【０１５２】
図２３（ｄ）の状態においては、画素（５，４）が注目画素として設定され、注目画素（５，４）に対して拡張対象領域４２４が設定される。今、拡張対象領域４２４に属する９画素についてのエッジ差分比の内、ｄ４４が最大であったとすると、拡張処理部１０４は、注目画素（５，４）のエッジ差分比ｄ５４をｄ４４に置換する。即ち、ｄ５４’＝ｄ４４、とされる。図２３（ｈ）は、図２３（ａ）〜（ｄ）の状態に対して拡張処理を行った結果を表している。
【０１５３】
上述のような拡張処理が全画素に対して行われる。この拡張処理を用いると、エッジ部分の領域が拡張されるため、ピントの合っている被写体とピントの合っていない被写体との境界が明確になる。
【０１５４】
拡張エッジ差分比ｄｉｊ’は、画素（ｉ，ｊ）における被写体のピントが合っていれば比較的大きくなり、そうでなければ比較的小さくなる。従って、第１の合焦度導出方法では、拡張エッジ差分比ｄｉｊ’を、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いる。但し、拡張処理前のエッジ差分比ｄｉｊを、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いることも可能である。
【０１５５】
――第２の合焦度導出方法――
第２の合焦度導出方法を説明する。図２４は、第２の合焦度導出方法に係り、合焦度の導出を行う部位のブロック図である。図２４のＹＵＶ生成部６１は、図１５等に示されるそれと同じものである。図２４の符号１１１〜１１４によって参照される各部位を、図４の合焦度マップ生成部５１に設けておくことができる。
【０１５６】
高域ＢＰＦ１１１は、ＹＵＶ生成部６１から出力される輝度信号の内、通過帯域ＢＡＮＤH内の空間周波数成分を含む輝度信号を抽出して出力するバンドパスフィルタであり、低域ＢＰＦ１１２は、ＹＵＶ生成部６１から出力される輝度信号の内、通過帯域ＢＡＮＤL内の空間周波数成分を含む輝度信号を抽出して出力するバンドパスフィルタである。高域ＢＰＦ１１１において、通過帯域ＢＡＮＤH外の空間周波数成分は除去され、低域ＢＰＦ１１２において、通過帯域ＢＡＮＤL外の空間周波数成分は除去される。但し、高域ＢＰＦ１１１及び低域ＢＰＦ１１２における除去とは、除去される対象の完全なる除去又は一部の除去を意味する。対象の一部の除去は、対象の低減とも言い換えることができる。
【０１５７】
高域ＢＰＦ１１１における通過帯域ＢＡＮＤHの中心周波数は、低域ＢＰＦ１１２における通過帯域ＢＡＮＤLの中心周波数よりも高い。また、通過帯域ＢＡＮＤHの低域側のカットオフ周波数は、通過帯域ＢＡＮＤLの低域側のカットオフ周波数よりも高く、通過帯域ＢＡＮＤHの高域側のカットオフ周波数は、通過帯域ＢＡＮＤLの高域側のカットオフ周波数よりも高い。
【０１５８】
高域ＢＰＦ１１１は、入力画像の輝度信号のみから成る濃淡画像に対して、通過帯域ＢＡＮＤHに応じた周波数フィルタリングを行うことにより、通過帯域ＢＡＮＤHに応じた周波数フィルタリング後の濃淡画像を得ることができる。低域ＢＰＦ１１２についても同様にすることで、低域ＢＰＦ１１２からも濃淡画像が得られる。
【０１５９】
周波数成分比算出部１１３は、高域ＢＰＦ１１１の出力値及び低域ＢＰＦ１１２の出力値に基づき、画素ごとに周波数成分比を算出する。高域ＢＰＦ１１１から得られる濃淡画像上の画素（ｉ，ｊ）の輝度値をｅｉｊにて表し、低域ＢＰＦ１１２から得られる濃淡画像上の画素（ｉ，ｊ）の輝度値をｆｉｊにて表し、画素（ｉ，ｊ）に対する周波数成分比をｇｉｊにて表す。そうすると、周波数成分比算出部１１３は、
等式「ｇｉｊ＝｜ｅｉｊ／ｆｉｊ｜」に従って、
画素ごとに周波数成分比を算出する。
【０１６０】
拡張処理部１１４は、図２０の拡張処理部１０４と同様の拡張処理を行う。但し、拡張処理部１０４がエッジ差分比ｄｉｊに対して拡張処理を行うことで拡張エッジ差分比ｄｉｊ’を導出していたのに対し、拡張処理部１１４は周波数成分比ｇｉｊに対して拡張処理を行うことで拡張周波数成分比ｇｉｊ’を導出する。拡張処理部１０４によるエッジ差分比から拡張エッジ差分比を導出する方法と、拡張処理部１１４による周波数成分比から拡張周波数成分比を導出する方法は同じである。
【０１６１】
拡張周波数成分比ｇｉｊ’は、画素（ｉ，ｊ）における被写体のピントが合っていれば比較的大きくなり、そうでなければ比較的小さくなる。従って、第２の合焦度導出方法では、拡張周波数成分比ｇｉｊ’を、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いる。但し、拡張処理前の周波数成分比ｇｉｊを、画素（ｉ，ｊ）における合焦度ＦＤ（ｉ，ｊ）として用いることも可能である。
【０１６２】
――第３の合焦度導出方法――
第３の合焦度導出方法を説明する。図４の合焦度マップ生成部５１は、ユーザの指示に基づいて合焦度マップを生成することもできる。例えば、入力画像の撮影後、入力画像を表示部１５に表示している状態において、操作部１７に対するユーザからの合焦度指定操作を受け付ける。或いは、表示部１５にタッチパネル機能が設けられている場合においては、ユーザによるタッチパネル操作によって合焦度指定操作を受け付ける。合焦度指定操作により、入力画像上の各画素に対する合焦度が指定される。従って、第３の合焦度導出方法においては合焦度指定操作の内容が合焦度導出用情報として機能する（図４参照）。
【０１６３】
例えば、入力画像の全画像領域の内、第１の合焦度を有するべき画像領域と、第２の合焦度を有するべき画像領域と、・・・、第ｎの合焦度を有するべき画像領域とを、ユーザに指定させ（ｎは２以上の整数）、その指定内容に従って合焦度マップを生成することができる。ここで、第１〜第ｎの合焦度は、互いに異なる合焦度であるとする。
【０１６４】
――第４の合焦度導出方法――
第４の合焦度導出方法を説明する。第４の合焦度導出方法では、入力画像上の各画素における被写体の被写体距離を画素値として有する距離画像と、入力画像の撮影時における撮像部１１の焦点距離と、に基づいて合焦度マップを生成する。従って、第４の合焦度導出方法においては上記の距離画像及び焦点距離が合焦度導出用情報として機能する（図４参照）。焦点距離が分かれば、ピントが最も合う被写体距離が定まるため、ピントが最も合う被写体距離（以下、合焦距離という）に対して最も大きな合焦度（以下、単に上限合焦度という）を割り当てると共に、注目画素の被写体距離が合焦距離から離れるにつれて注目画素に対する合焦度が上限合焦度から減少するように、合焦度マップを生成すればよい。
【０１６５】
距離画像の生成方法は任意である。例えば、撮像装置１は、入力画像上の各画素における被写体距離を測定する測距センサ（不図示）を用いて距離画像を生成することができる。測距センサとして、三角測量法に基づく測距センサ等、公知の任意の測距センサを用いることができる。
【０１６６】
――第５の合焦度導出方法――
第５の合焦度導出方法を説明する。第５の合焦度導出方法では、上述のLight Field法を用いて合焦度マップを生成する。従って、第５の合焦度導出方法では、入力画像（特にオリジナル入力画像）の画像信号が合焦度導出用情報として機能する（図４参照）。
【０１６７】
上述したように、Light Field法を用いた場合、入力画像の画像信号の元となる撮像素子３３の出力信号が、撮像素子３３への入射光の進行方向の情報をも含んでいるため、入力画像の画像信号に基づけば、入力画像上の各位置における画像がどの程度ピントがあっているのかを演算によって導出することが可能である。上述してきたように、合焦度とは、ピントがどの程度合っているかを表す度合いであるから、Light Field法による入力画像の画像信号に基づけば、入力画像上の各画素位置における合焦度を演算によって導出することが可能である（即ち、合焦度マップを生成することが可能である）。
【０１６８】
――第６の合焦度導出方法――
第６の合焦度導出方法を説明する。第６の合焦度導出方法においても、入力画像（特にオリジナル入力画像）の画像信号が合焦度導出用情報として機能する（図４参照）。人が視覚的に注意の引かれる度合いを表すマップとして顕著度マップ(Saliency Map)が知られている。より視覚的に注意の引かれる画像部分は、ピントを合わせるべき主要被写体が存在している画像部分であると考えることができ、その画像部分を合焦部分であると考えることもできる。これを考慮し、第６の合焦度導出方法では、入力画像に対して導出された顕著度マップを合焦度マップとして生成する。入力画像の画像信号に基づき入力画像の顕著度マップを導出する方法として、公知の方法を利用可能である。
【０１６９】
＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１７０】
［注釈１］
上述の実施形態では、出力画像生成処理及び合焦度を導出する処理を、入力画像の画素単位で実行しているが、それらの処理を、複数の画素から成るブロック単位で行うようにしても良い。
【０１７１】
例えば、入力画像の全画像領域を各々が３×３画素の大きさを有するブロックにて分割し、合焦度導出用情報に基づきブロックごとに合焦度を導出することで合焦度マップを生成する。そして例えば、図１７の構成を採用する場合においては、生成した合焦度マップからブロックごとに合成比率を導出し、ブロックごとの合成比率に従ってブロックごとに入力画像と全景ぼかし部７２からの全景ぼかし画像とを合成することで出力画像を生成するようにしても良い。
【０１７２】
画素単位の処理とブロック単位の処理をまとめると、以下のように表現できる。入力画像等の任意の二次元画像は複数の小領域から成り、出力画像生成処理及び合焦度を導出する処理は、小領域を単位にして小領域ごとに実行することができる。ここで、小領域は、１つの画素のみから成る画像領域（この場合、小領域は画素そのものである）、又は、複数の画素から成る上記ブロックである。
【０１７３】
［注釈２］
上述したように、図４の出力画像生成部５３等に供給されるべき入力画像は、撮像部１１の撮影によって得られた動画像中の１つ１つのフレーム（換言すればフレーム画像）であっても良い。今、撮像部１１の撮影によって得られ且つ記録媒体１６に記録されるべき動画像を、対象動画像と呼ぶ。この場合、対象動画像を形成する全フレームに対して合焦度マップを生成すると共に、フレームごとにフレーム又はフレームに基づく出力画像である記録対象画像を生成し、フレームごとに、記録対象画像と合焦度マップとを互いに関連付けた状態で記録媒体１６に記録することができる或いは記録対象画像内に合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録することができる。
【０１７４】
但し、必要記録容量の削減等を目的として、合焦度マップの記録を一部のフレームに対してのみ行うようにしても良い。例えば、Ｑフレームごとに合焦度マップの記録を行うようにしても良い（Ｑは２以上の整数）。即ち例えば、対象動画像を形成する第ｉ、第（ｉ＋Ｑ）、第（ｉ＋２×Ｑ）、・・・番目のフレームを対象フレームとして設定し、対象フレームのみを入力画像として取り扱って各対象フレームに対する合焦度マップを生成する（ｉは整数）。そして、対象フレームごとに対象フレーム又は対象フレームに基づく出力画像である記録対象画像を生成し、対象フレームごとに、記録対象画像と合焦度マップとを互いに関連付けた状態で記録媒体１６に記録するようにしても良い或いは記録対象画像内に合焦度マップを埋め込んだ状態で記録対象画像を記録媒体１６に記録するようにしても良い。この際、対象フレーム以外のフレーム（以下、非対象フレームという）は対象動画像の一部として記録媒体１６に記録されるが、非対象フレームに対する合焦度マップは記録媒体１６に記録されない。
【０１７５】
非対象フレームに対する合焦度マップが必要な場合には、非対象フレームに対して時間的に近接した対象フレームの合焦度マップを用いて、非対象フレームに対する合焦度マップを生成することができる。例えば、第（ｉ＋１）番目のフレームが非対象フレームである場合、対象フレームである第ｉ番目及び第（ｉ＋Ｑ）番目のフレームの合焦度マップを記録媒体１６から読み出し、読み出した２つの合焦度マップの一方、又は、読み出した２つの合焦度マップを平均化したものを、第（ｉ＋１）番目のフレームの合焦度マップとして生成するようにしても良い。
【０１７６】
[注釈３]
上述の実施形態では、デジタルフォーカス部５０及び記録媒体１６が撮像装置１内に設けられていることを想定したが（図１及び図４参照）、デジタルフォーカス部５０及び記録媒体１６は、撮像装置１と異なる電子機器（不図示）に搭載されていてもよい。電子機器には、テレビ受信機のような表示装置、パーソナルコンピュータ、携帯電話機などが含まれ、撮像装置も電子機器の一種である。撮像装置１における撮影によって得られた入力画像の画像信号を、記録媒体１６を介して又は通信によって上記電子機器に伝達するようにすれば、当該電子機器内のデジタルフォーカス部５０において入力画像から出力画像を生成することが可能である。この際、合焦度導出用情報が入力画像の画像信号と異なる場合には、合焦度導出用情報も併せて上記電子機器に伝達すればよい。
【０１７７】
［注釈４］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【０１７８】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  主制御部
１６  記録媒体
５０  デジタルフォーカス部
５１  合焦度マップ生成部
５２  合焦度マップ編集部
５３  出力画像生成部
５４  記録制御部
５５  表示制御部
【図１】
2011239195.tif 000003
【図２】
2011239195.tif 000004
【図３】
2011239195.tif 000005
【図４】
2011239195.tif 000006
【図５】
2011239195.tif 000007
【図６】
2011239195.tif 000008
【図７】
2011239195.tif 000009
【図８】
2011239195.tif 000010
【図９】
2011239195.tif 000011
【図１０】
2011239195.tif 000012
【図１１】
2011239195.tif 000013
【図１２】
2011239195.tif 000014
【図１３】
2011239195.tif 000015
【図１４】
2011239195.tif 000016
【図１５】
2011239195.tif 000017
【図１６】
2011239195.tif 000018
【図１７】
2011239195.tif 000019
【図１８】
2011239195.tif 000020
【図１９】
2011239195.tif 000021
【図２０】
2011239195.tif 000022
【図２１】
2011239195.tif 000023
【図２２】
2011239195.tif 000024
【図２３】
2011239195.tif 000025
【図２４】
2011239195.tif 000026
【図２５】
2011239195.tif 000027