(57)【要約】【課題】簡便且つユーザの意図に沿った合焦状態調整を可能にする。【解決手段】デジタルフォーカスによって対象入力画像の合焦状態（合焦距離、被写界深度）を調整する際、対象入力画像の被写体距離情報から被写体距離の分布を表す距離分布３２０を生成する。距離分布３２０では、被写体の存在度合いが高い距離範囲に度数が集中化する。被写体の存在度合いが高い距離範囲には細かな間隔でステップ位置（ｄ［１］〜ｄ［６］、ｄ［９］〜ｄ［１４］）を配置し、被写体の存在度合いが低い距離範囲には粗い間隔でステップ位置（ｄ［７］、ｄ［８］）を配置する。ユーザが合焦距離を遠方側に変更するボタン操作を１回成すごとに、現在の合焦距離が、ステップ位置ｄ［ｉ］における距離から、ステップ位置ｄ［ｉ＋１］、ｄ［ｉ＋２］、ｄ［ｉ＋３］、・・・における距離へと順次変更される。【選択図】図８
2012027408.tif 000002
【特許請求の範囲】
【請求項１】
対象画像の合焦状態を画像処理によって調整するデジタルフォーカス部と、
前記対象画像の距離情報に基づいて、前記合焦状態の調整における単位調整量を設定する単位調整量設定部と、を備えた
ことを特徴とする電子機器。
【請求項２】
前記距離情報は、前記対象画像上の各位置における物体と前記対象画像を撮影した機器との間の距離を表す情報であり、
前記単位調整量設定部は、前記距離の分布に応じて、前記単位調整量を設定する
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記単位調整量設定部は、前記分布における度数が比較的多い距離範囲における前記単位調整量を、前記度数が比較的少ない距離範囲における前記単位調整量よりも小さくする
ことを特徴とする請求項２に記載の電子機器。
【請求項４】
前記単位調整量は、前記対象画像の被写界深度内の基準距離である合焦距離に対する単位調整量、及び、前記対象画像の被写界深度に対する単位調整量の内、少なくとも一方を含む
ことを特徴とする請求項１〜請求項３の何れかに記載の電子機器。
【請求項５】
前記単位調整量は、前記合焦状態に対する、単位操作あたりの調整量を表す
ことを特徴とする請求項１〜請求項４の何れかに記載の電子機器。
【請求項６】
対象画像の被写界深度を含む前記対象画像の合焦状態を、画像処理によって調整するデジタルフォーカス部と、
前記被写界深度内の基準距離である合焦距離に基づき、前記被写界深度の調整における単位調整量を設定する単位調整量設定部と、を備えた
ことを特徴とする電子機器。
【請求項７】
前記単位調整量設定部は、前記合焦距離を内包し且つ前記合焦距離に比較的近い距離範囲における前記単位調整量を、前記合焦距離から比較的遠い距離範囲における前記単位調整量よりも小さくする
ことを特徴とする請求項６に記載の電子機器。
【請求項８】
前記単位調整量は、前記被写界深度に対する、単位操作あたりの調整量を表す
ことを特徴とする請求項６又は請求項７に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の電子機器に関する。
【背景技術】
【０００２】
対象画像の合焦状態を画像処理によって調整する機能が提案されており、この機能を実現する処理の一種はデジタルフォーカスとも呼ばれている（例えば下記特許文献１〜３参照）。対象画像の合焦状態とは、例えば、対象画像の被写界深度や対象画像の合焦距離（例えば、被写界深度の中心）である。
【０００３】
合焦状態を決定するための方法として、完全自動設定方法、ユーザによる被写体指定方法、完全手動設定方法が考えられる。
【０００４】
完全自動設定方法では、主要被写体の検出及び主要被写体に適応した合焦距離及び被写界深度の設定を、デジタルカメラが自動的に実行する。
【０００５】
ユーザによる被写体指定方法では、合焦を望む被写体をユーザがタッチパネル等を用いて選択指定し、その指定内容に従ってデジタルカメラが合焦距離及び被写界深度の設定を行う（例えば特許文献１参照）。
【０００６】
完全手動設定方法では、ユーザが合焦距離及び被写界深度の全てを手動入力する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２２４９８２号公報
【特許文献２】特開２００８−２７１２４１号公報
【特許文献３】特開２００２−２４７４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、完全自動設定方法では、図１８（ａ）に示す如く、実際の合焦距離及び実際の被写界深度が、ユーザ所望の合焦距離及び被写界深度と大きく異なってしまうことがある。
【０００９】
また、ユーザによる被写体指定方法では、ユーザの意図に概ね沿った結果画像が得られるものの、合焦状態の微調整が困難である。例えば、図１８（ｂ）に示す如く、デジタルフォーカスにより指定被写体９１１だけでなく指定被写体９１１の近くに位置している被写体９１２にも合焦している結果画像が得られたが、ユーザは、指定被写体９１１のみに合焦したような浅い被写界深度を欲していることもある。このような場合、合焦距離及び／又は被写界深度の微調整が必要となるが、被写体の指定内容だけに従って合焦距離及び被写界深度を決定する方法では、このような微調整が困難である。
【００１０】
一方、完全手動設定方法では、ユーザの望むとおりに合焦距離及び被写界深度を指定できる。この際、デジタルカメラは、ユーザの入力操作がなければユーザの意図を全く認知することができない。従って例えば、図１８（ｃ）に示す如く、デジタルカメラの近傍位置９２１から無限遠に相当する位置９２２までの距離範囲を等間隔でステップ分割し、ステップ刻みで合焦距離や被写界深度の調整指示を受け付ける。例えば、所望合焦距離が現在の指定合焦距離から３０ステップ分だけ遠方側に位置する場合、指定合焦距離を遠方側に移動させる単位操作を３０回成す必要がある。このような操作の負担は重く、より簡便な操作方法の提案が期待される。この際、ユーザの意図に沿うような方法の実現が望ましいことは言うまでもない。
【００１１】
そこで本発明は、簡便且つユーザの意図に沿った合焦状態調整を可能ならしめる電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る電子機器は、対象画像の合焦状態を画像処理によって調整するデジタルフォーカス部と、前記対象画像の距離情報に基づいて、前記合焦状態の調整における単位調整量を設定する単位調整量設定部と、を備えたことを特徴とする。
【００１３】
距離情報を利用することにより、例えば、物体の存在度合いが高い距離範囲においては単位調整量を細かく設定しておいて合焦状態の微調整を可能にし、物体の存在度合いが低い距離範囲においては単位調整量を粗く設定しておいて合焦状態が粗調整されるようにする、といったことが可能となる。結果、ユーザの意図に沿った調整が実現され、合焦状態調整に関わるユーザの操作が簡便となる。
【００１４】
具体的には例えば、前記距離情報は、前記対象画像上の各位置における物体と前記対象画像を撮影した機器との間の距離を表す情報であり、前記単位調整量設定部は、前記距離の分布に応じて、前記単位調整量を設定する。
【００１５】
より具体的には例えば、前記単位調整量設定部は、前記分布における度数が比較的多い距離範囲における前記単位調整量を、前記度数が比較的少ない距離範囲における前記単位調整量よりも小さくする。
【００１６】
また具体的には例えば、前記単位調整量は、前記対象画像の被写界深度内の基準距離である合焦距離に対する単位調整量、及び、前記対象画像の被写界深度に対する単位調整量の内、少なくとも一方を含む。
【００１７】
また具体的には例えば、前記単位調整量は、前記合焦状態に対する、単位操作あたりの調整量を表す。
【００１８】
本発明に係る他の電子機器は、対象画像の被写界深度を含む前記対象画像の合焦状態を、画像処理によって調整するデジタルフォーカス部と、前記被写界深度内の基準距離である合焦距離に基づき、前記被写界深度の調整における単位調整量を設定する単位調整量設定部と、を備えたことを特徴とする。
【００１９】
これにより、例えば、合焦距離近辺の距離範囲においては被写界深度に対する単位調整量を細かく設定しておいて被写界深度の微調整を可能にし、合焦距離から遠く離れた距離範囲においては被写界深度に対する単位調整量を粗く設定しておいて被写界深度が粗調整されるようにする、といったことが可能となる。これにより、ユーザの意図に沿った調整が実現され、合焦状態調整に関わるユーザの操作が簡便となる。
【００２０】
具体的には例えば、前記単位調整量設定部は、前記合焦距離を内包し且つ前記合焦距離に比較的近い距離範囲における前記単位調整量を、前記合焦距離から比較的遠い距離範囲における前記単位調整量よりも小さくする。
【００２１】
また具体的には例えば、前記単位調整量は、前記被写界深度に対する、単位操作あたりの調整量を表す。
【発明の効果】
【００２２】
本発明によれば、簡便且つユーザの意図に沿った合焦状態調整を可能ならしめる電子機器を提供することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される撮像部の内部構成図である。
【図３】本発明の第１実施形態に係るデジタルフォーカスに特に関与する部位のブロック図である。
【図４】本発明の第１実施形態にて想定される、撮像装置と複数の被写体との間の位置関係を示す図である。
【図５】本発明の第１実施形態に係る対象入力画像及び対象出力画像の例を示す図である。
【図６】本発明の第１実施形態に係り、被写体距離の距離分布を表す図である。
【図７】本発明の第１実施形態に係り、被写体距離の距離分布に基づく被写体存在距離範囲及び被写体不存在距離範囲の分類を示す図である。
【図８】本発明の第１実施形態に係り、被写体距離の距離分布に基づいて設定される複数のステップ位置を示す図である。
【図９】本発明の第１実施形態に係り、隣接するステップ位置間の幅を説明するための図である。
【図１０】本発明の第１実施形態に係り、単位調整量の設定方法の概略を説明するための図である。
【図１１】本発明の第１実施形態に係るデジタルフォーカスに特に関与する部位の変形ブロック図である。
【図１２】本発明の第１実施形態に係り、対象入力画像から対象出力画像を生成する動作のフローチャートである。
【図１３】本発明の第１実施形態に係り、操作部に設けることのできる４つのボタンを示す図である。
【図１４】本発明の第１実施形態に係り、合焦状態の調整中における表示画面の例を示す図である。
【図１５】本発明の第１実施形態に係り、合焦状態の調整中における表示画面の例を示す図である。
【図１６】本発明の第２実施形態に係り、合焦距離に基づく微調整範囲及び粗調整範囲の分類を示す図である。
【図１７】本発明の第２実施形態に係り、隣接するステップ位置間の幅を説明するための図である。
【図１８】合焦状態の調整するための従来方法を表す図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
【００２５】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像を撮影及び記録可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００２６】
撮像装置１には、撮像部１１、ＡＦＥ１２、画像処理部１３、マイク部１４、音響信号処理部１５、表示部１６、スピーカ部１７、操作部１８、記録媒体１９及び主制御部２０が設けられている。
【００２７】
図２に、撮像部１１の内部構成図を示す。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ドライバ３４は、主制御部２０からの制御信号に基づいてズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を駆動制御することにより、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量（換言すれば、絞り値）を制御する。
【００２８】
撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号をＲＡＷデータとして画像処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度は、主制御部２０によって制御される。
【００２９】
画像処理部１３は、ＡＦＥ１２からのＲＡＷデータに基づいて、撮像部１１によって撮影された画像（以下、撮影画像とも言う）を表す画像データを生成する。ここで生成される画像データには、例えば、輝度信号及び色差信号が含まれる。但し、ＲＡＷデータそのものも画像データの一種であり、撮像部１１から出力されるアナログ信号も画像データの一種である。
【００３０】
マイク部１４は、撮像装置１の周辺音を音響信号に変換して出力する。音響信号処理部１５は、マイク部１４の出力音響信号に対して必要な音響信号処理を施す。
【００３１】
表示部１６は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２０の制御の下、撮影画像や記録媒体１９に記録されている画像などを表示する。以下の説明における表示及び表示画面とは、特に記述なき限り、表示部１６の表示及び表示画面を指す。スピーカ部１７は、１又は複数のスピーカから成り、音響信号処理部１５にて生成された音響信号、記録媒体１９から読み出された音響信号など、任意の音響信号を音として再生出力する。操作部１８は、ユーザからの様々な操作を受け付ける部位である。操作部１８に対する操作内容は、主制御部２０等に伝達される。記録媒体１９は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部２０による制御の下、撮影画像などを記憶する。主制御部２０は、操作部１８への操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。
【００３２】
撮像装置１の動作モードには、静止画像又は動画像を撮影可能な撮影モードと記録媒体１９に記録された静止画像又は動画像を表示部１６上で再生可能な再生モードとが含まれる。撮影モードでは、所定のフレーム周期にて周期的に被写体の撮影が行われ、撮像部１１から（より詳細にはＡＦＥ１２から）被写体の撮影画像列を表すＲＡＷデータが出力される。撮影画像列に代表される画像列とは、時系列で並ぶ画像の集まりを指す。１つのフレーム周期分の画像データによって１枚分の画像が表現される。ＡＦＥ１２からの１フレーム周期分の画像データによって表現される１枚分の撮影画像を、フレーム画像とも呼ぶ。ＲＡＷデータによる撮影画像に対して所定の画像処理（デモサイキング処理、ノイズ除去処理、色補正処理など）を施して得られる画像がフレーム画像である、と解釈しても良い。
【００３３】
撮像装置１には、対象入力画像の画像データを撮影によって取得した後に、対象入力画像の合焦状態を画像処理によって調整する機能が設けられている。この機能を実現する処理をデジタルフォーカスと呼ぶ。デジタルフォーカスを再生モードにおいて実行することができる。対象入力画像とは、静止画像として撮影されたフレーム画像、又は、動画像を形成するフレーム画像である。図３に、デジタルフォーカスに特に関与する部位のブロック図を示す。符号５１〜５５によって参照される各部位を、撮像装置１内に設けておくことができる。例えば、単位調整量生成部５３を内包する調整マップ生成部５２及び合焦距離／被写界深度指定部５４を図１の主制御部２０内に設けておくことができ、デジタルフォーカス部５５を図１の画像処理部１３に設けておくことができる。
【００３４】
デジタルフォーカスによる合焦状態の調整後の対象入力画像を、対象出力画像と呼ぶ。デジタルフォーカスの調整対象となる合焦状態には、対象入力画像の合焦距離、及び、対象入力画像の被写界深度の深さが含まれる。
【００３５】
対象入力画像又は対象出力画像としての対象画像の合焦距離とは、対象画像の被写界深度内の基準距離であり、典型的には例えば、対象画像の被写界深度内の中心における距離である。周知の如く、対象画像において被写界深度内の被写体距離を有する被写体にピントが合う。デジタルフォーカスによって対象入力画像の合焦状態を調整する際、ユーザが単位操作を１回実行すれば単位調整量だけ対象入力画像の合焦状態が変更される。例えば、単位調整量だけ合焦距離が増加又は減少せしめられ、或いは、単位調整量だけ被写界深度が拡大又は縮小せしめられる。即ち、単位調整量は、合焦距離又は被写界深度に対する、単位操作あたりの調整量を表している。単位調整量及び調整量をそれぞれ単位変更量及び変更量と読み替えることもできる。第１実施形態においては、被写体距離情報を用いて単位調整量の設定が成される。以下、図３に示される各部位の動作を詳細に説明する。
【００３６】
被写体距離情報生成部５１は、撮像部１１の撮影範囲内に収まっている各被写体の被写体距離を検出することで、対象入力画像上の各位置における被写体の被写体距離を表す被写体距離情報を生成する。或る被写体についての被写体距離とは、その被写体と撮像装置１（より具体的には撮像素子３３）との間における実空間上の距離を指す。対象入力画像の撮影時における撮像素子３３は、対象入力画像の視点に相当する。従って、対象入力画像についての被写体距離情報は、対象入力画像上の各位置における被写体と対象入力画像の視点との距離を表す情報である（換言すれば、対象入力画像上の各位置における被写体と対象入力画像を撮影した機器である撮像装置１との間の距離を表す情報である）。尚、本明細書において、“距離が大きい”という表現と“距離が長い”という表現は同義であり、“距離が小さい”という表現と“距離が短い”という表現は同義である。被写体距離情報は、自身を形成する各画素値が被写体距離の測定値（換言すれば検出値）を持つ距離画像である。被写体距離の検出方法及び被写体距離情報の生成方法として、公知の方法（例えば、特開２００９−２７２７９９号公報に記載の方法）を含む任意の方法を利用可能である。
【００３７】
対象入力画像の画像データから被写体距離情報を生成するようにしても良いし、対象入力画像の画像データ以外の情報から被写体距離情報を生成するようにしても良い。例えば、対象入力画像上の各位置における被写体の被写体距離を測定する測距センサ（不図示）を用いて被写体距離情報を生成することができる。測距センサとして、三角測量法に基づく測距センサ等、公知の任意の測距センサを用いることができる。或いは例えば、複眼カメラを用いて上記距離画像を生成するようにしても良い。或いは例えば、コントラスト検出法を利用するようにしても良い。この場合、例えば、フォーカスレンズ３１の位置を所定量ずつ移動させながら順次ＡＦＥ１２より画像データを取得し、取得した画像データの空間周波数成分における高域周波数成分から上記距離画像を生成することができる。
【００３８】
或いは例えば、ＲＡＷデータに被写体距離を表す情報が含まれるように撮像部１１を形成しておき、ＲＡＷデータから被写体距離情報を生成するようにしても良い。これを実現するために、例えば“Light Field Photography”と呼ばれる方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法；以下、Light Field法と呼ぶ）を用いても良い。Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。
【００３９】
被写体距離情報の生成タイミングは任意である。例えば、対象入力画像の撮影時又は撮影直後において被写体距離情報を生成するようにしても良い。この場合、対象入力画像の画像データと被写体距離情報を互いに関連付けた状態で記録媒体１９に記録しておき、デジタルフォーカスを実行する際に、対象入力画像の画像データと共に被写体距離情報を記録媒体１９から読み出せばよい。また例えば、デジタルフォーカスが成される直前に、被写体距離情報を生成するようにしても良い。この場合、対象入力画像を撮影後、対象入力画像の画像データと被写体距離情報の元となる情報を互いに関連付けた状態で記録媒体１９に記録しておき、デジタルフォーカスを実行する際に、対象入力画像の画像データと共に被写体距離情報の元となる情報を記録媒体１９から読み出して、読み出した情報から被写体距離情報を生成すれば良い。尚、上述の説明から理解されるように、被写体距離情報の元となる情報は、対象入力画像の画像データと一致しうる又は対象入力画像の画像データを含みうる。
【００４０】
今、図４に示す如く、人物である被写体３０１と木である被写体３０２を撮像部１１の撮影範囲に含めた状態で対象入力画像の撮影が成されたものとする。被写体３０１は１以上の人物であるとし、図４の例では二人の人物にて被写体３０１が形成されている。被写体３０２は１本以上の木であるとし、図４の例では二本の木にて被写体３０２が形成されている。被写体３０１の被写体距離は距離ｄ３０１を中心にして分布し、被写体３０２の被写体距離は距離ｄ３０２を中心にして分布している。被写体３０１は近景側の被写体であって、被写体３０２は遠景側の被写体であるとする。従って、０＜ｄ３０１＜ｄ３０２である。
【００４１】
図５（ａ）の画像３００は、被写体３０１及び３０２を撮像部１１の撮影範囲に含めた状態で撮影された対象入力画像の例である。図５（ａ）の対象入力画像３００では、被写体３０１の全部又は一部にピントが合っており、被写体３０２にはピントが合っていない。図５（ａ）では、対象入力画像３００中の物体の輪郭線を太くすることによって画像のぼけを表現している（後述の図５（ｂ）等においても同様）。例えば、仮にデジタルフォーカスによって対象入力画像３００の合焦距離が被写体距離ｄ３０２に変更されたならば、図５（ｂ）に示すような対象出力画像３１０が得られる。以下の説明では、説明の具体化のため、対象入力画像として図５（ａ）の対象入力画像３００が得られた場合を例として想定する。尚、説明の便宜上、対象入力画像３００の撮影時において、被写体３０１及び３０２以外の被写体は撮像部１１の撮影範囲内に存在していなかったものとする。
【００４２】
図６に、対象入力画像３００の被写体距離情報に基づく距離分布３２０を示す。上述したように、被写体距離情報は、自身を形成する各画素値が被写体距離の測定値を持つ距離画像である。この距離画像における各画素値の分布をグラフ化したヒストグラムが距離分布３２０である。
【００４３】
距離分布３２０を形成する際、距離画像内の各画素値（即ち、各被写体距離）を複数の階級の何れかに分類してゆくことになるが、距離分布３２０の各階級の幅を所定の距離幅（例えば数ｃｍ〜数１０ｃｍ）とすることができる。距離分布３２０を形成する第ｉ番目の階級をＣ［ｉ］にて表す（図７も参照）。ｉは整数である。階級Ｃ［ｉ＋１］に属する距離は、階級Ｃ［ｉ］に属する距離よりも大きいものとし、互いに異なる任意の２つの階級は重なり合わない。例えば、階級Ｃ［ｉ］には、１ｍ００ｃｍ以上且つ１ｍ２０ｃｍ未満の被写体距離が属し、階級Ｃ［ｉ＋１］には、１ｍ２０ｃｍ以上且つ１ｍ４０ｃｍ未満の被写体距離が属し、階級Ｃ［ｉ＋２］には、１ｍ４０ｃｍ以上且つ１ｍ６０ｃｍ未満の被写体距離が属する。階級の幅は、異なる階級間で異なっていても構わない。図６に示す如く、距離分布３２０では、度数の大きい部分が距離ｄ３０１及びｄ３０２を中心した部分に集中している。
【００４４】
距離分布３２０を形成する全階級の内、階級Ｃ［１０］〜Ｃ［１５］及びＣ［５０］〜Ｃ［５５］の夫々にのみ、所定の閾値ＦＴＨ個以上の度数が属していたものとする（ＦＴＨは自然数）。閾値ＦＴＨ個以上の度数が属している階級を被写体存在階級と呼び、閾値ＦＴＨ個以上の度数が属していない階級を被写体不存在階級と呼ぶ。従って、距離分布３２０においては、階級Ｃ［１０］〜Ｃ［１５］及びＣ［５０］〜Ｃ［５５］が被写体存在階級であって、それ以外の階級は被写体不存在階級である。
【００４５】
また、図７に示す如く、被写体存在階級に属している距離の集まりを被写体存在距離範囲と呼び、被写体不存在階級に属している距離の集まりを被写体不存在距離範囲と呼ぶ。従って、距離分布３２０においては、階級Ｃ［１０］〜Ｃ［１５］に属する距離の集まりが被写体存在距離範囲３４１（以下、存在範囲３４１と略記することがある）を形成し、階級Ｃ［５０］〜Ｃ［５５］に属する距離の集まりが被写体存在距離範囲３４３（以下、存在範囲３４３と略記することがある）を形成する。存在範囲３４１及び３４３間に位置する、階級Ｃ［１６］〜Ｃ［４９］に属する距離の集まりは被写体不存在距離範囲３４２（以下、不存在範囲３４２と略記することがある）を形成する。被写体存在距離範囲は、対象入力画像の被写体の存在度合いが比較的大きな被写体距離範囲であると言え、被写体不存在距離範囲は、対象入力画像の被写体の存在度合いが比較的小さな被写体距離範囲であると言える。
【００４６】
また、対象入力画像３００の被写体距離の内、最小距離及び最大距離をそれぞれ記号ｄＭＩＮ及びｄＭＡＸによって表す。
【００４７】
対象入力画像３００の被写体距離情報は、図３の調整マップ生成部５２に与えられる。調整マップ生成部５２は、対象入力画像の被写体距離情報から最小及び最大の被写体距離を抽出すると共に距離分布を生成し、距離分布から上述したような被写体存在距離範囲及び被写体不存在距離範囲を検出する。対象入力画像が画像３００であるときには、対象入力画像３００の被写体距離情報から最小距離ｄＭＩＮ及び最大距離ｄＭＡＸが抽出される共に距離分布３２０が生成され、距離分布３２０から存在範囲３４１及び３４３及び不存在範囲３４２が検出される。
【００４８】
調整マップ生成部５２は、距離分布に基づいて単位調整量を設定すると共に該設定内容を反映した調整マップを生成する。単位調整量の設定を、調整マップ生成部５２の一部である単位調整量生成部５３にて成すことができる。
【００４９】
距離分布に基づく単位調整量の設定方法及び調整マップの生成方法を説明する。単位調整量及び調整マップの意義は、以下の説明より明らかとなる。
【００５０】
調整マップ生成部５２は、最小距離ｄＭＩＮから最大距離ｄＭＡＸまでの距離範囲を複数の単位距離範囲に分割する。この際、被写体存在距離範囲に対する単位距離範囲の幅を被写体不存在距離範囲に対する単位距離範囲の幅よりも小さく設定する。例えば、距離分布３２０の例においては、図８に示すようなステップ位置ｄ［１］〜ｄ［１４］を設定する。
【００５１】
任意の整数ｉに対して、ステップ位置ｄ［ｉ＋１］における被写体距離はステップ位置ｄ［ｉ］における被写体距離よりも大きく、ステップ位置ｄ［１］及びｄ［１４］における被写体距離はそれぞれ最小距離ｄＭＩＮ及び最大距離ｄＭＡＸと一致する。ステップ位置ｄ［ｉ］における被写体距離又はステップ位置ｄ［ｉ］の被写体距離とは、ステップ位置ｄ［ｉ］に位置していると仮定された被写体の被写体距離を指す。また、ステップ位置ｄ［１］〜ｄ［６］は存在範囲３４１に属し、ステップ位置ｄ［７］及びｄ［８］は不存在範囲３４２に属し、ステップ位置ｄ［９］〜ｄ［１４］は存在範囲３４３に属する。任意の整数ｉに対して、ステップ位置ｄ［ｉ］からステップ位置ｄ［ｉ＋１］までの範囲が単位距離範囲である。従って、図８の例では、最小距離ｄＭＩＮから最大距離ｄＭＡＸまでの距離範囲が、１３個の単位距離範囲に分割されることになる。ステップ位置ｄ［ｉ］からステップ位置ｄ［ｉ＋１］までの単位距離範囲を、単位距離範囲（ｄ［ｉ］，ｄ［ｉ＋１］）と表記する。勿論、単位距離範囲の個数は１３に限定されない。
【００５２】
調整マップ生成部５２は、存在範囲３４１に属する各単位距離範囲の幅及び存在範囲３４３に属する各単位距離範囲の幅を、不存在範囲３４２に属する各単位距離範囲の幅よりも短くする。或る単位距離範囲に関し、その単位距離範囲の一部でも不存在範囲３４２に属しているならば、その単位距離範囲は不存在範囲３４２に属していると考える。従って、単位距離範囲（ｄ［６］，ｄ［７］）は存在範囲３４１と不存在範囲３４２の双方に属しているとも言えるが、単位距離範囲（ｄ［６］，ｄ［７］）は不存在範囲３４２に属していると考える。同様に、単位距離範囲（ｄ［８］，ｄ［９］）も不存在範囲３４２に属していると考える。
【００５３】
そうすると、存在範囲３４１に属する単位距離範囲は、単位距離範囲（ｄ［１］，ｄ［２］）、（ｄ［２］，ｄ［３］）、（ｄ［３］，ｄ［４］）、（ｄ［４］，ｄ［５］）及び（ｄ［５］，ｄ［６］）であり、不存在範囲３４２に属する単位距離範囲は、単位距離範囲（ｄ［６］，ｄ［７］）、（ｄ［７］，ｄ［８］）及び（ｄ［８］，ｄ［９］）であり、存在範囲３４３に属する単位距離範囲は、単位距離範囲（ｄ［９］，ｄ［１０］）、（ｄ［１０］，ｄ［１１］）、（ｄ［１１］，ｄ［１２］）、（ｄ［１２］，ｄ［１３］）及び（ｄ［１３］，ｄ［１４］）である。
【００５４】
図９に示す如く、存在範囲３４１に属する各単位距離範囲の幅を一定幅Ｗ３４１とすることができ、不存在範囲３４２に属する各単位距離範囲の幅を一定幅Ｗ３４２とすることができ、存在範囲３４３に属する各単位距離範囲の幅を一定幅Ｗ３４３とすることができる。ここで、０＜Ｗ３４１＜Ｗ３４２、且つ、０＜Ｗ３４３＜Ｗ３４２、である。幅Ｗ３４１と幅Ｗ３４３は一致していても良いし、互いに異なっていても良い。尚、存在範囲３４１に属する複数の単位距離範囲間において単位距離範囲の幅を互いに異なせることも可能であるし、不存在範囲３４２に属する複数の単位距離範囲間において単位距離範囲の幅を互いに異なせることも可能であるし、存在範囲３４３に属する複数の単位距離範囲間において単位距離範囲の幅を互いに異なせることも可能である。但し、この場合も、上述したように存在範囲３４１及び３４３に属する各単位距離範囲の幅は、不存在範囲３４２に属する各単位距離範囲の幅よりも短く設定される。
【００５５】
各単位距離範囲の幅を単位調整量として機能させることができる。そうすると、上述したような関係を満たすステップ位置ｄ［１］〜ｄ［１４］を設定する処理が、単位調整量の設定処理に相当し、所定の空間上にステップ位置ｄ［１］〜ｄ［１４］を配置したマップが調整マップに相当する。即ち例えば、対象入力画像３００の合焦距離の増大を指示する単位操作をユーザが１回実行すれば、デジタルフォーカスによって対象入力画像３００の合焦距離がステップ位置ｄ［ｉ］における被写体距離からステップ位置ｄ［ｉ＋１］における被写体距離へと変更され、対象入力画像３００の合焦距離の増大を指示する単位操作をユーザが２回実行すれば、デジタルフォーカスによって対象入力画像３００の合焦距離がステップ位置ｄ［ｉ］における被写体距離からステップ位置ｄ［ｉ＋２］における被写体距離へと変更される。このように、被写体の存在度合いが高い距離範囲（３４１、３４３）においては合焦状態の単位調整量が細かく設定され、被写体の存在度合いが低い距離範囲（３４２）においては合焦状態の単位調整量が粗く設定される（図１０参照）。
【００５６】
合焦距離／被写界深度指定部５４は、ユーザによって成された調整指示操作に従い、調整マップを用いて指定合焦距離及び指定被写界深度を設定する。調整指示操作は、対象入力画像の合焦状態の調整（換言すれば変更）を指示するための操作であり、例えば、操作部１８に対する所定操作又は表示部１６に対するタッチパネル操作である。
【００５７】
指定合焦距離は、デジタルフォーカスによる合焦状態調整後の合焦距離である。換言すれば、指定合焦距離は、デジタルフォーカスにて得られる対象出力画像の合焦距離の目標値である。指定被写界深度は、デジタルフォーカスによる合焦状態調整後の被写界深度である。換言すれば、指定被写界深度は、デジタルフォーカスにて得られる対象出力画像の被写界深度の目標値である。
【００５８】
指定被写界深度は、被写界深度内の最大距離及び最小距離を指定する情報であり、指定被写界深度内の最大距離及び最小距離が、夫々、対象出力画像の被写界深度内の最大距離及び最小距離に相当する。被写界深度内の最大距離と最小距離の差が被写界深度の深さであるので、指定被写界深度によって対象出力画像の被写界深度の深さが指定されることになる。尚、指定被写界深度は、被写界深度の深さのみを指定する情報であっても良い。この場合、指定合焦距離を中心とし且つ指定被写界深度にて定められた深さを持つ被写界深度が、合焦状態調整後の被写界深度となる。
【００５９】
調整指示操作が一切行われていない時点における指定合焦距離及び指定被写界深度を指定合焦距離の初期値及び指定被写界深度の初期値と呼ぶ。指定合焦距離の初期値及び指定被写界深度の初期値を、合焦状態調整前の合焦距離及び被写界深度、即ち、対象入力画像３００の合焦距離及び被写界深度と一致させておくと良い。対象入力画像３００の撮影時における光学系３５の各レンズの状態（特にフォーカスレンズ３１の位置）から、対象入力画像３００の合焦距離を求めることができ、対象入力画像３００の撮影時における絞り値及び焦点距離から対象入力画像３００の被写界深度の深さを求めることができる。合焦距離と被写界深度の深さが分かれば、被写界深度内の最大距離及び最小距離が定まる。
【００６０】
また、上述の説明では特に意識していなかったが、図１１に示す如く、対象入力画像３００の合焦距離及び被写界深度を検出する合焦状態検出部５６を撮像装置１に設けておき、調整マップ内の何れかのステップ位置の被写体距離が対象入力画像３００の合焦距離（指定合焦距離の初期値）と一致するように調整マップを生成しておくと良い。これにより、指定合焦距離の初期値を調整マップ内の何れかのステップ位置（例えば、ｄ［４］）の被写体距離と一致させることができる。更に、調整マップ内の何れか２つのステップ位置の被写体距離が対象入力画像３００の被写界深度内の最大距離及び最小距離と一致するように調整マップを生成しておいても良い。これにより、指定被写界深度の初期値によって定められる被写界深度の最大距離及び最小距離を、調整マップ内の何れか２つのステップ位置（例えば、ｄ［５］及びｄ［３］）の被写体距離と一致させることができる。
【００６１】
尚、合焦状態検出部５６において、対象入力画像３００の合焦位置をも検出させるようにしても良い。対象入力画像３００の合焦位置とは、対象入力画像３００の全体画像領域に含まれる合焦領域の、対象入力画像３００上の位置を指す。合焦領域とは、ピントが合っている被写体の画像データが存在する画像領域である。対象入力画像３００の空間周波数成分などを用いることによって、対象入力画像３００の合焦領域及び合焦位置を検出することができる。
【００６２】
デジタルフォーカス部５５は、対象出力画像の合焦距離が指定合焦距離と一致するように且つ対象出力画像の被写界深度が指定被写界深度と一致するように、対象入力画像に対してデジタルフォーカスを成す。得られた対象出力画像は表示部１６に表示される。
【００６３】
図１２を参照して、対象入力画像３００から対象出力画像を生成する動作の流れを説明する。図１２は、その動作の流れを表すフローチャートである。まず、ステップＳ１１において被写体距離情報の生成が成され、続くステップＳ１２において被写体距離情報に基づき調整マップが生成される。即ち、単位調整量の情報を内包するステップ位置ｄ［１］〜ｄ［１４］が生成される。その後、ステップＳ１３においてユーザによる調整指示操作を受け付け、調整指示操作があった場合には、ステップＳ１４において、調整マップと調整指示操作の内容に基づき、指定合焦距離及び指定被写界深度を設定する。調整指示操作は、１回又は複数回の単位操作によって構成される。
【００６４】
現時点の指定合焦距離がステップ位置ｄ［ｉ］の被写体距離である場合において、合焦距離の増大を指示する単位操作をユーザがｊ回実行すれば指定合焦距離がステップ位置ｄ［ｉ＋ｊ］の被写体距離へと変更され、合焦距離の減少を指示する単位操作をユーザがｊ回実行すれば指定合焦距離がステップ位置ｄ［ｉ−ｊ］の被写体距離へと変更される（ｊは整数）。但し、指定合焦距離の上限は、距離ｄＭＡＸと一致するステップ位置ｄ［１４］の被写体距離であり、指定合焦距離の下限は、距離ｄＭＩＮと一致するステップ位置ｄ［１］の被写体距離である。従って、指定合焦距離をステップ位置ｄ［１４］の被写体距離よりも大きくさせることを指示する調整指示操作及び指定合焦距離をステップ位置ｄ［１］の被写体距離よりも小さくさせることを指示する調整指示操作は無視される。調整指示操作の無視を行う際、その旨を表す警告表示を成しても良い。
【００６５】
指定被写界深度内の最大距離及び最小距離が夫々ステップ位置ｄ［ｉＡ］及びｄ［ｉＢ］の被写体距離である場合において、被写界深度の拡大を指示する単位操作をユーザがｊ回実行すれば指定被写界深度内の最大距離及び最小距離が夫々ステップ位置ｄ［ｉＡ＋ｊ］及びｄ［ｉＢ−ｊ］の被写体距離へと変更され、被写界深度の縮小を指示する単位操作をユーザがｊ回実行すれば指定被写界深度内の最大距離及び最小距離が夫々ステップ位置ｄ［ｉＡ−ｊ］及びｄ［ｉＢ＋ｊ］の被写体距離へと変更される。ｉＡ及びｉＢは、ｉＡ＞ｉＢ＞０を満たす整数である。
【００６６】
或いは、指定被写界深度内の最大距離及び最小距離が夫々ステップ位置ｄ［ｉＡ］及びｄ［ｉＢ］の被写体距離である場合において、被写界深度の拡大を指示する単位操作がｊ回実行されたとき、指定被写界深度内の最小距離をステップ位置ｄ［ｉＢ］の被写体距離のままで維持しつつ指定被写界深度内の最大距離をステップ位置ｄ［ｉＡ＋ｊ］の被写体距離へと変更するようにしても良く、逆に、指定被写界深度内の最大距離をステップ位置ｄ［ｉＡ］の被写体距離のままで維持しつつ指定被写界深度内の最小距離をステップ位置ｄ［ｉＢ−ｊ］の被写体距離へと変更するようにしても良い。同様に、指定被写界深度内の最大距離及び最小距離が夫々ステップ位置ｄ［ｉＡ］及びｄ［ｉＢ］の被写体距離である場合において、被写界深度の縮小を指示する単位操作がｊ回実行されたとき、指定被写界深度内の最小距離をステップ位置ｄ［ｉＢ］の被写体距離のままで維持しつつ指定被写界深度内の最大距離をステップ位置ｄ［ｉＡ−ｊ］の被写体距離へと変更するようにしても良く、逆に、指定被写界深度内の最大距離をステップ位置ｄ［ｉＡ］の被写体距離のままで維持しつつ指定被写界深度内の最小距離をステップ位置ｄ［ｉＢ＋ｊ］の被写体距離へと変更するようにしても良い。
【００６７】
但し、指定被写界深度内の最大距離の上限は、距離ｄＭＡＸと一致するステップ位置ｄ［１４］の被写体距離であり、指定被写界深度内の最小距離の下限は、距離ｄＭＩＮと一致するステップ位置ｄ［１］の被写体距離である。従って、指定被写界深度内の最大距離をステップ位置ｄ［１４］の被写体距離よりも大きくさせることを指示する調整指示操作及び指定被写界深度内の最小距離をステップ位置ｄ［１］の被写体距離よりも小さくさせることを指示する調整指示操作は無視される。更に、指定被写界深度の深さをゼロ以下にさせることを指示する調整指示操作も無視される。例えば、ｉＡ＝４且つｉＢ＝３であるときにおいて、被写界深度の縮小を指示する調整指示操作は無視される。調整指示操作の無視を行う際、その旨を表す警告表示を成しても良い。
【００６８】
図１２のステップ１４に続いてステップＳ１５が実行される。ステップＳ１５では、最新の指定合焦距離及び指定被写界深度に従った合焦距離及び被写界深度を有する対象出力画像がデジタルフォーカスにより生成され、生成された対象出力画像が表示される。
【００６９】
その後、ステップＳ１６において、図１の主制御部２０は、ユーザによる再度の調整指示操作又は調整確定操作を受け付ける。再度の調整指示操作が成された場合には、ステップＳ１４に戻って、ステップＳ１４及びステップＳ１４以降の処理を繰り返し実行する。即ち、調整マップと再度の調整指示操作の内容に基づき指定合焦距離及び指定被写界深度を再設定し、再設定された指定合焦距離及び指定被写界深度に従う対象出力画像をデジタルフォーカスにより再生成して表示する。
【００７０】
ステップＳ１６において、調整確定操作が成された場合には、現時点で表示されている対象出力画像の画像データを記録媒体１９に記録する（ステップＳ１７）。この際、付加データを対象出力画像の画像データに関連付けて記録媒体１９に記録しておいても良い。付加データに、最新の指定合焦距離及び指定被写界深度などを含めておくことができる。
【００７１】
図１３に示す如く、操作部１８に４つのボタン６１〜６４が設けられていることを想定して、より具体的な動作例を説明する。ボタン６１を１回押す操作が合焦距離の増大を指示する１回分の単位操作であるとし、ボタン６２を１回押す操作が合焦距離の減少を指示する１回分の単位操作であるとする。尚、タッチパネルを用いて単位操作を成す場合においては、ボタン６１〜６４は表示画面上に表示されたボタンであっても良い。
【００７２】
今、対象入力画像３００の合焦距離がステップ位置ｄ［４］の被写体距離と一致している状況を想定する。この状況において、ボタン６１を１回、２回、３回、４回、５回、６回、７回だけ押すと指定合焦距離は、夫々、ステップ位置ｄ［５］、ｄ［６］、ｄ［７］、ｄ［８］、ｄ［９］、ｄ［１０］、ｄ［１１］の被写体距離に変更される。また、図５（ａ）に示す状況とは異なるが、対象入力画像３００の合焦距離がステップ位置ｄ［１１］の被写体距離と一致している状況下において、ボタン６２を１回、２回、３回、４回、５回、６回、７回だけ押すと指定合焦距離は、夫々、ステップ位置ｄ［１０］、ｄ［９］、ｄ［８］、ｄ［７］、ｄ［６］、ｄ［５］、ｄ［４］の被写体距離に変更される。このように、指定合焦距離が存在距離３４１及び３４３内で変更されるときにおいては、単位操作によって指定合焦距離が細かく変更されるが、指定合焦距離が不存在範囲３４２内で変更されるときにおいては、単位操作によって指定合焦距離が粗く変更される。
【００７３】
また、ボタン６３を１回押す操作が被写界深度の拡大を指示する１回分の単位操作であるとし、ボタン６４を１回押す操作が被写界深度の縮小を指示する１回分の単位操作であるする。ボタン６３への操作によって、被写界深度内の最大距離のみを変更させるのか、被写界深度内の最小距離のみを変更させるのか、或いは、その双方を変更させるのかを、ユーザは別操作によって指定することができ、同様に、ボタン６４への操作によって、被写界深度内の最大距離のみを変更させるのか、被写界深度内の最小距離のみを変更させるのか、或いは、その双方を変更させるのかを、ユーザは別操作によって指定することができる。ここでは、説明の便宜上、ボタン６３への操作によって被写界深度内の最大距離のみが変更され、ボタン６４への操作によって被写界深度内の最小距離のみが変更されるときの動作例を説明する。
【００７４】
対象入力画像３００の被写界深度内の最大距離がステップ位置ｄ［５］の被写体距離と一致している状況を想定する。この状況において、ボタン６３を１回、２回、３回、４回、５回、６回だけ押すと指定被写界深度内の最大距離は、夫々、ステップ位置ｄ［６］、ｄ［７］、ｄ［８］、ｄ［９］、ｄ［１０］、ｄ［１１］の被写体距離に変更される。また、図５（ａ）に示す状況とは異なるが、対象入力画像３００の被写界深度内の最大距離及び最小距離が夫々ステップ位置ｄ［１２］及びｄ［５］の被写体距離と一致している状況下において、ボタン６４を１回、２回、３回、４回、５回、６回だけ押すと指定被写界深度内の最小距離は、夫々、ステップ位置ｄ［６］、ｄ［７］、ｄ［８］、ｄ［９］、ｄ［１０］、ｄ［１１］の被写体距離に変更される。このように、指定被写界深度内の最大距離又は最小距離が存在距離３４１及び３４３内で変更されるときにおいては、単位操作によってそれらが細かく変更されるが、指定被写界深度内の最大距離又は最小距離が不存在範囲３４２内で変更されるときにおいては、単位操作によってそれらが粗く変更される。
【００７５】
尚、ボタン６１を継続して押し続ける操作（所謂長押し操作）を複数回分の単位操作として取り扱うようにしても良い。ボタン６２〜６４についても同様である。
【００７６】
デジタルフォーカスによって合焦状態を調整しようとするとき、ユーザは、一般的に、何れかの被写体に注目して合焦状態を調整する。例えば、被写体３０１内の特定人物がベストフォーカス状態となるように合焦距離を細かく調整したり、被写体３０２内の特定樹木がベストフォーカス状態となるように合焦距離を細かく調整したりする（図４参照）。また例えば、被写体３０１内の特定人物のみにピントが合うように被写界深度を微小量だけ浅めたり、特定人物の近くに位置する人物にもピントが合うように被写界深度を微小量だけ深めたりする。従って、被写体の存在度合いが高い距離範囲（３４１、３４３）においては、合焦状態の単位調整量を細かく設定しておく必要がある。一方で、被写体の存在度合いが低い距離範囲（３４２）において合焦状態の単位調整量を細かく設定しておいても無駄が多く、それを粗く設定しておいた方が、指定合焦距離を素早く被写体距離ｄ３０１近辺から被写体距離ｄ３０２近辺へと変化させたり被写体距離ｄ３０２近辺から被写体距離ｄ３０１近辺へと変化させたりすることが可能となる。同様に、指定被写界深度内の最大距離又は最小距離を素早く被写体距離ｄ３０１近辺から被写体距離ｄ３０２近辺へと変化させたり被写体距離ｄ３０２近辺から被写体距離ｄ３０１近辺へと変化させたりすることが可能となる。
【００７７】
これを考慮し、本実施形態では、被写体（換言すれば物体）の存在度合いが高い距離範囲（３４１、３４３）においては単位調整量を細かく設定しておいて合焦状態の微調整を可能にし、被写体の存在度合いが低い距離範囲（３４２）においては単位調整量を粗く設定しておいて合焦状態が粗調整されるようにする。これにより、ユーザの意図に沿った調整が実現され、合焦状態調整に関わるユーザの操作が簡便となる。
【００７８】
図１２のステップＳ１１〜Ｓ１７の処理の実行中において、図１４に示す如く、調整マップを対象出力画像と共に表示するようにしても良い。調整指示操作が１度も成されていない状況における対象出力画像は対象入力画像と一致する。図１４には、対象出力画像が表示された表示部１６の表示画面１６Ａが示されている。図１４において、ドットで満たされた領域は表示部１６の筐体を表している（後述の図１５も同様）。図１４の例では、調整マップをバーアイコン３６０として表示画面１６Ａ上に表示している。バーアイコン３６０には各ステップ位置に対応する線が引かれ、現時点の指定合焦距離及び指定被写界深度を指し示すアイコン３６１がバーアイコン３６０上に表示される。ユーザは、バーアイコン３６０及びアイコン３６１を見ることで、現時点の指定合焦距離及び指定被写界深度を直感的に認識できると共に、現時点の調整モードが微調整モードであるのか或いは粗調整モードであるのかを認識することできる。
【００７９】
微調整モードとは、指定合焦距離が被写体存在距離範囲に属している状態における調整モードを指し、指定合焦距離が被写体不存在距離範囲に属している状態における調整モードを指す（図７参照）。或いは、微調整モードとは、指定被写界深度内の最大距離及び最小距離が被写体存在距離範囲に属している状態における調整モードを指し、粗調整モードとは、指定被写界深度内の最大距離及び最小距離の内の少なくとも一方が被写体不存在距離範囲に属している状態における調整モードを指す。
【００８０】
図１２のステップＳ１１〜Ｓ１７の処理の実行中において、図１５に示す如く、現時点の調整モードが微調整モード及び粗調整モードの何れであるのかを示す指標３７０を対象出力画像と共に表示するようにしても良い。これによっても、当然に、ユーザは、現時点の調整モードが微調整モードであるのか或いは粗調整モードであるのかを認識することできる。図１５の指標３７０と図１４のバーアイコン３６０及びアイコン３６１を同時に表示するようにしても良い。
【００８１】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は、第１実施形態を基礎とする実施形態であり、第２実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態にて述べた事項が第２実施形態にも適用される。
【００８２】
第２実施形態では図１１に示す構成が利用され、合焦状態検出部５６にて検出された対象入力画像３００の合焦距離と被写体距離情報生成部５１からの被写体距離情報とに基づき、単位調整量の設定及び調整マップの生成が成される。
【００８３】
第１実施形態と同様、対象入力画像が図５（ａ）の画像３００である場合を考える。この場合、調整マップ生成部５２は、被写体距離情報から抽出される最小距離ｄＭＩＮ及び最大距離ｄＭＡＸと、対象入力画像３００の合焦距離ｄＯに基づき、被写界深度に対する調整マップを生成する。今、最小距離ｄＭＩＮ及び最大距離ｄＭＡＸが、第１実施形態と同様、夫々、ステップ位置ｄ［１］及びｄ［１４］における被写体距離と一致しているものとし、調整マップ生成部５２においてステップ位置ｄ［１］〜ｄ［１４］から成る調整マップが生成されることを想定する。
【００８４】
図１６に示す如く、調整マップ生成部５２は、合焦距離ｄＯを中心とし且つ所定の距離幅ｄＷを有する距離範囲を微調整範囲に設定し、微調整範囲に属さない距離範囲を粗調整範囲に設定する（ｄＷ＞０）。そして、微調整範囲を、複数の単位距離範囲に分割する。単位距離範囲とは、第１実施形態で述べたように、ステップ位置ｄ［ｉ］からステップ位置ｄ［ｉ＋１］までの範囲である。図１６には、設定される微調整範囲及び粗調整範囲の例が示されている。この例では、合焦距離ｄＯがステップ位置ｄ［７］の被写体距離と一致しており、ステップ位置ｄ［４］からステップ位置ｄ［１０］までの範囲が微調整範囲４０２に設定され、ステップ位置ｄ［１］からステップ位置ｄ［４］までの範囲が粗調整範囲４０１に設定され、ステップ位置ｄ［１０］からステップ位置ｄ［１４］までの距離範囲が粗調整範囲４０３に設定されている。尚、ステップ位置ｄ［４］及びｄ［１０］は、微調整範囲４０１及び４０３ではなく微調整範囲４０２に属しているものと考える。また、ステップ位置ｄ［１］も粗調整範囲４０１に属し、ステップ位置ｄ［１４］も粗調整範囲４０３に属していると考える。
【００８５】
尚、合焦距離ｄＯが最小距離ｄＭＩＮに近いこと等に起因して不等式“ｄＯ−ｄＭＩＮ＜ｄＷ／２”が成立する場合、合焦距離ｄＯを中心とし且つ距離幅ｄＷを有する距離範囲として一旦設定された微調整範囲が、最小距離ｄＭＩＮ未満の距離を含まないように縮小補正される。同様に、合焦距離ｄＯが最大距離ｄＭＡＸに近いこと等に起因して不等式“ｄＭＡＸ−ｄＯ＜ｄＷ／２”が成立する場合、合焦距離ｄＯを中心とし且つ距離幅ｄＷを有する距離範囲として一旦設定された微調整範囲が、最大距離ｄＭＡＸを超える距離を含まないように縮小補正される。図１６の例では、これらの縮小補正は成されていない。
【００８６】
調整マップ生成部５２は、微調整範囲４０２に属する各単位距離範囲の幅を、粗調整範囲４０１及び４０３に属する各単位距離範囲の幅よりも短くする。
【００８７】
粗調整範囲４０１に属する単位距離範囲は、単位距離範囲（ｄ［１］，ｄ［２］）、（ｄ［２］，ｄ［３］）及び（ｄ［３］，ｄ［４］）であり、微調整範囲４０２に属する単位距離範囲は、単位距離範囲（ｄ［４］，ｄ［５］）、（ｄ［５］，ｄ［６］）、（ｄ［６］，ｄ［７］）、（ｄ［７］，ｄ［８］）、（ｄ［８］，ｄ［９］）及び（ｄ［９］，ｄ［１０］）であり、粗調整範囲４０３に属する単位距離範囲は、単位距離範囲（ｄ［１０］，ｄ［１１］）、（ｄ［１１］，ｄ［１２］）、（ｄ［１２］，ｄ［１３］）及び（ｄ［１３］，ｄ［１４］）である。
【００８８】
図１７に示す如く、粗調整範囲４０１に属する各単位距離範囲の幅を一定幅Ｗ４０１とすることができ、微調整範囲４０２に属する各単位距離範囲の幅を一定幅Ｗ４０２とすることができ、粗調整範囲４０３に属する各単位距離範囲の幅を一定幅Ｗ４０３とすることができる。ここで、０＜Ｗ４０２＜Ｗ４０１、且つ、０＜Ｗ４０２＜Ｗ４０３、である。幅Ｗ４０１と幅Ｗ４０３は一致していても良いし、互いに異なっていても良い。尚、粗調整範囲４０１に属する複数の単位距離範囲間において単位距離範囲の幅を互いに異なせることも可能であるし、微調整範囲４０２に属する複数の単位距離範囲間において単位距離範囲の幅を互いに異なせることも可能であるし、粗調整範囲４０３に属する複数の単位距離範囲間において単位距離範囲の幅を互いに異なせることも可能である。但し、この場合も、上述したように微調整範囲４０２に属する各単位距離範囲の幅は、粗調整範囲４０１及び４０３に属する各単位距離範囲の幅よりも短く設定される。
【００８９】
各単位距離範囲の幅を単位調整量として機能させることができる。そうすると、上述したような関係を満たすステップ位置ｄ［１］〜ｄ［１４］を設定する処理が、単位調整量の設定処理に相当し、所定の空間上にステップ位置ｄ［１］〜ｄ［１４］を配置したマップが調整マップに相当する。但し、本実施形態において述べるステップ位置ｄ［１］〜ｄ［１４］は、被写界深度の調整に対してのみ利用される。即ち、本実施形態において述べるステップ位置ｄ［１］〜ｄ［１４］を配置したマップは、被写界深度に対する調整マップである。合焦距離に対する調整マップは、第１実施形態で述べたように、距離分布３２０に基づいて設定される（図８及び図９等参照）。
【００９０】
調整マップの生成後の動作は、第１実施形態で述べたものと同様であり、対象入力画像３００から対象出力画像を生成する動作の流れも第１実施形態のそれと同様である（図１２参照）。
【００９１】
即ち、図１２のステップＳ１２において、距離分布３２０に基づき合焦距離に対する調整マップが生成されると共に、最小距離ｄＭＩＮ及び最大距離ｄＭＡＸ並びに合焦距離ｄＯに基づき被写界深度に対する調整マップが生成される。その後、ステップＳ１３においてユーザによる調整指示操作を受け付け、合焦距離に対する調整指示操作があった場合には、ステップＳ１４において合焦距離に対する調整マップと調整指示操作の内容に基づき指定合焦距離を設定し、被写界深度に対する調整指示操作があった場合には、ステップＳ１４において被写界深度に対する調整マップと調整指示操作の内容に基づき指定被写界深度を設定する。指定合焦距離の設定方法は第１実施形態のそれと同じである。
【００９２】
指定被写界深度の設定方法も第１実施形態のそれと同様であるが、指定被写界深度の最大距離及び最小距離になるべき被写体距離のステップ位置として、図１６及び図１７に示すステップ位置が用いられる。従って、合焦距離ｄＯ近辺の距離範囲である微調整範囲４０２においては単位調整量が細かく設定されているため被写界深度を細かく調整することができる。一方、合焦距離ｄＯから遠く離れた距離範囲である粗調整範囲４０１及び４０３においては単位調整量が粗く設定されているため被写界深度が粗く変更される。
【００９３】
デジタルフォーカスによって合焦状態を調整しようとするとき、ユーザは、一般的に、何れかの被写体に注目して合焦状態を調整する。例えば、被写体３０１内の特定人物のみにピントが合うように被写界深度を微小量だけ浅めたり、特定人物の近くに位置する人物にもピントが合うように被写界深度を微小量だけ深めたりする。一方で、そのような特定人物は対象入力画像３００の撮影時において合焦距離ｄＯ近辺に位置していることが多い。従って、合焦距離ｄＯ近辺の距離範囲（４０２）においては、被写界深度の単位調整量を細かく設定しておいた方がユーザの意図に沿う。一方で、合焦距離ｄＯから遠く離れた距離範囲（４０１、４０３）において被写界深度の単位調整量を細かく設定しておいても無駄が多く、それを粗く設定しておいた方が、遠方の被写体をも被写界深度に収めるといった調整操作を素早く行える。
【００９４】
これを考慮し、本実施形態では、合焦距離ｄＯ近辺の距離範囲（４０２）においては被写界深度に対する単位調整量を細かく設定しておいて被写界深度の微調整を可能にし、合焦距離ｄＯから遠く離れた距離範囲（４０１、４０３）においては被写界深度に対する単位調整量を粗く設定しておいて被写界深度が粗調整されるようにする。これにより、ユーザの意図に沿った調整が実現され、合焦状態調整に関わるユーザの操作が簡便となる。
【００９５】
尚、第２実施形態においても、図１４又は図１５に示すような表示を成すことができる。即ち、図１２のステップＳ１１〜Ｓ１７の処理の実行中において、被写界深度に対する調整マップを対象出力画像と共に表示するようにしても良い。調整マップの表示方法は、第１実施形態で述べたものと同様である。同様に、図１２のステップＳ１１〜Ｓ１７の処理の実行中において、被写界深度に対する現時点の調整モードが微調整モード及び粗調整モードの何れであるのかを示す指標を対象出力画像と共に表示するようにしても良い。被写界深度に対する微調整モードとは、指定被写界深度内の最大距離及び最小距離が微調整範囲４０２に属している状態における調整モードを指し、被写界深度に対する粗調整モードとは、指定被写界深度内の最大距離及び最小距離の内の少なくとも一方が粗調整範囲４０１又は４０３に属している状態における調整モードを指す。
【００９６】
また、本実施形態では、合焦距離ｄＯと被写体距離情報を用いて被写界深度に対する調整マップを生成しているが、微調整範囲及び粗調整範囲は主として合焦距離ｄＯに依存して決定され、被写体距離情報は、微調整範囲の上下限又は粗調整範囲の上下限の設定に利用されるに過ぎない。従って仮に、ステップ位置ｄ［１］及びｄ［１４］を予め定めておくようにすれば、合焦距離ｄＯのみに基づいて被写界深度に対する調整マップを生成することも可能である。
【００９７】
＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態では、デジタルフォーカス部５５にて実行されるデジタルフォーカスの方法例を説明する。
【００９８】
対象入力画像の合焦距離及び被写界深度を変更する方法として、デジタルフォーカス部５５は、公知の方法を含む任意の方法を利用することができる。例えば、上記のLight Field法を用いることができる。Light Field法を用いれば、撮像素子３３の出力信号に基づく対象入力画像から任意の合焦距離及び被写界深度を有する対象出力画像を生成することができる。この際、Light Field法に基づく公知の方法（例えば、国際公開第０６／０３９４８６号パンフレット又は特開２００９−２２４９８２号公報に記載の方法）を利用することができる。上述したように、Light Field法では、開口絞りを有する撮像レンズとマイクロレンズアレイを用いることで、撮像素子から得られる画像信号（画像データ）が、撮像素子の受光面における光の強度分布に加えて光の進行方向の情報をも含むようになっている。Light Field法を採用した撮像装置は、撮像素子からの画像信号に基づいた画像処理を行うことにより、任意の合焦距離及び被写界深度を有する画像を再構築することができる。即ち、Light Field法を用いれば、対象入力画像の撮影後に、任意の被写体にピントを合わせた対象出力画像を自由に構築することができる。
【００９９】
従って、図２には表れていないが、Light Field法を用いる場合には、Light Field法の実現に必要な光学部材が撮像部１１に設けられる。この光学部材には、第１実施形態でも述べたように、マイクロレンズアレイ等が含まれ、被写体からの入射光はマイクロレンズアレイ等を介して撮像素子３３の受光面（換言すれば撮像面）に入射する。マイクロレンズアレイは複数のマイクロレンズから成り、撮像素子３３上の１又は複数の受光画素に対して１つのマイクロレンズを割り当てられる。これによって、撮像素子３３の出力信号が、撮像素子３３の受光面における光の強度分布に加えて、撮像素子３３への入射光の進行方向の情報をも含むようになる。この情報を包含する、対象入力画像の画像データを用いて、デジタルフォーカス部５５は、対象入力画像の合焦距離及び被写界深度を自由に変更することができる。
【０１００】
デジタルフォーカス部５５は、Light Field法に基づかない方法によって、デジタルフォーカスを成すこともできる。例えば、対象入力画像内のぼけによる劣化を除去する画像復元処理をデジタルフォーカスに含める。画像復元処理の方法として、公知の方法を利用することが可能である。画像復元処理の実行に当たり、対象入力画像だけでなく、対象入力画像と時間的に近接して撮影された１枚以上のフレーム画像の画像データを更に利用するようにしても良い。画像復元処理後の対象入力画像を全合焦画像と呼ぶ。全合焦画像では、画像領域の全体が合焦領域となっている。
【０１０１】
デジタルフォーカス部５５は、全合焦画像の生成後、指定合焦距離及び指定被写界深度と被写体距離情報を用いて、全合焦画像に対してフィルタリング処理を実行することで対象出力画像を生成することができる。即ち、全合焦画像内の何れかの画素を注目画素に設定して注目画素の被写体距離を被写体距離情報から抽出し、注目画素の被写体距離と指定合焦距離との距離差を求める。そして、注目画素に対して求められた距離差が大きければ大きいほど、注目画素を中心する微小画像領域内の画像が大きくぼかされるように、該微小画像領域に対してフィルタリング処理を行う。但し、上記距離差が指定被写界深度の深さの半分以下であるならば、上記フィルタリング処理の実行を停止することができる。全合焦画像内の各画素を順次注目画素と捉えて上記の処理を順次実行し、全フィルタリング処理の完了後に得られる結果画像を対象出力画像として用いることができる。
【０１０２】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０１０３】
［注釈１］
上述の実施形態では、本発明に係る単位調整量の設定方法を合焦距離と被写界深度の双方に対して適用しているが、本発明に係る単位調整量の設定方法を合焦距離と被写界深度の内の一方のみに対して適用しても良い。
【０１０４】
［注釈２］
上述の実施形態では、撮像装置１上で調整指示操作の受け付けやデジタルフォーカスを実行しているが、それらを、撮像装置１と異なる電子機器（不図示）上で行うようにしても良い。ここにおける電子機器は、例えば、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）等の情報端末装置である。尚、撮像装置１も電子機器の一種である。当該電子機器に、例えば、図３に示される各部位又は図１１に示される各部位を設けておき、対象入力画像の画像データ及び調整マップの生成に必要な情報を当該電子機器に供給すると共に調整指示操作を当該電子機器に与えることにより、当該電子機器上で対象出力画像の生成、表示及び記録を行うことが可能である。
【０１０５】
［注釈３］
図１の撮像装置１又は上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又は上記電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【０１０６】
１  撮像装置
１１  撮像部
３３  撮像素子
５１  被写体距離情報生成部
５２  調整マップ生成部
５３  単位調整量生成部
５４  合焦距離／被写体距離指定部
５５  デジタルフォーカス部
５６  合焦状態検出部
【図１】
2012027408.tif 000003
【図２】
2012027408.tif 000004
【図３】
2012027408.tif 000005
【図４】
2012027408.tif 000006
【図５】
2012027408.tif 000007
【図６】
2012027408.tif 000008
【図７】
2012027408.tif 000009
【図８】
2012027408.tif 000010
【図９】
2012027408.tif 000011
【図１０】
2012027408.tif 000012
【図１１】
2012027408.tif 000013
【図１２】
2012027408.tif 000014
【図１３】
2012027408.tif 000015
【図１４】
2012027408.tif 000016
【図１５】
2012027408.tif 000017
【図１６】
2012027408.tif 000018
【図１７】
2012027408.tif 000019
【図１８】
2012027408.tif 000020