(57)【特許請求の範囲】
【請求項１】
異なる合焦位置または絞り値で撮影された被写体に係る複数の画像を処理して前記被写体に焦点を合わせた合焦画像を生成する画像処理装置であって、
前記複数の画像を取得する取得手段と、
前記複数の画像から表示用の画像を生成する制御を行う制御手段と、
前記制御手段の指示にしたがって前記表示用の画像を生成する生成手段と、
前記生成手段により生成された前記表示用の画像を表示手段に出力する出力手段と、を有し、
前記制御手段は、表示解像度または表示画面サイズが異なる前記表示手段ごとに前記複数の画像を合成した画像または前記複数の画像から選択した画像にしたがって前記生成手段により前記合焦画像を生成する制御を行うことを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記表示手段の表示解像度または表示画面サイズの情報を取得して前記複数の画像に対するそれぞれの合成比率を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御手段は、第１の表示手段に画像を表示する場合、前記複数の画像に対する合成比率が高い範囲を、第２の表示手段に画像を表示する場合よりも狭く設定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第１の表示手段は、前記第２の表示手段よりも表示解像度が高いか、または表示画面サイズが大きいことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記表示手段に画像を拡大して表示する場合、前記複数の画像に対する合成比率が高い範囲を、前記画像を拡大して表示しない場合よりも狭く設定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記生成手段は、前記表示手段に画像を拡大して表示する場合、拡大による出力画角の画像領域にて画像の合成を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記生成手段は、前記第２の表示手段に画像を表示する場合、前記複数の画像における背景領域の画像をぼかす処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記制御手段は、異なる絞り値で撮影された前記複数の画像から画像を選択する場合に前記被写体の距離情報を取得して当該被写体の奥行き方向の距離範囲が被写界深度内に収まる絞り値を算出し、算出された当該絞り値で撮影された画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記制御手段は、第１の表示手段に画像を表示する場合、算出された前記絞り値で撮影された画像を選択し、第２の表示手段に画像を表示する場合、最も大きい絞り値で撮影された画像を選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第１の表示手段は、前記第２の表示手段よりも表示解像度が高いか、または表示画面サイズが大きいことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置と、撮像部を備える撮像装置。
【請求項１２】
前記撮像部は、１つの撮影光学系の駆動制御により合焦位置もしくは絞り値を変更して撮影した前記複数の画像を取得するか、または合焦位置もしくは絞り値の異なる複数の撮影光学系によりそれぞれ結像される前記被写体の光学像から前記複数の画像を取得することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像部は、複数のマイクロレンズと、各マイクロレンズが対応する複数の光電変換部を有する撮像素子を備え、前記撮像素子により前記複数の画像を取得することを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
異なる合焦位置または絞り値で撮影された被写体に係る複数の画像を取得する取得手段と、
前記複数の画像から表示用の画像を生成する制御を行う制御手段と、
前記制御手段の指示にしたがって前記表示用の画像を生成する生成手段と、
前記生成手段により生成された前記表示用の画像を表示手段に出力する出力手段と、を有し、前記被写体に焦点を合わせた合焦画像を生成する画像処理装置にて実行される制御方法であって、
前記表示手段の表示解像度または表示画面サイズの情報を前記制御手段が取得するステップと、
前記表示手段ごとに前記複数の画像を合成した画像または前記複数の画像から選択した画像にしたがって前記生成手段により前記合焦画像を生成する制御を前記制御手段が行うステップと、を有することを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１４に記載の各ステップを画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる合焦位置または絞り値で撮影された複数の画像から被写体全体に合焦した画像を生成する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラで近距離にある被写体を撮影する場合、被写界深度が浅くなると、被写体全体に合焦している画像を取得することが難しいという課題がある。そこで、被写体の合焦位置を変えて撮影した複数の画像を合成し、被写体全体に合焦している画像を生成する技術が特許文献１および特許文献２に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７５３９号公報
【特許文献２】特開２０１３−２１４０７号公報
【特許文献３】特開２００８−１５７５４号公報
【特許文献４】特開２００７−１１０６３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ユーザが上記技術を用いて生成された画像を視聴する環境は様々である。特定の表示装置の画面上で被写体全体に焦点が合っているように見える画像でも、別の表示装置の画面上では被写体の一部に焦点が合っていないという状況が起こりうる。一例として、デジタルカメラのＥＶＦ（電子ビューファインダ）やスマートフォン等の小型モニタでユーザが画像を視聴した場合、被写体全体に合焦しているように見える。しかし、ユーザがＰＣ（パーソナルコンピュータ）のモニタや大画面テレビ等の大型モニタで画像を視聴した場合、被写体の一部が合焦していないことがある。
【０００５】
本発明の目的は、異なる合焦位置または絞り値で撮影された被写体の画像を、表示装置の表示能力に応じて処理して、被写体に焦点を合わせた画像を生成する画像処理装置およびその制御方法を提供することである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る装置は、異なる合焦位置または絞り値で撮影された被写体に係る複数の画像を処理して前記被写体に焦点を合わせた合焦画像を生成する画像処理装置であって、前記複数の画像を取得する取得手段と、前記複数の画像から表示用の画像を生成する制御を行う制御手段と、前記制御手段の指示にしたがって前記表示用の画像を生成する生成手段と、前記生成手段により生成された前記表示用の画像を表示手段に出力する出力手段と、を有する。前記制御手段は、表示解像度または表示画面サイズが異なる前記表示手段ごとに前記複数の画像を合成した画像または前記複数の画像から選択した画像にしたがって前記生成手段により前記合焦画像を生成する制御を行う。
【発明の効果】
【０００７】
本発明によれば、異なる合焦位置または絞り値で撮影された被写体の画像を、表示装置の表示能力に応じて処理して、被写体に焦点を合わせた画像を生成する画像処理装置およびその制御方法を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る画像処理装置の構成図である。
【図２】第１実施形態の処理を説明するフローチャートである。
【図３】第１実施形態における撮影被写体の構図を説明する図である。
【図４】第１実施形態における各画像に対する合成比率を説明する図である。
【図５】第１実施形態における合成比率の計算方法を説明する図である。
【図６】第２実施形態の処理を説明するフローチャートである。
【図７】第３実施形態に係るシステムの構成図である。
【図８】第３実施形態の処理を説明するフローチャートである。
【図９】第３実施形態における画像拡大を説明する図である。
【図１０】解像度について具体例を説明する図である。
【図１１】主被写体距離情報の算出を説明する図である。
【発明を実施するための形態】
【０００９】
以下、本発明の好適な実施形態について、図面を参照して説明する。なお、以下に説明する各実施形態では、画像処理装置をデジタルカメラに適用した例において、異なる合焦位置または絞り値で撮影した画像を用いて被写体全体に合焦した画像を生成する。生成された画像は、表示能力の異なる複数の表示装置に出力可能である。
【００１０】
［第１実施形態］
図１は、本発明の第１実施形態に係るデジタルカメラ１００の機能構成を例示するブロック図である。各部は内部バス１１０を介して相互に通信する。
撮影光学系１０１は、被写体の光学像（被写体像）を撮像部１０２に結像する。撮像部１０２は、ＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等の撮像素子を備える。撮像素子は、撮影光学系１０１により結像された光学像を光電変換し、電気信号を出力する。撮像部１０２のＡ／Ｄ変換部は、得られたアナログ画像信号をデジタル画像データに変換処理し、ＲＡＭ（ランダム・アクセス・メモリ）１０４に出力して記憶させる。ＲＡＭ１０４は書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
【００１１】
制御部１０６は、例えばＣＰＵ（中央演算処理装置）を備える。制御部１０６は、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ（リード・オンリ・メモリ）１０５から読み出し、ＲＡＭ１０４に展開して実行する。これによりデジタルカメラ１００が備える各ブロックの動作制御が行われる。ＲＯＭ１０５は書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。また、制御部１０６は撮影光学系１０１のフォーカスレンズの駆動制御を行い、フォーカスレンズ駆動量を指示することで、異なる合焦位置で被写体を撮影することが可能である。
【００１２】
画像処理部１０３は、ＲＡＭ１０４に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大、フィルタリング等の様々な画像処理を行う。また画像処理部１０３は、後述する画像の合成処理を行う。記録部１０７は、ＲＡＭ１０４に記憶されている画像データ（画像処理部１０３で処理された画像データ）を、記録画像や合成画像として記録媒体に記録する処理を行う。
【００１３】
表示部１０９は、例えばＰＣモニタ、テレビジョン装置、スマートフォン等の表示媒体である。通信部１０８は、ＨＤＭＩ（登録商標）, High-Definition Multimedia Interface等のケーブルや無線通信装置を備え、ＲＡＭ１０４に記憶されている表示用の画像データを表示部１０９に送信する。表示部１０９は受信した画像データにしたがって画像表示を行う。また通信部１０８は、表示部１０９から表示画面の解像度やサイズ（インチ数等）の情報を取得して、制御部１０６へ出力するインターフェース部を備える。
【００１４】
次に、図２から図５、図１１を用いて本実施形態の動作について説明する。図２は本実施形態の処理を説明するフローチャートである。図３は、デジタルカメラ１００によって撮影する被写体の構図を例示した模式図である。
【００１５】
図３（Ａ）は、撮影対象の被写体３００として、主被写体３０１と、背景被写体３０２、３０３を示す。図３（Ｂ）は、各被写体を奥行き方向に表示した例３１０を示す。被写体３１１と３０１、被写体３１２と３０２、被写体３１３と３０３がそれぞれ同じ被写体である。図３（Ｂ）には奥行き方向にてデジタルカメラ３１４から各被写体までの距離（被写体距離）を示している。
【００１６】
図３（Ｂ）では、デジタルカメラ３１４の位置を基準とする被写体距離として、被写体３１１が最も近く、その次に被写体３１２が位置し、被写体３１３が最も遠くに位置している。複数の合焦位置３１５、３１６を小三角形の記号でそれぞれ示す。主被写体３１１は位置３１７と位置３１８との間に存在する。つまり、位置３１７におけるＤｍｓがデジタルカメラ３１４から主被写体３１１の前部までの距離を表し、位置３１８におけるＤｍｅがデジタルカメラ３１４から主被写体３１１の後部までの距離を表している。主被写体３１１に関する距離情報３１９（主被写体距離範囲）をＤｍと表記すると、「Ｄｍ＝Ｄｍｅ−Ｄｍｓ」である。
【００１７】
図４は、表示装置に応じた合成比率を例示した図である。図４（Ａ）は、高解像度モニタに画像を表示する際の合成比率４００を示す。図４（Ｂ）は、低解像度モニタに画像を表示する際の合成比率４１０を示す。横軸はカメラから被写体までの距離（被写体距離）を表し、縦軸は合成比率を表す。
【００１８】
図４（Ａ）において、各画像に対する合成比率４０１を台形状のグラフでそれぞれ示している。例えば、グラフの上辺部の合成比率の値は１．０であり、その左右の斜辺部では合成比率の値が１．０未満である。各画像の合焦位置を小三角形の記号で示す。黒塗された小三角形で示す合焦位置（例えば４０２、４０５）は、主被写体に焦点が合った画像の合焦位置を表す。また白塗された小三角形で示す合焦位置（例えば４０３）は、主被写体以外の対象に焦点を合わせたときの画像の合焦位置を表す。各合焦位置における被写界深度４０４を矩形領域でそれぞれ示す。図４（Ａ）は、主被写体距離範囲に亘る７つの合成比率を例示する。
【００１９】
図４（Ｂ）において、各画像に対する合成比率４１１を台形状のグラフでそれぞれ示している。小三角形の記号の意味は図４（Ａ）の場合と同じである。黒塗の小三角形で示す合焦位置（４１２、４１６、４１７）は主被写体に焦点を合わせた画像の合焦位置を表す。白塗の小三角形で示す合焦位置（４１３）は主被写体以外の対象に焦点を合わせた画像の合焦位置を表す。各合焦位置における被写界深度４１４を矩形領域でそれぞれ示す。図４（Ｂ）は、主被写体距離範囲に亘る３つの合成比率を例示する。
【００２０】
図５は、各合成比率の算出方法を示す図である。図５にて、横軸は被写体距離を表し、縦軸は合成比率を表す。合成比率のグラフ５０１において、Ｄｐで示す合焦位置５０２を小三角形の記号で示している。合焦位置５０２に対する、前方被写界深度５０３をＤｆｓと表記し、後方被写界深度５０４をＤｆｅと表記し、被写界深度５０５をＤｆと表記する。台形状のグラフ５０１の区間５０６、５０７、５０８はそれぞれ、左側斜辺部、上辺部、右側斜辺部の区間に相当する。合成比率の値が最も大きい区間５０７の距離をＤａと表記する。
【００２１】
図１１は主被写体距離の算出方法を説明する図である。図１１は図３と同一の構図である。図１１（Ａ）は、後述する距離情報生成部が生成した距離情報１１００を、グレースケールで示す。白から黒になるに連れて、カメラ位置を基準する距離が大きくなり、被写体が遠いことを示す。図１１（Ｂ）は、距離情報１１１０において、後述する主被写体検出部が生成した主被写体検出領域１１１１を示す。図１１（Ｃ）は、図１１（Ａ）の距離情報１１００と図１１（Ｂ）の距離情報１１１０との論理積を計算した結果を例示し、主被写体領域のみの距離情報１１２０を示している。図１１（Ｄ）は、主被写体領域の距離情報をヒストグラム化したグラフ１１３０を示す。横軸は被写体距離を表し、縦軸は距離情報の頻度を表す。ヒストグラムの極小点近傍に囲まれたＤｍｓからＤｍｅまでの距離区間が主被写体距離範囲Ｄｍである。
【００２２】
次に、図２のフローチャートに則って本実施形態の動作を説明する。以下の処理は制御部１０６のＣＰＵがメモリから読み出して実行するプログラムにしたがって実現される。
Ｓ２０１で制御部１０６は、撮影光学系１０１の駆動制御を行い、可動レンズを移動させる。撮像部１０２は合焦位置の異なる複数の画像を取得し、記録部１０７は画像の記録処理を行う。なお、画像の取得方法としては、例えば単眼カメラにおいてフォーカスレンズの駆動制御を行い、合焦位置または絞り値を変更して複数の画像を取得する方法のみに限定されない。この他には、多眼カメラで同時に被写体を撮影する方法がある。合焦位置または絞り値の異なる複数の撮影光学系により結像される被写体の光学像から複数の画像を取得できる。またはライトフィールドカメラで撮影する方法がある。ライトフィールドカメラは、撮影光学系と撮像素子との間にマイクロレンズアレイが配置されている。撮像素子の複数の光電変換部に対して１つのマイクロレンズを対応させ、マイクロレンズを通過した光を複数の光電変換部に入射させることにより、光線の強度分布と入射方向の情報を取得できる。各光電変換部の出力信号は入射方向ごとに取得された情報を含み、当該情報を用いて距離情報が取得される。ライトフィールドデータの処理にて、マイクロレンズアレイのレンズ頂点面からの距離が異なる焦点面での像は、各マイクロレンズの光軸からの偏心量に対応した位置にある光電変換部の各出力を合成することで得られる。ライトフィールドデータに含まれる光線情報と方向情報を取得し、光線の並べ替えと計算処理を行うこと（再構成）により、任意の合焦位置での画像データを生成することができる。
【００２３】
Ｓ２０２で通信部１０８は、表示部１０９の画面の解像度やサイズ等の情報を取得して、ＲＡＭ１０４に記憶する。Ｓ２０３で制御部１０６は、主被写体の距離情報であるＤｍｓとＤｍｅを取得する処理を行う。主被写体の距離情報は、図１１で説明した方法により算出することが可能である。距離情報生成部と主被写体検出部については、公知技術を適用すればよい。例えば、距離情報生成処理については特許文献３にて、瞳分割タイプの撮像素子を用いる方法が開示されている。具体的には、撮像部１０２内の撮像素子は、複数のマイクロレンズと各マイクロレンズが対応する複数の光電変換部を備えている。各光電変換部は、撮影光学系１０１の異なる瞳領域から到来する光束が生ずる複数の被写体像にそれぞれ対応する画素信号を出力する。複数の被写体像に対して像信号の相関演算処理が実行される。取得される画像は視点の異なる画像であり、複数の画像間の視差量を算出する処理が行われる。撮像素子の画素ピッチ（撮像素子を構成する画素部の画素間距離）と、一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数を用いて、結像面に対するデフォーカス量、すなわち距離情報を算出することができる。被写体の距離情報は、画角内の距離分布の情報であって、画角内の被写体の深さに対応し、少なくとも深さの相対関係を表す情報である。瞳分割画像の視差から距離を算出する例に限定されることなく、例えばコントラストＡＦ（オートフォーカス）評価値等を用いて距離情報を取得してもよい。また、次元として距離に換算されていなくても、例えば瞳分割画像の視差量の分布情報(視差マップ、像ずれマップ)やデフォーカス量の分布情報（デフォーカスマップ）の形態であっても被写体の深さ方向の相対関係はわかるため、本発明が適用可能である。本実施形態ではかかる分布情報を総括して被写体の距離情報と呼ぶことにする。
【００２４】
一方、主被写体検出処理については特許文献４に開示された方法がある。この方法は撮影画像から色情報を取得し、それらのヒストグラムを所定の分布範囲に区分けし、その区域を一つの被写体として分類して被写体を検出する方法である。なお、本実施形態において主被写体の検出方法は特定の方法に限定されない。
【００２５】
Ｓ２０４で制御部１０６は、各合焦画像の合焦距離であるＤｐを算出する。具体的には、撮影時の測距枠と同一座標にある距離情報が合焦距離Ｄｐとして算出される。なお、測距枠は複数の画素のブロックで形成される。このため、距離情報についても測距枠内に含まれる距離情報の平均値または最頻値を代表値として合焦距離Ｄｐが決定される。
【００２６】
Ｓ２０５で主被写体全体に合焦しているか否かの判定処理である。これは、主被写体全体に合焦させる際、主被写体以外に合焦している画像を合成に使用しないようにするために行う判定処理である。制御部１０６は、各撮影画像の主被写体に合焦しているか否かを判定する。具体的には、Ｓ２０４で算出された各撮影画像の合焦距離Ｄｐが、Ｓ２０３で算出された主被写体距離情報ＤｍｓとＤｍｅとの間である場合、現在の画像において主被写体に合焦していると判定される。Ｓ２０５で、主被写体に合焦していると判定された場合、Ｓ２０６に処理を進める。また主被写体に合焦していないと判定された場合には、後述する合成比率の値を０に設定して、Ｓ２０４に戻る。
【００２７】
Ｓ２０６で制御部１０６は、各撮影画像（合焦画像）の被写界深度である前方被写界深度Ｄｆｓと後方被写界深度Ｄｆｅを算出する。被写界深度は下記式（１）および（２）を用いて算出される。
【数１】
0006639276.tif 000002
ここで、δは許容錯乱円径、Ｆは絞り値、ｆは焦点距離であり、単位はすべて「ｍｍ」である。なお、δの値は撮像部１０２の画素ピッチによって決まる。
【００２８】
Ｓ２０７で制御部１０６は、合焦距離Ｄｐ、前方被写界深度Ｄｆｓ、後方被写界深度Ｄｆｅを用いて、各画像に対する合成比率を算出する。図５に例示するように、合焦距離Ｄｐを中心とした所定距離の区間５０７に対する合成比率の値は１．０である。区間５０７から被写体距離が離れる区間５０６、５０８では合成比率の値が減少する。具体例として、下記式（３）を用いて合成比率の値が算出される。画像内の各画素位置に対応する距離をｄと表記し、ｎ番目の合焦画像に対する合成比率をＷ（ｎ,ｄ）と表記する。図５で合成比率の値が１．０となる距離区間をＤａとする。
if( d < Dfs)              W(n,d) = 0
else if(d <(Dp-Da/2))     W(n,d)=k1 * d + B
else if(d < (Dp+Df/2)     W(n,d)=1.0
else if(d<Dfe)            W(n,d) =-k2 * d + C
else                     W(n,d)=0.0             ・・・（３）
if（）内の不等式は条件式を示す。k1,k2は各区間５０６、５０８の傾き（係数）であり、B,Cはｙ切片である（合成比率の軸をｙ軸と定義する）。
【００２９】
Ｓ２０８で制御部１０６は、Ｓ２０２で取得した情報を用いて表示部１０９の表示解像度（または表示画面サイズ）について判断する。合成処理後の画像を表示する表示部１０９にて高解像度の表示が可能である（または表示画面サイズが大きい）と判断された場合、Ｓ２０９へ進み、そうでない場合（低解像度の表示または表示画面サイズが小さい場合）にはＳ２１０に移行する。表示部１０９の解像度の判断処理にて制御部１０６は、撮影画像の画素数、表示部１０９の解像度であるＰＰＩ（Ｐｉｘｅｌ Ｐｅｒ Ｉｎｃｈ）、出力画素数と表示画素数との比を用いる。なお、ＰＰＩは対角画素数を対角のインチ数で除算した比である。一般的に、ＰＰＩが高い場合に高解像度の表示部と言えるが、出力画素数が表示部の画素数と異なると、表示部の画素数に合うように拡縮処理を行うか、画像の一部を表示する処理が行われることになる。このため、その表示のさせ方も考慮する必要がある。例えば、出力画素数に対して表示画素数が小さい場合、「表示画素数／出力画素数」分の縮小処理が行われて画像が表示されるので、縮小処理に伴う表示解像力の低下が発生する。そこで、本実施形態では、表示部のＰＰＩに出力画素数と表示画素数との比を乗算した値を解像度と定義する。その値が所定の閾値以上である場合に制御部１０６は高解像度と判断し、所定の閾値より小さい場合には低解像度と判断する。図１０を参照して具体例を説明する。
【００３０】
図１０は、様々な表示部の画面サイズと画素数の画像を、具体的な数字で示している。出力画像は図３に示す被写体３００の画像と同一の構図の画像である。出力画像の画素数を水平方向にて４０００画素であって垂直方向にて２０００画素の、合計８００万画素とする。各画像１０００から１００５の詳細は、下記表１のとおりである。
【００３１】
【表１】
0006639276.tif 000003
【００３２】
画像１０００、１００１は、出力画像（撮影画像）の解像度と表示部の解像度が同じであり、ピクセル等倍表示の画像である。画像１００２、１００３は、出力画像の解像度より表示部の解像度が低い全体縮小表示の画像である。さらに、画像１００４、１００５では、出力画像の解像度より表示部の解像度が低くても、ピクセル等倍表示が可能である。ただし、その際には画像の一部のみが表示されることになる。
【００３３】
表示部が画像１０００を表示する場合の表示解像度は１８６であり、出力画素数と表示画素数が同一である。表示解像度に対して、出力画素数と表示画素数との比を乗算した値として定義される解像度は、１８６ＰＰＩのままである。同様の考え方により、画像１００１を表示する際の解像度は、７４５ＰＰＩである。一方、画像１００２を表示する場合、出力解像度は９３であり、表示部の画素数（表示解像度４６．５）に合わせて１／２の縮小処理が行われる。よって、定義された解像度は、９３×（１／２）＝４６．５ＰＰＩとなる。画像１００３を表示する場合、定義された解像度は、３７３×（１／２）＝１８６．５ＰＰＩとなる。一方で、画像１００４、１００５のように、出力画素数が表示部の画素数より大きいが、ピクセル等倍で表示部が表示している場合、縮小処理は伴わず、定義された解像度はそれぞれ、９３ＰＰＩ、３７３ＰＰＩとなる。
【００３４】
図２のＳ２０９で制御部１０６は、高解像度の表示部に画像を表示する場合の合成比率の制御を行う。高解像度の表示部では合焦の外れが目立ちやすいため、制御部１０６は被写体の合焦距離に極力近い領域のみを合成するように合成比率を変更する。具体的には、式（３）において、合成比率の値が１．０となる距離区間Ｄａ（図５）を狭くし、各区間の傾きk1およびk2が急峻になるように合成比率が制御される（図４（Ａ）参照）。
【００３５】
またＳ２１０で制御部１０６は、低解像度の表示部に画像を表示する場合の合成比率の制御を行う。低解像度の表示部では合焦の外れが目立ちにくいため、制御部１０６は被写体の合焦距離に近い領域だけでなく合焦距離から離れた領域を合成するように合成比率を変更する。具体的には、式（３）において、合成比率の値が１．０となる距離区間Ｄａを広くし、各区間の傾きk1およびk2が緩やかになるように合成比率が制御される（図４（Ｂ）参照）。
【００３６】
このような制御を行うと、図４（Ａ）の合成比率４００に示すように各画像の合成比率４０１の値が１．０となる区間は狭くなり、図４（Ｂ）の合成比率４１０に示すように各画像の合成比率４１１の値が１．０となる区間は広くなる。また、低解像度の表示部により画像を表示する際には、白塗の小三角形で示す位置４１５において、黒塗の小三角形で示す合焦位置４１６、４１７にそれぞれ対応するグラフの合成比率の値が共に０以上となるように設定される。つまり、合焦位置４１６に対応するグラフの右側斜辺部と合焦位置４１７に対応するグラフの左側斜辺部との交点の位置が、ほぼ位置４１５に一致し、当該位置で読み取れる合成比率の値は０より大きい（αと記す）。位置４１５に対応する撮像画像は、合成に使用しないように除外することができる。これが位置４１５を白塗の小三角形で示している理由である。なお、低解像度の表示部に出力する場合、主被写体領域を引き立たせるために背景領域を検出して、背景領域にぼけを付与する処理が行われる。背景をぼかす処理は制御部１０６の指示を受けて画像処理部１０３が行う。
【００３７】
図２のＳ２０９またはＳ２１０の処理後にＳ２１１へ進む。Ｓ２１１で制御部１０６は、撮影された全ての合焦画像に対する合成比率の算出が終了したか否かを判断する。全ての画像に対する合成比率の算出が終了した場合、Ｓ２１２に処理を進め、算出処理が終了していない場合にはＳ２０４に処理を戻して、次の画像の合成比率算出処理を継続する。
【００３８】
Ｓ２１２において画像処理部１０３および制御部１０６は、決定した各合焦画像に対する合成比率を用いて画像の合成処理を行う。その際、合成比率の合計値を１以下に抑えるために、最終的な合成比率は、下記式（４）に基づいて正規化される。
【数２】
0006639276.tif 000004
ここで、Nは撮影画像の総数である。
【００３９】
Ｓ２１３で通信部１０８は、Ｓ２１２で合成処理によって生成された表示用画像のデータを表示部１０９に出力する処理を行い、一連の処理を終了する。
本実施形態では、被写体全体に合焦した画像を生成する際、表示装置の表示能力に応じて合成処理方法を変更して表示用画像を生成する。これにより、ユーザがどの視聴環境で画像を視聴しても被写体全体に焦点の合った合焦画像を生成することができる。
【００４０】
［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、絞り値（Ｆ値）を変化させた複数の画像を用いて、主被写体全体に合焦した画像を選択して、表示能力の異なる複数の表示装置に出力する形態を説明する。なお、本実施形態にて第１実施形態の場合と同様の構成については既に使用した符号を用いることでそれらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略については後述の実施形態でも同じである。
【００４１】
図６のフローチャートに則って、本実施形態の動作を説明する。
Ｓ６０１で制御部１０６は、撮影光学系１０１の絞りを駆動制御し、Ｆ値の異なる複数の画像を取得して、画像信号を記録部１０７に記録する制御を行う。この場合、取得されるすべての画像は主被写体の任意の領域に合焦している画像であるものとする。Ｓ６０２で制御部１０６は、表示部１０９の表示解像度や表示画面サイズ等の情報を、通信部１０８から取得してＲＡＭ１０４に記憶する。
【００４２】
Ｓ６０３で制御部１０６は、Ｓ６０２で取得した情報を用いて表示解像度（または表示画面サイズ）について判断する。表示部１０９の表示解像度が高解像度である（または表示画面サイズが大きい）と判断された場合、Ｓ６０４へ進み、そうでない場合にはＳ６０７に移行する。Ｓ６０４で制御部１０６は、主被写体距離情報であるＤｍｓとＤｍｅを取得する。
【００４３】
Ｓ６０５で制御部１０６は式（１）、（２）により、各画像の被写界深度である前方被写界深度Ｄｆｓと後方被写界深度Ｄｆｅを算出する。Ｓ６０６で制御部１０６は、主被写体距離情報Ｄｍｓ、Ｄｍｅと、前方被写界深度Ｄｆｓ、後方被写界深度Ｄｆｅを比較し、Ｆ値の異なる複数の画像（Ｆ値画像）から、画像を選択する。具体的には、複数のＦ値画像のうち、ｎ番目の画像に対する主被写体距離をＤｍｓ(F)、Ｄｍｅ(F)と表記する。前方被写界深度Ｄｆｓが前方被写体距離Ｄｍｓ(F)より短く、後方被写界深度Ｄｆｅが後方被写体距離Ｄｍｅ(F)より長くなるＦ値画像を選択する処理が行われるようにする。つまり、主被写体が被写界深度内におさまるＦ値画像が選択される。
【００４４】
Ｓ６０７で制御部１０６は、撮影した複数のＦ値画像の中から最もＦ値の大きい画像を選択する。Ｆ値が大きくなると、回折ぼけの影響や、露光時間が長くなることで蓄積ブレの影響を受ける可能性がある。そのため、Ｓ６０１での撮影時にＦ値を変化させる際、Ｆ値の上限を決めることで、これらの影響を回避することが可能である。
【００４５】
Ｓ６０６またはＳ６０７の後、Ｓ６０８に処理を進める。Ｓ６０８で制御部１０６は、Ｓ６０６またはＳ６０７で選択した画像を表示部１０９に表示させる制御を行う。その後に処理を終了する。
本実施形態では、被写体全体に合焦した画像を生成する際、表示装置の表示能力に応じて、Ｆ値の異なる複数の画像から選択した画像を表示装置へ出力する処理が行われる。
【００４６】
［第３実施形態］
次に本発明の第３実施形態を説明する。第１および第２実施形態では、デジタルカメラ内で処理した画像を、表示装置に出力して表示させる形態を説明した。本実施形態では、表示装置（外部装置）が画像の合成および表示処理を行う形態について、図７から図９を用いて説明する。
【００４７】
図７は、本実施形態に係る機能構成を示すブロック図である。デジタルカメラ７００と、外部装置であるスマートフォン７１０を例示し、第１実施形態で説明した合焦位置の異なる複数の画像の合成をスマートフォン７１０が行う。なお、デジタルカメラ７００の各構成部７０１から７０８はそれぞれ、図１の各構成部１０１から１０８と同様であるため説明を省略する。
【００４８】
スマートフォン７１０内の画像処理部７１３は、第１実施形態で説明した画像の合成処理を行い、合成後の画像信号をＲＡＭ７１４に記憶させる。制御部７１６は、例えばＣＰＵを有し、スマートフォン７１０が備える各ブロックの動作プログラムをＲＯＭ７１５から読み出し、ＲＡＭ７１４に展開して実行する。記録部７１７は画像処理部７１３により処理された画像データ等を記録媒体に記録する処理を行う。
【００４９】
通信部７１８は、デジタルカメラ７００と通信する。通信部７０８と通信部７１８は、ＨＤＭＩ（登録商標）等のケーブルや無線ＬＡＮ（Local Area Network）等のデータインターフェース部である。例えば、通信部７０８は、ＲＡＭ７０４に記憶されている画像信号を読み出して、スマートフォン７１０へ送信する。また通信部７１８は、スマートフォン７１０が備える表示部７１９の表示解像度や表示画面サイズ等の情報をデジタルカメラ７００へ送信する。
【００５０】
表示部７１９は、ＲＡＭ７１４から読み出された画像信号にしたがって画像を表示するモニタ部である。タッチパネルを用いたＵＩ（ユーザインターフェース）部７２０は、ユーザの操作指示を受け付け、操作指示信号を制御部７１６に出力する。
【００５１】
図８は本実施形態のフローチャートである。図９は、スマートフォン７１０の表示部７１９の画面例を示す。図９（Ａ）に示す撮影被写体の画像９００は図３と同一の構図であり、主被写体９０１、背景被写体９０２、９０３を示す。図９（Ｂ）の画像９１０は、図９（Ａ）の画像９００の一部（点線の矩形枠９０４内）を拡大した画像である。
【００５２】
図８のフローチャートに則って動作を説明する。
Ｓ８０１からＳ８０４の処理はそれぞれ、図２のＳ２０１、Ｓ２０３からＳ２０５の処理と同様である。Ｓ８０１で合焦位置の異なる複数の画像が取得されて記録部１０７が画像信号を記録する。Ｓ８０２では、主被写体距離情報ＤｍｓおよびＤｍｅが取得される。Ｓ８０３で制御部７０６は、各合焦画像の合焦距離Ｄｐを算出し、Ｓ８０４では、各撮影画像にて主被写体に合焦しているか否かを判定する。
【００５３】
Ｓ８０４で主被写体に合焦していると判断された場合、Ｓ８０５に処理を進め、主被写体に合焦していないと判断された場合にはＳ８０３に処理を戻す。Ｓ８０５で通信部７０８は、Ｓ８０４で主被写体に合焦していると判断された画像のデータのみ、スマートフォン７１０へ送信する。この送信は、合成に使用する可能性がある画像のみを転送することを目的としている。
【００５４】
Ｓ８０６、Ｓ８０７の各処理は、図２のＳ２０６、Ｓ２０７の各処理と同様である。Ｓ８０６で制御部７１６は前方被写界深度Ｄｆｓと後方被写界深度Ｄｆｅを算出し、Ｓ８０７では、合焦距離Ｄｐ、前方被写界深度Ｄｆｓ、後方被写界深度Ｄｆｅを用いて、各画像に対する合成比率を算出する。Ｓ８０８で制御部７１６は合成比率の制御を行う。ユーザがスマートフォン等の小型モニタで画像を視聴する場合には合焦の外れが目立ちにくい。このため、被写体の合焦距離に近い領域だけでなく、合焦距離から離れた領域を合成する処理が行われる。制御部７１６は合成比率が最大となる範囲が広くなるように合成比率を変更する。例えば、図４（Ｂ）に示した合成比率４１０となるように合成比率の制御が行われる。
【００５５】
Ｓ８０９で画像処理部７１３および制御部７１６は、決定した各合焦画像に対する合成比率を用いて画像の合成を行う。Ｓ８１０で表示部７１９は、合成された画像を表示する。Ｓ８１１で制御部７１６は、ユーザがＵＩ部７２０の操作により拡大指示の操作を行ったか否かを判断する。拡大指示の操作が行われた場合、Ｓ８１２へ進み、拡大指示の操作が行われない場合にはＳ８１４に移行する。ユーザの操作指示方法の１つとして、タッチパネルのピンチアウト操作（拇指と人差し指との間隔を拡げる操作）がある。図９は画像の一部を拡大して表示する処理の説明図である。ピンチアウト操作によって、図９（Ａ）の矩形枠９０４内の画像領域が拡大され、図９（Ｂ）の画像９１０の画角で表示される。
【００５６】
Ｓ８１２で制御部７１６は合成比率が最大となる範囲が狭くなるように合成比率を変更し、被写体の合焦距離に近い領域だけを合成する制御を行う。画像を拡大した場合、大型モニタでの視聴と同様に、合焦の外れが目立ちやすくなる。このため、例えば、図４（Ａ）に示した合成比率４００となるように合成比率の制御が行われる。
【００５７】
Ｓ８１３で画像処理部７１３および制御部７１６は、出力画角のみでの合成処理を行う。撮影された画像全体に対して合成処理を行うのではなく、最終的な出力画角に相当する領域（図９（Ａ）の矩形枠９０４の画像領域）のみ、画像が合成されるので、処理負荷を低減することができる。Ｓ８１４で制御部７１６は、画像処理部７１３によりＳ８１３で処理された画像のデータを表示部７１９に出力する制御を行う。表示部７１９は画像を表示し、処理を終了する。
本実施形態では、撮像装置と通信する表示装置において、表示装置の表示能力および出力画角に応じて合成比率が変更されて表示用画像が生成される。
【００５８】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５９】
１００・・・デジタルカメラ、１０１・・・撮影光学系、１０２・・・撮像部、１０３・・・画像処理部、１０６・・・制御部、１０８・・・通信部、１０９・・・表示部
【図１】
0006639276.tif 000005
【図２】
0006639276.tif 000006
【図３】
0006639276.tif 000007
【図４】
0006639276.tif 000008
【図５】
0006639276.tif 000009
【図６】
0006639276.tif 000010
【図７】
0006639276.tif 000011
【図８】
0006639276.tif 000012
【図９】
0006639276.tif 000013
【図１０】
0006639276.tif 000014
【図１１】
0006639276.tif 000015