(57)【要約】【課題】利用者に複雑な設定や操作を強いることなく、より高品質なぼけ画像を得ることができる画像処理装置及び画像処理方法を提供すること。【解決手段】入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記背景画像が撮影された際の撮影シーンを表す撮影モードを判定する撮影モード判定手段と、当該判定された撮影モードに基づいて、前記ぼかし処理のぼかし強度を決定するぼかし強度決定手段と、を備えることを特徴とする。【選択図】図２
2009218709.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、
前記ぼかし処理のぼかし強度を調整するぼかし強度調整手段と、
前記背景画像が撮影された際の前記光学系の焦点距離を判定する焦点距離判定手段と、
当該判定された焦点距離に基づいて、前記ぼかし強度調整手段の調整範囲を設定する調整範囲設定手段と、を備えることを特徴とする画像処理装置。
【請求項２】
光学系を介し入力された背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、
前記ぼかし処理工程に先立ってぼかし処理のぼかし強度を調整するぼかし強度調整工程と、
前記背景画像が撮影された際の前記光学系の焦点距離を判定する焦点距離判定工程と、
当該判定された焦点距離に基づいて、前記ぼかし強度調整工程の調整範囲を設定する調整範囲設定工程と、を備えることを特徴とする画像処理方法。
【請求項３】
デジタルカメラであることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、特に高画質なぼけ画像を得ることができる画像処理装置に関するものである。
また、本発明はデジタルカメラ、及びデジタルカメラの制御方法に応用可能である。
【背景技術】
【０００２】
コンパクトデジタルカメラで用いられる撮像素子は、一眼レフカメラで用いられる撮像素子や銀塩フィルムよりも小さく、そのため同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は短い。
焦点距離が短いと、撮影光学系のＦ数を同じにしても、被写界深度が深くなる。
焦点距離が短くなることに比例させてＦ数を小さくすることができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大する。
【０００３】
このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合うことになる。
これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所ともなるが、ポートレートのように背景のぼけ具合が重要な画像を撮影するときは、背景までも鮮明になってしまって逆に短所になるという問題がある。
【０００４】
かかる問題を解決すべく、画像処理により背景をぼかすカメラが提案されている（例えば、特許文献１〜３参照。）。
上記特許文献１〜３に記載のカメラでは、被写体までの距離に応じてぼけ強度を変え、遠近感のあるぼけを再現している。
さらに特許文献３では、ぼけ強度を１３５フォーマットで撮影されたものと同等になるように換算している。また、特許文献３では、ぼけ強度を利用者が調整可能にしている。
【０００５】
しかしながら、例えば広角で撮影された画像を強くぼかしてしまうと、世の中に実在するレンズでは撮影する事のできない様な、不自然な画像になってしまうという問題がある。
【０００６】
【特許文献１】特開平９−３１８８７０号公報
【特許文献２】特開平１１−２６６３８８号公報
【特許文献３】特開２００３−３７７６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の様な状況を鑑みてなされたもので、ぼかし処理により違和感のある不具合画像を生成してしまうことを未然に防止することができる画像処理装置及び画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る画像処理装置及び画像処理方法は、具体的には下記（１）〜（３）に記載の技術的特徴を有する。
（１）：光学系を介して入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理のぼかし強度を調整するぼかし強度調整手段と、前記背景画像が撮影された際の前記光学系の焦点距離を判定する焦点距離判定手段と、当該判定された焦点距離に基づいて、前記ぼかし強度調整手段の調整範囲を設定する調整範囲設定手段と、を備えることを特徴とする画像処理装置。
【０００９】
上記（１）に記載の構成によれば、ぼかし強度の調整範囲を焦点距離に基づいて設定する様に構成されているので、ぼかし処理により違和感のある不具合画像を生成してしまうことを未然に防止することができるという効果がある。
【００１０】
（２）：光学系を介し入力された背景画像データのぼかし処理を行うぼかし処理工程を備え、ぼけた背景画像を出力する画像処理方法において、前記ぼかし処理工程に先立ってぼかし処理のぼかし強度を調整するぼかし強度調整工程と、前記背景画像が撮影された際の前記光学系の焦点距離を判定する焦点距離判定工程と、当該判定された焦点距離に基づいて、前記ぼかし強度調整工程の調整範囲を設定する調整範囲設定工程と、を備えることを特徴とする画像処理方法である。
【００１１】
上記（２）に記載の構成によれば、ぼかし強度の調整範囲を焦点距離に基づいて設定する様に構成されているので、ぼかし処理により違和感のある不具合画像を生成してしまうことを未然に防止することができるという効果がある。
【００１２】
（３）：デジタルカメラであることを特徴とする上記（１）に記載の画像処理装置である。
【００１３】
上記（３）に記載の構成によれば、上記（１）に記載の構成をデジタルスチルカメラに適用する様に構成されているので、上記（１）の構成と同様の効果が得られる。
【発明の効果】
【００１４】
本発明によれば、ぼかし処理により違和感のある不具合画像を生成してしまうことを未然に防止することができる画像処理装置及び画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１５】
本発明の撮像装置は、光学系を介して入力された背景画像データのぼかし処理を行うぼかし処理手段を備え、ぼけた背景画像を出力する画像処理装置において、前記ぼかし処理のぼかし強度を調整するぼかし強度調整手段と、前記背景画像が撮影された際の前記光学系の焦点距離を判定する焦点距離判定手段と、当該判定された焦点距離に基づいて、前記ぼかし強度調整手段の調整範囲を設定する調整範囲設定手段と、を備えることを特徴とする。
【００１６】
図面を用いて本発明の画像処理装置の基本的な構成について詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において特に限定する旨の記載がない限り、これらの態様に限られるものではない。
【００１７】
図１は本発明に係る画像処理装置の一実施の形態であるデジタルスチルカメラ及びその接続機器の構成を示す概略ブロック図である。
図１において、０１は、デジタルスチルカメラ装置、０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマー等からなる、システム制御部、０３は、撮像のために設けられた、光学系部品（レンズ及びレンズ駆動モータ）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部、０４は、撮像部で得られた画像信号に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた、画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる、画像処理部、０５は、画像処理部で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられた、Ｄ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる、表示制御部、０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤ、０７は、記録メディアとのインターフェイスのために設けられた、メモリカードコントローラ等からなる、記録メディアインターフェイス部、０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられた、フラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な、記録メディア、０９は、図示されていないキー、ダイヤル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなる、ハードキーインターフェイス部、１０は、ＵＳＢを接続してデータ通信を行うために設けられた、通信コントローラからなる、通信インターフェイス部、１１は、デジタルスチルカメラ装置０１をＵＳＢで接続し、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣを示している。
【００１８】
まず、起動動作について説明する。
利用者が図示されていない電源ボタンを押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。
システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。
ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。
【００１９】
起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。
鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与える事で行う。
また、記録メディアの初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発行する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。
【００２０】
続いて撮影時の動作について説明する。
利用者は撮影に先立ち、図示されていない種々のキー、ダイヤルを操作し、撮影モード（高画質モード、低画質モード等）を決定する。
【００２１】
利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。
システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメタを画像処理部０４へ設定する。
あるいはまた、利用者は図示されていないズームレバーを操作し、画角（構図）を決定する。
【００２２】
利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。
撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。
撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。
表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。
【００２３】
図示されていないレリーズボタンが押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。
撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。
システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディアへ０８書き込む。
以上で一連の撮影動作を完了する。
【００２４】
〔第１の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である背景ぼかし処理を行う方法の第１の実施の形態について説明する。
図２（Ａ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第１の実施の形態を示すフロー図である。
本実施の形態における動作フローは、ぼかし処理機能がオン設定された状態で、前述したレリーズボタンが押された際の動作を示している。
【００２５】
レリーズボタンが押されると、システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００１）。
【００２６】
ここで、ＣＣＤＡＦの概要について説明する。
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。ＣＣＤＡＦは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする方法である。
【００２７】
撮像部０３、及び画像処理部０４は、前述した手順でフォーカス合わせ、画像取り込みを行う（ｓｔｅｐ０１−００２）。
【００２８】
続いてシステム制御部０２は、各画像の位置毎の距離の算定を行う（ｓｔｅｐ０１−００３）。
【００２９】
以下、図３を参照しながら説明する。
図３（Ａ）において、１００は取り込んだ画像の撮影領域、１０１は１つのＡＦ評価値エリアを示している。
図の様に、ＡＦ評価値エリアは、撮影領域内を均等に分割した小領域となっており、ＣＣＤＡＦのスキャンにより各領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。
システム制御部０２は、各領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの駆動位置を判定する。
さらにシステム制御部０２は、各領域毎に、現在のズーム位置（レンズの焦点距離）からレンズの駆動位置を距離情報に変換する。
【００３０】
ここで、ＡＦ評価値は、ＡＦ評価値エリア内の各画素に対し、水平方向のＨＰＦ（ハイパスフィルタ）の演算を行い、得られた高周波成分を加算したものである。
ＨＰＦの係数は、例えば、ｋｉ＝｛−１，−２，  ６，−２，−１｝といった値が用いられる。
ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。
【００３１】
ＡＦ評価値から距離情報を取得するには、ガウスの結像方程式に基づき、下式で求められる。
【００３２】
１／ａ＋１／ｂ＝１／ｆ
ａ＝ｂ×ｆ／(ｂ−ｆ)
（但し、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離である。）
【００３３】
ここで、レンズから被写体までの距離ａが求める距離情報である。また、レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められ、レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの駆動位置から一意に求められる。
以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。
【００３４】
図３（Ａ）において、１０２はＡＦでフォーカスを合わせたエリアを示している。
システム制御部０２は、画面中央部分のＡＦ評価値エリアのうち、最も近距離にあるエリアをＡＦエリアとして判定し、さらにＡＦエリアと等距離にあるブロックを主要被写体ブロックとして判定する。
【００３５】
図３（Ｂ）において、１０３は主要被写体ブロックを示している（主要被写体ブロック１０３はＡＦエリア１０２を含む）。
システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を基に主要被写体領域を判定する（ｓｔｅｐ０１−００４）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。
【００３６】
図３（Ｃ）において、１０４は主要被写体領域を示している。
画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００５；ぼかし処理手段）。
【００３７】
図３（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。
主要被写体の抽出処理では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。
【００３８】
背景画像のぼかし処理では、背景画像１０８に空間フィルタを適用し、ぼかした背景画像１０９を生成する。
【００３９】
空間フィルタは、下記式１の様に入力画像（In（ｘ，ｙ））に平滑フィルタ（ｋ（ｉｘ，ｉｙ））を演算し、出力画像（Ｏｕｔ（ｘ，ｙ））を得る。
【００４０】
【数１】
2009218709.tif 000003
【００４１】
入力画像（Ｉｎ（ｘ，ｙ））におけるｘとｙは、注目画素の座標値（水平座標ｘ、垂直座標ｙ）を示す。また上記式１において、座標の演算結果（ｘ＋ｉｘ―ｆｓ／２、及びｙ＋ｉｙ−ｆｓ／２）は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。
フィルタ係数（ｋ（ｉｘ，ｉｙ））におけるｉｘとｉｙは、フィルタ係数の位置（水平方向ｉｘ、垂直方向ｉｙ）を示す。
【００４２】
上記式１により、注目画素の値は、その周辺画素（１辺がサイズｆｓの正方形）の平均値に置き換わる。
ｆｓが大きくなると、平均化する領域のサイズが大きくなり、強いぼかしの効果が得られる。
ｆｓ＝１の場合は、注目画素のみの平均値となるため値は変化せず、ぼかしの効果は無い。
【００４３】
尚、本実施の形態では、ｆｓの値は撮影の度に初期値３で処理され、後述するぼかし強度の変更（ぼかし強度調整手段、焦点距離判定手段、調整範囲設定手段）により更新される。
【００４４】
合成処理では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。
生成した合成画像は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−００６）。
【００４５】
ここで、ぼかし強度の変更の操作が行われると（ｓｔｅｐ０１−００７）、システム制御部０２は、操作に応じてｆｓの値を２ずつ減算、あるいは加算し（ｓｔｅｐ０１−００９）再度画像処理を行うが、変更に先立ってレンズの焦点距離ｆを読み出し、レンズの焦点距離ｆに基づき、変更後のｆｓの値が所定のリミット値（調整範囲）以下か否かを判定し（ｓｔｅｐ０１−００８）、リミット値より大きくなる場合には、変更を行わない。
また、ｆｓの値が１未満（調整範囲）となる場合にも、変更は行わない。
尚、本実施の形態では、操作に応じてｆｓ（ぼかし強度）の値を２ずつ減算あるいは加算することとしたが、本発明は当然これに限られるものではなく、任意の値を減算あるいは加算することができる。
レンズの焦点距離ｆと、所定のｆｓのリミット値との関係の一例について下記表１に示す。
【００４６】
【表１】
2009218709.tif 000004
【００４７】
確定の操作が行われると（ｓｔｅｐ０１−０１０）、システム制御部０２は、画像処理部０４を制御して合成後の画像を圧縮し、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディアへ０８書き込む（ｓｔｅｐ０１−０１１）。なおこの際、ヘッダー情報には得られた距離情報を付与する。
【００４８】
〔第２の実施の形態（背景ぼかし）〕
次に、本発明に係る画像処理装置における特徴である背景ぼかし処理を行う方法の第２の実施の形態について説明する。本実施の形態は、再生時に主要被写体以外の背景部分にぼかし処理を行う例である。
図２（Ｂ）は本発明に係るデジタルカメラにおける背景ぼかしの動作フローの第２の実施の形態を示すフロー図である。
本実施の形態における動作フローは、画像の再生中に、利用者の操作によってぼかし処理が選択された際の動作を示している。
【００４９】
システム制御部０２は、再生中の画像ファイルのヘッダー情報から、付与されている距離情報を読み込む（ｓｔｅｐ０２−００１）。
【００５０】
主要被写体領域の判定、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理、表示は、第１の実施の形態におけるｓｔｅｐ０１−００４〜００６と同じである（ｓｔｅｐ０２−００２〜００４）。
【００５１】
ぼかし強度の変更の操作が行われると（ｓｔｅｐ０２−００５）、システム制御部０２は、再生中の画像ファイルのヘッダー情報から、付与されている焦点距離情報を読み込み（ｓｔｅｐ０２−００６）、第１の実施の形態におけるｓｔｅｐ０１−００８と同様のリミット値の判定を行う（ｓｔｅｐ０２−００７）。ｓｔｅｐ０２−００５〜００７が本実施の形態におけるぼかし強度調整手段、焦点距離判定手段、調整範囲設定手段に相当する。
以降の動作（ｓｔｅｐ０２−００８〜０１０）は、第１の実施の形態におけるｓｔｅｐ０１−００９〜０１１と同じである。
【００５２】
以上、上記第１および第２の実施の形態によれば、ぼかし処理により違和感のある不具合画像を生成してしまうことを未然に防止することができる。
【図面の簡単な説明】
【００５３】
【図１】本発明に係る画像処理装置の一実施の形態であるデジタルスチルカメラ及びその接続機器の構成を示す概略ブロック図である。
【図２】（Ａ）背景画像ぼかし処理の第１の実施の形態である。（Ｂ）背景画像ぼかし処理の第２の実施の形態である。
【図３】本発明に係る画像処理装置における撮像フローを示す模式図である。
【符号の説明】
【００５４】
１  デジタルスチルカメラ装置
２  システム制御部
３  撮像部
４  画像処理部
５  表示制御部
６  ＬＣＤ
７  記録メディアインターフェイス部
８  記録メディア
９  ハードキーインターフェイス部
１０  通信インターフェイス部
１１  ＰＣ
【図１】
2009218709.tif 000005
【図２】
2009218709.tif 000006
【図３】
2009218709.tif 000007