(57)【要約】【課題】距離マップに応じた適正なぼけ量のぼかし処理を、より少ない計算量で実施可能とする。【解決手段】画像に対して、当該画像に対応する奥行き距離を示す距離情報を用いて、ぼけを付与する画像処理装置であって、前記距離情報をぼけサイズに変換する変換手段と、前記画像を、同じぼけサイズを有する複数の画像領域に分割する分割手段と、前記複数の画像領域毎に、前記ぼけサイズでぼかし処理を施してぼけ画像を生成する画像生成手段と、前記画像生成手段によって生成された複数のぼけ画像を合成する合成手段と、を備える。【選択図】図１
2015043495.tif 000002
【特許請求の範囲】
【請求項１】
画像に対して、当該画像に対応する奥行き距離を示す距離情報を用いて、ぼけを付与する画像処理装置であって、
前記距離情報をぼけサイズの情報に変換する変換手段と、
前記画像を、同じぼけサイズを有する複数の画像領域に分割する分割手段と、
前記複数の画像領域毎に、前記ぼけサイズでぼかし処理を施してぼけ画像を生成する画像生成手段と、
前記画像生成手段によって生成された複数のぼけ画像を合成する合成手段と、
を備える、画像処理装置。
【請求項２】
前記変換手段は、前記距離情報から変換されたぼけサイズに対して、値の範囲を複数の範囲に分割して、各範囲に属するぼけサイズを１つの代表値で代表させる離散化処理を施す、
請求項１に記載の画像処理装置。
【請求項３】
前記離散化処理における分割の数は、あらかじめ定められた数である、
請求項２に記載の画像処理装置。
【請求項４】
前記離散化処理における分割の数は、ユーザによって指定された数である、
請求項２に記載の画像処理装置。
【請求項５】
前記離散化処理における分割の数は、前記距離情報から変換された前記ぼけサイズの分布から決定される、
請求項２に記載の画像処理装置。
【請求項６】
前記離散化処理における前記複数の範囲は、あらかじめ定められている、
請求項２から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記離散化処理における前記複数の範囲は、前記距離情報から変換された前記ぼけサイズの分布から決定される、
請求項２から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記離散化処理における前記複数の範囲のそれぞれの代表値は、当該範囲に含まれる値のいずれかの値である、
請求項２から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記離散化処理における前記複数の範囲のそれぞれの代表値は、当該範囲に含まれるぼけサイズの中央値、平均値、最頻値、最小値、最大値のいずれかである、
請求項２から７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記離散化処理において、ぼけサイズ０を含む範囲の代表値は０である、
請求項２から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記変換手段は、光学パラメータおよび撮像素子パラメータの少なくともいずれかに基づいて、前記距離情報を前記ぼけサイズに変換する、
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記合成手段は、前記画像生成手段が生成したぼけ画像を、距離情報に応じた合成比率で合成する、
請求項１から１１のいずれか１項に記載の画像処理装置。
【請求項１３】
撮像手段と、
請求項１から１２のいずれか１項に記載の画像処理装置と、
を備え、
前記画像処理装置が、前記撮像手段によって撮影された画像に対しぼけを付加する、
撮像装置。
【請求項１４】
画像に対して、当該画像に対応する奥行き距離を示す距離情報を用いて、ぼけを付与する画像処理装置における画像処理方法であって、
前記距離情報をぼけサイズの情報に変換する変換ステップと、
前記画像を、同じぼけサイズを有する複数の画像領域に分割する分割ステップと、
前記複数の画像領域毎に、前記ぼけサイズでぼかし処理を施してぼけ画像を生成する画像生成ステップと、
前記画像生成ステップにおいて生成された複数のぼけ画像を合成する合成ステップと、
を含む、画像処理方法。
【請求項１５】
前記変換ステップでは、前記距離情報から変換されたぼけサイズに対して、値の範囲を複数の範囲に分割して、各範囲に属するぼけサイズを１つの代表値で代表させる離散化処理を施す、
請求項１４に記載の画像処理方法。
【請求項１６】
前記離散化処理における分割の数は、あらかじめ定められた数である、
請求項１５に記載の画像処理方法。
【請求項１７】
前記離散化処理における分割の数は、ユーザによって指定された数である、
請求項１５に記載の画像処理方法。
【請求項１８】
前記離散化処理における分割の数は、前記距離情報から変換された前記ぼけサイズの分布から決定される、
請求項１５に記載の画像処理方法。
【請求項１９】
前記離散化処理における前記複数の範囲は、あらかじめ定められている、
請求項１５から１８のいずれか１項に記載の画像処理方法。
【請求項２０】
前記離散化処理における前記複数の範囲は、前記距離情報から変換された前記ぼけサイズの分布から決定される、
請求項１５から１８のいずれか１項に記載の画像処理方法。
【請求項２１】
前記離散化処理における前記複数の範囲のそれぞれの代表値は、当該範囲に含まれる値のいずれかの値である、
請求項１５から２０のいずれか１項に記載の画像処理方法。
【請求項２２】
前記離散化処理における前記複数の範囲のそれぞれの代表値は、当該範囲に含まれるぼけサイズの中央値、平均値、最頻値、最小値、最大値のいずれかである、
請求項１５から２０のいずれか１項に記載の画像処理方法。
【請求項２３】
前記離散化処理において、ぼけサイズ０を含む範囲の代表値は０である、
請求項１５から２２のいずれか１項に記載の画像処理方法。
【請求項２４】
前記変換ステップでは、光学パラメータおよび撮像素子パラメータの少なくともいずれかに基づいて、前記距離情報を前記ぼけサイズに変換する、
請求項１４から２３のいずれか１項に記載の画像処理方法。
【請求項２５】
前記合成ステップでは、前記画像生成ステップにおいて生成されたぼけ画像を、距離情報に応じた合成比率で合成する、
請求項１４から２４のいずれか１項に記載の画像処理方法。
【請求項２６】
請求項１４から２５のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【請求項２７】
請求項２６に記載のコンピュータプログラムを非一時的に保持するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理に関し、特に画像にぼけ付加を行う画像処理方法及び装置に関する。
【背景技術】
【０００２】
カメラの撮影テクニックの一つに、被写体以外の部分（背景等）を意図的にぼけさせることで、注目する被写体を際立たせるという撮影手法が知られている。しかし、コンパクトカメラでは撮像素子のサイズが小さい等の理由により、被写界深度を浅くすることができず、十分なぼけをつくることができないという課題がある。そこで最近では、デジタル画像処理によって後からぼけを付加することで、背景等がぼけた画像を生成する技術が提案されている。例えば特許文献１のぼかし発生装置では、撮影画像と距離マップを用いて、等距離範囲毎にたたみ込み処理によるぼかし処理を行い、距離境界で特別な処理をしながら合成することで効率良くぼかし画像を生成している。また、特許文献２には、奥行き値（距離マップ）に基づいてぼかし処理の対象画素を決定し、そのテクスチャ画像を所定量ずらすことで効率良くぼかし画像を生成する画像生成システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２５７６６号公報
【特許文献２】特開２００１−１６０１５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の方法は、領域の分割に最小の奥行きと最大の奥行きとにより定義することで分割しているが、前ぼけと後ぼけについて特別な記述はなく、考慮されていない。なお、「前ぼけ」「後ぼけ」は、ピント位置よりも手前または奥側に被写体が存在することによってぼける効果が生じることを意味する。
【０００５】
一方、特許文献２は、ピント位置から後側および前側に同じ距離だけ離れている領域を同時にぼかし処理することで、後ぼけと前ぼけを同時に計算できることを開示している。しかし、物体距離によって折り返した場合には不自然なぼけ画像が得られるという課題がある。これは距離変化に対するぼけサイズの変化量が、後ぼけと前ぼけで同一でないために、前ぼけが想定より小さくなってしまうことが原因である。
【０００６】
従って、従来技術ではぼけサイズは前ぼけと後ぼけで同じサイズとなることがあるにも関わらず、正しいぼけサイズでかつ効率的に計算できないという問題があった。
【０００７】
本発明は上記実情に鑑みなされたものであって、その目的とするところは、距離マップに応じた適正なぼけ量のぼかし処理を、より少ない計算量で実施可能な技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に掛かる画像処理装置は、画像に対して、当該画像に対応する奥行き距離を示す距離情報を用いて、ぼけを付与する画像処理装置であって、前記距離情報をぼけサイズの情報に変換する変換手段と、前記画像を、同じぼけサイズを有する複数の画像領域に分割する分割手段と、前記複数の画像領域毎に、前記ぼけサイズでぼかし処理を施してぼけ画像を生成する画像生成手段と、前記画像生成手段によって生成された複数のぼけ画像を合
成する合成手段と、を備える。
【０００９】
本発明に係る画像処理方法は、画像に対して、当該画像に対応する奥行き距離を示す距離情報を用いて、ぼけを付与する画像処理装置における画像処理方法であって、前記距離情報をぼけサイズの情報に変換する変換ステップと、前記画像を、同じぼけサイズを有する複数の画像領域に分割する分割ステップと、前記複数の画像領域毎に、前記ぼけサイズでぼかし処理を施してぼけ画像を生成する画像生成ステップと、前記画像生成ステップにおいて生成された複数のぼけ画像を合成する合成ステップと、を含む。
【００１０】
本発明に係るコンピュータプログラムは、本発明に係る画像処理方法の各ステップを画像処理装置に実行させるコンピュータプログラムである。
【発明の効果】
【００１１】
本発明によれば、距離マップに応じた適正なぼけ量のぼかし処理が、より少ない計算量で実施可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施形態にかかる画像処理装置の構成を示すブロック図。
【図２】実施形態にかかる画像処理装置の動作を示すフローチャート。
【図３】ぼけサイズの決定方法および距離とぼけサイズの関係の例を示す図。
【図４】離散化処理における分割数の決定方法を説明する図。
【図５】離散化処理を説明する図。
【図６】撮影画像と距離マップからぼけ画像を生成する方法を説明する図。
【発明を実施するための形態】
【００１３】
図１は、本発明の実施形態に係る撮像装置の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。
【００１４】
撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。
【００１５】
画像処理装置１３は、信号処理部１３０、メモリ１３１、距離マップ生成部１３２、データ取得部１３３、ぼけサイズ変換部１３４、画像領域分割部１３５、ぼけ画像生成部１３６、画像合成部１３７などを有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能である。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離計測（距離マップ生成）などに供される。
【００１６】
距離マップ生成部１３２は、撮影画像の奥行き距離を示す距離マップを生成する。距離マップの生成方法として、撮影条件を変えて撮影したぼけの異なる画像を用いる方法（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）や、視差の異なる撮影画像を用いる方法（ステレオ法）が挙げられる。その他にもＴｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ法やＤｅｐｔｈ  Ｆｒｏｍ  Ｆｏｃｕｓなどの方法で奥行き距離を計算しても良い。また奥行き距離を表す距離情報は、撮像措置と被写体との間の実際の距離である必要はなく、像側の情報（デフォーカス量等）や視差情報そのものでも構わない。距離マップ生成部１３２で生成された距離マップは記憶部１４などに格納される。
【００１７】
データ取得部１３３は、ぼけ付加処理の対象となる撮影画像のデータを記憶部１４から読み込む機能（画像取得機能）と、当該撮影画像に対応する距離マップのデータを記憶部１４から読み込む機能（距離マップ取得機能）を有する。また、データ取得部１３３は、ぼけ付与のために設定される光学パラメータおよび撮像素子パラメータ等のデータも取得する。
【００１８】
ぼけサイズ変換部１３４は、付加したいぼけの条件に応じて、距離マップのデータをぼけサイズ（ぼかし量）に変換する機能を有する。画像領域分割部１３５はぼけサイズ変換部１３４にて決定されたぼけサイズでぼかし処理（ぼけ付加処理）の対象領域を、それぞれのぼけサイズに応じて分割する機能を有する。画像領域分割部１３５は、同じ領域内ではぼけサイズが同じになるように領域分割を行う。ぼけ画像生成部１３６は、画像領域分割部１３５で分割されたそれぞれの画像領域毎に、その画像領域のぼけサイズのぼかし処理を施して、ぼけが付加されたぼけ画像を生成する機能を有する。画像合成部１３７はそれぞれのぼけ付加処理された画像領域を合成し、ぼけサイズの異なるぼけ付加処理画像（ぼけ画像）を生成する機能を有する。画像処理装置１３の詳細については後述する。
【００１９】
記憶部１４は、撮影画像のデータ、距離マップのデータ、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリやＤＲＡＭなどが好ましい。入力部１５はユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。
【００２０】
次に、画像処理装置１３の動作について、図２のフローチャートを利用しながら詳細に説明する。図２は図１の画像処理装置１３を用いて、ぼけ付加処理の対象となる画像と距離マップを取得するところから、ぼけ付加された画像を生成し、記録・表示するまでの処理を示すフローチャートである。
【００２１】
ステップＳ２０では、データ取得部１３３は、ぼけ付加処理の対象となる画像、この画像に対応する距離情報のデータ、及びぼけ付与のために設定される所定の光学パラメータ及び撮像素子パラメータ等のデータを取得する。光学パラメータは焦点距離、開口サイズ（またはＦナンバー）を含み、撮像素子パラメータは、撮像素子のサイズ、画素数（または画素ピッチ）を含む。これらは撮影時の設定のものを使用してもよいし、任意に設定されたものでも構わない。また後述されるように必ずしもパラメータが必要である訳ではない。
【００２２】
ステップＳ２１では、ぼけサイズ変換部１３４が、ぼけ付加処理の対象となる画像に対応する距離情報を、ぼけサイズに変換する。その一例を以下に示す。
【００２３】
図３（Ａ）は、ピント位置から外れた距離の像面におけるぼけ量（ぼけサイズｒ）を示している。図３（Ａ）において、ｄｏはステップＳ２０で取得された距離情報に相当し、ｄｓはその距離における結像位置、ｄｏｂｐはピント位置（物体側）、ｄｓｂｐはピント位置における結像位置、Ｄは開口サイズ、ｄｉはデフォーカス量（像面側）を示す。また
光学系の焦点距離をｆ、ＦナンバーをＦｎｏとする。
【００２４】
ぼけサイズｒは、図３（Ａ）の幾何学的な関係、及び、
【数１】
2015043495.tif 000003
の関係から、以下のようになる。
【数２】
2015043495.tif 000004
【００２５】
（２）式及び（３）式より、ピント位置ｄｏｂｐと距離情報ｄｏとから、像面側のデフォーカス量ｄｉを算出できる。そして、デフォーカス量ｄｉと距離情報ｄｏを（１）式に代入することで、距離情報におけるぼけサイズｒを決定することができる。ぼけサイズｒが導出できれば、撮像素子の条件から、ぼけサイズ（ぼかし量）を一意に決定することができる。横軸に距離、縦軸にぼけサイズを表した場合、上記処理により例えば図３（Ｂ）のように距離情報とぼけサイズの関係が導出できる。本図より分かるように、距離情報とぼけサイズの変化量は一定ではないために、ピント位置からの距離が同じであっても前側と後側でぼけサイズが異なる。すなわち、ピント位置からの距離（絶対値）に基づいてぼけサイズを決定すると、正しいぼけサイズが得られない。さらにぼけサイズとして得られた情報は前ぼけ、後ぼけの区別がなくなっている。
【００２６】
なお、ぼけサイズ変換部１３４は、必ずしも上記のような計算式により、ぼけサイズを算出する必要はない。異なる算出式に基づいて算出してもよいし、与えられる条件下における変換テーブルをあらかじめ用意しておき、変換テーブルを参照して距離情報をぼけサイズに変換してもよい。
【００２７】
ステップＳ２１の処理により、距離情報がぼけサイズに変換されるが、ここで同時に指定した数に離散化することも好ましい。つまり、距離情報から変換されたぼけサイズが取り得る値の範囲を複数に分割して、それぞれの範囲に属するぼけサイズを１つの代表値で代表させることが好ましい。このような離散化によって、ぼけサイズが取りうる値の数が減る。後述するようにぼかし処理はぼけサイズ毎に行われるので、ぼかし処理を行う回数が減り、計算量を削減することができる。
【００２８】
離散化処理における分割数は、あらかじめ記憶部１４に定められた値を保持していてもよいし、入力部１５によりユーザが指定しても構わない。また、上記分割数は、ぼけサイズ変換部１３４が、距離情報から変換された離散化前のぼけサイズの情報の分布に応じて決定してもよい。例えば図４（Ａ）のようなヒストグラムで表されるデータであった場合、データ数の山の数に合わせて離散化数を４とすることが考えられる。図４（Ｂ）のようなデータであった場合、離散化数は２となる。もちろん、分割数は必ずしもヒストグラム
における山の数と同一である必要はなく、それよりも少なくても多くてもよい。計算時間や計算リソースの観点から上限数を決められ、その中で効率良く計算するために最適化することも可能である。
【００２９】
上記の離散化処理はあるぼけサイズ範囲が同一のぼけサイズ（代表値）に変換する処理である。図５は、離散化処理の一例を示しており、横軸はぼけサイズの入力値、縦軸をぼけサイズの出力値である。ここでは、入力値の範囲が６つの領域に分割され、それぞれの範囲内の入力値は、同一のぼけサイズに変換される。ＢＲ０〜５は、同一のぼけサイズとして出力される入力データの範囲を、ぼけサイズの小さい方から表す。ＢＳ０〜５は、ＢＲ０〜５の各範囲に対応する代表値を表している。
【００３０】
離散化処理において同一の代表値に変換される入力値の範囲は、あらかじめ定められていてもよい。すなわち、あらかじめ用意された変換式や変換テーブルに基づいて離散化することが考えられる。また、上述のように離散化処理における分割数を動的に決定し、さらに各範囲を、等間隔としたり、ぼけサイズに比例して大きくしたりして決定することが考えられる。また距離情報から変換され離散化前のぼけサイズ情報の分布から、各範囲を決定してもよい。例えば、各ぼけサイズの範囲内のデータの分散（クラス内分散）がより小さく、かつ範囲間のぼけサイズの分散（クラス間分散）がより大きくなるように、各ぼけサイズの範囲を決定していく手法が挙げられる。
【００３１】
上記範囲のそれぞれについての代表値は、各範囲に含まれるぼけサイズ（離散化前）のいずれかの値を採用することができる。また、各範囲の代表値として、各範囲内に含まれるぼけサイズ（離散化前）の中央値、平均値、最頻値、最小値、最大値を採用することが考えられる。具体的にはＢＲ０の範囲となる全入力データからＢＳ０が計算される。ＢＲ１〜５およびＢＳ１〜５も同様である。また、代表値を各範囲で同一の基準で決定する必要はない。例えば、ＢＳ０（ぼけサイズ０を含む範囲）のみ他とは異なり、最小値つまり０を代表値としてもよい。こうした場合にはＢＲ０に相当していたデータは、ぼかし処理によってぼけが付与されず、撮影時の画像のデータそのもののベストピントの画像となる。また、ＢＲ０の代表値を０とすることで、ぼかし処理を行う回数を１回少なくすることができるという利点もある。
【００３２】
ステップＳ２２では、画像領域分割部１３５が、ぼけサイズ変換部１３４が変換したぼけサイズ（離散化後）に基づいて撮影画像の領域分割をする。図６は、距離データ８２をぼけサイズ８３に変換し、撮影画像８１と合わせて領域分割処理の一例を示している。本例ではオブジェクト８１２がピント位置にあり、オブジェクト８１１がピント位置より前に、オブジェクト８１３がピント位置より後ろにある。またそれ以外の領域は背景として、オブジェクト８１３よりも後ろにある。ステップＳ２１の処理によって撮影画像とその画素またはその領域に対応したぼけサイズ８３が分かっている。画像領域分割部１３５は、同じぼけサイズを有する領域に撮影画像８１を分割する。領域８４（白抜き部分）は、ぼけサイズＢＳ０を有する領域として分割された領域である。同様に、領域８５および８６は、ぼけサイズＢＳ１およびＢＳ２を有する領域として分割された領域である。領域８４を見ると分かる様にオブジェクト８４２のみの情報が切り取られ、その他は情報を持たない状態となっている。同様に領域８５ではオブジェクト８５１とオブジェクト８５３のみの情報が、領域８６では背景の情報のみが切り取られた状態である。以上のように同一のぼけサイズを有する領域のみを含むように分割された画像をそれぞれ生成する。これはすなわち同一のぼけサイズが付加される画像を表している。
【００３３】
ステップＳ２３では、ぼけ画像生成部１３６が、ステップＳ２２において分割された画像領域毎に、それぞれのぼけサイズ（ぼかし量）に応じたぼかし処理を行う。ぼかし処理の方法はたたみ込み演算や画像の拡大縮小等あるが、どのような方法を用いてもよい。ぼ
かし処理では、規定されたぼけサイズに応じて周囲の画素との重み付け平均されればその手法は問わない。また、ぼけの形状も自由で構わない。図６では、領域８４，８５，８６それぞれにぼかし処理を行い、領域ぼかし処理結果８７，８８，８９が得られている。
【００３４】
ステップＳ２４では、画像合成部１３７が、図６におけるそれぞれの領域ぼかし処理結果８７、８８，８９を合成する。合成はただ和を取ってもよいが、各領域の境界部の合成比率を距離情報のデータ及び光学パラメータ、撮像素子パラメータ等から算出することで、より高品質に合成できる。
【００３５】
同じサイズの前ぼけと後ぼけについて同時にぼかし処理して効率化を図ることが好ましいが、合成時には前ぼけと後ぼけを区別して合成することが好ましい。つまり距離データ８２の情報から領域ぼかし処理結果８８のオブジェクト８８１と８８３は同じぼけサイズではあるが異なる距離（前ぼけと後ぼけ）であるため、合成処理時に異なる合成方法を行うことでより高品質な画像を生成することができる。ただし、必ずしも前ぼけと後ぼけを合成時に考慮する必要はなく、前ぼけを後ぼけと同時に合成することもできる。
【００３６】
以上述べた本実施形態の方法によれば、前ぼけと後ぼけ両方を含むぼかし処理を行う場合にぼけサイズを基準に領域を分割したことにより、前ぼけと後ぼけを区別せずにそれぞれの正しいぼけサイズに対応したぼかし処理を行うことができる。これにより、計算量を大幅に削減することができる。
【００３７】
（変形例）
上記では、撮影画像と距離マップを撮影する撮像装置を例に説明したが、本発明では画像と距離マップが取得可能であればその方法は任意であり、必ずしも撮影により取得しなくても良い。例えば、本発明の一実施例は、撮影画像と距離マップとを、記憶媒体やネットワーク経由で取得し、取得された撮影画像と距離マップとに上記で説明した処理を施す画像処理装置である。
【００３８】
さらに、ぼけ付与の対象となる画像は必ずしも実際に撮影された画像である必要もない。例えば、画像は３次元コンピュータグラフィックスにより生成されたものであっても良い。この場合、距離マップは仮想カメラから被写体までの距離を表すものである。
【００３９】
上述した本発明の技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）、クラウド環境におけるサーバーにも本発明の技術を適用可能である。なお、上記装置への具体的な実装は、ソフトウェア（コンピュータプログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各処理を実現してもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。
【００４０】
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデ
バイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００４１】
１３    画像処理装置
１３４  ぼけサイズ変換部
１３５  画像領域分割部
１３６  ぼけ画像生成部
１３７  画像合成部
【図１】
2015043495.tif 000005
【図２】
2015043495.tif 000006
【図３】
2015043495.tif 000007
【図４】
2015043495.tif 000008
【図５】
2015043495.tif 000009
【図６】
2015043495.tif 000010