(57)【要約】  画像処理装置は、撮影画像を、物体（（Ｂ）１００１Ｂ）の領域と奥行情報に示される距離が第１領域より小さい物体（（Ａ）１００１Ａ）の領域とに分離する。そして、物体（（Ｂ）１００１Ｂ）内の画素であって分離前に物体（（Ａ）１００１Ａ）の領域との境界周辺に在る画素を、物体（（Ｂ）１００１Ｂ）外方の境界周辺に複製することにより拡張領域（（Ｂ）５００１Ｂ）を生成する。その後、拡張領域（（Ｂ）５００１Ｂ）および物体（（Ａ）１００１Ａ）の領域に対しては、物体（（Ａ）１００１Ａ）の領域の奥行情報に示される距離に基づくぼかし処理を行う。ぼかし処理後、拡張領域（（Ｂ）５００１Ｂ）を構成する画素毎に、その画素の値と前記物体（（Ａ）１００１Ａ）の領域内の当該画素に相当する位置にある画素の値とを合成する。
2013136403.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、
前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、
前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、
前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成手段は、前記拡張領域を構成する画素の位置が第１領域から離れるにしたがって、当該拡張領域の画素の値の合成比率を低くし前記第２領域内の画素の値の合成比率を高くする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段による合成比率は、合成しようとする画素において前記ぼかし処理に用いたぼかしフィルタの適用範囲が、分離前の撮影画像において占める第１領域と第２領域との面積比に基づく
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記分離手段、拡張手段、ぼかし処理手段および合成手段による処理を繰り返すことにより、ぼかし効果を調整する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ぼかし処理を重ねて繰り返すことにより、ぼかし効果を調整する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記拡張手段は、前記複数の領域のうちで対象とする一の領域について、奥行情報に示される距離がより小さい他の領域と分離前に隣接していたかを探索し、隣接していたならば、前記一の領域内の画素であって分離前に前記他の領域との境界周辺に存する画素を、当該一の領域外方の前記境界周辺に複製することにより拡張領域を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、
前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、
前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、
前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、
を備えることを特徴とする集積回路。
【請求項８】
コンピュータにぼかし効果処理を実行させるプログラムであって、
前記ぼかし効果処理は、
撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離ステップと、
前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張ステップと、
前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理ステップと、
前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成ステップと、
の各ステップを含むことを特徴とするプログラム。
【請求項９】
ステレオカメラの撮像ユニットと、
表示ユニットと、
請求項８に記載のプログラム、前記ステレオカメラが撮影した左右の撮影画像を格納するためのメモリと、
メモリに格納された左右の撮影画像に基づき画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記左右の撮影画像のうちの少なくとも一方の撮影画像を対象として請求項８に記載のぼかし効果処理を行うＤＳＰと、
前記ステレオカメラが撮影した左右の撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、
を備えることを特徴とする撮像装置。
【請求項１０】
１眼カメラの撮像ユニットと、
表示ユニットと、
前記撮像ユニットが撮影する被写体に対する距離を画素毎に測定する距離センサユニットと、
請求項８に記載のプログラム、前記１眼カメラが撮影した撮影画像、および前記距離センサユニットが測定した画素毎の距離を格納するためのメモリと、
メモリに格納された撮影画像と画素毎の距離とに基づき、画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記撮影画像を対象として請求項８に記載のぼかし効果処理を行うＤＳＰと、
前記１眼カメラが撮影した撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、
を備えることを特徴とする撮像装置。
【請求項１１】
表示ユニットと、
請求項８に記載のプログラム、撮影画像、および前記撮影画像の画素毎の奥行情報を示す奥行画像を格納するメモリと、
前記撮影画像を対象として請求項８に記載のぼかし効果処理を行うＤＳＰと、
前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、
を備えることを特徴とする表示装置。
【請求項１２】
撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし処理を施しぼかし画像を生成するぼかし処理手段と、
生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像にぼかし処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし処理の重ねがけを繰り返す重ねがけ処理手段と、
を備えることを特徴とする画像処理装置。
【請求項１３】
コンピュータにぼかし効果処理を実行させるプログラムであって、
前記ぼかし効果処理は、
撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし処理を施しぼかし画像を生成するぼかし処理ステップと、
生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像にぼかし処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし処理の重ねがけを繰り返す重ねがけ処理ステップと、
の各ステップを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像にレンズのボケ効果を付加した画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
従来から、大口径レンズのカメラで撮影する際には、注目する被写体に焦点を当てつつ、距離の異なる被写体などには意図的に適度なボケを付けて撮影することが行われる。このようなボケにより、注目する被写体を際立たせたり、画像全体にやらわかな印象を与えたりといった効果（ボケ効果）をもたらすことができる。【０００３】
ボケ効果を付加した画像の生成に際しては、「隠れ面効果」を考慮するとよりよいことが知られており、計算機により生成した画像に対して「隠れ面効果」を考慮したレンズのボケ画像を生成しているものがある（例えば、特許文献１参照）。図１７は、この特許文献１に記載された原理説明図である。【０００４】
「隠れ面効果」とは、本来レンズの中心を通しては映り込まない物体の背後にある領域の映像が、レンズの外縁部からレンズの屈折によって回り込んで撮像面に投影されるぼかし効果のことである。図１８に示すように、被写体ＣのポイントＣ１は、被写体Ｂの遮蔽領域になるためレンズの中心を通って撮像面に到達することはないが、レンズの外縁部から回り込んで撮像面に投影されることがわかる。【０００５】
このとき、特許文献１の技術では、ピンホールカメラモデル等に基づいて生成された入力画像と奥行き画像を取得し（図１７：処理１１）、ボケ効果の画素を計算し（処理１２）、ボケの範囲に属する各画素に入射する光線の方向を計算し（処理１３）、各画素において光線の方向毎に隠れ面処理の計算を行い（処理１４）、その結果の平均を求めて出力画素値としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平７−１２１６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
この従来の手法では、コンピュータグラフィックス分野において、ピンホールカメラモデル等によりシミュレートされた画像を取得する場合であるので、視点からは陰になって見えない部分の処理（隠れ面処理）を行うことができる。【０００８】
ところで、現実に撮影した場合を考えると、大口径レンズのカメラで撮影したときはともかくとして、特に小口径レンズのカメラで現実に撮影したときには、図１８のような光の回り込みが極少ないので、視点から陰になって見えない領域（遮蔽領域）は撮影画像に含まれていたとしても非常に少なく、隠れ面効果を適切に表現することは難しい。【０００９】
本発明は、このような課題に鑑みてなされたものであって、現実に撮影した画像を対象として、隠れ面効果を含むボケ効果を付加することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像処理装置は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
この構成によれば、現実に撮影した画像を対象として、隠れ面効果を含むボケ効果を付加することができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１における画像処理装置のブロック図
【図２】撮影画像の被写体の距離関係を示す図
【図３】分離処理の例を示す図
【図４】拡張処理の概念図
【図５】拡張処理の例を示す図
【図６】合成処理の例を示す図
【図７】実施の形態１の変形例１に係る画像処理装置を示す図
【図８】実施の形態１の変形例２に係る画像処理装置を示す図
【図９】実施の形態２における画像処理装置の全体フロー図
【図１０】拡張処理のフロー図
【図１１】ぼかし処理のフロー図
【図１２】合成処理のフロー図
【図１３】拡張処理の他の例を示す図
【図１４】２眼カメラを備える撮像装置を示す図
【図１５】１眼カメラと距離センサユニットを備える撮像装置を示す図
【図１６】表示装置を示す図
【図１７】従来の原理説明図
【図１８】隠れ面効果の説明図
【発明を実施するための形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
（実施の形態１）
図１は、実施の形態１における画像処理装置のブロック図である。
【００１５】
図２は、実施の形態１で例示する物体とカメラの位置関係及び、このとき撮影された画像である原画像１００１と奥行画像１００２を示す。奥行画像１００２はいわゆるデプスマップとも呼ばれるものであり、カメラから見た各物体までの距離を示す奥行情報を含んでいる。奥行画像１００２では、奥行（Ａ）１００２Ａ、奥行（Ｂ）１００２Ｂ、奥行（Ｃ）１００２Ｃの順にカメラから遠くなっている。
【００１６】
図１に示すように、画像処理装置１００は、分離処理部１００３、拡張処理部１００４、ぼかし処理部１００５および合成処理部１００６を含む。
【００１７】
＜分離処理＞
分離処理部１００３は、奥行画像１００２の奥行情報に示される距離が同一の奥行き毎に、原画像１００１を分離する。  例えば、図３に示す原画像１００１は、物体（Ａ）１００１Ａの領域を含む分離画像（Ａ）３００１Ａ、物体（Ｂ）１００１Ｂの領域を含む分離画像（Ｂ）３００１Ｂ、背景（Ｃ）１００１Ｃの領域を含む分離画像（Ｃ）３００１Ｃに分離される。
【００１８】
＜拡張処理＞
図１の拡張処理部１００４は、各分離画像の物体の領域（領域Ｂとする。）について、分離前に他の物体（よりカメラに近い物体に限る。）の他の領域（領域Ａとする。）と接していた境界部分を探索する。探索されれば、その境界部分における領域Ｂの画素を、分離前に領域Ａが存在していた側へ向けて複製することで拡張する（画素拡張）。拡張により生成された拡張領域は、領域Ｂの画素から構成されることとなる。
【００１９】
図４に用いて拡張の基本的な考え方を説明する。図４（ａ）に示すように、奥行情報に示される距離が大きくカメラからより離れた領域Ｂと、奥行情報に示される距離が小さくカメラにより近い領域Ａが分離前の原画像において隣接していたとする。
【００２０】
この場合、拡張処理部１００４は、領域Ｂ内の境界部分に並ぶ画素の値をその境界を超えた外側に所定個数ずつコピーすることで拡張領域を生成する。なお、拡張領域の幅は、後に続くぼかし処理において、領域Ａ内の領域に対して適用予定のぼかしフィルタの半径の大きさとする。
【００２１】
図５に、分離画像（Ｂ）３００１Ｂを対象とした画素拡張について例を示す。ここでは、わかり易くするため、分離前において物体（Ｂ）１００１Ｂに隣接しかつよりカメラに近い物体（Ａ）１００１Ａの領域を２点鎖線で示し、両物体の領域のＬ字状した境界を極太線で示している。
【００２２】
このとき、この２点鎖線で囲まれた領域内には、物体（Ｂ）１００１Ｂが物体（Ａ）１００１Ａによって遮蔽された領域があると推定され、この遮蔽領域を隠れ面効果の計算で使用したいところであるが、撮影画像には存在しない。そこで、物体（Ｂ）１００１Ｂの遮蔽領域の情報については、撮影画像には写っていないが物体（Ｂ）１００１Ｂが物体（Ａ）１００１Ａにより遮蔽されている推定する。この推定を基に、物体（Ａ）１００１Ａとの境界画素を画素拡張することによって、遮蔽領域の画素の情報を作り出すのである。
【００２３】
このようにして拡張された領域が拡張領域（Ｂ）５００１Ｂである。なお、拡張領域（Ｂ）５００１Ｂの幅は、物体（Ｂ）１００１Ｂを遮蔽していた物体（Ａ）１００１Ａの領域の奥行（Ａ）１００２Ａの距離に対応するぼかしフィルタの半径の大きさとする。
【００２４】
なお、拡張領域（Ｂ）５００１Ｂの生成は、物体（Ａ）１００１Ａの領域に対しては特に影響を与えない。図５に示すように、分離画像（Ａ）３００１Ａの物体（Ａ）１００１Ａの領域の一部は、拡張領域（Ｂ）５００１Ｂと重複する位置関係にある。例えば、図５中の画素位置Ｐは、分離画像（Ｂ）３００１Ｂでは拡張領域（Ｂ）５００１Ｂ内に位置し、かつ分離画像（Ａ）３００１Ａ（図６参照）では物体（Ａ）１００１Ａの領域内に位置することとなる。
【００２５】
＜ぼかし処理＞
続いて、ぼかし処理部１００５は、各分離画像についてその奥行情報が示す距離に対応するぼかしフィルタを選択し、各分離画像にぼかし処理を施す。ただし、拡張処理１００４で拡張された領域は、後に遮蔽している物体との合成時に使用する領域であるため、遮蔽している物体の奥行情報に対応するぼかしフィルタを用いてぼかし処理を施す。
【００２６】
ぼかしフィルタの選択方法は一般的な手法を用いることができ、ぼかし処理部１００５は、奥行情報やその他の値（例えば、撮影画像の絞り値、焦点距離など）に基づいて、ぼかしフィルタの半径などぼかしフィルタの設定値を決定する。
【００２７】
例を挙げると、ぼかし処理部１００５は、分離画像（Ｂ）３００１Ｂの物体（Ｂ）１００１Ｂの領域に対しては、物体（Ｂ）１００１Ｂの領域の奥行（Ｂ）１００２Ｂの距離に基づいて、ぼかしフィルタを選択しぼかし処理（第１ぼかし処理）を行う。
【００２８】
また、ぼかし処理部１００５は、分離画像（Ｂ）３００１Ｂの拡張領域（Ｂ）５００１Ｂ、および分離画像（Ａ）３００１Ａの物体（Ａ）１００１Ａの領域に対しては、物体（Ａ）１００１Ａの領域の奥行（Ａ）１００２Ａの距離に基づいて、ぼかしフィルタを選択しぼかし処理（第２ぼかし処理）を行う。
【００２９】
＜合成処理＞
合成処理部１００６は、全ての分離画像を合成してぼかし画像１００７として出力する処理を行う。特に、拡張領域においては画素毎に合成比率を変更して合成を行う。この合成比率は、合成しようとする画素においてぼかし処理に用いたぼかしフィルタの適用範囲が、分離前の画像において占める第１領域と第２領域との面積比に基づく。
【００３０】
図６に例を示すように、画素位置Ｐの合成では、画素位置Ｐを中心としたぼかしフィルタの適用範囲において、分離前の画像において奥行（Ｂ）１００２Ｂが占める面積と奥行（Ａ）１００２Ａが占める面積の比率を、ぼかし処理を施した分離画像（Ｂ）３００１Ｂと分離画像（Ａ）３００１Ａの合成比率とする。
【００３１】
例えば、この面積の比率が２０：８０ならば、
画素位置Ｐにおける画素値＝
分離画像（Ｂ）３００１Ｂの画素位置Ｐの（ぼかしフィル適用済みの）画素値×０．２
＋分離画像（A）3001A（図3参照）の画素位置Pの（ぼかしフィル適用済みの）画素値×０．８
となる。
【００３２】
なお、両物体の境界から離れるにしたがって、ぼかしフィルタの適用範囲において、奥行（Ｂ）１００２Ｂが占める面積が段々小さくなるので、境界から離れるほど、拡張領域に生成した画素の値の影響を小さくすることができ、自然な隠れ面効果を期待できる。
【００３３】
以上説明したように、本実施の形態によれば、撮影画像には本来存在しない遮蔽領域の画像を、遮蔽されたであろう物体の領域の画素を用いて生成することができ、奥行に段差のある物体輪郭部において隠れ面効果を考慮したレンズのボケ画像を生成することが可能となる。
【００３４】
なお、拡張処理部１００４の拡張処理における画素拡張は、図４に示した手法以外にも、境界近くの画素パターンをコピー（図１３（ａ）参照）や折り返し（図１３（ｂ）参照）するなどして拡張しても良い。
【００３５】
また、画素拡張は、図１３(c)に示すように、１つの画素に対して、複数の画素の値を複製した後の平均値を用いるとしてもよい（図１３(c)参照）。
【００３６】
図１３(a)〜(c)の手法によれば、より自然な拡張領域の画像を生成することが可能となる。
【００３７】
また、ここで適用しているぼかしフィルタの形状は、円形の代わりに四角形、六角形、八角形や星型など他の形状を用いても良い。
【００３８】
また、図７の画像処理装置１０００ａに示す構成にすることによって、ぼかし処理結果にさらにぼかし処理を１回以上重ねがけるようにしても良い。例えば、実装コスト削減のためにぼかし処理に適用するフィルタサイズの上限を低めに設定したとする。この場合、上述のように、ぼかしフィルタは、奥行情報などに基づいて決定されるが、フィルタサイズの上限は制約されることとなる。
【００３９】
このとき、フィルタサイズを超えるぼかし処理ができなくなるが、このようなフィルタの重ねがけをすることで、回数を重ねる度にぼかし効果の範囲や程度を大きくすることが可能となる。また、当然ながら実装コストも削減することが可能となる。
【００４０】
また、図８の画像処理装置１０００ｂに示す構成にすることによって、ぼかし処理を１回以上重ねがけるようにしても良い。図８のフローでは、重ねがけ回数に満たない間は、分離処理部１００３は、合成処理部１００６が前回合成した画像を再び分離することとなる。
【００４１】
例えば、実装コスト削減のためにぼかし処理に適用するフィルタサイズの上限を低めに設定したとする。この場合、フィルタサイズを超えるぼかし処理ができなくなるが、このようなフィルタの重ねがけをすることで、回数を重ねる度にぼかし効果の範囲や程度を大きくすることが可能となる。また、当然ながら実装コストも削減することが可能となる。
【００４２】
（実施の形態２）
図９は、実施の形態２における画像処理プログラムの処理フローの全体像である。
【００４３】
画像処理プログラムは、コンピュータにぼかし効果処理（分離処理、拡張処理、ぼかし処理、合成処理を含む。）を実行させるプログラムであり、全体的には、原画像１００１から奥行画像１００２の同一の奥行である画像のみを分離画像として抽出し、この分離画像の単位で分離処理Ｓ９２，拡張処理Ｓ９３，ぼかし処理Ｓ９４、合成処理Ｓ９５を繰り返し処理する。
【００４４】
なお、合成処理結果の画像は小数を含むデータとして生成されるため、全ての分離画像について処理が完了した後に、画像を整数に変換して最終的にぼかし画像１００７を生成する。
【００４５】
以下に、図９における各処理について詳細を説明する。
【００４６】
初期化Ｓ９１は、ループで処理する分離画像の奥行番号ＮをＮ＝０に初期化、合成比率マッピング表の作成、拡張領域の初期化を含む処理である。
【００４７】
合成比率マッピング表は、画素毎にどの奥行番号の画像をどの割合で合成するかを対応付けする表であり、奥行き画像１００２において各画像位置の奥行きに対応したフィルタ適用範囲内でどの奥行番号がどの割合含まれているかという情報を保持する。
【００４８】
分離処理Ｓ９２は、原画像１００１から奥行画像１００２中の奥行番号がＮである位置の画像を原画像１００１から取得して分離画像を生成する。ただし、奥行画像内に奥行番号Ｎのデータが存在しない場合、奥行番号Ｎをインクリメントして次の奥行画像を取得する。
【００４９】
図９の拡張処理Ｓ９３について図１０を用いて説明する。
【００５０】
処理する画素位置及び領域拡張マップを初期化（Ｓ１０１）した後、拡張領域を探索するループに入る。
【００５１】
ループの内部では、分離画像の終端に到達する（Ｓ１０６）まで以下を実施する。
【００５２】
奥行番号Ｎの領域を判定（Ｓ１０２）し、探索位置の奥行番号Ｎより小さな奥行値と隣接しているかを判定（Ｓ１０３）した場合、検出した小さな奥行値である領域を画素拡張（Ｓ１０４）する。また、画素拡張した領域について領域拡張マップに１を設定する（Ｓ１０５）。
【００５３】
図９のぼかし処理Ｓ９４について図１１を用いて説明する。
【００５４】
処理する画素位置を初期化（Ｓ１１１）した後、ぼかし処理を行うループに入る。
【００５５】
ループの内部では、拡張処理Ｓ９３で生成した領域拡張マップを参照して、拡張領域である場合（Ｓ１１２：Ｙ）は奥行画像の画素位置の奥行に対応するぼかしフィルタを適用し（Ｓ１１４）、拡張領域でない場合（Ｓ１１２：Ｎ）は奥行番号Ｎのぼかしフィルタを適用する（Ｓ１１３）。Ｓ１１２〜Ｓ１１４は分離画像の終端まで繰り返す（Ｓ１１５）。
【００５６】
図９の合成処理Ｓ９５について図１２を用いて説明する。
【００５７】
Ｓ１２２、Ｓ１２３のループの内部では、合成比率マッピング表に従って、奥行番号Ｎの分離画像の画素の値とこの画素に相当する合成画像領域の画素の値を合成（Ｓ１２２）する。
【００５８】
合成画像領域には、全ての分離画像を処理し終わるまでに、各奥行のぼかし画像が合成比率ずつ累積加算される。
【００５９】
このとき、合成画像領域は、累積加算することによる小数の誤差が出ないように小数値を持った値として全ての分離画像について処理が完了するまで（Ｓ９６：Ｙ）累積されていき、最終的に図９の画像の整数変換処理Ｓ９７後にぼかし画像１００７が生成される。
【００６０】
かかる構成によれば、拡張処理Ｓ９３を行うことで、撮影画像には存在しない遮蔽領域の画像を被遮蔽物体の画素で拡張することで遮蔽領域の画像を生成することができる。また、ぼかし処理Ｓ９４及び合成処理Ｓ９５を行うことで、遮蔽領域を含むぼかし処理と合成処理により、奥行情報に段差のある物体輪郭部において隠れ面効果を考慮したレンズのボケ画像を生成することが可能となる。
【００６１】
また、奥行情報毎に１度に全て分解して計算する場合、例えば奥行きを表現できる数が２５６とすると、奥行き毎に保持する中間バッファが１画面の画像サイズを２５６面分＋作業用１面分が必要になるが、この方法では中間バッファが１面分＋作業用１面分で処理することができ、メモリを大幅に削減できる。ただし、この方法では合成比率マッピング表が画素毎に作られるが合成対象が常に奥行き分（上記例では２５６個）必要になることはないため、奥行番号Ｎと合成比率で紐付けられたリストを必要な分だけ用意することでトータルのメモリ量として大幅に削減することができる。
（実施の形態３）
図１４は、実施の形態３における撮像装置１４００を示す。
ＣＰＵ１４０４は、システム全体をプログラムによって制御し、バス１４０６に接続された２眼カメラ１４０１、Digital Signal ProcessorであるＤＳＰ（奥行算出処理、ぼかし効果処理）１４０３、表示制御部１４０５ａを介してＬＣＤ（Liquid Crystal Display）１４０５ｂを制御する。
【００６２】
２眼カメラ１４０１は、携帯機器に搭載される小口径レンズの画像全体に焦点があった画像を撮影できるカメラであり、撮影した左右の撮像画像をメモリに転送して格納する。
【００６３】
ＤＳＰ（奥行算出処理、ぼかし効果処理）１４０３における奥行算出処理は、メモリ上の前記左右の撮像画像を入力として左右の画像間の視差を検出することで奥行画像を生成してメモリに格納する。
【００６４】
また、ＤＳＰ（奥行算出処理、ぼかし効果処理）１４０３におけるぼかし効果処理は、前記撮像画像の左画像（もしくは右画像）と前記奥行画像を入力することで、実施の形態１もしくは実施の形態２の手法を用いてぼかし画像を生成してメモリ１４０２に格納する。
【００６５】
ＣＰＵ１４０４は、メモリ１４０２上の前記ぼかし画像を読み込んで、表示制御部１４０５ａを介してＬＣＤ１４０５ｂにぼかし画像を表示させる。
【００６６】
かかる構成によれば、撮影した画像に隠れ面効果を考慮したぼかし効果を施した画像を生成でき、ＬＣＤに表示できる。このことにより、小口径カメラで撮影したのにも関わらず、あたかも大口径カメラで撮影したような画像、すなわち、特定の被写体に焦点を当てて他をぼかすことで被写体を強調した、ぼかし効果のある画像をＬＣＤに表示することが可能となる。
【００６７】
また特に２眼カメラでは、筐体内に収納する際のスペース上の制約や軽量化の観点から、レンズの大口径化が困難なことが多いので本実施の形態にかかるぼかし効果処理を適用することが有用である。
（実施の形態４）
図１５は、実施の形態４における撮像装置１５００を示す。図１５中、図１４と同様な部品には同じ符号を付している。
【００６８】
ＣＰＵ１４０４は、システム全体をプログラムによって制御し、バス１４０６に接続された１眼カメラ１５０１ａ、距離センサユニット１５０１ｂ、ＤＳＰ（ぼかし効果処理）１５０３、表示制御部１４０５ａを介してＬＣＤ１４０５ｂを制御する。
【００６９】
１眼カメラ１５０１ａは、小型の携帯機器に搭載されるような小口径レンズの画像全体に焦点があった画像を撮影できるカメラであり、撮影した撮像画像をメモリ１４０２に転送して格納する。
【００７０】
距離センサユニット１５０１ｂは、赤外線などを用いて被写体の距離を測定し、奥行画像としてメモリに転送して格納する。
【００７１】
ＤＳＰ（ぼかし効果処理）１５０３におけるぼかし処理は、前記撮像画像と前記奥行画像を入力することで、実施の形態１もしくは実施の形態２の手法を用いてぼかし画像を生成してメモリ１４０２に格納する。
【００７２】
ＣＰＵ１４０４は、メモリ１４０２上の前記ぼかし画像を読み込んで、表示制御部１４０５ａを介してＬＣＤ１４０５ｂにぼかし画像を表示させる。
【００７３】
かかる構成によれば、撮影した画像に隠れ面効果を考慮したぼかし効果を施した画像を生成でき、ＬＣＤに表示できる。このことにより、小口径カメラで撮影したのにも関わらず、あたかも大口径カメラで撮影したような画像、すなわち、特定の被写体に焦点を当てて他をぼかすことで被写体を強調した、ぼかし効果のある画像をＬＣＤに表示することが可能となる。
【００７４】
なお、撮像装置１５００は、必ずしもＬＣＤなどのディスプレイを備える必要はなく、表示制御部１４０５ａおよびＬＣＤ１４０５ｂを備えない、つまり図１５中の破線部分で囲まれた部品から構成される撮像装置であっても構わない。このことは、撮像装置１４００についても同様である。
（実施の形態５）
図１６は、実施の形態５における表示装置１６００を示す。図１６中、図１４と同様な部品には同じ符号を付している。
【００７５】
メモリ１６０２は、外部装置から取得した原画像１００１と奥行画像１００２を記憶している。
【００７６】
ＤＳＰ（ぼかし効果処理）１６０３におけるぼかし効果処理は、原画像１００１と奥行画像１００２とを入力することで、実施の形態１もしくは実施の形態２の手法を用いてぼかし画像１００７を生成してメモリ１６０２に格納する。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
【００７７】
（１）コンピュータグラフィックスへの適用
本実施の形態で説明した手法は、遮蔽領域の情報を用いることなく、適切なぼかし効果を得ることができるので撮影した画像に適用することが好適であるが、コンピュータグラフィックスにおける画像においても適用することができる。特に、特許文献１のような手法と比較すると、各画素に入射する光線の方向についての計算が不要であるので、処理負荷を軽減することができる。
【００７８】
（２）記録媒体
実施の形態２などで説明したプログラムは、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【００７９】
このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等の非一時的な（non-transitory）記録媒体がある。
【００８０】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
【００８１】
（３）集積回路
上記の各実施の形態の画像処理装置は、典型的には集積回路であるＬＳＩ(Large Scale Integration)として実現されてよい。各回路を個別に１チップとしてもよいし、全ての回路又は一部の回路を含むように１チップ化されてもよい。例えば、チューナ３は他の回路部と同一の集積回路に集積されることもあれば、別の集積回路になる場合もある。
【００８２】
ここでは、ＬＳＩとして記載したが、集積度の違いにより、ＩＣ(Integrated Circuit)、システムＬＳＩ、スーパＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（FieldProgrammable Gate Array）、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【００８４】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００８５】
（４）ディスプレイ
図１４〜図１６では、ディスプレイの一例としてＬＣＤを挙げたが、有機ＥＬディスプレイなど他の駆動方式のデイスプレイを用いても構わない。
＜補足２＞
本実施の形態は、以下の態様を含むものである。
【００８６】
（１）実施の形態に係る画像処理装置は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備えることを特徴とする。
【００８７】
（２）前記合成手段は、前記拡張領域を構成する画素の位置が第１領域から離れるにしたがって、当該拡張領域の画素の値の合成比率を低くし前記第２領域内の画素の値の合成比率を高くするとしても構わない。
【００８８】
（３）前記合成手段による合成比率は、合成しようとする画素において前記ぼかし処理に用いたぼかしフィルタの適用範囲が、分離前の撮影画像において占める第１領域と第２領域との面積比に基づくとしても構わない。
【００８９】
（４）前記分離手段、拡張手段、ぼかし処理手段および合成手段による処理を繰り返すことにより、ぼかし効果を調整するとしても構わない。
【００９０】
（５）前記ぼかし処理を重ねて繰り返すことにより、ぼかし効果を調整するとしても構わない。
【００９１】
（６）前記拡張手段は、前記複数の領域のうちで対象とする一の領域について、奥行情報に示される距離がより小さい他の領域と分離前に隣接していたかを探索し、隣接していたならば、前記一の領域内の画素であって分離前に前記他の領域との境界周辺に存する画素を、当該一の領域外方の前記境界周辺に複製することにより拡張領域を生成するとしても構わない。
【００９２】
（７）実施の形態に係る集積回路は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離手段と、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張手段と、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理手段と、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成手段と、を備えることを特徴とする。
【００９３】
（８）実施の形態に係るプログラムは、コンピュータにぼかし効果処理を実行させるプログラムであって、前記ぼかし効果処理は、撮影画像を、第１領域と奥行情報に示される距離が第１領域より小さい第２領域とを含む、複数の領域に分離する分離ステップと、前記第１領域内の画素であって分離前に前記第２領域との境界周辺に存する画素を、当該第１領域外方の前記境界周辺に複製することにより拡張領域を生成する拡張ステップと、前記拡張領域および前記第２領域に対しては、前記第２領域の奥行情報に示される距離に基づくぼかし処理を行うぼかし処理ステップと、前記ぼかし処理後、前記拡張領域を構成する画素毎に、その画素の値と前記第２領域内の当該画素に相当する位置にある画素の値とを合成する合成ステップと、の各ステップを含むことを特徴とする。
【００９４】
（９）実施の形態に係る撮像装置は、ステレオカメラの撮像ユニットと、表示ユニットと、（８）に記載のプログラム、前記ステレオカメラが撮影した左右の撮影画像を格納するためのメモリと、メモリに格納された左右の撮影画像に基づき画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記左右の撮影画像のうちの少なくとも一方の撮影画像を対象として（８）に記載のぼかし効果処理を行うＤＳＰと、前記ステレオカメラが撮影した左右の撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、を備えることを特徴とする。
【００９５】
（１０）実施の形態に係る撮像装置は１眼カメラの撮像ユニットと、表示ユニットと、前記撮像ユニットが撮影する被写体に対する距離を画素毎に測定する距離センサユニットと、（８）に記載のプログラム、前記１眼カメラが撮影した撮影画像、および前記距離センサユニットが測定した画素毎の距離を格納するためのメモリと、メモリに格納された撮影画像と画素毎の距離とに基づき、画素毎の奥行情報を示す奥行画像を生成する生成処理、および前記撮影画像を対象として（８）に記載のぼかし効果処理を行うＤＳＰと、前記１眼カメラが撮影した撮影画像を前記メモリへ格納する処理、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、を備えることを特徴とする。
【００９６】
（１１）実施の形態に係る表示装置は、表示ユニットと、（８）に記載のプログラム、撮影画像、および前記撮影画像の画素毎の奥行情報を示す奥行画像を格納するメモリと、前記撮影画像を対象として（９）に記載のぼかし効果処理を行うＤＳＰと、前記ＤＳＰに前記生成処理および前記ぼかし効果処理を実行させる処理、およびぼかし効果処理の結果を前記表示ユニットに表示させる処理、を制御するＣＰＵと、を備えることを特徴とする。
【００９７】
（１２）実施の形態に係る画像処理装置は、撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし処理を施しぼかし画像を生成するぼかし処理手段と、生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像にぼかし処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし処理の重ねがけを繰り返す重ねがけ処理手段と、を備える。
【００９８】
（１３）実施の形態に係るプログラムは、コンピュータにぼかし効果処理を実行させるプログラムであって、前記ぼかし効果処理は、撮影画像と撮影画像の奥行情報を示す奥行画像とに基づいて、前記撮影画像にぼかし処理を施しぼかし画像を生成するぼかし処理ステップと、生成したぼかし画像と前記奥行情報とに基づいて、前記ぼかし画像にぼかし処理を施し新たなぼかし画像を生成し、所定の回数に到達するまでこのようなぼかし処理の重ねがけを繰り返す重ねがけ処理ステップと、の各ステップを含む。
【産業上の利用可能性】
【００９９】
本発明にかかる画像処理装置は、撮影画像に隠れ面効果を考慮したレンズのボケを付加する処理を有し、画像撮影及び奥行画像を生成できるデジタルカメラや携帯電話機などに有用である。また、ステレオ画像から奥行画像を生成することが可能であるため、ステレオ画像を扱うテレビやレコーダなどの用途にも応用できる。
【符号の説明】
【０１００】
１００１  原画像
１００２  奥行画像
１００３  分離処理部
１００４  拡張処理部
１００５  ぼかし処理部
１００６  合成処理部
１００７  ぼかし画像
１００１Ａ  物体Ａ
１００１Ｂ  物体Ｂ
１００１Ｃ  背景Ｃ
１００２Ａ  奥行Ａ
１００２Ｂ  奥行Ｂ
１００２Ｃ  奥行Ｃ
３００１Ａ  分離画像（Ａ）
３００１Ｂ  分離画像（Ｂ）
３００１Ｃ  分離画像（Ｃ）
５００１Ｂ  拡張領域（Ｂ）
１４００  撮像装置
１４０１  ２眼（ステレオ）カメラ
１４０２  メモリ
１４０３  ＤＳＰ（奥行変換処理、ぼかし処理）
１４０４  ＣＰＵ
１４０５ａ  表示制御部
１４０５ｂ  ＬＣＤ
１４０６  バス
１５００  撮像装置
１５０１ａ  １眼カメラ
１５０１ｂ  距離センサユニット
１５０３  ＤＳＰ（ぼかし効果処理）
１６００  表示装置
１６０２  メモリ
１６０３  ＤＳＰ（ぼかし効果処理）
【図１】
2013136403.tif 000003
【図２】
2013136403.tif 000004
【図３】
2013136403.tif 000005
【図４】
2013136403.tif 000006
【図５】
2013136403.tif 000007
【図６】
2013136403.tif 000008
【図７】
2013136403.tif 000009
【図８】
2013136403.tif 000010
【図９】
2013136403.tif 000011
【図１０】
2013136403.tif 000012
【図１１】
2013136403.tif 000013
【図１２】
2013136403.tif 000014
【図１３】
2013136403.tif 000015
【図１４】
2013136403.tif 000016
【図１５】
2013136403.tif 000017
【図１６】
2013136403.tif 000018
【図１７】
2013136403.tif 000019
【図１８】
2013136403.tif 000020
【国際調査報告】
2013136403.tif 000021
2013136403.tif 000022
2013136403.tif 000023
2013136403.tif 000024
2013136403.tif 000025
2013136403.tif 000026
2013136403.tif 000027