(57)【要約】【課題】タップ数の変化によって分割フィルタ処理で発生する段階的な画像変化を緩和できるようにする。【解決手段】光学的な画像ぼかしにより近づけるために、絞りの形状に合わせて分割フィルタを組み合わせ、さらに、連続的な撮像画像に対して、画像の断続的な変化を緩和する目的で、分割フィルタの増加分に対して合成比率を変化させて画像合成を行うようにして、タップ数が段階的に変化することによって発生する段階的な画像変化を緩和することができるようにする。【選択図】図１
2016039563.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対するぼかし量に応じてフィルタ形状を決定するフィルタ形状決定手段と、
前記フィルタ形状決定手段によって決定されたフィルタ形状に従って分割したフィルタにより前記入力画像に対してフィルタ処理を行い、前記分割したフィルタに応じた複数の中間画像を生成するフィルタ処理手段と、
前記ぼかし量と前記フィルタ形状決定手段によって決定されたフィルタ形状とに基づいて、前記複数の中間画像の合成比率を決定する合成比率決定手段と、
前記フィルタ処理手段によって生成された複数の中間画像を、前記合成比率決定手段によって決定された合成比率に基づいて合成して合成画像を生成する第１の合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記ぼかし量を、時間の経過に基づいて決定するぼかし量決定手段をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像手段の情報に基づいて前記入力画像の拡大率を判定する判定手段と、
前記判定手段による判定結果に応じて前記ぼかし量を決定するぼかし量決定手段とをさらに備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記合成比率決定手段は、前記ぼかし量と前記フィルタ形状とから前記複数の中間画像のそれぞれに対して、合成比率を決定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記合成比率決定手段は、前記ぼかし量と前記フィルタ形状とに基づいて、前記複数の中間画像に対して一定の合成比率、または前記複数の中間画像の中の一部に対して異なる合成比率を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記フィルタ形状決定手段は、前記決定したフィルタ形状に応じて、前記合成比率決定手段が決定する合成比率によって合成される中間画像の数を決定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項７】
前記入力画像から被写体を判別する判別手段と、
前記第１の合成手段によって生成された合成画像と、前記判別手段によって判別された被写体とを合成する第２の合成手段とをさらに備えたことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
入力画像に対するぼかし量に応じてフィルタ形状を決定するフィルタ形状決定工程と、
前記フィルタ形状決定工程において決定されたフィルタ形状に従って分割したフィルタにより前記入力画像に対してフィルタ処理を行い、前記分割したフィルタに応じた複数の中間画像を生成するフィルタ処理工程と、
前記ぼかし量と前記フィルタ形状決定工程において決定されたフィルタ形状とに基づいて、前記複数の中間画像の合成比率を決定する合成比率決定工程と、
前記フィルタ処理工程において生成された複数の中間画像を、前記合成比率決定工程において決定された合成比率に基づいて合成して合成画像を生成する第１の合成工程と、
を備えたことを特徴とする画像処理方法。
【請求項９】
入力画像に対するぼかし量に応じてフィルタ形状を決定するフィルタ形状決定工程と、
前記フィルタ形状決定工程において決定されたフィルタ形状に従って分割したフィルタにより前記入力画像に対してフィルタ処理を行い、前記分割したフィルタに応じた複数の中間画像を生成するフィルタ処理工程と、
前記ぼかし量と前記フィルタ形状決定工程において決定されたフィルタ形状とに基づいて、前記複数の中間画像の合成比率を決定する合成比率決定工程と、
前記フィルタ処理工程において生成された複数の中間画像を、前記合成比率決定工程において決定された合成比率に基づいて合成して合成画像を生成する第１の合成工程と、
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、ぼかし処理を行うために用いて好適な画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写界深度を浅くして撮影することによって背景だけをぼかし、被写体をより目立たせる撮影方法が知られている。Ｆ値を小さくするとともに、焦点距離を長くして撮影距離を近くすることにより被写体深度を浅くすることができる。ところが、従来の安価な撮像装置は、実際の焦点距離をあまり長くすることができず、被写界深度を浅くしにくいものもある。そこで、特許文献１には、主要部と背景とを分離し、フィルタ処理で背景をぼかして主要部と合成することによって背景ぼかしの効果を得ようとする技術が開示されている。
【０００３】
このようなフィルタ処理を行う場合、主要部と背景との距離が近い場合にはぼかし量は少なくて済むので、フィルタの回路規模は比較的小さくて済む。ところが、主要部と背景との距離が遠い場合にはぼかし量を多くしなければならないので、回路規模の大きいフィルタが必要になってしまう。
【０００４】
そこで、回路規模を大きくせずにぼかし量が多くする技術の一つに、フィルタの畳みこみ演算を時分割することが考えられる（以下、分割フィルタ処理と呼ぶ）。例えば畳み込み演算を水平３タップ、垂直３タップずつに分割することにより、小さい回路規模で水平９タップ、垂直９タップの空間フィルタをかけるのと同じ効果を得ることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２３３９１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、分割フィルタ処理を用いて時系列に連続的な画像に対して背景ぼかしを行う場合に、フィルタのタップ数を段階的に変化させてフィルタ処理をすると、画像の変化が段階的になってしまう。そのため、光学的な背景ぼかしのように連続的な画像変化にならない。
【０００７】
本発明は前述の問題点に鑑み、タップ数の変化によって分割フィルタ処理で発生する段階的な画像変化を緩和できるようにすることを目的としている。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、入力画像に対するぼかし量に応じてフィルタ形状を決定するフィルタ形状決定手段と、前記フィルタ形状決定手段によって決定されたフィルタ形状に従って分割したフィルタにより前記入力画像に対してフィルタ処理を行い、前記分割したフィルタに応じた複数の中間画像を生成するフィルタ処理手段と、前記ぼかし量と前記フィルタ形状決定手段によって決定されたフィルタ形状とに基づいて、前記複数の中間画像の合成比率を決定する合成比率決定手段と、前記フィルタ処理手段によって生成された複数の中間画像を、前記合成比率決定手段によって決定された合成比率に基づいて合成して合成画像を生成する第１の合成手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、ぼかし量の増減によってタップ数が変化した場合であっても段階的な画像変化を緩和させることができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態における撮像装置の構成例を示すブロック図である。
【図２】現像処理部で処理された画像の一例を示す図である。
【図３】ぼかし量とフィルタ形状との関係を示す図である。
【図４】分割フィルタの位置関係を説明するための図である。
【図５】ぼかし量決定部、フィルタ形状部及び合成比率決定部の出力タイミングを説明するための図である。
【図６】フィルタ形状決定部による処理手順の一例を示すフローチャートである。
【図７】第２の実施形態における撮像装置の構成例を示すブロック図である。
【図８】拡大率が変化しながら現像処理部で処理された画像の一例を示す図である。
【図９】拡大率に対するぼかし量の変化を示す図である。
【図１０】フィルタ処理手順の一例を示すフローチャートである。
【図１１】水平９タップ、垂直９タップの空間フィルタのフィルタ係数を説明するための図である。
【図１２】着目画素位置（ｉ，ｊ）における水平９タップ、垂直９タップの空間フィルタの参照範囲を説明するための図である。
【図１３】水平９タップ、垂直９タップの空間フィルタの場合の一般的な分割フィルタ処理の手順の一例を示すフローチャートである。
【図１４】水平９タップ、垂直９タップの空間フィルタの場合の一般的な分割フィルタ処理の加算動作を説明するための図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態における撮像装置１００の構成例を示すブロック図である。
図１において、光学系１０１は、ズームレンズ、フォーカスレンズ及び絞りを含む。撮像素子１０２はＣＣＤ、ＣＭＯＳ等からなり、現像処理部１０３は、撮像素子１０２から出力された画像信号を現像する。
【００１２】
画像選択部１１３は、フィルタ処理を行う画像信号を選択し、フィルタ処理部１０４を後述するフィルタ処理を行う。フィルタ係数制御部１０５は、フィルタ処理部１０４に出力するフィルタ係数を選択する。メモリ１０６は、フィルタ処理部１０４によってフィルタ処理された画像信号を保持する。合成部１０７は、メモリ１０６から画素を読み出し、読み出した画素を合成する。
【００１３】
ぼかし量決定部１０８は、システム制御部１１２からの情報を元に画像のぼかし量を決定する。フィルタ形状決定部１０９は、フィルタ形状を決定するとともに、画像選択部１１３に出力する画像信号をメモリ１０６から読み出す。合成比率決定部１１０は、フィルタ形状決定部１０９において決定したフィルタ形状に基づいて合成比率を決定し、合成部１０７へ合成比率を出力する。
【００１４】
主被写体判別部１１４は、画像信号から主被写体を判別する。背景被写体合成部１１５は、主被写体判別部１１４の判別結果である主被写体情報に基づき、メモリ１０６に格納された画像信号と合成部１０７によって合成された画像信号とを合成するシステム制御部１１２は、撮像装置１００全体を制御する。
【００１５】
次に、図１に示した撮像装置１００による撮影動作について説明する。
まず、光学系１０１は、システム制御部１１２からの制御信号により、絞りとレンズとを駆動して、適切な明るさに設定された被写体像を撮像素子１０２上に結像させる。撮像素子１０２は、システム制御部１１２により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。現像処理部１０３は、撮像素子１０２から出力されたアナログの画像信号をデジタル信号に変換し、ホワイトバランス等の画像処理を施す。さらに現像処理部１０３は、撮像素子１０２から出力された画像信号を輝度及び色差の信号に変換し、この輝度及び色差の信号からなる画像信号を画像選択部１１３に出力する。また、現像処理部１０３は、処理後の入力画像を中間画像生成用及び主被写体を切り出すための画像信号としてメモリ１０６にも出力する。
【００１６】
画像選択部１１３は、フィルタ形状決定部１０９から入力された情報に基づいて、現像処理部１０３から出力される画像信号、またはメモリ１０６に格納された画像信号を選択し、選択した画像信号を入力してフィルタ処理部１０４へ出力する。また、画像選択部１１３は、分割フィルタ処理において、垂直同期信号の期間内（１Ｖ内）に入力される画像信号を複数回入力制御する。例えば、分割フィルタが９分割であり、１Ｖ内に１〜９回フィルタ処理を行う場合には、１回目は現像処理部１０３から画像信号を入力する。そして、２〜９回目はフィルタ形状決定部１０９からの情報に基づいてメモリ１０６から読み出す際に、画素位置に合わせた画像信号の入力制御を行う。
【００１７】
ぼかし量決定部１０８は、システム制御部１１２から入力される情報に基づいて、画像のぼかし量を判定し、フィルタ形状決定部１０９へぼかし量の判定結果を出力する。フィルタ形状決定部１０９は、ぼかし量決定部１０８から入力された判定結果に基づいて、分割フィルタを組み合わせたフィルタの形状を決定する。そして、画像選択部１１３及びフィルタ係数制御部１０５に分割フィルタのＩＤと座標情報とを出力し、合成比率決定部１１０にフィルタ情報を出力する。これらの出力する情報の詳細については後述する。
【００１８】
フィルタ処理部１０４は、フィルタ係数制御部１０５からのフィルタ係数に基づき、画像選択部１１３によって選択された画像信号にフィルタ処理を施してメモリ１０６に出力する。フィルタ係数制御部１０５は、フィルタ形状決定部１０９の情報に基づいてフィルタ係数を決定し、フィルタ処理部１０４へ出力する。本実施形態においては、分割フィルタ処理をより簡易的なものにするために、フィルタ係数を全て「１」として出力する。
【００１９】
合成部１０７は、システム制御部１１２からの情報に基づき、メモリ１０６から読み出す画素位置を制御する。さらに、合成比率決定部１１０から合成比率を入力し、読み出した画素を合成比率に基づいて合成し、背景被写体合成部１１５へ出力する。合成比率決定部１１０は、フィルタ形状決定部１０９から入力されたフィルタ情報に基づいて、分割フィルタ毎の合成比率を決定し、合成部１０７に合成比率を出力する。
【００２０】
主被写体判別部１１４は被写体検出機能を有しており、メモリ１０６に格納された画像信号から被写体を検出する。さらに、画面の中央に近い位置に存在し、サイズが大きい被写体を主被写体と判別して、主被写体のサイズ及び位置情報を背景被写体合成部１１５へ出力する。
【００２１】
背景被写体合成部１１５は、主被写体判別部１１４から出力された主被写体のサイズ及び位置情報に基づき、メモリ１０６に格納されているフィルタ処理がされていない画像信号と、合成部１０７から出力された画像信号とを合成する。合成部１０７から出力された画像信号はフィルタ処理がかけられており、この画像信号を背景として用いることから、メモリ１０６に格納された画像信号から主被写体を抜き出す。そして、合成部１０７から出力された画像信号の同位置に、抜き出した主被写体を合成することにより、背景がぼけ、被写体を目立たせた画像を得ることができる。
【００２２】
ここで、図１１〜図１４を参照しながら、水平９タップ、垂直９タップの空間フィルタの場合の一般的な分割フィルタ処理について説明する。
【００２３】
図１１は、水平９タップ、垂直９タップの空間フィルタのフィルタ係数を説明するための図である。
図１１において、ｋ０〜ｋ８は、フィルタ係数を水平、垂直３タップずつに分離した時のそれぞれの位置のフィルタ係数を示す。
【００２４】
図１２は、着目画素位置（ｉ，ｊ）における水平９タップ、垂直９タップの空間フィルタの参照範囲を説明するための図である。例えば、図１２に示すような着目画素位置（ｉ，ｊ）に対して、以下の式（１）に示す演算を用いてフィルタ処理が行われる。
【００２５】
【数１】
2016039563.tif 000003
【００２６】
ここで、ｉは画像の水平アドレス、ｊは画像の垂直アドレス、ａはフィルタ係数、Ｉは画素値を示し、ｐは、図１２に示すような着目画素位置（ｉ，ｊ）に対してフィルタ処理した結果となる。
【００２７】
次に、図１３及び図１４を用いて、畳み込み演算を水平３タップ、垂直３タップずつに分割した分割フィルタ処理について説明する。
【００２８】
図１３は、水平９タップ、垂直９タップの空間フィルタの場合の一般的な分割フィルタ処理の手順の一例を示すフローチャートである。
まず、図１３のＳ１３００において、変数ｎに０をセットしてＳ１３０１に進む。そして、Ｓ１３０１において、中間画像ｐｎを求め、Ｓ１３０２に進む。ｎ＝０である場合には、例えば以下の式（２）に示す演算を用いて中間画像ｐ０を求め、Ｓ１３０２へ進む。
【００２９】
【数２】
2016039563.tif 000004
【００３０】
ここで式（２）の演算は画面全体に対して行われるものであり、すなわち中間画像ｐ０は、図１１における、左上のフィルタ係数ｋ０を用いて画面全体にフィルタ処理を行った画像信号ということになる。そして、Ｓ１３０２においては、中間画像ｐ０をメモリに保持し、Ｓ１３０３へ進む。
【００３１】
Ｓ１３０３においては、全分割数の演算が完了したかどうかを判定する。この判定の結果、全分割数の演算が完了していない場合はＳ１３０４へ進み、完了した場合はＳ１３０５へ進む。Ｓ１３０４においては、次の分割位置の演算に移るため、ｎにｎ＋１をセットし、Ｓ１３０１へ戻る。なお、畳み込み演算を水平３タップ、垂直３タップずつに分割しているため、分割数としては９分割となる。そのため、ｎは０から８までインクリメントされていき、Ｓ１３０１では、それぞれ以下の式（３）〜式（１０）を用いて中間画像ｐｎを求め、メモリに保持する。
【００３２】
【数３】
2016039563.tif 000005
【００３３】
Ｓ１３０５においては、これまで計算した中間画像ｐ０〜ｐ８を加算して処理を終了する。ここで、中間画像の加算処理について説明する。
【００３４】
図１４は、水平９タップ、垂直９タップの空間フィルタの場合の一般的な分割フィルタ処理の加算動作を説明するための図である。
図１４において、位置（ｉ，ｊ）の斜線の画素が着目画素であり、領域１４００は着目画素に対し水平９タップ、垂直９タップの空間フィルタが参照する範囲を示す。また、領域１４０１は着目画素に対する中間画像上の参照位置を示す。また、図１４（ａ）〜図１４（ｉ）は、それぞれ中間画像ｐ０〜ｐ８を示す。
【００３５】
水平９タップ、垂直９タップの空間フィルタと同じ効果を得るためには、着目画素（ｉ，ｊ）に対し、中間画像ｐ０上からは（ｉ−３，ｊ−３）の位置を中心とした水平３タップ、垂直３タップの空間フィルタをかけた画素が必要である。同様に、中間画像ｐ１〜ｐ８上からは、それぞれ座標（ｉ，ｊ−３）、（ｉ＋３，ｊ−３）、（ｉ−３，ｊ）、（ｉ，ｊ）、（ｉ＋３，ｊ）、（ｉ−３，ｊ＋３）、（ｉ，ｊ＋３）、（ｉ＋３，ｊ＋３）の位置の画素値を取得し、加算すれば良い。
【００３６】
以上のように、畳み込み演算を水平３タップ、垂直３タップずつに分割することにより、小さい回路規模で水平９タップ、垂直９タップの空間フィルタをかけるのと同じ効果を得ることができる。
【００３７】
次に、ぼかし量決定部１０８によるぼかし量の決定処理、及びフィルタ形状決定部１０９によるフィルタ形状の決定処理について詳細に説明する。
【００３８】
図２は、撮像装置１００の現像処理部１０３で処理された画像の一例を示す図である。図２に示すように、撮影被写体である被写体２０１と背景２０２とが画像内に含まれている。図２に示す例は、シーン１を示しており、さらにそれぞれ時系列上で変化しているシーン２〜５の画像が得られるものとする。そして、本実施形態では、これらのシーン１〜５は、全て同じ撮影画像とする。
【００３９】
通常、図２に示すような画像を光学レンズで背景ぼかしを行う場合は、撮像装置の絞りを調整することにより画像のぼかし具合を調整する。また、信号処理では、光学的なぼかしに近づけるために、絞りと同じ形状、且つ、絞りの開放に対応するようなフィルタ処理を行う必要がある。
【００４０】
次に、シーン１〜５の背景ぼかし処理について、絞りの形状及び分割フィルタの形状とともに、図３を用いて説明する。図３（ａ）は、時系列上で変化するシーン１〜５に対し、画像ぼかしの割合であるぼかし量の一例を示す図である。図３（ｂ）は、各シーンにおける撮像装置１００の絞りの形状及び開口のイメージを示す図である。また、図３（ｃ）は、絞りの開口に対応した分割フィルタの組み合わせのフィルタ形状、及び合成比率を説明するための図である。
【００４１】
図３（ａ）において、水平方向は時間を表し、垂直方向には、ぼかし量をシーン１〜５にそれぞれ示している。図３（ａ）に示すように、シーン１〜５に遷移するに従ってぼかし量を大きくする。本実施形態においては、一眼レフカメラで焦点位置と絞りとを調整することにより被写界深度を変化させ、その影響で発生する画像ぼけに対して、目視確認による画像変化を一定基準で決定し、数値化したものをぼかし量と定義する。なお、焦点距離と被写界深度との絶対値距離をぼかし量として定義してもよい。
【００４２】
図３（ｂ）においては、シーン１〜５に遷移するにつれて、一般的な撮像装置１００で使用される円形絞りの開口も大きくなることを示している。撮像画像の焦点距離が各シーンで同様の場合において、撮像画像のぼかし量を大きくしたい時には、絞りをより大きく開口すれば、画像のぼかし量が大きくなる。一般的な一眼レフカメラでは、円形型の絞りを備えており、絞りの半径が大きくなるように開口することによって背景ぼかしを行う。
【００４３】
また、図３（ｃ）においては、絞りの形状に合わせて分割フィルタを組み合わせたフィルタの構成を示しており、シーン１〜５に遷移するに従ってタップ数が大きくなることを示している。前述したように本実施形態では、処理をより簡易的なものにするために、分割フィルタの係数を全て「１」としている。
【００４４】
シーン１の場合においては、水平３タップ、垂直３タップ（以下、３×３タップ）の分割フィルタ１個で定義されている。また、シーン３及びシーン５に関しては、撮像装置１００の光学的な画像ぼかしにより近づけるために、フィルタの形状を絞りの形状に合わせて拡大している。この場合、シーン３では、分割フィルタを５個分有し、シーン５では分割フィルタを１３個分有している。本実施形態では、５個分、１３個分と分割フィルタ数を多くしているが、より理想的な絞りの形状に近づけるためには、２５、４１、５９、・・・のように分割フィルタ数を大きく変化させるとよい。
【００４５】
また、シーン２及びシーン４は、それぞれシーン３及びシーン５と分割フィルタの個数は同じである。但し、最終的なぼかし画像を生成する際に、全分割フィルタの一部である最外周の分割フィルタでは合成比率を５０％としている。図３（ｃ）においては、灰色の部分は合成比率が５０％であることを表し、白色の部分は合成比率が１００％であることを表している。
【００４６】
一般的に、フィルタ形状を絞りの形状に合わせて拡大していくと、より光学的な画像ぼかしに近い処理になる。本実施形態では、一般的な円形の絞りの形状に合わせてフィルタを大きくしたが、これに限らず、幻想的な光源にする場合に用いられるひし形や星型のような形状にしてもよい。
【００４７】
また、シーン１、３、５の遷移では、各分割フィルタでそれぞれフィルタ処理した画像に対して位置合わせを行い、合成比率を１００％にして合成処理を行う。ところが、分割フィルタ数を断続に変化させると、シーンの移り変わりで境界がはっきりとしたぼかし画像になってしまう。そこで、シーン１からシーン２、及びシーン３からシーン４の遷移では、画像の断続的な変化を緩和する目的で、分割フィルタの増加分に対して合成比率を変化させて画像合成を行う。具体的には、シーン１、３、５では、分割フィルタによるすべての処理画像の合成比率が１００％であるのに対し、シーン２、４では、遷移により増加した分の分割フィルタの合成比率を５０％にして合成処理を行う。これにより、連続的な画像のフィルタ処理に対して、タップ数が段階的に変化することによって発生する段階的な画像変化を緩和することができる。
【００４８】
次に、フィルタ形状決定部１０９による、前述したフィルタの拡大及び分割フィルタの位置合わせについて、図４を参照しながら説明する。図４（ａ）は、シーン３における各分割フィルタの位置をｘｙ座標上に表した図であり、図４（ｂ）は、各分割フィルタで処理した画像を合成する時の位置合わせを説明するための図である。
【００４９】
図４（ａ）において、水平方向は撮像画像におけるｘ軸（１メモリは１画素）を表し、垂直方法は撮像画像におけるｙ軸（１メモリは１ライン）を表している。前述したシーン３におけるフィルタは、３×３タップの分割フィルタ（１）〜（５）で構成されており、分割フィルタ（１）を中心として分割フィルタ（２）〜（５）が時計回りに配置されている。また、フィルタの中心は分割フィルタ（１）とし、各分割フィルタにおいては、左上を基準位置としており、分割フィルタ（１）〜（５）の座標の基準位置は、以下のようになっている。
分割フィルタ（１）の基準位置：座標（０，０）
分割フィルタ（２）の基準位置：座標（０，−３）
分割フィルタ（３）の基準位置：座標（３，０）
分割フィルタ（４）の基準位置：座標（０，３）
分割フィルタ（５）の基準位置：座標（−３，０）
【００５０】
図４（ｂ）は、前述した分割フィルタ（１）〜（５）で処理した合成前の画像において、合成時の座標位置について示している。分割フィルタ（１）〜（５）に対応するそれぞれの画像の位置は、分割フィルタ（１）に対して配置された分割フィルタ（２）〜（５）の位置とそれぞれ対応する。また、シーン５における分割フィルタの配置は、基準位置を座標（０，−６）とする配置から時計回りにシーン３に対する増分を組み合わせればよい。
【００５１】
本実施形態では、分割フィルタの順番を前述したように示したが、これに限らず、フィルタの形状に適した順番で定義してよいし、各分割フィルタの座標情報を備えたテーブルをフィルタ形状決定部１０９が備えてもよい。この場合、ぼかし量決定部１０８で決定されたぼかし量を基に、フィルタ形状決定部１０９は、所定の分割フィルタの座標情報をテーブルから読み出すことにより、より複雑なフィルタ形状を構成することが可能となる。以上のようにして、フィルタ形状決定部１０９は、フィルタの形状を決定し、分割フィルタの位置合わせを行う。
【００５２】
次に、ぼかし量決定部１０８、フィルタ形状決定部１０９、及び合成比率決定部１１０の出力タイミングについて説明する。
【００５３】
図５は、ぼかし量決定部１０８、フィルタ形状決定部１０９及び合成比率決定部１１０の出力タイミングを説明するための図である。
図５において、水平方向は、垂直同期信号の期間（１Ｖ〜５Ｖ）の時間軸方向のタイミングを表している。一方、垂直方向は、ぼかし量決定部１０８、フィルタ形状決定部１０９及び合成比率決定部１１０から出力される波形１〜５を示している。
【００５４】
波形１は、現像処理部１０３の出力を基準として垂直同期信号のタイミングを１Ｖ毎に示している。波形２は、シーン１〜５が１Ｖ毎に切り替わる場合に、ぼかし量決定部１０８が後段のフィルタ形状決定部１０９に対してぼかし量を出力していることを示している。前述したように、本実施形態では、目視による画像ボケの変化を一定基準で決定して数値化したものをぼかし量と定義しており、１Ｖ毎（１シーン毎）にぼかし量を変化させている。
【００５５】
波形３は、ぼかし量決定部１０８から入力したぼかし量に基づいて、フィルタ形状決定部１０９が、画像選択部１１３及びフィルタ係数制御部１０５に出力する信号を示している。また、波形４は、フィルタ形状決定部１０９が合成比率決定部１１０に出力する信号を示している。
【００５６】
例えば、フィルタ形状決定部１０９にぼかし量決定部１０８から入力されるぼかし量をそれぞれ、シーン１では１０、シーン２では２０、シーン３では３０、シーン４では４０、シーン５では５０とする。この場合、波形３の信号は以下のような情報を含み、フィルタ形状決定部１０９から出力される。
（１）１０〜１９のぼかし量の場合は、１個の分割フィルタのＩＤと座標情報とを出力
（２）２０〜３９のぼかし量の場合は、５個の分割フィルタのＩＤと座標情報とを順に出力
（３）４０〜５９のぼかし量の場合は、１３個の分割フィルタのＩＤと座標情報とを順に出力
【００５７】
これにより、画像選択部１１３は、フィルタ形状決定部１０９から出力される情報から、現像処理部１０３から出力される画像信号かメモリ１０６に格納された画像信号かを選択することができる。また、フィルタ係数制御部１０５は、各分割フィルタにおけるフィルタ係数を決定することができる。
【００５８】
波形４は、フィルタ形状決定部１０９により、上記の内容に加えて、シーン２においては分割フィルタのＩＤが２以上、シーン４においては分割フィルタのＩＤが６以上という情報が出力される。この信号は、合成比率５０％の制御用の信号として、出力される。このように、フィルタ形状決定部１０９により、シーンｎにおいては分割フィルタのＩＤが｛２＋２＊（（ｎ／２）−１）＊（（（ｎ／２）−１）＋１）｝以上（ｎは整数）という制御用の信号が出力される。これにより、本実施形態において、分割フィルタを組み合わせたより大きなフィルタを形成することが可能となる。
【００５９】
波形５は、合成比率決定部１１０が、フィルタ形状決定部１０９から制御信号を入力し、合成部１０７に合成比率を出力していることを示している。本実施形態の場合では、合成比率決定部１１０は、フィルタ形状決定部１０９から入力された信号が「１」となったときに内部セレクタを切り替え、合成比率５０％を選択して合成部１０７に出力する。なお、本実施形態では、合成比率を１００％又は５０％としたが、合成比率決定部１１０の内部に合成比率のテーブルを複数備えるようにしてもよい。これにより、合成比率のバリエーションを増やすことも可能である。
【００６０】
次に、フィルタ形状決定部１０９の動作手順について説明する。
図６は、本実施形態におけるフィルタ形状決定部１０９による処理手順の一例を示すフローチャートである。
まず、システム制御部１１２から背景ぼかし処理を開始する旨の指示を受けると処理を開始し、図６のＳ６００において、変数Ｎに０をセットしてＳ１０１に進む。ここで、変数Ｎは、背景ぼかし処理を行うシーンの数に対応しており、垂直同期信号に対応している。
【００６１】
次に、Ｓ６０１においては、絞りの形状に合わせたフィルタ形状のパターンを決定する。本実施形態では、図３（ｃ）に示すような形状のパターンに決定するものとする。続いてＳ６０２においては、ぼかし量決定部１０８からぼかし量を取得する。そして、Ｓ６０３においては、取得したぼかし量から分割フィルタの個数を決定する。
【００６２】
次に、Ｓ６０４において、Ｓ６０１で決定されたフィルタ形状と、Ｓ６０３で決定された分割フィルタの個数とから、各分割フィルタの座標（基準位置の座標）を特定する。そして、Ｓ６０５において、Ｓ６０１で決定されたフィルタ形状とＳ６０２で取得したぼかし量とから合成比率決定部１１０の制御フラグを算出する。
【００６３】
次に、Ｓ６０６において、分割フィルタのＩＤ及び座標情報をフィルタ係数制御部１０５及び画像選択部１１３へ出力し、分割フィルタのＩＤ及び座標情報と、制御フラグとを合成比率決定部１１０へ出力する。そして、Ｓ６０７において、システム制御部１１２から背景ぼかしの処理を終了する旨の指示を受けたか否かを判断する。この判断の結果、終了する指示を受けた場合はフィルタ形状決定部１０９による処理を終了し、そうでなければＳ６０８へ進む。そして、Ｓ６０８において、変数Ｎをインクリメントし、Ｓ６０１へ戻って処理を繰り返す。
【００６４】
次に、分割フィルタを用いたフィルタ処理の動作手順について説明する。
図１０は、本実施形態におけるフィルタ処理手順の一例を示すフローチャートである。
まず、図１０のＳ１０００において、システム制御部１１２は、変数Ｎに０をセットする。そして、Ｓ１００１においては、画像選択部１１３は、フィルタ形状決定部１０９から入力された情報に基づいて、フィルタ処理の対象となる画像を取得する。中間画像ｐ０'を生成する場合は、まず、現像処理部１０３から入力された画像信号の所定の範囲の中央部を切り出し、フィルタ処理部１０４へ出力する。また、中間画像ｐ１'以降を生成する場合は、メモリ１０６に格納されている画像信号から、例えば図４（ｂ）に示すような配置関係の中間画像を合成時に読み出せるように該当する範囲を読み出し、フィルタ処理部１０４へ出力する。なお、本実施形態では、中間画像の順序は、例えば図４（ａ）に示すような時計回りの順序に従うものとする。
【００６５】
次に、Ｓ１００２において、フィルタ処理部１０４は、画像選択部１１３から入力された画像信号に対してフィルタ処理を行い、中間画像ｐｎ'を求める。この処理により分割フィルタの数だけフィルタ処理を行い、その数の中間画像を生成する。そして、Ｓ１００３において、フィルタ処理部１０４は、フィルタ処理後のそれぞれの中間画像をメモリ１０６に格納する。
【００６６】
次に、Ｓ１００４において、合成部１０７は、メモリ１０６に保持されているすべての中間画像を読み出す。このとき、例えば図４（ｂ）に示すような範囲の画素を読み出す。そして、Ｓ１００５において、合成部１０７は、例えば図４（ｂ）に示すような配置関係に従ってそれぞれの中間画像を加算（合成）し、背景被写体合成部１１５に出力する。このとき、合成比率決定部１１０から入力された合成比率に基づいて合成する。
【００６７】
次に、Ｓ１００６において、合成部１０７は、システム制御部１１２から背景ぼかしの処理を終了する旨の指示を受けたか否かを判断する。この判断の結果、終了旨の指示を受けた場合は処理を終了し、そうでなければＳ１００７へ進む。そして、Ｓ１００７においては、システム制御部１１２は、変数Ｎをインクリメントし、Ｓ１００１へ戻って処理を繰り返す。
【００６８】
以上のようにぼかし処理がなされた合成画像は、前述した手順により背景被写体合成部１１５により主被写体と合成され、背景ぼかし画像が得られる。以上のように本実施形態によれば、連続的な画像をフィルタ処理する場合に、タップ数が段階的に変化することによって発生する段階的な画像変化を緩和させることができる。
【００６９】
（第２の実施形態）
第１の実施形態では、時間の経過とともに分割フィルタを増加させた例について説明した。これに対して本実施形態では、連続的な撮像画像において拡大率を変化させた場合に、タップ数が段階的に変化することによって発生する段階的な画像変化を緩和させる例について説明する。
【００７０】
図７は、本実施形態における撮像装置７００の構成例を示すブロック図である。なお、図１と同様の構成については同じ符号を付しており、これらの構成は基本的には図１と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。
【００７１】
図７に示すように、本実施形態に係る撮像装置７００は、拡大率判定部７１１を備えており、拡大率判定部７１１は、光学系１０１の情報から拡大率を決定し、ぼかし量決定部１０８へその情報を出力する。ぼかし量決定部１０８は、システム制御部１１２から入力される情報、及び拡大率判定部７１１から入力される拡大率に基づいて、画像のぼかし量を判定し、フィルタ形状決定部１０９へ出力する。
【００７２】
次に、本実施形態を説明するために、拡大率を１Ｖ〜５Ｖで連続的に変化させた場合における現像処理部１０３の出力画像について、図８を用いて説明する。
【００７３】
図８は、撮像装置７００の拡大率を変化させた場合における現像処理部１０３で処理した画像の一例を示しており、シーン１からシーン５に進むにつれて拡大率が大きくなっていることを示している。シーン１〜５の画像には、撮影被写体である被写体８０１と背景８０２とが含まれている。シーン１〜５は、それぞれ被写体を対象として、撮像装置７００をズーム動作させた場合における１Ｖ毎に観測した画像である。
【００７４】
通常、光学レンズで背景ぼかしを行う場合は、撮像装置によりシーン１〜５において絞りを調整することによって、撮像画像のぼかし量を調整する。信号処理で光学的なぼかしを行う場合においては、絞りと同じ形状、且つ、絞りの開放に対応するようなフィルタで処理を行う必要がある。一般的には、シーン１からシーン５に遷移するにつれ拡大率が大きくなると同時に、絞りを開口することによってより拡大率に応じた自然な背景ぼかしを行うことができる。
【００７５】
図９は、シーン１〜５おける拡大率に基づいてぼかし量及びフィルタの形状を決定することを説明するための図である。以下、本実施形態におけるシーン１〜５の背景ぼかし処理について、第１の実施形態で説明した図３（ａ）との差異を中心に説明する。
【００７６】
図９に示す例は、シーン１からシーン５に遷移するにあたり、撮影画像の拡大率に従ってぼかし量が変化することを示している。第１の実施形態のように時間方向における画像変化ではなく、拡大率に応じてぼかし量を決定することにより、第１の実施形態と同様なフィルタ形状をフィルタ形状決定部１０９で決定することができる。なお、図９に示すシーン１〜５に対応するフィルタ形状は、図３（ｃ）に示すフィルタ形状と同様である。これにより、本実施形態では、ズームに連動して各シーンに適した分割フィルタを組み合わせてフィルタ形状を決定することにより、背景ぼかしによる段階的な画像変化を緩和させることが可能になる。
【００７７】
以上のように本実施形態によれば、拡大率判定部７１１を備えることにより、連続的に撮像画像の拡大率を変化させてフィルタ処理を行う場合に、タップ数が段階的に変化することによって発生する段階的な画像変化を緩和させることができる。
【００７８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１０４  フィルタ処理部
１０７  合成部
１０９  フィルタ形状決定部
１１０  合成比率決定部
【図１】
2016039563.tif 000006
【図２】
2016039563.tif 000007
【図３】
2016039563.tif 000008
【図４】
2016039563.tif 000009
【図５】
2016039563.tif 000010
【図６】
2016039563.tif 000011
【図７】
2016039563.tif 000012
【図８】
2016039563.tif 000013
【図９】
2016039563.tif 000014
【図１０】
2016039563.tif 000015
【図１１】
2016039563.tif 000016
【図１２】
2016039563.tif 000017
【図１３】
2016039563.tif 000018
【図１４】
2016039563.tif 000019