(57)【要約】【課題】被写体によらず高品位なぼかし画像が得られると共に、高速に処理できる画像処理装置、画像処理方法及びデジタルスチルカメラを提供すること。【解決手段】画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報とが入力され、画像データにぼかし処理を行う画像処理装置であって、距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、画像データを輝度及び／または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、分割距離情報と領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、所定の段数に応じた異なる処理をもって画像データを平滑化して平滑化画像データを出力する平滑化手段と、画像データと平滑化画像データとをラベルデータに基づいて合成した合成画像データを出力する合成処理手段と、具備することを特徴とする。【選択図】図５
2010226694.tif 000002
【特許請求の範囲】
【請求項１】
主要被写体画像データと非主要被写体画像データとを含む画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、
前記距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、
前記画像データを輝度及び／または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、
前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、
前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化手段と、
前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記距離分割手段は、前記距離情報をＮ段からなる分割距離情報に分割し、
前記平滑化手段は、前記画像データを（Ｎ−１）の異なる処理をもって平滑化して、（Ｎ−１）の異なる平滑化画像データを出力することを特徴とする請求項１に記載の画像処理装置。
（但し、Ｎは２以上の整数である。）
【請求項３】
前記画像データを縮小する縮小手段を備え、
前記領域判定手段は、前記縮小手段で縮小した画像データにおける領域を判定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記ラベルデータを拡大する拡大手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記合成画像データを平滑化する合成画像データ平滑化手段を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記合成処理手段は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項７】
前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化手段を備え、
前記合成処理手段は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記ラベリング手段は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
入力された主要被写体画像データと非主要被写体画像データとを含む画像データにぼかし処理を行う画像処理方法であって、
入力された主要被写体までの距離と非主要被写体までの距離とからなる距離情報を所定の段数からなる分割距離情報に分割する距離分割工程と、
前記画像データを輝度及び／または色度に基づいて領域判定して領域判定結果を出力する領域判定工程と、
前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング工程と、
前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化工程と、
前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理工程と、
を具備することを特徴とする画像処理方法。
【請求項１０】
前記距離分割工程は、前記距離情報をＮ段からなる分割距離情報に分割し、
前記平滑化工程は、前記画像データを（Ｎ−１）の異なる処理をもって平滑化して、（Ｎ−１）の異なる平滑化画像データを出力することを特徴とする請求項９に記載の画像処理方法。
（但し、Ｎは２以上の整数である。）
【請求項１１】
前記画像データを縮小する縮小工程を備え、
前記領域判定工程は、前記縮小工程で縮小した画像データにおける領域を判定することを特徴とする請求項９または１０に記載の画像処理方法。
【請求項１２】
前記ラベルデータを拡大する拡大工程を備えることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記合成画像データを平滑化する合成画像データ平滑化工程を備えることを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理方法。
【請求項１４】
前記合成処理工程は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項９乃至１２のいずれか１項に記載の画像処理方法。
【請求項１５】
前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化工程を備え、
前記合成処理工程は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記ラベリング工程は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする請求項９乃至１５のいずれか１項に記載の画像処理方法。
【請求項１７】
請求項１乃至８のいずれか１項に記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラ。
【請求項１８】
画像データと、距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、
前記画像データを輝度及び／または色度に基づいて複数の領域に分割する領域分割手段と、
前記画像データを複数のブロックに分割するブロック分割手段と、
前記距離情報に基づいて前記複数のブロック毎にブロック距離を設定するブロック距離設定手段と、
前記複数の領域を前記ブロック距離に基づいて判定して主要被写体領域と非主要被写体領域とに分割する主要被写体領域抽出手段と、
前記複数のブロックの中で前記主要被写体領域と前記非主要被写体領域との境界線を有するブロックに対して、
当該ブロック内における前記主要被写体領域中の画素には、当該画素の距離に、または前記主要被写体領域に属するブロックにおけるブロック距離に基づき、第１の補正距離を設定し、
当該ブロック内における前記非主要被写体領域中の画素には、当該画素の距離に、または当該ブロックに隣接し、且つ前記非主要被写体領域に属するブロックにおけるブロック距離に基づき、第２の補正距離を設定する補正距離設定手段と、
前記ブロック距離、前記第１の補正距離及び前記第２の補正距離に基づいて前記画像データにぼかし処理を行うぼかし処理手段と、
を具備することを特徴とする画像処理装置。
【請求項１９】
前記複数のブロックの中で前記非主要被写体領域に属するブロックであり、且つ誤測距により適正なブロック距離が設定されていない誤測距ブロックを判定する誤測距ブロック判定手段と、
前記誤測距ブロックのブロック距離を、当該誤測距ブロックの周辺のブロックであり、且つ前記非主要被写体領域に属するブロックのブロック距離により補正して、補正ブロック距離を設定する誤測距ブロック補正手段と、を具備し、
前記ぼかし処理手段は、前記ブロック距離、前記第１の補正距離、前記第２の補正距離、及び前記補正ブロック距離に基づいて前記画像データにぼかし処理を行うことを特徴とする請求項１８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びデジタルスチルカメラに関する。
【背景技術】
【０００２】
コンパクトデジタルカメラで用いられる撮像素子の面積は、一眼レフカメラで用いられる撮像素子の面積や銀塩フィルムよりも小さい。そのため、コンパクトデジタルカメラでは同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は一眼レフカメラよりも短い。焦点距離が短いと、撮影光学系のＦナンバーを同じにしても、被写界深度が深くなってしまう。ここで、焦点距離が短くなることに比例させてＦナンバーを小さくする（明るくする）ことができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大してしまう。このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合ってしまう。これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所ともなるが、ポートレートのように背景を大きくぼかすような撮影は困難となり問題である。
【０００３】
上記した問題に対して、画像処理により背景をぼかす技術が特許文献１〜４において提案されている。これらのカメラでは、距離や画角内の位置に応じて主要被写体を抜き出し、背景部分にぼかし処理を行っている。特に、特許文献１及び２に係る技術では、画面の各領域における被写体までの距離を測定し、距離に応じて主要被写体を分離し、距離に応じたぼかし強度でぼかし処理を行っているため、より自然な画像を得ることができる。
【０００４】
しかしながら特許文献１に係る技術では、撮影面を縦方向、あるいは横方向に分割した測距結果に基づき主要被写体を決定すると共に、非主要被写体部分にぼかし処理を行っているが、実際の被写体は複雑な形状をしていることから、測距結果だけを用いて被写体領域を判定してしまうと、ぼけ形状が被写体と一致しないという問題、即ち、主要被写体へのぼけの食い込みの問題や、非主要被写体部分におけるぼけの抜けの問題が発生してしまう。また、特許文献１に係る技術のぼかし処理においては、平均化に用いるデータ数を主要被写体との距離に応じて連続的に変化させてぼかし処理を行っているため、処理に時間がかかるという問題や、専用のハードウェアを構成する必要がありコストが増大するという問題が生じる。
【０００５】
さらに特許文献２に係る技術では、多重フォーカス法により、撮影対象範囲の複数の点までの距離を検出し、検出した距離に基づいてぼかし処理をおこなっているが、距離を計測できる被写体が、コントラストの高いエッジ部分を含む被写体に限られるため、非主要被写体の種類によっては正しい測距結果を得ることができず、非主要被写体部分にぼけの抜けが発生してしまう。また、特許文献２に係る技術のぼかし処理においては、距離から求めた錯乱円径の差に相当する範囲が分散するように、画素毎にフィルタ特性を変えてぼかし処理を行っているため、処理に時間がかかるという問題や、専用のハードウェアを構成する必要がありコストが増大するという問題が生じる。
【０００６】
これに対して特許文献５では、ＣＣＤＡＦによって測距を行うと共に、主要被写体を抽出することで、特別なハードウェアや処理を必要とすることなく、背景（非主要被写体に相当する。）画像のぼかし処理を行う技術が開示されている。かかる技術によれば、簡易な構成でぼかし処理を行うことができる。しかしながら、特許文献５に係る技術では、主要被写体領域の判定においては測距結果を用いて輪郭抽出を行っているものの、背景部分については考慮されておらず、ぼけ形状が被写体と一致しない場合がある。よって、被写体抽出の高精度化が望まれる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、以上の様な状況を鑑みて為されたものであって、被写体によらず高品位なぼかし画像が得られると共に、高速に処理できる画像処理装置、画像処理方法及びデジタルスチルカメラを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る画像処理装置、画像処理方法及びデジタルスチルカメラは、具体的には下記（１）〜（１９）に記載の技術的特徴を有する。
（１）：主要被写体画像データと非主要被写体画像データとを含む画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報が入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、前記画像データを輝度及び／または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化手段と、前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理手段と、具備することを特徴とする画像処理装置である。
【０００９】
（２）：前記距離分割手段は、前記距離情報をＮ段からなる分割距離情報に分割し、
前記平滑化手段は、前記画像データを（Ｎ−１）の異なる処理をもって平滑化して、（Ｎ−１）の異なる平滑化画像データを出力することを特徴とする上記（１）に記載の画像処理装置である。（但し、Ｎは２以上の整数である。）
【００１０】
（３）：前記画像データを縮小する縮小手段を備え、前記領域判定手段は、前記縮小手段で縮小した画像データにおける領域を判定することを特徴とする上記（１）または（２）に記載の画像処理装置である。
【００１１】
（４）：前記ラベルデータを拡大する拡大手段を備えることを特徴とする上記（３）に記載の画像処理装置である。
【００１２】
（５）：前記合成画像データを平滑化する合成画像データ平滑化手段を備えることを特徴とする上記（１）乃至（４）のいずれか１項に記載の画像処理装置である。
【００１３】
（６）：前記合成処理手段は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記（１）乃至（４）のいずれか１項に記載の画像処理装置である。
【００１４】
（７）：前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化手段を備え、
前記合成処理手段は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記（６）に記載の画像処理装置である。
【００１５】
（８）：前記ラベリング手段は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする上記（１）乃至（７）のいずれか１項に記載の画像処理装置である。
【００１６】
（９）：入力された主要被写体画像データと非主要被写体画像データとを含む画像データにぼかし処理を行う画像処理方法であって、入力された主要被写体までの距離と非主要被写体までの距離とからなる距離情報を所定の段数からなる分割距離情報に分割する距離分割工程と、前記画像データを輝度及び／または色度に基づいて領域判定して領域判定結果を出力する領域判定工程と、前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング工程と、前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化工程と、前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理工程と、を具備することを特徴とする画像処理方法である。
【００１７】
（１０）：前記距離分割工程は、前記距離情報をＮ段からなる分割距離情報に分割し、前記平滑化工程は、前記画像データを（Ｎ−１）の異なる処理をもって平滑化して、（Ｎ−１）の異なる平滑化画像データを出力することを特徴とする上記（９）に記載の画像処理方法である。（但し、Ｎは２以上の整数である。）
【００１８】
（１１）：前記画像データを縮小する縮小工程を備え、前記領域判定工程は、前記縮小工程で縮小した画像データにおける領域を判定することを特徴とする上記（９）または（１０）に記載の画像処理方法である。
【００１９】
（１２）：前記ラベルデータを拡大する拡大工程を備えることを特徴とする上記（１１）に記載の画像処理方法である。
【００２０】
（１３）：前記合成画像データを平滑化する合成画像データ平滑化工程を備えることを特徴とする上記（９）乃至（１２）のいずれか１項に記載の画像処理方法である。
【００２１】
（１４）：前記合成処理工程は、前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記（９）乃至（１２）のいずれか１項に記載の画像処理方法である。
【００２２】
（１５）：前記ラベルデータを平滑化した平滑化ラベルデータを出力するラベルデータ平滑化工程を備え、前記合成処理工程は、前記平滑化ラベルデータによって前記画像データ及び前記平滑化画像データを加重加算して合成することを特徴とする上記（１４）に記載の画像処理方法である。
【００２３】
（１６）：前記ラベリング工程は、前記所定の段数からなる分割距離情報に所定の重み付けを行うことを特徴とする上記（９）乃至（１５）のいずれか１項に記載の画像処理方法である。
【００２４】
（１７）：上記（１）乃至（８）のいずれか１項に記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラである。
【００２５】
（１８）：画像データと、距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記画像データを輝度及び／または色度に基づいて複数の領域に分割する領域分割手段と、前記画像データを複数のブロックに分割するブロック分割手段と、前記距離情報に基づいて前記複数のブロック毎にブロック距離を設定するブロック距離設定手段と、前記複数の領域を前記ブロック距離に基づいて判定して主要被写体領域と非主要被写体領域とに分割する主要被写体領域抽出手段と、前記複数のブロックの中で前記主要被写体領域と前記非主要被写体領域との境界線を有するブロックに対して、当該ブロック内における前記主要被写体領域中の画素には、当該画素の距離に、または前記主要被写体領域に属するブロックにおけるブロック距離に基づき、第１の補正距離を設定し、当該ブロック内における前記非主要被写体領域中の画素には、当該画素の距離に、または当該ブロックに隣接し、且つ前記非主要被写体領域に属するブロックにおけるブロック距離に基づき、第２の補正距離を設定する補正距離設定手段と、前記ブロック距離、前記第１の補正距離及び前記第２の補正距離に基づいて前記画像データにぼかし処理を行うぼかし処理手段と、を具備することを特徴とする画像処理装置である。
【００２６】
（１９）：前記複数のブロックの中で前記非主要被写体領域に属するブロックであり、且つ誤測距により適正なブロック距離が設定されていない誤測距ブロックを判定する誤測距ブロック判定手段と、前記誤測距ブロックのブロック距離を、当該誤測距ブロックの周辺のブロックであり、且つ前記非主要被写体領域に属するブロックのブロック距離により補正して、補正ブロック距離を設定する誤測距ブロック補正手段と、を具備し、前記ぼかし処理手段は、前記ブロック距離、前記第１の補正距離、前記第２の補正距離、及び前記補正ブロック距離に基づいて前記画像データにぼかし処理を行うことを特徴とする上記（１８）に記載の画像処理装置である。
【００２７】
上記（１）、（２）、（９）または（１０）に記載の構成によれば、主要被写体と非主要被写体（例えば背景）とを適切に分離することができ、高品位なぼかし画像が得られると共に、ぼかし処理を高速に行うことができる。
【００２８】
上記（３）、（４）、（１１）または（１２）に記載の構成によれば、さらにぼかし処理を更に高速に行うことができる。
【００２９】
上記（５）または（１３）に記載の構成によれば、さらに高品位なぼかし画像が得られる。
【００３０】
上記（６）または（１４）に記載の構成によれば、元の画像データと平滑化された平滑化画像データ間や、異なる強度で平滑化された平滑化画像データ間のつなぎ目を目立たなくすることができ、高品位なぼかし画像が得られる。
【００３１】
上記（７）または（１５）に記載の構成によれば、元の画像データと平滑化された平滑化画像データ間や、異なる強度で平滑化された平滑化画像データ間のつなぎ目をさらに目立たなくすることができ、さらに高品位なぼかし画像が得られる。
【００３２】
上記（８）または（１６）に記載の構成によれば、主要被写体の領域（元の画像データを合成対象とする領域；ぼかしを生じさせない領域）にぼけが食い込むことを防止することができ、さらに高品位なぼかし画像が得られる。
【００３３】
上記（１７）に記載の構成によれば、高品位かつ高速なぼかし処理を行うデジタルスチルカメラを実現することができる。
【００３４】
上記（１８）または（１９）に記載の構成によれば、誤測距により生じたぼけ食い込み、ぼけ抜けを解消できる。即ち、抽出した主要被写体以外の領域（非主要被写体領域）をぼかすとき、誤測距による主要被写体に生じるぼけ食い込み、主要被写体以外の領域に生じるぼけ抜けを解消でき、違和感のない背景ぼかし画像処理ができる。
【発明の効果】
【００３５】
本発明によれば、被写体によらず高品位なぼかし画像が得られると共に、高速に処理できる画像処理装置、画像処理方法及びデジタルスチルカメラを提供することができる。
【図面の簡単な説明】
【００３６】
【図１】本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示すブロック図である。
【図２】本発明に係るデジタルスチルカメラにおける一実施の形態の外観を示す上面図である。
【図３】図２のデジタルスチルカメラの外観を示す正面図である。
【図４】図２のデジタルスチルカメラの外観を示す背面図である。
【図５】本発明に係るデジタルスチルカメラにおける第１の実施の形態および第２の実施の形態の動作フローである。
【図６】本発明に係るデジタルスチルカメラにおける第１の実施の形態の画像処理を示す図である。
【図７】本発明に係るデジタルスチルカメラにおける第１の実施の形態のＡＦ評価値の変化を示す図である。
【図８】本発明に係るデジタルスチルカメラにおける第１の実施の形態のＡＦ評価値のＨＰＦで演算対象となる画素を示す図である。
【図９】本発明に係るデジタルスチルカメラにおける第１の実施の形態のＡＦエリアの被写体までの距離と所定範囲を示す図である。
【図１０】本発明に係るデジタルスチルカメラにおける第１の実施の形態のラベリングの領域割り当てを説明するための説明図である。
【図１１】本発明に係るデジタルスチルカメラにおける第１の実施の形態の平滑化工程及び合成処理工程を説明するための説明図である。
【図１２】本発明に係るデジタルスチルカメラにおける第１の実施の形態のフィルタ係数の分布を示す図である。
【図１３】本発明に係るデジタルスチルカメラにおける第２の実施の形態のラベルデータのビット割当を説明するための説明図である。
【図１４】本発明に係るデジタルスチルカメラにおける第２の実施の形態の平滑化工程及び合成処理工程を説明するための説明図である。
【図１５】本発明に係る画像処理装置に入力される画像データのサンプル図である。
【図１６】図１５に示すサンプル図に測距結果を重ね合わせた図である。
【図１７】本発明にかかる画像処理装置のその他の実施の形態における構成を示すブロック図である。
【図１８】図１５に示すサンプル図における領域の分割の例を示すための図である。
【図１９】本発明にかかる画像処理装置のその他の実施の形態１における領域分割の処理フローの例を示す図である。
【図２０】距離情報取得部１０８の詳細内部構成を示す図である。
【図２１】図１５に示すサンプル図に顔検出結果を重ね合わせた図である。
【図２２】誤測距ブロックＥのブロック距離と周辺のブロックのブロック距離との差を示すグラフである。
【図２３】誤測距ブロックＥと周辺のブロックとの配置関係を示す説明図である。
【図２４】５×５のGaussianフィルタの一例を示す図である。
【図２５】ぼけ関数ＤＢ１１０の一例を示す図である。
【図２６】デジタルカメラのハードウェア構成を示すブロック図である。
【図２７】本発明にかかる画像処理装置のその他の実施の形態１におけるぼかし処理の処理フローの例を示す図である。
【図２８】その他の実施の形態２における画像処理装置のハードウェア構成を示すブロック図である。
【図２９】本発明にかかる画像処理装置のその他の実施の形態２におけるぼかし処理の処理フローの例を示す図である。
【発明を実施するための形態】
【００３７】
本発明に係る画像処理装置は、主要被写体画像データと非主要被写体画像データとを含む画像データと、主要被写体までの距離と非主要被写体までの距離とからなる距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記距離情報を所定の段数からなる分割距離情報に分割する距離分割手段と、前記画像データを輝度及び／または色度に基づいて領域判定して領域判定結果を出力する領域判定手段と、前記分割距離情報と前記領域判定結果とを対応づけてラベルデータを出力するラベリング手段と、前記所定の段数に応じた異なる処理をもって前記画像データを平滑化して平滑化画像データを出力する平滑化手段と、前記画像データと前記平滑化画像データとを前記ラベルデータに基づいて合成した合成画像データを出力する合成処理手段と、を具備することを特徴とする。
【００３８】
次に、本発明に係る画像処理装置、画像処理方法及びデジタルスチルカメラについてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
【００３９】
〔第１の実施の形態〕
以下、図面を参照しながら本発明の第１の実施の形態について具体的に説明する。
図１に本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示す。図１において、０１は、デジタルスチルカメラ装置である。０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマー等からなるシステム制御部である。０３は、撮像のために設けられた、光学系部品を駆動するためのモータや、ＣＣＤを駆動するためのＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部である。
【００４０】
０４は、撮像部で得られた画像信号（画像データ）に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる画像処理部である。０５は、画像処理部０４で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる表示制御部である。
【００４１】
０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤである。０７は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラ等からなる記録メディアインターフェイス部である。０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な記録メディアである。
【００４２】
０９は、ダイヤル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなるハードキーインターフェイス部である。１０は、ＵＳＢ接続してデータ通信を行うために設けられた、通信コントローラからなる通信インターフェイス部である。１１は、デジタルスチルカメラ装置０１とＵＳＢ接続して、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣ（パーソナルコンピュータ）である。
【００４３】
１２は、撮影モードを設定するための、モードダイヤルである。１３は、撮影を指示するための、レリーズキーである。１４は、撮像を行うためのＣＣＤである。１５は、光学像をＣＣＤ１４上に結像させるための、レンズである。
【００４４】
図２は本発明のデジタルスチルカメラの一実施の形態の外観を示す上面図である。図３は図２のデジタルスチルカメラの外観を示す正面図である。図４は図２のデジタルスチルカメラの外観を示す背面図である。
図２〜４において、デジタルスチルカメラ本体１の上面には、レリーズシャッタ（ＳＷ１）６２、モードダイヤル（ＳＷ２）６３、およびサブＬＣＤ６４が配置されている。デジタルスチルカメラ本体１の正面には、ＳＤカード／電池蓋６５、ストロボ発光部６６、光学ファインダ６７、リモコン受光部６９、鏡胴ユニット７０が配置されている。デジタルスチルカメラ本体１の背面には、ＡＦＬＥＤ７１、ストロボＬＥＤ７２、ズームスイッチ（ワイド）（ＳＷ３）７３、ズームスイッチ（遠隔）（ＳＷ４）７４、セルフタイマ／削除スイッチ（ＳＷ５）７５、メニュースイッチ（ＳＷ６）７６、上／ストロボスイッチ（ＳＷ７）７７が配置されている。さらに、デジタルスチルカメラ本体１の背面には、右スイッチ（ＳＷ８）７８、ディスプレイスイッチ（ＳＷ９）７９、下／ストロボスイッチ（ＳＷ１０）８０、左／画像確認スイッチ（ＳＷ１１）８１、オーケースイッチ（ＳＷ１２）８２、ＬＣＤモニタ８３および電源スイッチ（ＳＷ１３）８４が配置されている。またさらに、デジタルスチルカメラ本体１の背面には、光学ファインダ６７が正面と同様の位置に配置されている。この光学ファインダ６７は、装置の正面から背面まで挿通した状態で固定されている。
【００４５】
まず、従来の起動動作について説明する。利用者が電源ボタン８４を押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。
【００４６】
起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与えることで行う。また、記録メディア０８の初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。
【００４７】
続いて撮影時の動作について説明する。利用者は撮影に先立ち、図２〜４に示されている種々のキー、ダイヤルを操作し、撮影モード（高画質モード、低画質モード等）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部０４へ設定する。
【００４８】
あるいはまた、利用者はズームスイッチ７３，７４を操作し、画角（構図）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。
【００４９】
撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。レリーズボタン１３が押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。
【００５０】
撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディア０８へ書き込む。以上で一連の撮影動作を完了する。
【００５１】
次いで、本発明において特徴となる画像処理の動作フローについてより詳細に説明する。
先ず、本発明の第１の実施の形態である、元の画像データを平滑化して平滑化画像データを１面作成して元の画像データと合成し、必要に応じてこれを繰り返す（本実施の形態の場合３回繰り返す）例について説明する。
【００５２】
動作フローを図５（Ａ）に示す。この動作フローはレリーズボタン１３が押された後の、撮影時の動作を示している。
撮影動作を開始すると、システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００１）。
続いてシステム制御部０２は、撮影領域内の位置毎のピーク位置の判定を行う（ｓｔｅｐ０１−００２）。
【００５３】
ここでＣＣＤＡＦの概要ついて説明する。
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。
ＣＣＤＡＦは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする方法である。
【００５４】
以下、図６を参照しながら説明する。
図６（Ａ）において、１００は画像の撮影領域全体、１０１は１つのＡＦ評価値エリアを示している。
図６（Ａ）に示すように、ＡＦ評価値エリアは、撮影領域内を均等に分割した１６×１２の小領域となっており、ＣＣＤＡＦにより各小領域１０１毎のＡＦ評価値（小領域１０１内の画像のコントラストの積算値）が得られる。
【００５５】
システム制御部０２は、各小領域１０１毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの位置を判定する。
さらにシステム制御部０２は、各小領域１０１毎に、現在のズーム位置からレンズの駆動位置を距離情報に変換する。
【００５６】
このＣＣＤＡＦにおけるレンズ位置（合焦距離）とＡＦ評価値との関係の一例を図７に示す。
図７において、横軸はレンズ位置及びレンズ位置に対応した合焦する距離、縦軸はＡＦ評価値を示している。
また、９０１は遠距離にある被写体（例えば非主要被写体である図６（Ｃ）の背景の空部分１０２）のスキャンに伴うＡＦ評価値の変化を示した波形、９０２は同じく中距離にある被写体（例えば非主要被写体である図６（Ｃ）の背景の縁石部分１０３）のスキャンに伴うＡＦ評価値の変化を示した波形、９０３は同じく近距離にある被写体（例えば主要被写体である図６（Ｃ）の人物部分１０４）のスキャンに伴うＡＦ評価値の変化を示した波形である。
ここで、ＡＦ評価値はＡＦ評価値エリア１０１内の各画素に対し、水平方向の画素間でＨＰＦ（ハイパスフィルター）の演算を行い、得られた高周波成分を加算したものである。
【００５７】
ＨＰＦの係数は、例えば、ｋｉ＝｛−１，−２，６，−２，−１｝といった値が用いられる。
ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。
【００５８】
このＡＦ評価値の演算を、図８に示すＡＦ評価値エリア内の５画素を抜き出したものを例に挙げて具体的に説明する。
図８において、１００１は、注目画素の水平方向−２の座標の画素、１００２は、注目画素の水平方向−１の座標の画素、１００３は、注目画素、１００４は、注目画素の水平方向＋１の座標の画素、１００５は、注目画素の水平方向＋２の座標の画素を示している。ＡＦ評価値は、下記式（１）で求められる。
【００５９】
（ＡＦ評価値）  ＝  ｋ０×（１００１の画素の値）  ＋  ｋ１×（１００２の画素の値）  ＋  ｋ２×（１００３の画素の値）  ＋  ｋ３×（１００４の画素の値）  ＋  ｋ４×（１００５の画素の値）      ・・・式（１）
【００６０】
ＡＦ評価値から距離情報を取得するには、下記式（２−１）で示されるガウスの結像方程式、
１／ａ＋１／ｂ＝１／ｆ      ・・・式（２−１）
から、下記式（２−２）として求められる。
ａ＝ｂｆ／（ｂ−ｆ）        ・・・式（２−２）
【００６１】
ここで、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離、である。レンズから被写体までの距離ａが求める距離情報である。レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの位置から一意に求められる。以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。
【００６２】
なお、被写体のコントラストが低く、ピークが得られなかったエリアについては、その周辺のエリアのピーク位置で補完処理を行うと良い。
【００６３】
以上の様に、実際の距離情報はＡＦ評価値のピーク位置から一意に求められるため、以降の説明ではピーク位置を距離と同義のものとして説明する。
【００６４】
図６（Ａ）の各領域（ＡＦ評価値エリア１０１）の中の値は、ｓｔｅｐ０１−００２で判定された各領域でのピーク位置を示している。
続いてシステム制御部０２は、測距結果（ピーク位置；距離情報）を、所定の段数Ｎ段（本実施の形態ではＮ＝４）に分割して分割距離情報とする（ｓｔｅｐ０１−００３；距離分割工程）。この所定の段数Ｎは２以上の任意の整数である。このときＮが大きくなるほどぼかし画像はより高品位となるが、Ｎが大きくなり過ぎると処理に時間がかかるため好ましくない。
【００６５】
このｓｔｅｐ０１−００２では、まず、システム制御部０２は、ＡＦエリア１０７の被写体（主要被写体）までの距離と、所定範囲内の距離にあるＡＦ評価値エリア１０１をまとめて主要被写体ブロックとして判定する。
図６（Ａ）において、網掛けで示された１０７はＡＦエリアを示している。このＡＦエリア１０７は画角１００内の中心である必要はなく、撮像対象となる主要被写体に対応した画角１００内の任意の位置をユーザーが指定することができる。
【００６６】
ＡＦエリア１０７の被写体までの距離と、主要被写体ブロックを決定するための所定範囲を、図９を参照しながら説明する。
図９において、横軸は無限遠から近距離に向けた距離、１１０１から１１０５、および１１０８は、図６（Ｃ）のような被写体を、ｓｔｅｐ０１−００２で測距した、各部の距離を示している。
【００６７】
１１０１は、背景の空部分１０２までの距離、１１０２は、背景の縁石部分１０３までの距離、１１０３は、人物１０４の頭部までの距離、１１０４は、人物１０４の顔部までの距離、１１０５は、人物１０４の胸部までの距離である。１１０８は、背景の町並み１０５と海１０６までの距離である。
【００６８】
ＡＦエリア１０７は、図６（Ａ）に示すように、人物の顔部に設定されており、ＡＦエリア１０７の被写体までの距離は１１０４と等しい。
【００６９】
１１０６、１１０７は、主要被写体ブロックを決定するための所定範囲を示しており、１１０６は近距離側の範囲、１１０７は遠距離側の範囲である。
図９の例では、１１０３、１１０４、１１０５が所定範囲に含まれる。
以上のような判定に基づき、本実施の形態では図６（Ｂ）の１１４で示したエリアを、主要被写体ブロックとして判定する。
【００７０】
尚、この所定範囲１１０６、１１０７は、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき、あらかじめシステム制御部０２内に記憶されているテーブルを参照することで設定される。
設定は、レンズの焦点距離が長い場合には所定範囲は短く、レンズの焦点距離が短い場合には所定範囲は長く設定され、また、ＡＦエリアの被写体までの距離が長い場合には所定範囲は長く、ＡＦエリアの被写体までの距離が短い場合には所定範囲は短く、設定される。
あるいは、他の方法として、図６（Ａ）の測距結果（距離情報）の値の分布から自動決定するようにしても良い。
【００７１】
図６（Ｂ）の各領域（ＡＦ評価値エリア１０１）の値が０となっているブロックが主要被写体ブロックである。
本実施の形態における非主要被写体である背景部分については、主要被写体ブロック以外の領域の図６（Ａ）の測距結果（距離情報）の値の分布から、値を残りの３段階に分割する。
本実施の形態では、値が１１未満である領域（図６（Ｂ）の値が３）、値が１１以上１５未満である領域（図６（Ｂ）の値が２）、値が１５以上である領域（図６（Ｂ）の値が１）の３段階に分割している。
尚、本実施の形態では非主要被写体は背景のみから構成されているが、本発明における非主要被写体とは主要被写体の前景のみから構成されていても良く、背景と前景とから構成されていても良い。
【００７２】
続けてシステム制御部０２は、画像処理部０４を制御して、撮影画像（画像データ）を別画像として所定の画像サイズ（本実施の形態では３２０×２４０）に縮小（ｓｔｅｐ０１−００４；縮小工程）し、縮小して得られた画像を元に領域判定を行う（ｓｔｅｐ０１−００５；領域判定工程）。
【００７３】
領域の判定は、画像データの輝度と色差に基づき、隣接する画素との差が所定の値（本実施の形態では１０）未満の場合には同一の領域として判定を行う（下記式（３）参照。）。尚、本実施の形態では画像データの輝度と色差に基づき領域の判定を行っているが、本発明における領域判定は、画像データの輝度または色差に基づき行うものであっても良い。
【００７４】
ａｂｓ（Ｙ１−Ｙ０）＋ａｂｓ（Ｕ１−Ｕ０）＋ａｂｓ（Ｖ１−Ｖ０）  ＜  １０
・・・式（３）
【００７５】
上記式（３）において、Ｙ０、Ｕ０、Ｖ０が基準となる画素の輝度または色差、Ｙ１、Ｕ１、Ｖ１が隣接する画素の輝度または色差の値である。
ａｂｓ（）は、括弧内の値の絶対値を得る処理を示している。
基準となる画素の位置を画像全体に移動しながら判定を行うことで、明るさと色の近い領域を判定することができる。
【００７６】
ｓｔｅｐ０１−００５の領域判定工程の結果である領域判定結果を図６（Ｄ）に示す。図６（Ｄ）において太線及び／または細線で囲まれた各領域が、輝度や色差に基づいて画像データのグルーピングを行った領域判定の結果である。
尚、本実施の形態では後述するように非主要被写体である背景の領域の全てにぼけ処理を行うが、主要被写体からの位置が所定の範囲内である非主要被写体に対してはぼけ処理を行わないことが望ましい。即ち、非主要被写体領域の中で、主要被写体からの位置が所定の距離の範囲外である非主要被写体の領域に対してぼけ処理を行うことが望ましい。
【００７７】
続けてシステム制御部０２は、領域の割当（ラベリング）を行う（ｓｔｅｐ０１−００６；ラベリング工程）。
ラベリングは、ｓｔｅｐ０１−００５で領域判定した各領域（図６（Ｄ）；領域判定結果）と、ｓｔｅｐ０１−００３で分割した測距結果（図６（Ｂ）；分割距離情報）を重ね合わせて判定する。即ち、領域判定工程により抽出された各領域がそれぞれ有する画素は、Ｎ段の分割距離情報のいずれと多く重なるかをカウントし、重なりの多い段の分割距離情報に各領域をそれぞれ割り当てたラベリングデータを出力する。
【００７８】
このラベリングの方法について、図１０を用いて具体的に説明する。
図１０において、太線で囲まれた７００は分割距離情報が０（１段目）のＡＦ評価値エリア、同じく７０１は分割距離情報が１（２段目）のＡＦ評価値エリア、同じく７０２は分割距離情報が２（３段目）のＡＦ評価値エリア、同じく７０３は分割距離情報が３（４段目）のＡＦ評価値エリアを示している。これらの領域７００，７０１，７０２，７０３は図示のとおり太線で囲まれた領域であって、２０×２０個の細線で囲まれた画素７０５からそれぞれ構成されている。前述したように、領域判定は３２０×２４０に縮小した画像で行っているため、１６×１２のＡＦ評価値エリアと重ね合わせると、各ＡＦ評価値エリアが２０×２０画素を含むことになる。
また、波線で囲んだ円形の領域７０４は、重ね合わせた領域判定結果で示される１つの領域である。
【００７９】
システム制御部０２は、領域７０４内に重なり合っている各ＡＦ評価値エリア７００〜７０３が有する画素数をカウントし、カウントされた画素数が最も多い分割距離情報に領域７０４の割り当てを行うが、その際に、分割距離情報が０のＡＦ評価値エリア（主要被写体領域）と重なる画素に対しては、所定の重み付け（本実施の形態では３倍でカウント）を行い、判定する。尚、本実施の形態では各領域内でカウントされた画素数が最も多い分割距離情報が複数ある場合は、０に近いものを優先して割り当てを行う。
【００８０】
図１０の例における本実施の形態の具体的な算出について説明する。
分割距離情報が０の領域の画素数は７７画素で、３倍の重み付けを行うため２３１画素相当、分割距離情報が１の領域の画素数は１２０画素、分割距離情報が２の領域の画素数は２０４画素、分割距離情報が３の領域の画素数は１４３画素となり、領域７０４には、測距結果０を割り当てる。割り当てでは、領域判定に用いた画素数（３２０×２４０）画素に等しいラベルデータを作成し、この領域７０４の位置に相当するラベルデータの値を０に設定する。
【００８１】
この分割距離情報が０の領域への重み付けを行うことにより、領域判定結果において小領域が生成され、それが分割距離情報の境界に重なり合っているような場合に、その小領域を０にすることができ、結果として（その小領域が主要被写体の場合）主要被写体へぼけが食い込むことを防止することができる。
本実施例では主要被写体に対して３倍の重み付けを行っているが、これ以外の値でも良い。あるいは、割り当てを行う領域において、主要被写体領域に相当する分割距離情報である「０」との重なりが１画素以上ある場合には当該領域にラベル値「０」を設定するような方法も有効である。
【００８２】
同様に判定において、分割距離情報が１の領域が割り当てられた場合にはラベル値１を、分割距離情報が２の領域が割り当てられた場合にはラベル値２を、分割距離情報が３の領域が割り当てられた場合にはラベル値３を設定して３２０×２４０のラベルデータを作成する。
【００８３】
図６の例では、図６（Ｄ）の太線で囲った領域が、ラベルデータの設定結果を示しており、１０８の領域（本実施の形態における主要被写体の領域に相当する。）には０が、１０９及び１１０の領域には１が、１１１及び１１２の領域には２が、１１３の領域には３が設定される。
【００８４】
以上のように、ｓｔｅｐ０１−００５，００６での処理は、縮小した画像を元に行われる。ｓｔｅｐ０１−００５，００６で説明したような複雑な処理は、ＣＰＵで行う必要がある為、縮小した画像を元に行うことで高速に処理することができる。
【００８５】
続けてシステム制御部０２は、ラベルデータの拡大を行う（ｓｔｅｐ０１−００７；拡大処理）。拡大は最近傍法により０、１、２、３以外の中間値が生成されないように行い、撮影画像データのサイズと同じサイズに拡大する。
【００８６】
以下、平滑化工程と合成処理工程について、図１１を参照しながら説明する。
システム制御部０２は、画像処理部０４を制御し、撮影画像データ（元画像データ）のコピーを生成し（ｓｔｅｐ０１−００８、図１１（１））、更に、撮影画像データ（元画像データ）のぼかし画像（平滑化画像データ）を生成する（ｓｔｅｐ０１−００９、図１１（２）；平滑化工程の一部）。
【００８７】
ここで、ぼかし処理（平滑化画像データの生成）の詳細について図５（Ｃ）のフローに基づいて説明する。
システム制御装置０２は、ラベルデータのラベル値に基づき、下記表１に示すような処理内容を決定する（ｓｔｅｐ０３−００１）。
【００８８】
【表１】
2010226694.tif 000003
【００８９】
表１において、ラベル値はラベルデータの値（値の大きい方が大きなぼけを生ずる）、縮小処理はラベル値により決定する縮小処理の縮小率（画像の一辺の長さの比）、を示している。即ち、大きなぼけを得る場合には、画像をより小さく縮小してから空間フィルタ処理を行う。このときの縮小処理は、バイリニア法により、画像データの画素数を減らすようにサンプリングを行う。
尚、縮小処理の縮小率の分母の値１６は、画像の水平サイズと垂直サイズの公約数となる値が設定されており、縮小後の画像サイズは水平方向、垂直方向共に小数点以下の端数を生じない。
【００９０】
これにより、縮小処理や拡大処理における丸めによる誤差を排除することができ、縮小拡大後の画像サイズを正確に元画像に合わせることができ、ひいては、後述する合成処理の処理結果の画像品位を向上することができる。
【００９１】
ラベル値が、１の場合には、縮小処理を行わずに空間フィルタの処理（ぼかし処理）のみを行う（ｓｔｅｐ０３−００２、００３）。
空間フィルタの処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。
空間フィルタ処理では、下記式（４）のように入力画像(Ｉｎ（ｘ，ｙ）)にフィルタ係数（ｋ（ｉｘ，ｉｙ））を演算し、出力画像（Ｏｕｔ（ｘ，ｙ））を得る。
【００９２】
【数１】
2010226694.tif 000004
【００９３】
ここで、Ｉｎ：入力画像、Ｏｕｔ：出力画像、ｋ：フィルタ係数、ｆｓ：フィルタサイズ(本実施の形態では７)、である。また上記式４において、座標の演算結果（ｘ＋ｉｘ―ｆｓ／２、及びｙ＋ｉｙ−ｆｓ／２）は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。
次に、フィルタ係数の例を図１２に示す。
【００９４】
ラベル値が２以上の場合には、一旦画像を縮小処理した後、空間フィルタの処理（ぼかし処理）を行い、しかる後に拡大処理を行うことで元のサイズに戻す（ｓｔｅｐ０３−００４〜００６）。
拡大処理では、ｓｔｅｐ０３−００４で行われる縮小率の逆数分の拡大処理を行い、結果、画像データのサイズは元の大きさとなる。
尚、拡大処理は、バイリニア法により、画像の画素数を増やすようにサンプリングを行う。
【００９５】
これらの縮小、空間フィルタ、拡大の処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。また、ラベル値が０である領域とは主要被写体に対応した領域であるため、対応したぼかし処理は存在せず、ラベル値が１，２，３の場合にのみ対応したぼかし処理が存在する。即ち、前記Ｎ段に分割した場合、Ｎ−１通りの異なるぼかし処理を行うことでＮ−１通りの平滑化画像データを生成する。
【００９６】
以下、図５（Ａ）のフローに戻り説明する。
合成処理（ｓｔｅｐ０１−０１０；合成処理工程）では、ｓｔｅｐ０１−００８で生成したコピー画像（元の画像データ）に、ｓｔｅｐ０１−００９でぼかし処理を施した画像（平滑化画像データ）を合成する。
合成は、ラベルデータのラベル値に基づいて行われ、ラベル値１に対応したぼかし処理を行った画像（平滑化画像データの１つ）のラベル値が１の位置の画素を、コピー画像に上書き処理する（図１１（３））。
以上と同様の処理を、ラベル値２、３に対して繰り返し行う（ｓｔｅｐ０１−００９〜０１１、図１１（４）〜（７））ことで合成画像データを得る。
【００９７】
続いてシステム制御部０２は、各ラベル値同士の境目に位置する画素に対して、空間フィルタの処理を行う（ｓｔｅｐ０１−０１２、図１１（８）；合成画像データ平滑化工程）。
この空間フィルタの処理（ぼかし処理）は、ｓｔｅｐ０３−００３と同じ処理であっても良いし、図１２のフィルタ係数を全て１にした様な簡略化した処理であっても良い。
この処理により、各ラベル値の異なる領域の間のつなぎ目を目立たなくする事が出来る。
最後に、以上の処理をした画像を、従来と同様に圧縮、記録して処理を完了する（ｓｔｅｐ０１−０１３）。
【００９８】
〔第２の実施の形態〕
次に、本発明の第２の実施の形態である、元の画像データを平滑化して平滑化画像データを（必要に応じて複数面、本実施の形態では３面）作成した後に、加重加算により元の画像データと合成する例について説明する。
【００９９】
動作フローを図５（Ｂ）に示す。本動作フローは第１の実施の形態と同様に、レリーズボタン１３が押された後の、撮影時の動作を示している。尚、これ以外の動作については説明を省略する。
また、ｓｔｅｐ０２−００１〜００５の動作は、ｓｔｅｐ０１−００１〜００５の動作と同じであるため説明を省略する。
【０１００】
ｓｔｅｐ０２−００６において、システム制御部０２は、領域の割当（ラベリング）を行うが、第１の実施の形態とはラベルデータのフォーマットが異なる。
【０１０１】
ラベルデータのフォーマットの例を図１３に示す。
図１３は、１画素に相当するラベルデータのビット割当を示しており、上位２ビット（ｂｉｔ７，ｂｉｔ６）は、第１の実施の形態と同じ内容のラベル値、下位６ビット（ｂｉｔ５〜ｂｉｔ０）は、後述する加重加算の係数を示している。
その他の動作（領域に重なりあった画素をカウントし、画素数の多い分割距離情報に割り当てを行う等）については、第１の実施の形態と同じであるため説明を省略する。
【０１０２】
システム制御部０２は、第１の実施の形態と同様に各領域が有するそれぞれの画素に対して分割距離情報が０の領域が割り当てられた場合にはラベル値０を、分割距離情報が１の領域が割り当てられた場合にはラベル値１を、分割距離情報が２の領域が割り当てられた場合にはラベル値２を、分割距離情報が３の領域が割り当てられた場合にはラベル値３を設定したラベルデータを作成する。これと同時に、加重加算の係数部分は、０に初期化する。
【０１０３】
続けて、システム制御部０２は、ラベルデータに対して空間フィルタの処理（平滑化）を行い、平滑化ラベルデータを生成する（ｓｔｅｐ０２−００７；ラベルデータ平滑化手段）。
この処理は、ｓｔｅｐ０３−００３と同じ処理であっても良いし、図１２のフィルタ係数を全て１にしたような簡略化した処理であっても良い。
【０１０４】
この処理により、上位２ビットのラベル値が加重加算部に分散され、ラベルデータをｂｉｔ６とｂｉｔ５の間に小数点を置いたデータとして見た場合に、１．５や、２．５といった中間値が生成されることになる。
これにより、後述する加重加算において、ラベル値が異なる各領域の間のつなぎ目を目立たなくすることができる。
【０１０５】
更にシステム制御部０２は、平滑化ラベルデータの拡大を行う（ｓｔｅｐ０２−００８；拡大工程）が、第１の実施の形態とは異なり、拡大はバイリニア法により行う。
これにより、加重加算の係数値が更に分散することになり、後述する加重加算において、ラベル値の異なる各領域の間のつなぎ目をより目立たなくすることができる。
【０１０６】
以下、平滑化工程と合成処理工程について、図１４を参照しながら説明する。
システム制御部０２は、画像処理部０４を制御し、撮影画像データ（元の画像データ）のぼかし画像である平滑化画像データを生成する。
平滑化工程については、第１の実施の形態と同じであり、ラベル値１、２、３に対して繰り返し行い（ｓｔｅｐ０２−００９〜０１０）、各々別のぼかし画像（Ｎ−１の異なる平滑化画像データ；本実施の形態の場合３つ）を生成する（図１４（１）〜（３））。
【０１０７】
合成処理工程（ｓｔｅｐ０２−０１１）では、撮影画像データ（元の画像データ）とｓｔｅｐ０２−００９〜０１０で生成した３つの平滑化画像データ（図１４（１）〜（３））を合成処理する。
合成は、ラベルデータのラベル値及び加重加算の係数、即ち平滑化ラベルデータに基づき行う。
【０１０８】
ラベル値が０の場合には、撮影画像データ（元の画像データ）とラベル値１で平滑化処理を行った画像（図１４（１））間で下記式（５−１）により加重加算を行う。
【０１０９】
合成画像データの画素値  ＝  （（元の画像データの画素値  ×  （６４  −  加重加算係数））  ＋  （ラベル値１で平滑化処理を行った平滑化画像データの画素値  ×  加重加算係数））  ／  ６４
・・・式（５−１）
【０１１０】
ラベル値が１の場合には、ラベル値１で平滑化処理を行った画像（図１４（１））とラベル値２で平滑化処理を行った画像（図１４（２））間で下記式（５−２）により加重加算を行う。
【０１１１】
合成画像データの画素値  ＝  （（ラベル値１で平滑化処理を行った平滑化画像データの画素値  ×  （６４  −  加重加算係数））  ＋  （ラベル値２で平滑化処理を行った平滑化画像データの画素値  ×  加重加算係数））  ／  ６４
・・・式（５−２）
【０１１２】
ラベル値が２の場合には、ラベル値２で平滑化処理を行った画像（図１４（２））とラベル値３で平滑化処理を行った画像（図１４（３））間で下記式（５−３）により加重加算を行う。
【０１１３】
合成画像データの画素値  ＝  （（ラベル値２で平滑化処理を行った平滑化画像データの画素値  ×  （６４  −  加重加算係数））  ＋  （ラベル値３で平滑化処理を行った平滑化画像データの画素値  ×  加重加算係数））  ／  ６４
・・・式（５−３）
【０１１４】
ラベル値が３の場合には、（合成画像データの画素値  =  ラベル値３で平滑化処理を行った平滑化画像データの画素値）とする。
【０１１５】
以上の合成処理工程により、ラベル値の異なる各領域の間のつなぎ目を目立たなくする事が出来る。
最後に、以上の処理をした画像を、従来と同様に圧縮、記録して処理を完了する（ｓｔｅｐ０２−０１２）。
【０１１６】
以上、元の画像データを平滑化して平滑化画像データを１面作成して元の画像データと合成し、必要に応じてこれを繰り返す例（第１の実施の形態）、及び、元の画像データを平滑化して平滑化画像データを（必要に応じて複数面、本実施の形態では３面）作成した後に、加重加算により元の画像データと合成する例（第２の実施の形態）の２つの実施の形態について説明したが、これらの差異についてさらに説明する。
【０１１７】
第１の実施の形態は第２の実施の形態に対して、使用するメモリを少なくすることができる。図１１において、第１の実施の形態は（１）、（３）、（５）、（７）、（８）は同じメモリ領域を使用しており、また、（２）、（４）、（６）は同じメモリ領域を用いることができ、第２の実施の形態が元の画像データと同じサイズの３面のメモリ（図１４（１）〜（３））を必要とするのに対し、２面のメモリ領域があれば処理することができる。
【０１１８】
一方で、第２の実施の形態は第１の実施の形態に対し、より高品位な画質を得ることができる。第１の実施の形態が合成後の画像に対してつなぎ目を空間フィルタにより補正しているのに対し、第２の実施の形態ではあらかじめつなぎ目を考慮したラベルデータを生成しているため、ラベル値の異なる各領域の間のつなぎ目をより自然に処理することができる。
【０１１９】
以上説明した第１及び第２の実施の形態のそれぞれにおいては、ラベル値に基づき、ぼかし処理の処理内容（ぼかし量）を決定する例について示したが、更に、ラベル値の元となる測距結果（図６（Ａ））に基づいてぼかし処理の処理内容（ぼかし量）を決定するようにしても良い。その場合、システム制御部０２内に、ｓｔｅｐ０１−００３で説明した各ラベル値を決定する距離範囲に応じた、表１に相当する処理内容決定のテーブルを保持しておくことで実現できる。
【０１２０】
更には、利用者がぼかし強度を設定する事ができるようにしても良い。その場合、システム制御部０２内に、利用者の設定したぼかし強度に応じた、表１に相当する処理内容決定のテーブルを保持しておくことで実現できる。
【０１２１】
次に、本発明のその他の実施の形態（第２の発明）について説明する。
本発明のその他の実施の形態にかかる画像処理装置は、画像データと、距離情報とが入力され、前記画像データにぼかし処理を行う画像処理装置であって、前記画像データを輝度及び／または色度に基づいて複数の領域に分割する領域分割手段と、前記画像データを複数のブロックに分割するブロック分割手段と、前記距離情報に基づいて前記複数のブロック毎にブロック距離を設定するブロック距離設定手段と、前記複数の領域を前記ブロック距離に基づいて判定して主要被写体領域と非主要被写体領域とに分割する主要被写体領域抽出手段と、前記複数のブロックの中で前記主要被写体領域と前記非主要被写体領域との境界線を有するブロックに対して、当該ブロック内における前記主要被写体領域中の画素には、当該画素の距離に、または前記主要被写体領域に属するブロックにおけるブロック距離に基づき、第１の補正距離を設定し、当該ブロック内における前記非主要被写体領域中の画素には、当該画素の距離に、または当該ブロックに隣接し、且つ前記非主要被写体領域に属するブロックにおけるブロック距離に基づき、第２の補正距離を設定する補正距離設定手段と、前記ブロック距離、前記第１の補正距離及び前記第２の補正距離に基づいて前記画像データにぼかし処理を行うぼかし処理手段と、を具備することを特徴とする。
また、前記複数のブロックの中で前記非主要被写体領域に属するブロックであり、且つ誤測距により適正なブロック距離が設定されていない誤測距ブロックを判定する誤測距ブロック判定手段と、前記誤測距ブロックのブロック距離を、当該誤測距ブロックの周辺のブロックであり、且つ前記非主要被写体領域に属するブロックのブロック距離により補正して、補正ブロック距離を設定する誤測距ブロック補正手段と、を具備し、前記ぼかし処理手段は、前記ブロック距離、前記第１の補正距離、前記第２の補正距離、及び前記補正ブロック距離に基づいて前記画像データにぼかし処理を行うことが好ましい。
以下、図面を参照しながら本発明のその他の実施の形態についてさらに詳細に説明する。
【０１２２】
〔その他の実施の形態１〕
図１５は画像処理装置に入力される画像データのサンプル図であり、７×１０のブロックに分割されている。Ａはオブジェクト１、Ｂはオブジェクト２、Ｃはオブジェクト３をそれぞれ表し、ここではＡが主要被写体、Ｂ及びＣが非主要被写体である。
図１６は図１５に示すサンプル図に測距結果を重ね合わせた図である。図１６中のＡで表される人物のオブジェクト１の輪郭部にある輪郭部ブロックＤは、Ａと、Ｂ及び／またはＣが重なるブロックである。換言すると、輪郭部ブロックＤは、（後述する）主要被写体領域と非主要被写体領域との境界線を有するブロックである。
輪郭部ブロックＤでは複数の被写体が重なっているため、輪郭部ブロックＤの（後述する）ブロック距離は正確なものとならない。このため、輪郭部ブロックＤにブロック距離をそのまま適用するとぼけの食い込みやぼけ抜けが発生してしまう。また、非主要被写体に属する誤測距ブロックＥは、被写体の動きや輝度値が低いなどの影響により正確な測距ができず、適正なブロック距離が設定されない。
【０１２３】
図１７は本発明にかかる画像処理装置のその他の実施の形態における構成を示すブロック図である。
本実施の形態にかかる画像処理装置は、画像入力部１０１、画像領域分割部１０２、主要被写体抽出部１０３、画像ぼかし処理部１０４、画像合成処理部１０５、画像出力部１０６、カメラパラメータ入力部１０７、距離情報取得部１０８、ぼけ関数取得部１０９、ぼけ関数ＤＢ１１０、主要被写体周辺誤測距ブロック修正部１１１、主要被写体以外領域の誤測距ブロック修正部１１２を備えている。
次に、各部について説明する。
【０１２４】
（画像入力部１０１）
画像入力部１０１では、デジタルカメラなどの撮影装置、もしくはスキャナーなどの画像入力装置により画像データが入力される。
【０１２５】
（画像領域分割部１０２）
領域分割手段である画像領域分割部１０２では、画像処理により画像データを複数の領域に分割する。
画像のエッジ、色などの情報を利用し、画像のコントラスト、色の特性が近い画素をまとめて一つの領域にして、画像データを複数の領域に分割する。図１８に示すように、色とコントラストの近い画素を集める塊、Ａオブジェクト１、Ｂオブジェクト２、Ｃ背景の領域に分割される。
画像データの領域の分割は図１８に示すように、ほぼ同じ色の領域を一つの塊として、抽出する。画像データにおいて隣り合う画素の色の差を計算して、色差がある閾値以下であれば同じ塊と判断する。もしくは、コントラストがほぼ同じの塊を一つの領域として抽出する方法であってもよい。
【０１２６】
図１９は本発明にかかる画像処理装置のその他の実施の形態における領域分割の処理フローの例を示す図である。各工程ｓｔｅｐ０４−１〜５について、順に説明する。
ｓｔｅｐ０４−１：画像を色空間変換（YUV変換）
まず画像を色空間変換し、RGB画像をYUVに変換する。ここで、Yは画像の輝度であり、UとVは画素の色特性を現す。Uは輝度信号とB信号の差分であり、Vは輝度とR信号の差分である。
【０１２７】
ｓｔｅｐ０４−２：フィルタ処理
次にY、U、Vそれぞれの成分に対してフィルタリング処理を行う。フィルタリングの処理により、ノイズ成分や急激に変化する小さい領域を平均化し、同じ特性の塊を作りやすくする。フィルタリングのフィルタについては、ノイズ除去、平滑効果が得られるものであれば良く、例えば、平滑効果があるGaussianを使っても良い。
【０１２８】
ｓｔｅｐ０４−３：領域生成
フィルタリングしたY、U、V成分では、隣り合う画素の差分がある閾値より小さければ、同じ塊と判断し、塊を生成する。このとき、Y、U、Vそれぞれに閾値を設定する。閾値の設定は実験により、予め調整し、設定しておく。それぞれの閾値は、予めメモリに保存しておく。
このようにして、特性差の少ない小領域を生成する。このとき、色成分であるU、Vの閾値で領域分割しても良いし、輝度値Yの閾値も含めてそれぞれの閾値で領域分割しても良い。
図１８に示すように同じ色の塊であるオブジェクトA、オブジェクトB、背景Cが分離される。
【０１２９】
ｓｔｅｐ０４−４：微小領域削除
ノイズや孤立点の影響で、極小さい微小領域が生成される場合がある。ここで、領域面積の閾値を設けて、閾値面積より小さい微小領域を隣の領域と融合する。融合するとき隣の領域との輝度、色差が最も少ない領域と合成する。最小面積の閾値は調整でき、予め設定する。
【０１３０】
ｓｔｅｐ０４−５：領域分割結果出力
微小領域削除後、融合した領域を出力する。融合した領域は色の近いもしくはコントラストの変化が少ない融合領域である。
図１８に示すように同じ色、コントラストの塊であるオブジェクトA、オブジェクトB、背景Ｃが分離される。
【０１３１】
（距離情報取得部１０８）
距離情報取得部１０８は、画像データを複数のブロックに分割し、複数のブロック毎に距離情報（ブロック距離）を取得する。（ブロック分割手段、ブロック距離設定手段）
尚、本実施の形態では画像データを７×１０の正方形に等分割するが、複数のブロックの数や形状は任意であることは言うまでもない。
【０１３２】
図２０に距離情報取得部１０８の詳細内部構成を示す。
縮小画像入力部２０１は複数の異なる焦点位置の画像データを入力し、カメラレンズのフォーカスを調整するレンズ焦点調整部２０５はレンズの焦点を調整する。
エッジ情報計算部２０２は入力された異なる焦点の複数枚の画像データから複数の画像ブロックに分割し、それぞれのブロックでのコントラスト値の平均値を求める。複数枚の画像データ内での同じ位置のブロックのコントラスト値を比較し、最もコントラスト値の高い画像はそのブロックに焦点があっていると判断され、その画像フレームの焦点位置から、距離情報計算部２０３が撮影距離（ブロック距離）を計算する。すべてのブロックでの撮影距離情報を計算すると、ブロックごとの距離情報（ブロック距離）を取得できる。距離情報出力部２０４は取得した距離情報（ブロック距離）を出力する。
尚、距離情報取得部はこの形態に限られるものではなく、別の距離測定センサーを使用して距離情報を取得しても良い。
【０１３３】
（主要被写体抽出部１０３）
主要被写体抽出手段である主要被写体抽出部１０３は、画像領域分割部１０２で分割された小領域を組み合わせ、意味のあるオブジェクトを抽出する。オブジェクトは画像の前景と背景、人物を意味する。オブジェクト抽出するとき、色情報、エッジ情報、距離情報を利用できる。図１５に示すようにブロック単位で距離情報が取れる場合、距離情報を参考値として、分割した小領域を組み合わせて、オブジェクトを抽出する。例えば、領域分割処理では人物の頭、体をそれぞれ、小領域とし２つの領域として分割されることもあるが、距離情報では頭領域内のブロックと体領域内ブロックの距離ほぼ同じであり、頭と体を組み合わせて、一つのオブジェクトとして抽出する。また、隣の木の距離は異なるので、別のオブジェクトとして抽出する。
【０１３４】
尚、意味のあるオブジェクトとは前景、背景を区別することを意味する。本発明では非主要被写体のぼかしを目的とするため、前景、背景区別できて、オブジェクト間の距離が分かればよい。
図１８に示すようにオブジェクトA、オブジェクトB、と背景Ｃの距離差が分かれば、それぞれを分離できる。
画像領域分割部１０２によりオブジェクトの塊A、B、Cを作ったので、距離情報から、オブジェクトA、BとCの距離の違いが分かれば、それぞれに対してぼかし処理すればよい。
そのため、図面の図１５に示すように、A、B、Cのそれぞれの領域に確信度の高いブロックがあれば、そのブロックを用いて、オブジェクト間の距離情報を得られる。また、距離情報が取れない部分があっても、処理は可能である。例として、各オブジェクトの中で、１つのブロックで距離情報を得らたら、オブジェクトの距離情報として使える。ほかのブロックの距離情報が取られなくでもよい。
尚、確信度の高いブロックとは、オブジェクト領域と重なるオブジェクト画素のみ持っているブロックである。図１６に示すようにオブジェクトＡにおけるブロックＤを除いた中央部の４つブロックは確信度の高いブロックである。
【０１３５】
次に、主要被写体抽出方法について説明する。カメラパラメータ入力部１０７から撮影のフォーカス位置を入力する。カメラのフォーカス位置は主要被写体にフォーカスするので、フォーカス位置と同じ距離のオブジェクトは主要被写体となる。例えば図１８に示すオブジェクトＡの人物にフォーカス位置になると、同じ距離の人物は主要被写体になる。そして、主要被写体が属する領域を主要被写体領域、属しない領域を非主要被写体領域とする。
図２１に示すように顔検知を行う場合、顔領域が含まれるオブジェクトが主要被写体となる。また、複数顔が検知されたときは、主要顔領域が含まれるオブジェクトが主要被写体となる。顔位置はカメラパラメータとして、カメラパラメータ入力部１０７を介してカメラ等から入力される。
尚、主要顔領域とは、顔検出で検出された矩形顔領域である。図２１で、オブジェクトＡの顔領域に重なる黒い矩形枠領域は主要顔領域である。
【０１３６】
（主要被写体周辺誤測距ブロック修正部１１１）
補正距離設定手段である主要被写体周辺誤測距ブロック修正部１１１は、主要被写体抽出部１０３で抽出された主要被写体の領域情報（主要被写体領域）を用いて、カメラなどから得られた距離情報を補正処理する。即ち、複数のブロックの中で主要被写体領域と非主要被写体領域との境界線を有するブロックに対して、得られたブロック距離に換えて新たな距離を設定する。
【０１３７】
図１６に示すように人物主要オブジェクトの周辺にある輪郭部ブロックＤは正確なブロック距離が設定されていない。例えば、これらのブロックの半分を主要被写体領域が占め、残りの半分を背景領域が占めるため、ブロック内のコントラストの平均値を取ると、正確なブロック距離とならない。このため、輪郭部ブロックＤでは、主要被写体領域中の画素は主要被写体の距離をこれらの画素の距離（第１の補正距離）とする。残りのブロック内の画素（非主要被写体領域中の画素）は非主要被写体領域に属する隣のブロックの距離で画素の距離（第２の補正距離）を設定する。このように補正して、主要被写体へのぼけ食い込みを解消できる。
【０１３８】
尚、図１６に示すように主要被写体領域であるＡオブジェクト１の中心部にあるブロック（主要被写体領域の中で輪郭部ブロックＤを除いたブロック）のすべてブロックを平均して、オブジェクト１の距離、即ち主要被写体の距離とする。こうすることで、主要被写体領域の全ての画素に同一の距離が設定されることとなる。ただし、主要被写体領域に属するブロックがいずれも輪郭部ブロックＤであるような場合には、当該輪郭部ブロックＤに含まれる主要被写体領域中の画素に基づき距離（第１の補正距離）を設定する。
【０１３９】
輪郭部ブロックＤにおける非主要被写体領域中の画素に設定する距離は、非主要被写体領域に属する隣のブロックの距離で画素の距離（第２の補正距離）を設定するが、隣接するブロックに非主要被写体領域に属するものがない場合は、当該輪郭部ブロックＤに含まれる非主要被写体領域中の画素に基づき距離（第２の補正距離）を設定する。
【０１４０】
（主要被写体以外の領域の誤測距ブロック修正部１１２）
次に非主要被写体領域にある誤測距ブロックＥを除去する。図１６のＣ背景領域にある誤測距ブロックＥは、周りの適正なブロック距離が設定されたブロックに比べて、距離差が急に増える傾向がある。この場合、周りのブロックの距離値で補間処理し、誤測距ブロックＥの距離値（ブロック距離）を補正ブロック距離に置き換える。（誤測距ブロック補正手段）
【０１４１】
具体例を挙げると、例えば図２２に示すように、主要被写体以外の領域（非主要被写体領域）に存在する誤測距ブロックＥの特性として、周囲のブロックとの距離情報（ブロック距離）の違いがあげられる。その違いを利用して、誤測距ブロックＥを検出する。
図２３に示すように、誤測距ブロックＥは周辺のブロックＦ，Ｇ，Ｈ，Ｉそれぞれのブロックとのブロック距離の差を判定し、設定された閾値Thre1より大きい場合、誤測距ブロックと判断する。
誤測距ブロックＥが誤測距であると判断された場合、周辺のブロックＦ，Ｇ，Ｈ，Ｉにより補間し、誤測距ブロックＥのブロック距離を補正ブロック距離に置き換える。
補間には例えば、下記式（６）で画素補間する方法が挙げられる。尚、下記式（６）でなくでも、周辺のブロックを用いて他の補間方式により求めてもよい。
【０１４２】
【数２】
2010226694.tif 000005
【０１４３】
（画像ぼかし処理部１０４）
以上のようにして取得されたブロック距離、第１補正距離、第２補正距離、及び補正ブロック距離に基づき、ぼかし処理手段により画像データにぼかし処理を行う。非主要画像データである背景にぼかし処理を行うとき、距離に応じて異なるぼかし処理を行う。ぼけ関数取得部１０９はカメラパラメータと撮影距離によりぼけ関数ＤＢ１１０からぼけ関数のデータを取得する。ぼかし処理を行うときには、ぼけ関数取得部１０９から得られたぼけ関数を用いて、抽出したオブジェクトごとにぼかし処理を行う。ぼけ関数は一種のローパースフィルタであり、撮影距離、カメラパラメータによって予め計算しておく。図２４は５×５のGaussianフィルタの一例である。ぼけ関数であるフィルタの各要素は、撮影距離、カメラパラメータにより計算したものである。
【０１４４】
（ぼけ関数ＤＢ１１０）
ぼけ関数ＤＢ１１０はカメラのパラメータ、例えば、焦点距離、開口の大きさ、撮影距離、瞳形状などの各種のカメラパラメータの設計値から計算した、ぼけ関数のデータセットである。パラメータを入力すれば、撮影距離にあわせて、ぼけ関数のデータを得られる。
ぼかし関数ＤＢのデータ構造を図２５に示すように、焦点距離Ｌ、Ｆナンバーの値、開口の形によって、ぼかし関数フィルタｆの内容が変わる。ｆはＮ×Ｎのフィルタである。各要素の値はカメラのパラメータ、撮影距離によって、変化する。カメラレンズの設計値から予め、ぼかしデータベースのデータを計算しておく。
【０１４５】
（画像合成部１０５、画像処理出力部１０６）
最後に、画像合成部１０５でぼかし処理された各オブジェクトを合成し、画像処理出力部１０６により画像を出力する。
【０１４６】
（デジタルカメラ）
次に、上述した画像処理を実施する撮像装置の一例であるデジタルカメラのハードウェア構成について説明する。図２６は、本実施の形態にかかるデジタルカメラのハードウェア構成を示すブロック図である。尚、以下に示す一連の処理の流れを図２７に示す。
図２６に示すように被写体光は、まず撮影光学系１を通してＣＣＤ（Charge  Coupled  Device）３に入射される。また、撮影光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することが出来る。なお、撮影光学系１及びメカシャッタ２は、モータドライバ６より駆動される。
【０１４７】
ＣＣＤ３は、撮像面に結像された光学像を電気信号に変換して、アナログの画像データとして出力する。ＣＣＤ３から出力された画像情報は、ＣＤＳ（Correlated  Double  Sampling:相関２重サンプリング）回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値に変換された後、画像処理回路８に対して出力される。
【０１４８】
画像処理回路８は、画像データを一時格納するＳＤＲＡＭ（SynchronousＤＲＡＭ）１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、信号処理や画像処理が施された画像情報を液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）に表示する。
【０１４９】
また、信号処理、画像処理が施された画像情報は、圧縮伸張回路１３を介して、メモリカード１４に記録される。上記画像圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力すると共に、メモリカード１４から読み出した画像情報を伸張して画像処理回路８に出力する回路である。
【０１５０】
また、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ（Central  Processing  Unit）９によって、タイミングが制御されている。さらに、画像処理回路８、画像圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。
【０１５１】
撮像装置において、ＣＰＵ９はプログラムに従って各種演算処理を行い、プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Read  Only  Memory）１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Random  Access  Memory）１０などを内蔵し、これらがバスラインによって相互接続されている。
【０１５２】
撮像装置は、まず被写体の距離情報を測定する。レンズの駆動部６を動かしながら、焦点位置を変え、複数枚の縮小画像を入力する。つまり、異なる撮影距離の複数枚縮小画像がメモリSDRAMに入力される。その後本撮影を行い、背景ぼけ処理用の大きいサイズの画像を入力する。
【０１５３】
次に、距離測定プログラムが呼び出され、各画像をブロックに分割し、同じ位置ブロック内のコントラスト値の合計を計算する。もっともコントラストの高いブロックはこの位置にフォーカスがあっていると判断し、それフレームの結像位置とする。結像位置から、被写体距離を計算する。このようにして、すべてのブロックに対応する撮影距離（ブロック距離）を測定した。
【０１５４】
次に領域分割、オブジェクト抽出プログラムがメモリから呼び出され、オブジェクト抽出処理を行う。まず、画像のエッジ情報、色情報を使って、画像を小領域に分割する。次に、小領域をまとめて、オブジェクトを抽出する。オブジェクトを抽出するとき、色の特性、エッジの特性から共通の属性がある小領域を集める。また、測定した距離情報も領域の融合情報として利用する。距離の近い小領域は同じグループにして、オブジェクト候補とする。このようにして、画像を複数のオブジェクトに分離する。ここで、オブジェクトは人物、前景、背景など意味のある領域である。それぞれの領域での撮影距離は異なる。図１５に示すように、画像がブロックに分割されてなり、各ブロック内では先ほど距離測定ソフトウェアでそれぞれの距離が測定されている。
画像はAオブジェクト１、Bオブジェクト２および背景Cに分割され、前述したように、Ａ，Ｂ，Ｃの距離はそれぞれのオブジェクト内に属するブロックから得られる。
【０１５５】
次にカメラパラメータによる主要被写体を抽出する。主要被写体を抽出するとき、カメラのフォーカスに合わせた部分の距離による主要被写体を抽出する。もしくは、人物撮影するとき、顔領域検出による検出した主要顔領域により、主要被写体を決める。
更に、主要被写体領域と非主要被写体領域の境界線の属する輪郭部ブロックＤと、背景にある誤測距ブロックＥとを削除し、距離情報を補正処理する。
そして、補正処理した距離情報により、オブジェクトＡ，Ｂ，Ｃのぼかし関数を求める。オブジェクトAは主要被写体と判断された場合、Aに対してぼかし処理を行わない。
【０１５６】
オブジェクトBとオブジェクトCの距離は異なる。遠いものに対して強いローパースフィルタをかける、即ち、強くぼかす。ぼかす効果は、入力したカメラパラメータと同じカメラのぼけを再生する。例えば、一眼レフのパラメータを入力すると、その一眼レフカメラと同じ背景ぼけのある画像が作成される。
【０１５７】
本実施の形態のデジタルカメラで実行される画像処理プログラムは、上述した背景ぼかし機能を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から画像処理プログラムを読み出して実行することにより各部が主記憶装置上にロードされ、距離測定、領域分割オブジェクト抽出、ぼかし処理、画像合成、画像を圧縮して、メモリカードに画像が生成されるようになっている。
【０１５８】
（その他の実施の形態２）
その他の実施の形態２にかかる画像処理装置は、撮像装置に代えて画像処理装置を用いる例である。ここでは、上述のその他の実施の形態１と異なる部分について説明する。
【０１５９】
本実施の形態では記録した画像ファイルを撮影装置から画像入力部により入力する。この入力した画像データに対して、背景（非主要被写体）をぼかす処理を行う。
図２８は、本実施の形態にかかる画像処理装置のハードウェア構成を示すブロック図である。尚、本実施の形態の一連の処理の流れを図２９に示す。
画像処理装置１０００は、各部を集中的に制御するＣＰＵ（Central  Processing  Unit）２４を備えており、このＣＰＵ２４には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read  Only  Memory）２２と、各種データを書換え可能に記憶してＣＰＵの作業エリアとして機能するＲＡＭ（Random  Access  Memory）２１とがバスで接続されており、マイクロコンピュータを構成している。さらにバスには、制御プログラムが記憶されたＨＤＤ２５と、ＣＤ（Compact  Disc）−ＲＯＭを読み取るＣＤ−ＲＯＭドライブ２６と、プリンタ部等との通信を司るインタフェースであるＩ／Ｆ２３とが接続されている。
【０１６０】
図２８に示すＣＤ−ＲＯＭ２８は、所定の制御プログラムが記憶されている。ＣＰＵ２４は、ＣＤ−ＲＯＭ２８に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ２６で読み取り、ＨＤＤ２５にインストールする。これにより、上述したような各種の処理を行うことが可能な状態となる。また、メモリカード２９には、画像情報などが格納され、メモリカードドライバ２７で読み取られる。
【０１６１】
なお、記憶媒体としては、ＣＤ−ＲＯＭやメモリカードのみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ２５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、記憶媒体である。なお、プログラムは、所定のＯＳ（Operating  System）上で動作するものであってもよいし、その場合に各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【０１６２】
また、本実施の形態の画像処理装置で実行される背景ぼかしプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１６３】
また、本実施の形態の画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１６４】
本実施の形態は、撮影する際（画像を記録する時）に距離測定が必要であり、測定した各ブロックの距離情報が画像ファイルに記録される。カメラのパラメータはファイルに記録される。パラメータとして、フォーカス位置の距離情報、顔検知されるとき、主要顔の画面上の位置情報が記録される。
背景ぼかし処理プログラムは距離情報を読み出し、カメラパラメータを用いて、ぼかしデータベースからぼかしフィルタの値を引き出し、ぼかし処理を行う。処理方法は上述したその他の実施の形態１と同じである。
【０１６５】
本実施の形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【符号の説明】
【０１６６】
（図１〜図１４の符号の説明）
０１  デジタルスチルカメラ装置
０２  システム制御部
０３  撮像部
０４  画像処理部
０５  表示制御部
０６  ＬＣＤ
０７  記録メディアインターフェイス部
０８  記録メディア
０９  ハードキーインターフェイス部
１０  通信インターフェイス部
１１  ＰＣ
１２  モードダイヤル
１３  レリーズ
１４  ＣＣＤ
１５  レンズ
６２  レリーズシャッタ（ＳＷ１）
６３  モードダイヤル（ＳＷ２）
６４  サブＬＣＤ
６５  ＳＤカード／電池蓋
６６  ストロボ発光部
６７  光学ファインダ
６９  リモコン受光部
７０  鏡胴ユニット
７１  ＡＦＬＥＤ
７２  ストロボＬＥＤ
７３ズームスイッチ（ワイド）（ＳＷ３）
７４  ズームスイッチ（遠隔）（ＳＷ４）
７５  セルフタイマ／削除スイッチ（ＳＷ５）
７６  メニュースイッチ（ＳＷ６）
７７  上／ストロボスイッチ（ＳＷ７）
７８  右スイッチ（ＳＷ８）
７９  ディスプレイスイッチ（ＳＷ９）
８０  下／ストロボスイッチ（ＳＷ１０）
８１  左／画像確認スイッチ（ＳＷ１１）
８２  オーケースイッチ（ＳＷ１２）
８３  ＬＣＤモニタ
８４  電源スイッチ（ＳＷ１３）
１００  画像の撮影領域
１０１  ＡＦ評価値エリア
１０２  空部分
１０３  縁石部分
１０４  人物
１０５  町並み
１０６  海
１０７  ＡＦエリア
１０８〜１１３  領域
７００  分割距離情報が０（１段目）のＡＦ評価値エリア
７０１  分割距離情報が１（２段目）のＡＦ評価値エリア
７０２  分割距離情報が２（３段目）のＡＦ評価値エリア
７０３  分割距離情報が３（４段目）のＡＦ評価値エリア
７０４  領域判定結果で示される１つの領域
７０５  画素
９０１  遠距離にある被写体のスキャンに伴うＡＦ評価値の変化を示した波形
９０２  中距離にある被写体のスキャンに伴うＡＦ評価値の変化を示した波形
９０３  近距離にある被写体のスキャンに伴うＡＦ評価値の変化を示した波形
１００１  注目画素の水平方向−２の座標の画素
１００２  注目画素の水平方向−１の座標の画素
１００３  注目画素
１００４  注目画素の水平方向＋１の座標の画素
１００５  注目画素の水平方向＋２の座標の画素
１１０１  背景の空部分１０２までの距離
１１０２  背景の縁石部分１０３までの距離
１１０３  人物１０４の頭部までの距離
１１０４  人物１０４の顔部までの距離
１１０５  人物１０４の胸部までの距離
１１０８  背景の町並み１０５と海１０６までの距離
（図１５〜図２９の符号の説明）
Ａ  オブジェクト１
Ｂ  オブジェクト２
Ｃ  背景
Ｄ  輪郭部ブロック
Ｅ  誤測距ブロック
Ｆ，Ｇ，Ｈ，Ｉ  周辺のブロック
１  撮影光学系
２  メカシャッタ
３  ＣＣＤ
４  ＣＤＳ回路
５  Ａ／Ｄ変換器
６  モータドライバ
７  タイミング信号発生器
８  画像処理回路
９  ＣＰＵ
１０  ＲＡＭ
１１  ＲＯＭ
１２  ＳＤＲＡＭ
１３  画像圧縮伸張回路
１４  メモリ
１５  操作部
１６  ＬＣＤ
２１  ＲＡＭ（Random  Access  Memory）
２２  ＲＯＭ（Read  Only  Memory）
２３  Ｉ／Ｆ
２４  ＣＰＵ（Central  Processing  Unit）
２５  ＨＤＤ
２６  ＣＤ−ＲＯＭドライブ
２７  メモリカードドライバ
２８  ＣＤ−ＲＯＭ
２９  メモリカード
１０１  画像入力部
１０２  画像領域分割部
１０３  主要被写体抽出部
１０４  画像ぼかし処理部
１０５  画像合成処理部
１０６  画像出力部
１０７  カメラパラメータ入力部
１０８  距離情報取得部
１０９  ぼけ関数取得部
１１０  ぼけ関数ＤＢ
１１１  主要被写体周辺誤測距ブロック修正部
１１２  主要被写体以外領域の誤測距ブロック修正部
２０１  縮小画像入力部
２０２  エッジ情報計算部
２０３  距離情報計算部
２０４  距離情報出力部
２０５  レンズ焦点調整部
１０００  画像処理装置
【先行技術文献】
【特許文献】
【０１６７】
【特許文献１】特開平１１−２６６３８８号公報
【特許文献２】特開２００３−３７７６７号公報
【特許文献３】特開２００３−１０１８５８号公報
【特許文献４】特開平９−３１８８７０号公報
【特許文献５】特開２００９−２７２９８号公報
【図１】
2010226694.tif 000006
【図２】
2010226694.tif 000007
【図３】
2010226694.tif 000008
【図４】
2010226694.tif 000009
【図５】
2010226694.tif 000010
【図７】
2010226694.tif 000011
【図８】
2010226694.tif 000012
【図９】
2010226694.tif 000013
【図１１】
2010226694.tif 000014
【図１２】
2010226694.tif 000015
【図１３】
2010226694.tif 000016
【図１４】
2010226694.tif 000017
【図１５】
2010226694.tif 000018
【図１６】
2010226694.tif 000019
【図１７】
2010226694.tif 000020
【図１８】
2010226694.tif 000021
【図１９】
2010226694.tif 000022
【図２０】
2010226694.tif 000023
【図２１】
2010226694.tif 000024
【図２２】
2010226694.tif 000025
【図２３】
2010226694.tif 000026
【図２４】
2010226694.tif 000027
【図２５】
2010226694.tif 000028
【図２６】
2010226694.tif 000029
【図２７】
2010226694.tif 000030
【図２８】
2010226694.tif 000031
【図２９】
2010226694.tif 000032
【図６】
2010226694.tif 000033
【図１０】
2010226694.tif 000034