(57)【要約】【課題】二値化処理に係る閾値の設定を適正に行う。【解決手段】撮像装置１００であって、画像取得部５ａにより取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化処理部５ｂと、生成された複数の二値化画像の各々に対して特定の被写体を検出する被写体検出処理を施して、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出する評価値算出部５ｃと、仮閾値と関連付けて算出された複数の評価値に基づいて、元画像の二値化処理に適した閾値を設定する閾値設定部５ｆと、を備えている。【選択図】図１
2014099074.tif 000002
【特許請求の範囲】
【請求項１】
特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段と、
を備えたことを特徴とする閾値設定装置。
【請求項２】
前記二値化手段は、更に、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施し、
前記評価値算出手段により算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段を更に備え、
前記設定手段は、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項１に記載の閾値設定装置。
【請求項３】
前記設定手段は、更に、前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定することを特徴とする請求項２に記載の閾値設定装置。
【請求項４】
前記複数の二値化画像の各々から前記被写体検出処理により検出された前記特定の被写体を含む被写体領域の略中央の領域内の所定の画素値の画素数を算出する画素数算出手段を更に備え、
前記設定手段は、前記画素数算出手段により算出された画素数が所定範囲内となるように、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項２又は３に記載の閾値設定装置。
【請求項５】
前記特定の被写体は、ヒトの顔を含むことを特徴とする請求項１〜４の何れか一項に記載の閾値設定装置。
【請求項６】
前記取得手段により取得された元画像が前記設定手段により設定された閾値で二値化処理された二値化画像を用いて、前記元画像内の顔の主要な構成部に係る顔構成部画像を生成する第１生成手段と、
前記第１生成手段により生成された顔構成部画像を用いて前記元画像の似顔絵画像を生成する第２生成手段と、を更に備えることを特徴とする請求項５に記載の閾値設定装置。
【請求項７】
閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する処理と、
を含むことを特徴とする閾値設定方法。
【請求項８】
閾値設定装置のコンピュータを、
特定の被写体を含む元画像を取得する取得手段、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閾値設定装置、閾値設定方法及びプログラムに関する。
【背景技術】
【０００２】
従来、目、鼻、口、耳、顔の輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、似顔絵を作成する際などには、元画像に対して二値化処理を施すようになっているが、ヒトが黒縁眼鏡などの太い縁で濃い色の眼鏡などをかけていると、顔領域内の黒画素が通常よりも多くなってしまうため、顔画像自体を適正な閾値で二値化できないといった問題がある。
【０００５】
そこで、本発明の課題は、二値化処理に係る閾値の設定を適正に行うことができる閾値設定装置、閾値設定方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る閾値設定装置は、
特定の被写体を含む元画像を取得する取得手段と、前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る閾値設定方法は、
閾値設定装置を用いた閾値設定方法であって、特定の被写体を含む元画像を取得する処理と、取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する処理と、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
閾値設定装置のコンピュータを、特定の被写体を含む元画像を取得する取得手段、前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段、前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段、前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、二値化処理に係る閾値の設定を適正に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【図３】図２の似顔絵画像生成処理における閾値設定処理に係る動作の一例を示すフローチャートである。
【図４】図３の閾値設定処理に係る画像の一例を模式的に示す図である。
【図５】図３の閾値設定処理に係る画像の一例を模式的に示す図である。
【図６】図３の閾値設定処理に係る評価値テーブルの一例を模式的に示す図である。
【図７】図３の閾値設定処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像処理部５と、記録媒体制御部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像処理部５、記録媒体制御部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。
【００１３】
撮像部１は、特定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。
【００１４】
レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。
【００１５】
撮像制御部２は、撮像部１による特定の被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズ部１ａを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
【００１６】
なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の特定の被写体を撮像する際の条件の調整制御を行っても良い。
【００１７】
画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００１８】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部５や中央制御部１０等によって処理されるデータ等を一時的に格納する。
【００１９】
画像処理部５は、画像取得部５ａと、二値化処理部５ｂと、評価値算出部５ｃと、仮閾値特定部５ｄと、画素数算出部５ｅと、閾値設定部５ｆと、構成部画像生成部５ｇと、似顔絵画像生成部５ｈとを具備している。
なお、画像処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２０】
画像取得部５ａは、閾値設定処理の処理対象となる画像を取得する。
即ち、画像取得部（取得手段）５ａは、元画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、画像取得部５ａは、撮像部１及び撮像制御部２による特定の被写体（例えば、ヒトの顔）の撮像によって画像データ生成部３により生成された元画像Ｐ１の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、記録媒体Ｍに記録されている元画像Ｐ１の画像データの複製を取得する（図４（ａ）参照）。
なお、後述する画像処理部５による各処理は、元画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて元画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の画像データに対して行われても良い。
また、以下の説明では、元画像Ｐ１の画像データは、各画素の画素値（例えば、輝度値）を8bit（256階調）で表した画像データとして説明する。
【００２１】
二値化処理部５ｂは、元画像Ｐ１に対して二値化処理を施す。
即ち、二値化処理部（二値化手段）５ｂは、画像取得部５ａにより取得された元画像Ｐ１に対して互いに異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像Ｐ７、…（例えば、二値化画像Ｐ７ａ；図７（ａ）等参照）を生成する。具体的には、例えば、処理対象となる元画像Ｐ１の輝度成分データ（Ｙデータ）が各画素の輝度値を8bit（256階調）で表したデータの場合、二値化処理部５ｂは、所定の範囲（例えば、231〜255）内で所定値（+2）ずつ変化（増加或いは減少）させることで仮閾値を逐次設定していく。そして、二値化処理部５ｂは、逐次設定される仮閾値（一連の仮閾値）の各々を、元画像Ｐ１の画像データの各画素の輝度値と比較して当該元画像Ｐ１の画像データを二値化する。これにより、二値化処理部５ｂは、各仮閾値毎に、第１の画素値（例えば、図７（ａ）等における白画素に対応する「0」等）及び第２の画素値（例えば、図７（ａ）等における黒画素に対応する「255」等）を有する二値化画像Ｐ７をそれぞれ生成する。図７（ａ）には、二値化処理を相対的に低い仮閾値で行うことで生成された二値化画像Ｐ７ａを模式的に表し、図７（ｂ）には、二値化処理を相対的に高い仮閾値で行うことで生成された二値化画像Ｐ７ｂを模式的に表している。
【００２２】
なお、二値化処理部５ｂは、画像取得部５ａにより取得された元画像Ｐ１の画像データ自体に対して二値化処理を施すようにしても良いし、例えば、非等方拡散処理やぼかし処理等の各種処理が施された画像データに対して二値化処理を施すようにしても良い。
【００２３】
評価値算出部５ｃは、各二値化画像Ｐ７に含まれる特定の被写体らしさに係る評価値を算出する。
即ち、評価値算出部（評価値算出手段）５ｃは、二値化処理部５ｂにより生成された複数の二値化画像Ｐ７、…の各々に対して特定の被写体（例えば、ヒトの顔等）を検出する被写体検出処理（例えば、顔検出処理等）を施して、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出する。
具体的には、評価値算出部５ｃは、各二値化画像Ｐ７の各々に対して所定のアルゴリズムを用いた顔検出処理を施す。例えば、評価値算出部５ｃは、二値化処理部５ｂにより二値化画像Ｐ７が生成される毎に、当該二値化画像Ｐ７を処理対象として、顔領域の候補領域として所定サイズ（例えば、24×24［画素］）の検出候補領域を複数生成する。また、評価値算出部５ｃは、各検出候補領域の画像データと所定の基準画像の画像データとの類似度を所定のアルゴリズム（例えば、adaboost（アダブースト）等）に従って算出する。そして、評価値算出部５ｃは、算出された類似度が所定の閾値以上となった検出候補領域の類似度を統合して評価値として算出するとともに、これら検出候補領域を統合して処理対象の二値化画像Ｐ７の顔領域として検出する。
なお、所定の基準画像は、多値の画像データを利用して学習されたものであっても良いし、二値の画像データを利用して学習されたものであっても良いが、二値化画像Ｐ７を処理対象として顔検出処理を行う場合には、二値の画像データを利用したものの方が顔領域の検出精度の向上を図ることができる。
【００２４】
評価値算出部５ｃは、一連の仮閾値の各々に対応する各二値化画像Ｐ７に対して上記の処理を行うことで、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出する。算出された評価値は、仮閾値と関連付けられて所定の格納手段の評価値テーブルＴ（図６参照）に一時的に格納される。
図６に示す評価値テーブルＴには、二値化画像Ｐ７に係る一連の仮閾値と顔検出処理の評価値とが関連付けられた状態を模式的に表している。また、評価値は、値が大きい程類似度合いが高いことを表し、顔領域が検出されなかったものを「none」として表している。
【００２５】
なお、被写体検出処理として、二値化画像Ｐ７からヒトの顔（特定の被写体）を検出する顔検出処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２６】
仮閾値特定部５ｄは、最小の仮閾値を特定する。
即ち、仮閾値特定部（特定手段）５ｄは、評価値算出部５ｃにより算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する。具体的には、仮閾値特定部５ｄは、例えば、評価値テーブルＴを参照して、評価値算出部５ｃにより一連の仮閾値と関連付けられて算出された複数の評価値の中で、略等しい値で所定数以上連続している評価値（例えば、「100」等）を特定する。そして、仮閾値特定部５ｄは、特定された評価値と関連付けられた複数の仮閾値（例えば、「245」、「247」、「249」、「251」、「253」等）のうち、最小の仮閾値（例えば、「245」等）を特定する。
【００２７】
画素数算出部５ｅは、各二値化画像Ｐ７から検出された被写体領域の略中央の領域内の所定の画素値の画素数を算出する。
即ち、画素数算出部（画素数算出手段）５ｅは、複数の二値化画像Ｐ７、…の各々から被写体検出処理により検出された特定の被写体を含む被写体領域（顔領域）の略中央の領域内の所定の画素値の画素数を算出する。具体的には、画素数算出部５ｅは、例えば、二値化画像Ｐ７に対して所定数以下の第２の画素値の画素（黒画素）の集まりをノイズとして消去するノイズ消去処理が施された画像を処理対象として、対応する二値化画像Ｐ７から検出された顔領域の略中央に所定寸法、例えば、抽出した顔領域のY方向（眉より下、口より上）×X方向（両目の外側）の領域を正規化した範囲等の処理領域を設定し、当該処理領域内の黒画素の画素数を算出する。
【００２８】
閾値設定部５ｆは、元画像Ｐ１の二値化処理に適した閾値を設定する。
即ち、閾値設定部（設定手段）５ｆは、評価値算出部５ｃにより仮閾値と関連付けて算出された複数の評価値に基づいて、元画像Ｐ１の二値化処理に適した閾値を設定する。具体的には、閾値設定部５ｆは、仮閾値特定部５ｄにより特定された最小の仮閾値（例えば、「245」等）に基づいて元画像Ｐ１の二値化処理に適した閾値を設定する。このとき、閾値設定部５ｆは、仮閾値特定部５ｄにより特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を元画像Ｐ１の二値化処理に適した閾値として設定しても良い。つまり、閾値設定部５ｆは、最小の仮閾値（例えば、「245」等）を基準として所定値（例えば、「8」程度等）だけ閾値を低下させるために、最小の仮閾値と関連付けられた評価値よりも所定値（例えば、「40」程度等）以上高い評価値と関連付けられている仮閾値（例えば、「237」等）を特定して、元画像Ｐ１の二値化処理に適した閾値として設定する。
【００２９】
また、閾値設定部５ｆは、画素数算出部５ｅにより算出された画素数が所定範囲内となるように、仮閾値特定部５ｄにより特定された最小の仮閾値に基づいて元画像Ｐ１の二値化処理に適した閾値を設定しても良い。つまり、閾値設定部５ｆは、最小の仮閾値（例えば、「245」等）を基準として所定値（例えば、「8」程度等）だけ閾値を低下させるために、顔領域の略中央の処理領域内の黒画素の画素数が所定範囲内（例えば、3000〜5000程度等）となる二値化画像Ｐ７を特定し、当該二値化画像Ｐ７を生成した際の仮閾値を元画像Ｐ１の二値化処理に適した閾値として設定する。
ここで、閾値設定部５ｆは、最小の仮閾値と関連付けられた評価値よりも所定値（例えば、「40」程度等）以上高い評価値と関連付けられている仮閾値（例えば、「237」等）を特定して、当該仮閾値で二値化された二値化画像Ｐ７の顔領域の略中央の処理領域内の黒画素の画素数が所定範囲内（例えば、3000〜5000程度等）であるか否かを判定するようにしても良い。
【００３０】
構成部画像生成部５ｇは、顔の主要な顔構成部を表した顔構成部画像を生成する。
即ち、構成部画像生成部（第１生成手段）５ｇは、画像取得部５ａにより取得された元画像Ｐ１が閾値設定部５ｆにより設定された閾値で二値化処理された二値化画像Ｐ７を用いて、元画像Ｐ１内の顔の主要な構成部に係る顔構成部画像（図示略）を生成する。具体的には、構成部画像生成部５ｇは、元画像Ｐ１を設定された閾値で二値化処理した二値化画像Ｐ７から検出された顔領域に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔の輪郭等の顔構成部を線で表した顔微細部画像（図示略）を生成する。例えば、構成部画像生成部５ｇは、微細部抽出処理として、ＡＡＭ（Active Appearance Model）を用いた処理により顔微細部画像を生成する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、構成部画像生成部５ｇは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部５ｇは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像（顔領域画像）をモデル化する。これにより、構成部画像生成部５ｇは、元画像Ｐ１内の主要な構成を抽出して線で表した顔微細部画像を生成する。
そして、構成部画像生成部５ｇは、顔領域内の顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した顔構成部画像を生成する。具体的には、構成部画像生成部５ｇは、顔微細部画像内で顔の輪郭と接する画素を特定し、当該画素と連続する画素のうち、顔の輪郭よりも外側に存する画素集合を消去する。つまり、構成部画像生成部５ｇは、顔微細部画像のうち、顔の輪郭よりも外側に存する部分を消去するとともに、顔の輪郭よりも内側に存し、且つ、当該輪郭と接する部分を残して、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する。
【００３１】
なお、微細部抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３２】
似顔絵画像生成部５ｈは、顔構成部画像を用いて似顔絵画像を生成する。
即ち、似顔絵画像生成部（第２生成手段）５ｈは、構成部画像生成部５ｇにより生成された顔構成部画像を用いて元画像Ｐ１の似顔絵画像（図示略）を生成する。具体的には、似顔絵画像生成部５ｈは、所定の髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像Ｐ１を似顔絵で表した似顔絵画像の画像データを生成する。
また、似顔絵画像生成部５ｈは、似顔絵画像の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。
【００３３】
記録媒体制御部６は、記録媒体Ｍが着脱自在に構成され、装着された記録媒体Ｍからのデータの読み出しや記録媒体Ｍに対するデータの書き込みを制御する。
即ち、記録媒体制御部６は、画像処理部５の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録媒体Ｍに記録させる。
なお、記録媒体Ｍは、例えば、不揮発性メモリ（フラッシュメモリ）等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３４】
表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３５】
表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による特定の被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３６】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３７】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３８】
次に、撮像装置１００による似顔絵画像生成処理について、図２〜図７等を参照して説明する。
図２は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【００３９】
似顔絵画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部５により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像Ｐ１の画像データは、予め記録媒体Ｍに記録されているものとする。
【００４０】
図２に示すように、先ず、記録媒体制御部６は、記録媒体Ｍに記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された元画像Ｐ１（図４（ａ）参照）の画像データを読み出し、画像処理部５の画像取得部５ａは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する（ステップＳ１）。
【００４１】
次に、画像処理部５は、元画像Ｐ１の画像データに対して、所定の非等方拡散フィルタを用いてエッジの接線方向と垂直方向とで重みを異ならせて平滑化する非等方拡散処理を施す（ステップＳ２）。その後、画像処理部５は、非等方拡散処理後の画像データに対して、一の画素の演算処理範囲が所定サイズ（例えば、３×３画素等）のガウスフィルタを用いてぼかし処理を施す（ステップＳ３）。
なお、非等方拡散処理及びぼかし処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００４２】
続けて、画像処理部５は、ぼかし処理後の画像データを輝度成分と色差成分とに分離して、輝度画像Ｐ２の画像データ（輝度成分データ）を生成する（ステップＳ４；図４（ｂ）参照）。ここで、画像処理部５は、輝度画像Ｐ２の画像データの複製を生成して所定の格納手段（例えば、メモリ４等）に格納しておく。
次に、画像処理部５は、輝度画像Ｐ２の画像データの輝度を反転する白黒反転（ネガポジ変換）処理を施して、白黒反転画像Ｐ３の画像データを生成する（ステップＳ５；図４（ｃ）参照）。
なお、白黒反転処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００４３】
続けて、画像処理部５は、白黒反転画像Ｐ３の画像データに対して、一の画素の演算処理範囲が所定サイズ（例えば、７×７画素等）のガウスフィルタを用いてぼかし処理を施す（ステップＳ６）。ここで、画像処理部５は、ぼかし処理後の画像データの複製を生成して所定の格納手段（例えば、メモリ４等）に格納しておく。
その後、画像処理部５は、ぼかし処理後の画像データと輝度画像Ｐ２の画像データとを用いて覆い焼き処理を行う（ステップＳ７）。ここで、覆い焼きとは、部分的に露光時間を変えた撮像手法のことであるが、所定の覆い焼き用フィルタを用いた画像処理により略同等の効果がもたらされる。
そして、画像処理部５は、覆い焼き処理後の画像データとぼかし処理後の画像データとの画素値の異なる部分、即ち、ぼかされている部分からエッジ画像Ｐ４を生成する（ステップＳ８；図５（ａ）参照）。
なお、覆い焼き処理を利用してエッジ画像Ｐ４を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００４４】
次に、画像処理部５は、閾値設定処理（図３参照）を行う（ステップＳ９）。
以下に、閾値設定処理について図３を参照して詳細に説明する。図３は、閾値設定処理に係る動作の一例を示すフローチャートである。
【００４５】
図３に示すように、画像処理部５の二値化処理部５ｂは、仮閾値を設定する閾値範囲を所定の範囲（例えば、8bitで「231」〜「255」等）に設定した後（ステップＳ２１）、当該閾値範囲内の最小値（例えば、「231」等）を仮閾値として設定する（ステップＳ２２）。
【００４６】
次に、画像処理部５は、エッジ画像Ｐ４に対してレベル補正処理を行う（ステップＳ２３）。具体的には、画像処理部５は、例えば、エッジ画像Ｐ４の仮閾値（例えば、「231」等）から「255」までの範囲を8bit（「0」〜「255」）のレンジに変換する処理を行う。
その後、画像処理部５は、レベル補正処理後の画像Ｐ５（図５（ｂ）参照）の画像データに対して、一の画素の演算処理範囲が所定サイズ（例えば、３×３画素等）のガウスフィルタを用いてぼかし処理を施す（ステップＳ２４）。
続けて、画像処理部５は、ぼかし処理後の画像データに対して、所定のフィルムグレイフィルタを用いて所定の輝度値以上の画素、即ち、顔の汚れなどを消去するフィルムグレイ処理を施す（ステップＳ２５）。
【００４７】
次に、二値化処理部５ｂは、フィルムグレイ処理後の画像Ｐ６（図５（ｃ）参照）の画像データに対して仮閾値（例えば、「231」等）で二値化処理を施して、白画素を「0」、黒画素を「255」とする二値化画像Ｐ７の画像データを生成する（ステップＳ２６）。ここで、二値化処理部５ｂは、二値化画像Ｐ７の画像データの複製を生成して所定の格納手段（例えば、メモリ４等）に格納しておく。
その後、画像処理部５は、二値化画像Ｐ７の画像データに対して水平及び垂直ともに１／２になるような縮小処理を行う（ステップＳ２７）。
【００４８】
続けて、評価値算出部５ｃは、縮小された二値化画像Ｐ７の画像データに対して、所定のアルゴリズム（例えば、adaboost（アダブースト）等）を用いた顔検出処理を施して、ヒトの顔らしさに係る評価値を算出する（ステップＳ２８）。そして、評価値算出部５ｃは、算出された評価値を仮閾値と関連付けて所定の格納手段の評価値テーブルＴ（図６参照）に一時的に格納する。
【００４９】
次に、画像処理部５は、縮小前の二値化画像Ｐ７に対して、所定数（例えば、「50」画素等）以下の黒画素の集まりをノイズとして消去するノイズ消去処理を施す（ステップＳ２９）。続けて、画素数算出部５ｅは、ノイズ消去処理後の画像を処理対象として顔領域の略中央に処理領域を設定し、当該処理領域内の黒画素の画素数を算出する（ステップＳ３０）。そして、画素数算出部５ｅは、算出された黒画素の画素数を所定の格納手段に一時的に格納する。
【００５０】
次に、画像処理部５は、仮閾値が閾値範囲内の最大値を超えたか否かを判定する（ステップＳ３１）。
ここで、仮閾値が最大値を超えていないと判定されると（ステップＳ３１；ＮＯ）、二値化処理部５ｂは、仮閾値の値を所定値（例えば、「+2」等）だけインクリメントして新たな仮閾値（例えば、「233」等）を設定し（ステップＳ３２）、処理をステップＳ２３に移行する。
その後、新たに設定された仮閾値を用いて、ステップＳ２３〜Ｓ２９の各処理が行われることで、ステップＳ２８にて顔検出の評価値が算出され、ステップＳ３０にて処理領域の黒画素の画素数が算出される。
上記の各処理は、ステップＳ３１にて仮閾値が閾値範囲内の最大値を超えたと判定（ステップＳ３１；ＹＥＳ）されるまで、逐次繰り返し実行される。即ち、仮閾値が閾値範囲内（例えば、「231」〜「255」等）で逐次設定されて、各仮閾値に対応する顔検出の評価値や処理領域の黒画素の画素数が算出されていく。
【００５１】
そして、ステップＳ３１にて、仮閾値が最大値を超えたと判定されると（ステップＳ３１；ＹＥＳ）、仮閾値特定部５ｄは、評価値テーブルＴを参照して略等しい値で所定数以上連続している評価値（例えば、「100」等）を特定して、特定された評価値と関連付けられた複数の仮閾値（例えば、「245」、「247」、「249」、「251」、「253」等）のうち、最小の仮閾値（例えば、「245」等）を特定する（ステップＳ３３）。
次に、閾値設定部５ｆは、元画像Ｐ１の二値化処理に適した閾値を設定する（ステップＳ３４）。具体的には、閾値設定部５ｆは、最小の仮閾値（例えば、「245」等）を基準として所定値（例えば、「8」程度等）だけ閾値を低下させ、当該仮閾値で二値化された二値化画像Ｐ７の顔領域の略中央の処理領域内の黒画素の画素数が所定範囲内（例えば、3000〜5000程度等）であるか否かを判定する。そして、閾値設定部５ｆは、処理領域内の黒画素の画素数が所定範囲内であると判定されると、当該仮閾値を元画像Ｐ１の二値化処理に適した閾値として設定する一方で、処理領域内の黒画素の画素数が所定範囲内でないと判定されると、所定の仮閾値（例えば、「231」等）を元画像Ｐ１の二値化処理に適した閾値として設定する。
これにより、閾値設定処理を終了する。
【００５２】
図２に戻り、二値化処理部５ｂは、画像取得部５ａにより取得された元画像Ｐ１に対して閾値設定処理で設定された閾値で二値化処理を施して、二値化画像Ｐ７（例えば、二値化画像Ｐ７ｂ等）を生成する（ステップＳ１０）。
次に、構成部画像生成部５ｇは、二値化画像Ｐ７から検出された顔領域に対して微細部抽出処理（例えば、ＡＡＭを用いた処理等）を行って、顔構成部（例えば、目、鼻、口、眉、髪の毛、顔の輪郭等）を線で表した顔微細部画像を生成した後（ステップＳ１１）、微細部抽出処理により顔領域内の顔の輪郭を特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の主要な顔構成部のパーツ画像を含む顔構成部画像を生成する（ステップＳ１２）。
【００５３】
続けて、似顔絵画像生成部５ｈは、顔構成部画像を用いて元画像Ｐ１の似顔絵画像を生成する（ステップＳ１３）。具体的には、似顔絵画像生成部５ｈは、所定の髪型画像を取得して、当該髪型画像の顔の輪郭よりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させて、元画像Ｐ１を似顔絵で表した似顔絵画像の画像データを生成する。
そして、記録媒体制御部６は、似顔絵画像生成部５ｈにより生成された似顔絵画像の画像データ（ＹＵＶデータ）を取得して記録する。
これにより、似顔絵画像生成処理を終了する。
【００５４】
以上のように、本実施形態の撮像装置１００によれば、元画像Ｐ１に対して異なる複数の仮閾値の各々で二値化処理が施されることで生成された複数の二値化画像Ｐ７、…の各々に対して特定の被写体（例えば、ヒトの顔等）を検出する被写体検出処理（例えば、顔検出処理等）を施して、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出し、これら複数の評価値に基づいて元画像Ｐ１の二値化処理に適した閾値を設定するので、予め複数の仮閾値を用いて複数の評価値を算出し、これら複数の評価値を利用して、元画像Ｐ１の二値化処理に適した閾値の設定を適正に行うことができる。
具体的には、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値に基づいて元画像Ｐ１の二値化処理に適した閾値を設定するので、最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を元画像Ｐ１の二値化処理に適した閾値として設定することができることとなって、最小の仮閾値を基準として所定値だけ閾値を低下させることができる。これにより、例えば、ヒトが黒縁眼鏡などをかけている場合等に顔領域内の黒画素が通常よりも多くなってしまっても、顔画像自体を適正に二値化することができる閾値の設定を適正に行うことができる。
【００５５】
また、複数の二値化画像Ｐ７、…の各々から検出された特定の被写体を含む被写体領域の略中央の領域内の所定の画素値の画素数が所定範囲内となるように、最小の仮閾値に基づいて元画像Ｐ１の二値化処理に適した閾値を設定するので、被写体領域の略中央の領域内に所定の画素値の画素が偏って存しないように最小の仮閾値を基準として所定値だけ閾値を低下させることができることとなって、顔画像自体を適正に二値化することができる閾値の設定をより適正に行うことができる。
【００５６】
さらに、元画像Ｐ１が設定された閾値で二値化処理された二値化画像Ｐ７を用いて、元画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成して、当該顔構成部画像を用いて元画像Ｐ１の似顔絵画像を生成するので、顔画像自体を適正に二値化することができる閾値で二値化処理された二値化画像Ｐ７を用いて似顔絵画像の生成を適正に行うことができる。
【００５７】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、元画像Ｐ１内の顔の主要な構成部に係る顔構成部画像を生成し、当該顔構成部画像を用いて似顔絵画像を生成するようにしたが、必ずしも顔構成部画像や似顔絵画像を生成する必要はなく、当該顔構成部画像や似顔絵画像を生成するか否かは適宜任意に変更可能である。即ち、上記実施形態の撮像装置１００による閾値設定処理を、所定の画像データの単なる二値化処理に適用するようにしても良い。
【００５８】
また、元画像Ｐ１を記録する記録媒体制御部６を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに元画像Ｐ１を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部５ａは、当該サーバから元画像Ｐ１を取得する構成としても良い。
【００５９】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、閾値設定装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る閾値設定処理を実行可能なものであれば如何なる構成であっても良い。
【００６０】
加えて、上記実施形態にあっては、取得手段、二値化手段、評価値算出手段、設定手段としての機能を、中央制御部１０の制御下にて、画像取得部５ａ、二値化処理部５ｂ、評価値算出部５ｃ、閾値設定部５ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、二値化処理ルーチン、評価値算出処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、特定の被写体を含む元画像Ｐ１を取得する手段として機能させるようにしても良い。また、二値化処理ルーチンにより中央制御部１０のＣＰＵを、取得された元画像Ｐ１に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像Ｐ７、…を生成する手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部１０のＣＰＵを、生成された複数の二値化画像Ｐ７、…の各々に対して特定の被写体を検出する被写体検出処理を施して、特定の被写体らしさに係る評価値を仮閾値と関連付けて複数算出する手段として機能させるようにしても良い。また、評価値算出処理ルーチンにより中央制御部１０のＣＰＵを、仮閾値と関連付けて算出された複数の評価値に基づいて、元画像Ｐ１の二値化処理に適した閾値を設定する手段として機能させるようにしても良い。
【００６１】
同様に、特定手段、画素数算出手段、第１生成手段、第２生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００６２】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００６３】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
特定の被写体を含む元画像を取得する取得手段と、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段と、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段と、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段と、
を備えたことを特徴とする閾値設定装置。
＜請求項２＞
前記二値化手段は、更に、前記元画像に対して所定値ずつ変化させた一連の仮閾値の各々で二値化処理を施し、
前記評価値算出手段により算出され、略等しい値で所定数以上連続した複数の評価値と関連付けられた複数の仮閾値のうち、最小の仮閾値を特定する特定手段を更に備え、
前記設定手段は、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項１に記載の閾値設定装置。
＜請求項３＞
前記設定手段は、更に、前記特定手段により特定された最小の仮閾値と関連付けられた評価値よりも所定値以上高い評価値と関連付けられている仮閾値を前記元画像の二値化処理に適した閾値として設定することを特徴とする請求項２に記載の閾値設定装置。
＜請求項４＞
前記複数の二値化画像の各々から前記被写体検出処理により検出された前記特定の被写体を含む被写体領域の略中央の領域内の所定の画素値の画素数を算出する画素数算出手段を更に備え、
前記設定手段は、前記画素数算出手段により算出された画素数が所定範囲内となるように、前記特定手段により特定された最小の仮閾値に基づいて前記元画像の二値化処理に適した閾値を設定することを特徴とする請求項２又は３に記載の閾値設定装置。
＜請求項５＞
前記特定の被写体は、ヒトの顔を含むことを特徴とする請求項１〜４の何れか一項に記載の閾値設定装置。
＜請求項６＞
前記取得手段により取得された元画像が前記設定手段により設定された閾値で二値化処理された二値化画像を用いて、前記元画像内の顔の主要な構成部に係る顔構成部画像を生成する第１生成手段と、
前記第１生成手段により生成された顔構成部画像を用いて前記元画像の似顔絵画像を生成する第２生成手段と、を更に備えることを特徴とする請求項５に記載の閾値設定装置。
＜請求項７＞
閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む元画像を取得する処理と、
取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する処理と、
生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する処理と、
前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する処理と、
を含むことを特徴とする閾値設定方法。
＜請求項８＞
閾値設定装置のコンピュータを、
特定の被写体を含む元画像を取得する取得手段、
前記取得手段により取得された元画像に対して異なる複数の仮閾値の各々で二値化処理を施して、複数の二値化画像を生成する二値化手段、
前記二値化手段により生成された複数の二値化画像の各々に対して前記特定の被写体を検出する被写体検出処理を施して、前記特定の被写体らしさに係る評価値を前記仮閾値と関連付けて複数算出する評価値算出手段、
前記評価値算出手段により前記仮閾値と関連付けて算出された複数の評価値に基づいて、前記元画像の二値化処理に適した閾値を設定する設定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６４】
１００  撮像装置
５      画像処理部
５ａ    画像取得部
５ｂ    二値化処理部
５ｃ    評価値算出部
５ｄ    仮閾値特定部
５ｅ    画素数算出部
５ｆ    閾値設定部
５ｇ    構成部画像生成部
５ｈ    似顔絵画像生成部
１０    中央制御部
【図１】
2014099074.tif 000003
【図２】
2014099074.tif 000004
【図３】
2014099074.tif 000005
【図６】
2014099074.tif 000006
【図４】
2014099074.tif 000007
【図５】
2014099074.tif 000008
【図７】
2014099074.tif 000009