(57)【要約】【課題】画像中の変更したい領域を簡単な方法で適正に設定する。【解決手段】撮像装置１００であって、元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を構成する複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更処理部６ｆと、処理済み顔画像内で変更処理の処理対象となる一の顔構成部画像を包含する変更処理領域を設定する処理領域設定部６ｅと、設定された変更処理領域内に一の顔構成部画像と異なる他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように変更処理を実行させる変更制御部６ｈと、を備えている。【選択図】図１
2014186404.tif 000002
【特許請求の範囲】
【請求項１】
元画像を取得する第１取得手段と、
前記第１取得手段により取得された元画像内で顔の主要な顔構成部を複数検出する検出手段と、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
前記第２取得手段により取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更手段と、
前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定する設定手段と、
前記設定手段により設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判定する判定手段と、
前記判定手段により前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように前記変更手段に前記変更処理を実行させる変更制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記変更制御手段は、更に、
前記検出手段による前記他の顔構成部画像に対応する顔構成部の検出結果に基づいて、前記変更処理領域内における前記他の顔構成部に対応する領域を前記変更処理の処理対象から除外することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、更に、
前記検出手段による顔構成部の検出結果に基づいて、前記変更処理領域内に前記他の顔構成部画像が含まれているか否かを判定することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記変更制御手段は、更に、
前記変更処理領域内の各画素について、所定の基準位置からの距離に応じて前記変更処理の処理強度を変化させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記変更制御手段は、更に、
前記変更処理領域の境界近傍の各画素については、前記変更処理の処理対象から除外することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記変更手段により前記変更処理が施された前記一の顔構成部画像を用いて、顔を模式的に表した似顔絵画像を生成する生成手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記一の顔構成部画像は、口画像を含み、
前記他の顔構成部画像は、鼻画像を含むことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項８】
画像処理装置を用いた画像処理方法であって、
元画像を取得するステップと、
取得された元画像内で顔の主要な顔構成部を複数検出するステップと、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行うステップと、
前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定するステップと、
設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判定するステップと、
前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように変更処理を実行させるステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
元画像を取得する第１取得手段、
前記第１取得手段により取得された元画像内で顔の主要な顔構成部を複数検出する検出手段、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
前記第２取得手段により取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更手段、
前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定する設定手段、
前記設定手段により設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判断する判定手段、
前記判定手段により前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように前記変更手段に前記変更処理を実行させる変更制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５６２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、写真画像に対して二値化処理等を行って似顔絵画像を生成する手法も知られているが、この場合、顔領域に対する顔構成部の大きさの比率が実際の顔と略等しくなってしまうため、似顔絵画像としての表現力が低下してしまう虞がある。
そこで、所望の顔構成部に対応する顔構成部画像の寸法及び形状等を変更することで、似顔絵画像としての表現力を向上させようとすると、意図しない顔構成部画像まで変更してしまう場合があった。
【０００５】
本発明の課題は、画像中の変更したい領域を簡単な方法で適正に設定することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、
元画像を取得する第１取得手段と、前記第１取得手段により取得された元画像内で顔の主要な顔構成部を複数検出する検出手段と、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、前記第２取得手段により取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更手段と、前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定する設定手段と、前記設定手段により設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判定する判定手段と、前記判定手段により前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように前記変更手段に前記変更処理を実行させる変更制御手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、元画像を取得するステップと、取得された元画像内で顔の主要な顔構成部を複数検出するステップと、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行うステップと、前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定するステップと、設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判定するステップと、前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように変更処理を実行させるステップと、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
画像処理装置のコンピュータを、元画像を取得する第１取得手段、前記第１取得手段により取得された元画像内で顔の主要な顔構成部を複数検出する検出手段、前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、前記第２取得手段により取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更手段、前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定する設定手段、前記設定手段により設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判断する判定手段、前記判定手段により前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように前記変更手段に前記変更処理を実行させる変更制御手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、画像中の変更したい領域を簡単な方法で適正に設定することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による画像生成処理に係る動作の一例を示すフローチャートである。
【図３】図２の画像生成処理を説明するための図である。
【図４】図２の画像生成処理を説明するための図である。
【図５】図２の画像生成処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。
【００１３】
なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。
【００１４】
撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。具体的には、図示は省略するが、撮像部１は、例えば、ズームレンズやフォーカスレンズ等のレンズ部と、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の電子撮像部と、ズームレンズやフォーカスレンズを光軸方向に移動させるレンズ駆動部とを備えている。
【００１５】
撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、レンズ部を通過した光学像を電子撮像部により所定周期毎に二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。
【００１６】
画像データ生成部３は、撮像部１の電子撮像部から転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリにＤＭＡ転送される。
【００１７】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。
【００１８】
画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。
なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
【００１９】
画像処理部６は、第１画像取得部６ａと、顔構成部検出部６ｂと、顔処理部６ｃと、第２画像取得部６ｄと、処理領域設定部６ｅと、変更処理部６ｆと、判定部６ｇと、変更制御部６ｈと、似顔絵画像生成部６ｉとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２０】
第１画像取得部６ａは、画像生成処理の処理対象となる画像を取得する。
即ち、第１画像取得部（第１取得手段）６ａは、元画像（例えば、写真画像等）Ｐ１の画像データを取得する。具体的には、第１画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像Ｐ１の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像Ｐ１の画像データの複製を取得する（図３参照）。
なお、図３には、元画像Ｐ１内から目、鼻、口、眉、顔輪郭等の顔構成部が検出された状態を模式的に表している。
また、後述する画像処理部６による各処理は、元画像Ｐ１の画像データ自体に対して行われても良いし、必要に応じて元画像Ｐ１の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。
【００２１】
顔構成部検出部６ｂは、元画像Ｐ１内で顔の主要な顔構成部を検出する。
即ち、顔構成部検出部（検出手段）６ｂは、第１画像取得部６ａにより取得された元画像Ｐ１内で、例えば、目、鼻、口、眉、顔輪郭等の顔構成部を検出する。具体的には、顔構成部検出部６ｂは、例えば、ＡＡＭ（Active Appearance Model）を用いた処理により、目、鼻、口、眉、顔輪郭等を元画像Ｐ１内で特定する。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域の画像のモデル化を行う処理である。例えば、顔構成部検出部６ｂは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、顔構成部検出部６ｂは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域の画像をモデル化する。これにより、元画像Ｐ１内で目、鼻、口、眉、顔輪郭等の顔構成部がモデル化される（図３参照）。
また、顔構成部検出部６ｂは、元画像Ｐ１内での目、鼻、口、眉、顔輪郭等の顔構成部を構成する各画素のxy座標の位置を検出して位置データを生成する。
なお、ＡＡＭを用いて顔構成部の検出を行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。
【００２２】
顔処理部６ｃは、元画像Ｐ１に対して各種の処理を施す。
即ち、顔処理部６ｃは、元画像Ｐ１に対して二値化処理を施して二値化画像を生成する。具体的には、顔処理部６ｃは、元画像（例えば、写真画像等）Ｐ１に対して平滑化処理やぼかし処理等を行なった後、所定の閾値で二値化処理を施して二値化画像を生成する。また、顔処理部６ｃは、例えば、所定の顔検出処理により二値化画像から顔領域を検出した後、顔構成部検出部６ｂによる顔構成部の検出結果を利用して顔領域に微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔輪郭等の顔構成部を線で表した顔微細部画像（図示略）を生成する。また、顔処理部６ｃは、顔微細部画像の顔輪郭内に存する顔構成部及び当該輪郭と接する顔構成部を線で表した、例えば、目、鼻、口、眉等の顔構成部画像ｆを含む二値化顔画像（処理済み顔画像）Ｐ２を生成する（図４（ａ）参照）。
なお、上記した平滑化処理、ぼかし処理、二値化処理、顔検出処理等は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２３】
第２画像取得部６ｄは、二値化顔画像Ｐ２を取得する。
即ち、第２画像取得部（第２取得手段）６ｄは、元画像Ｐ１に対して所定の閾値で二値化処理が施されることで生成された二値化顔画像（処理済み顔画像）Ｐ２を取得する。具体的には、第２画像取得部６ｄは、例えば、顔処理部６ｃにより生成された二値化顔画像Ｐ２の画像データを取得する。
【００２４】
処理領域設定部６ｅは、二値化顔画像Ｐ２内で一の顔構成部画像ｆ１を包含する変更処理領域Ａ１を設定する。
即ち、処理領域設定部（設定手段）６ｅは、顔構成部検出部６ｂによる顔構成部の検出結果に基づいて、二値化顔画像（処理済み顔画像）Ｐ２内で変更処理（後述）の処理対象となる一の顔構成部画像（例えば、口画像等）ｆ１を包含する変更処理領域Ａ１を設定する。具体的には、例えば、二値化顔画像Ｐ２を構成する複数の顔構成部画像（例えば、目画像、鼻画像、口画像、眉画像等）ｆ、…の中で、予めデフォルトとして指定されている顔構成部画像ｆや、ユーザによる操作入力部９の所定操作等に基づいて任意に指定されたユーザ所望の顔構成部画像ｆが変更処理の処理対象として指定されると、処理領域設定部６ｅは、処理対象となる一の顔構成部画像（例えば、口画像等）ｆ１を包含する所定形状（例えば、楕円形状等）の変更処理領域Ａ１を二値化顔画像Ｐ２内で設定する（図４（ｂ）参照）。
なお、変更処理領域Ａ１の数は、処理対象となる顔構成部画像ｆの数に応じて適宜任意に変更可能である。また、変更処理領域Ａ１の寸法は、例えば、顔構成部の検出精度を考慮して、予め顔構成部画像ｆに対して大きめに設定されるのが好ましい。また、変更処理領域Ａ１の形状は、例えば、顔構成部画像ｆの形状に応じて適宜任意に変更可能であるが、処理効率の観点から、所定の数式で規定される楕円形状、円形状、矩形状等の単純な形状（複雑でない形状）が好ましい。
【００２５】
変更処理部６ｆは、処理対象となる一の顔構成部画像ｆ１の寸法や形状を変更する変更処理を行う。
即ち、変更処理部（変更手段）６ｆは、第２画像取得部６ｄにより取得された二値化顔画像（処理済み顔画像）Ｐ２を構成する複数の顔構成部画像ｆ、…の中で、少なくとも何れか一の顔構成部画像ｆ１の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う。具体的には、変更処理部６ｆは、処理領域設定部６ｅにより二値化顔画像Ｐ２内に設定された一の顔構成部画像（例えば、口画像等）ｆ１を包含する変更処理領域Ａ１について、当該変更処理領域Ａ１を構成する複数の画素の中で所定の画素の位置を所定方向に所定量だけ変位させる。これにより、変更処理部６ｆは、変更処理領域Ａ１に含まれる一の顔構成部画像ｆ１を相似形でその寸法を変更したり、異なる形状に変更する。
なお、変更処理部６ｆによる変更処理は、変更制御部６ｈの制御下にて行われるようになっており、具体的な制御の内容については後述する。
【００２６】
判定部６ｇは、変更処理領域Ａ１内に他の顔構成部画像ｆ２が含まれているか否かを判定する。
即ち、判定部（判定手段）６ｇは、顔構成部検出部６ｂによる顔構成部の検出結果に基づいて、変更処理領域Ａ１内に処理対象の一の顔構成部画像（例えば、口画像等）ｆ１以外の他の顔構成部画像（例えば、鼻画像等）ｆ２が含まれているか否かを判定する。具体的には、判定部６ｇは、例えば、処理対象の一の顔構成部画像（例えば、口画像等）ｆ１に対応する顔構成部（例えば、口等）の近傍の他の顔構成部（例えば、鼻や顔輪郭等）の位置データを顔構成部検出部６ｂから取得して、他の顔構成部の検出位置が変更処理領域Ａ１に含まれているか否かを判定する。そして、判定部６ｇは、他の顔構成部の検出位置が変更処理領域Ａ１に含まれているか否かに応じて、変更処理領域Ａ１内に他の顔構成部画像ｆ２が含まれているか否かを判定する。
【００２７】
変更制御部６ｈは、変更処理部６ｆによる変更処理の実行を制御する。
即ち、変更制御部（変更制御手段）６ｈは、処理領域設定部６ｅにより設定された変更処理領域Ａ１内に処理対象となる一の顔構成部画像（例えば、口画像等）ｆ１と異なる他の顔構成部画像（例えば、鼻画像等）ｆ２が含まれている場合に、当該他の顔構成部画像ｆ２の寸法及び形状を変更しないように変更処理部６ｆに変更処理を実行させる。具体的には、変更制御部６ｈは、判定部６ｇにより変更処理領域Ａ１内に他の顔構成部画像ｆ２が含まれていると判定された場合に、他の顔構成部画像ｆ２の寸法及び形状を変更しないように変更処理部６ｆに変更処理を実行させる。
例えば、変更制御部６ｈは、顔構成部検出部６ｂによる他の顔構成部画像ｆ２に対応する顔構成部の検出結果に基づいて、変更処理領域Ａ１内における他の顔構成部に対応する領域Ａ２を変更処理の処理対象から除外する。即ち、変更制御部６ｈは、顔構成部検出部６ｂから他の顔構成部の位置データを取得して、他の顔構成部の検出位置を基準として変更処理領域Ａ１内で他の顔構成部に沿うように当該他の顔構成部に対応する領域Ａ２を特定する。そして、変更制御部６ｈは、変更処理領域Ａ１の中で他の顔構成部に対応する領域Ａ２を構成する画素の位置を変更処理にて変位させないようにすることで、当該他の顔構成部に対応する領域Ａ２を変更処理の処理対象から除外する（図４（ｃ）参照）。
なお、他の顔構成部に対応する領域Ａ２は、例えば、図４（ｃ）においては、変更処理領域Ａ１の実線と破線とで囲まれた領域であり、変更処理領域Ａ１の外縁部（境界）から内側に食い込むような形状であっても良いし、変更処理領域Ａ１内で点在するように独立した所定の形状（例えば、矩形状等；図示略）であっても良い。
【００２８】
また、変更制御部６ｈは、変更処理領域Ａ１内の各画素について、所定の基準位置（例えば、中心等）からの距離に応じて変更処理の処理強度を変化させても良い。具体的には、変更制御部６ｈは、例えば、変更処理領域Ａ１内の複数の画素のうち、当該変更処理領域Ａ１の中心に近い画素程変位量が大きくなるようにする。このとき、変更制御部６ｈは、当該変更処理領域Ａ１の境界（外縁部）近傍の各画素については、画素の位置を変位させないようにすることで変更処理の処理対象から除外する。
【００２９】
似顔絵画像生成部６ｉは、顔を模式的に表した似顔絵画像Ｐ４を生成する。
即ち、似顔絵画像生成部（生成手段）６ｉは、変更処理部６ｆにより変更処理が施された一の顔構成部画像ｆ１を用いて、顔を模式的に表した似顔絵画像Ｐ４を生成する。具体的には、似顔絵画像生成部６ｉは、例えば、変更処理が施された一の顔構成部画像ｆ１及び変更処理が施されていない他の顔構成部画像ｆ２を含む二値化顔画像Ｐ２の画像データを取得するとともに、顔構成部検出部６ｂにより検出された顔輪郭に対応する所定の髪型画像Ｐ３の画像データを取得する。そして、似顔絵画像生成部６ｉは、取得された所定の髪型画像Ｐ３の顔輪郭よりも内側にて二値化顔画像Ｐ２の各顔構成部画像ｆを重畳させる位置を特定し、当該位置に各顔構成部画像ｆを重畳させて元画像Ｐ１を似顔絵で模式的に表した似顔絵画像Ｐ４の画像データを生成する（図５参照）。
ここで、似顔絵画像生成部６ｉは、似顔絵画像Ｐ４の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。
【００３０】
なお、図５には、「口」が小さくなるように当該口画像の寸法及び形状を変更した似顔絵画像Ｐ４を表している。
【００３１】
表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３２】
表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３３】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３４】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３５】
＜画像生成処理＞
次に、撮像装置１００による画像生成処理について、図２〜図５を参照して説明する。
図２は、画像生成処理に係る動作の一例を示すフローチャートである。
【００３６】
画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から画像処理モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、画像生成処理の処理対象となる元画像Ｐ１の画像データは、予め画像記録部５に記録されているものとする。
【００３７】
図２に示すように、先ず、第１画像取得部６ａは、画像記録部５に記録されている複数の元画像Ｐ１の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて画像生成処理の処理対象として指定された画像データを画像記録部５から読み出して取得する（ステップＳ１）。
次に、顔構成部検出部６ｂは、第１画像取得部６ａにより取得された元画像Ｐ１の画像データに対して所定の検出処理（例えば、ＡＡＭ等）を行って、目、鼻、口、眉、顔輪郭等の顔構成部を検出する（ステップＳ２；図３参照）。
【００３８】
次に、顔処理部６ｃは、第１画像取得部６ａにより取得された元画像Ｐ１の画像データに対して、平滑化処理やぼかし処理や二値化処理等を施して、例えば、目、鼻、口、眉等の顔構成部画像ｆを含む二値化顔画像Ｐ２を生成する（ステップＳ３；図４（ａ）参照）。そして、第２画像取得部６ｄは、顔処理部６ｃにより生成された二値化顔画像Ｐ２の画像データを取得する（ステップＳ４）。
【００３９】
次に、処理領域設定部６ｅは、例えば、ユーザによる操作入力部９の所定操作等に基づいて指定されたユーザ所望の一の顔構成部画像（例えば、口画像等）ｆ１を包含する所定形状（例えば、楕円形状等）の変更処理領域Ａ１を二値化顔画像Ｐ２内で設定する（ステップＳ５；図４（ｂ）参照）。
次に、判定部６ｇは、顔構成部検出部６ｂから処理対象の一の顔構成部画像（例えば、口画像等）ｆ１に対応する顔構成部（例えば、口等）の近傍の他の顔構成部（例えば、鼻や顔輪郭等）の位置データを取得して、他の顔構成部の検出位置が変更処理領域Ａ１に含まれているか否かに応じて、変更処理領域Ａ１内に他の顔構成部画像ｆ２が含まれているか否かを判定する（ステップＳ６）。
【００４０】
ステップＳ６にて、変更処理領域Ａ１内に他の顔構成部画像（例えば、鼻画像等）ｆ２が含まれていると判定されると（ステップＳ６；ＹＥＳ）、変更制御部６ｈは、変更処理領域Ａ１内における他の顔構成部（例えば、鼻等）に対応する領域を変更処理の処理対象から除外する（ステップＳ７）。具体的には、変更制御部６ｈは、顔構成部検出部６ｂから他の顔構成部の位置データを取得して他の顔構成部の検出位置を基準として変更処理領域Ａ１内で他の顔構成部に対応する領域Ａ２（図４（ｃ）参照）を特定し、変更処理領域Ａ１の中で他の顔構成部に対応する領域Ａ２を構成する画素の位置を変更処理にて変位させないようにする。
一方、ステップＳ６にて、変更処理領域Ａ１内に他の顔構成部画像ｆ２が含まれていないと判定されると（ステップＳ６；ＮＯ）、変更制御部６ｈは、ステップＳ７の処理をスキップして、処理をステップＳ８に移行させる。
【００４１】
その後、変更処理部６ｆは、変更制御部６ｈの制御下にて、二値化顔画像Ｐ２内に設定された変更処理領域Ａ１に含まれる一の顔構成部画像ｆ１の寸法及や形状を変更する変更処理を実行する（ステップＳ８）。
即ち、ステップＳ６にて、変更処理領域Ａ１内に他の顔構成部画像（例えば、鼻画像等）ｆ２が含まれていると判定（ステップＳ６；ＹＥＳ）されて、ステップＳ７にて、変更処理領域Ａ１内における他の顔構成部（例えば、鼻等）に対応する領域Ａ２が変更処理の処理対象から除外された場合、変更処理部６ｆは、変更処理領域Ａ１を構成する複数の画素のうち、他の顔構成部に対応する領域Ａ２を構成する画素以外の画素を処理対象として、所定方向に所定量だけ変位させることで、一の顔構成部画像ｆ１の寸法及や形状を変更する。
一方、ステップＳ６にて、変更処理領域Ａ１内に他の顔構成部画像（例えば、鼻画像等）ｆ２が含まれていないと判定された場合（ステップＳ６；ＮＯ）、変更処理部６ｆは、変更処理領域Ａ１を構成する複数の画素を処理対象として、所定方向に所定量だけ変位させることで、一の顔構成部画像ｆ１の寸法及や形状を変更する。
なお、ステップＳ８の変更処理にて、変更制御部６ｈは、変更処理領域Ａ１内の各画素について、所定の基準位置（例えば、中心等）からの距離に応じて変更処理の処理強度を変化させるようにしても良い。
【００４２】
次に、似顔絵画像生成部６ｉは、変更処理後の一の顔構成部画像ｆ１を含む二値化顔画像Ｐ２及び所定の髪型画像Ｐ３を取得し、当該所定の髪型画像Ｐ３の顔輪郭よりも内側に二値化顔画像Ｐ２の各顔構成部画像ｆを重畳させて、元画像Ｐ１を似顔絵で模式的に表した似顔絵画像Ｐ４の画像データを生成する（ステップＳ９；図５参照）。その後、画像記録部５は、似顔絵画像Ｐ４の画像データを取得して記録する。
これにより、画像生成処理を終了する。
【００４３】
以上のように、本実施形態の撮像装置１００によれば、顔構成部の検出結果に基づいて、元画像Ｐ１に対して所定の閾値で二値化処理が施されることで生成された二値化顔画像Ｐ２内で変更処理の処理対象となる一の顔構成部画像（例えば、口画像等）ｆ１を包含する変更処理領域Ａ１を設定し、設定された変更処理領域Ａ１内に一の顔構成部画像ｆ１と異なる他の顔構成部画像（例えば、鼻画像等）ｆ２が含まれている場合に、当該他の顔構成部画像ｆ２の寸法及び形状を変更しないように処理対象の一の顔構成部画像ｆ１の寸法及び形状のうちの少なくとも一方を変更する変更処理を実行するので、変更処理領域Ａ１内で他の顔構成部画像ｆ２を除外するように一の顔構成部画像ｆ１の寸法や形状のみを適正に変更することができ、当該一の顔構成部画像ｆ１の表現力を向上させることができる。即ち、顔構成部の検出精度を十分に確保できない場合等には、処理対象となる一の顔構成部画像ｆ１に対して変更処理領域Ａ１が大きめに設定されてしまい、他の顔構成部画像ｆ２を含んでしまう虞がある。この場合に、例えば、変更処理領域Ａ１内に他の顔構成部画像ｆ２が含まれていると判定されると、変更処理にて当該他の顔構成部画像ｆ２の寸法及び形状を変更しないようにすることにより、具体的には、変更処理領域Ａ１内における他の顔構成部に対応する領域Ａ２を変更処理の処理対象から除外することにより、変更処理領域Ａ１内で一の顔構成部画像ｆ１を構成する画素のみを処理対象として当該一の顔構成部画像ｆ１の寸法や形状を適正に変更することができる。
このように、二値化処理により生成された顔画像の表現力の向上を図る際に、顔画像中の変更したい領域の設定を簡単な方法で適正に行うことができる。
【００４４】
また、変更処理領域Ａ１内の各画素について、所定の基準位置（例えば、中心等）からの距離に応じて変更処理の処理強度を変化させるので、当該変更処理領域Ａ１内の一の顔構成部画像ｆ１の寸法や形状の変更を適正に行うことができる。具体的には、変更処理領域Ａ１の境界近傍の各画素については、変更処理の処理対象から除外することで、変更処理領域Ａ１の境界近傍では画素の位置の変位が行われないため、当該変更処理領域Ａ１の境界を目立たないようにすることができる。例えば、変更処理領域Ａ１の境界に「ほくろ」などがある場合に、当該「ほくろ」を構成する画素の位置を変位させると、「ほくろ」が伸びたようになるが、変更処理領域Ａ１の境界近傍の各画素を変更処理の処理対象から除外することで、当該変更処理領域Ａ１の境界を目立たないようにしてより自然な仕上がりを実現することができる。
【００４５】
また、変更処理が施された一の顔構成部画像ｆ１を用いて、顔を模式的に表した似顔絵画像Ｐ４を生成するので、二値化顔画像Ｐ２の変更処理領域Ａ１内で寸法や形状が変更された一の顔構成部画像ｆ１を用いることで、完成度の高いより自然な似顔絵画像Ｐ４を適正に生成することができる。
【００４６】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、一の顔構成部画像ｆ１としての口画像を小さくするような変更処理を例示したが、一例であってこれに限られるものではなく、変更処理の内容は適宜任意に変更可能である。即ち、変更処理は、少なくとも何れか一の顔構成部画像ｆ１の寸法及び形状のうち、少なくとも一方を変更するような内容のものであれば良く、例えば、目画像や鼻画像等の各々を一の顔構成部画像ｆ１として、相似形でその寸法を大きくしたり小さくするように変更しても良いし、異なる形状に変更しても良い。
【００４７】
また、上記実施形態にあっては、変更制御部６ｈは、変更処理領域Ａ１内における他の顔構成部に対応する領域Ａ２を変更処理の処理対象から除外することで、変更処理部６ｆによる変更処理にて変更処理領域Ａ１内に含まれる他の顔構成部画像ｆ２の寸法及び形状を変更しないようにしたが、一例であってこれに限られるものではなく、他の顔構成部画像ｆ２の寸法及び形状を変更しないようにする手法は適宜任意に変更可能である。
【００４８】
さらに、上記実施形態にあっては、変更処理後の一の顔構成部画像ｆ１を含む二値化顔画像Ｐ２を用いて似顔絵画像Ｐ４を生成するようにしたが、必ずしも似顔絵画像Ｐ４を生成する必要はなく、似顔絵画像生成部６ｉを具備するか否かは適宜任意に変更可能である。
【００４９】
また、上記実施形態にあっては、変更処理領域Ａ１の形状として、楕円形状を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、処理対象となる一の顔構成部画像ｆ１の外形に対応させた所定の形状の変更処理領域Ａ１、例えば、目画像の場合には楕円形状、また、鼻画像の場合には三角形状、また、口画像の場合には凹型形状の変更処理領域Ａ１を用意しておいても良い。
【００５０】
また、上記実施形態では、元画像Ｐ１に対して二値化処理等を施して二値化顔画像Ｐ２を生成するようにしたが、当該装置本体内で必ずしも二値化顔画像Ｐ２を生成する必要はなく、顔処理部６ｃを具備するか否かは適宜任意に変更可能である。例えば、外部機器にて生成された二値化顔画像Ｐ２を取得するようにしても良い。
【００５１】
さらに、似顔絵画像Ｐ４の生成元となる画像は、正面顔を表した画像である必要はなく、例えば、所定の軸を中心として斜めを向くように顔が傾いた元画像Ｐ１の場合には、当該元画像Ｐ１の顔が正面を向くように変形させた画像を生成して用いても良い。
【００５２】
また、上記実施形態にあっては、一の顔構成部画像ｆ１の寸法や形状を変更する変更処理を、似顔絵に加工する処理前の元画像Ｐ１から似顔絵画像Ｐ４を生成する際に行うようにしたが、例えば、変更処理を施すことなく似顔絵画像Ｐ４を生成した後に、当該似顔絵画像Ｐ４を処理対象として行っても良い。
【００５３】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。
【００５４】
加えて、上記実施形態にあっては、第１取得手段、検出手段、第２取得手段、変更手段、設定手段、判定手段、変更制御手段としての機能を、中央制御部１０のＣＰＵの制御下にて、第１画像取得部６ａ、顔構成部検出部６ｂ、第２画像取得部６ｄ、変更処理部６ｆ、処理領域設定部６ｅ、判定部６ｇ、変更制御部６ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、検出処理ルーチン、第２取得処理ルーチン、変更処理ルーチン、設定処理ルーチン、判定処理ルーチン、変更制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像Ｐ１を取得する手段として機能させるようにしても良い。また、検出処理ルーチンにより中央制御部１０のＣＰＵを、取得された元画像Ｐ１内で顔の主要な顔構成部を複数検出する手段として機能させるようにしても良い。また、第２画像取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像Ｐ１に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する手段として機能させるようにしても良い。また、変更処理ルーチンにより中央制御部１０のＣＰＵを、取得された処理済み顔画像を構成する複数の顔構成部に対応する顔構成部画像ｆの中で、少なくとも何れか一の顔構成部画像ｆ１の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１０のＣＰＵを、処理済み顔画像内で変更処理の処理対象となる一の顔構成部画像ｆ１を包含する変更処理領域Ａ１を設定する手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１０のＣＰＵを、設定された変更処理領域Ａ１内に一の顔構成部画像ｆ１と異なる他の顔構成部画像ｆ２が含まれているか否かを判定する手段として機能させるようにしても良い。また、変更制御処理ルーチンにより中央制御部１０のＣＰＵを、他の顔構成部画像ｆ２が含まれていると判定された場合に、当該他の顔構成部画像ｆ２の寸法及び形状を変更しないように変更処理を実行させる手段として機能させるようにしても良い。
【００５５】
同様に、生成手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００５６】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００５７】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する第１取得手段と、
前記第１取得手段により取得された元画像内で顔の主要な顔構成部を複数検出する検出手段と、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段と、
前記第２取得手段により取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更手段と、
前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定する設定手段と、
前記設定手段により設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判定する判定手段と、
前記判定手段により前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように前記変更手段に前記変更処理を実行させる変更制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記変更制御手段は、更に、
前記検出手段による前記他の顔構成部画像に対応する顔構成部の検出結果に基づいて、前記変更処理領域内における前記他の顔構成部に対応する領域を前記変更処理の処理対象から除外することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記判定手段は、更に、
前記検出手段による顔構成部の検出結果に基づいて、前記変更処理領域内に前記他の顔構成部画像が含まれているか否かを判定することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記変更制御手段は、更に、
前記変更処理領域内の各画素について、所定の基準位置からの距離に応じて前記変更処理の処理強度を変化させることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記変更制御手段は、更に、
前記変更処理領域の境界近傍の各画素については、前記変更処理の処理対象から除外することを特徴とする請求項４に記載の画像処理装置。
＜請求項６＞
前記変更手段により前記変更処理が施された前記一の顔構成部画像を用いて、顔を模式的に表した似顔絵画像を生成する生成手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記一の顔構成部画像は、口画像を含み、
前記他の顔構成部画像は、鼻画像を含むことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項８＞
画像処理装置を用いた画像処理方法であって、
元画像を取得するステップと、
取得された元画像内で顔の主要な顔構成部を複数検出するステップと、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得するステップと、
取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行うステップと、
前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定するステップと、
設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判定するステップと、
前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように変更処理を実行させるステップと、
を含むことを特徴とする画像処理方法。
＜請求項９＞
画像処理装置のコンピュータを、
元画像を取得する第１取得手段、
前記第１取得手段により取得された元画像内で顔の主要な顔構成部を複数検出する検出手段、
前記元画像に対して所定の閾値で二値化処理が施されることで生成された処理済み顔画像を取得する第２取得手段、
前記第２取得手段により取得された処理済み顔画像を構成する前記複数の顔構成部に対応する顔構成部画像の中で、少なくとも何れか一の顔構成部画像の寸法及び形状のうちの少なくとも一方を変更する変更処理を行う変更手段、
前記処理済み顔画像内で前記変更処理の処理対象となる前記一の顔構成部画像を包含する変更処理領域を設定する設定手段、
前記設定手段により設定された変更処理領域内に前記一の顔構成部画像と異なる他の顔構成部画像が含まれているか否かを判断する判定手段、
前記判定手段により前記他の顔構成部画像が含まれていると判定された場合に、当該他の顔構成部画像の寸法及び形状を変更しないように前記変更手段に前記変更処理を実行させる変更制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５８】
１００  撮像装置
１      撮像部
５      画像記録部
６      画像処理部
６ａ    第１画像取得部
６ｂ    顔構成部検出部
６ｄ    第２画像取得部
６ｅ    処理領域設定部
６ｆ    変更処理部
６ｇ    判定部
６ｈ    変更制御部
６ｉ    似顔絵画像生成部
１０    中央制御部
【図１】
2014186404.tif 000003
【図２】
2014186404.tif 000004
【図４】
2014186404.tif 000005
【図３】
2014186404.tif 000006
【図５】
2014186404.tif 000007