(57)【要約】【課題】人物が写った写真画像を絵画調の画像（絵画調画像）に変換する画像変換処理を好適に行うことができる画像処理装置及びプログラムを提供する。【解決手段】本発明の画像処理装置１は、画像を取得し、取得した画像に写る人物の顔の像を検出する顔検出部１０ａ、顔検出部１０ａが検出した人物の顔の像が所定の基準を満たすかを判別する判別部１０ｂ、判別部１０ｂの判別結果に応じて、画像を絵画調の画像に変換する画像変換処理を行う画像変換処理部１０ｃを備える。【選択図】図１
2012027687.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得し、取得した画像に写る人物の顔の像を検出する顔検出手段と、
前記顔検出手段が検出した前記人物の顔の像が所定の基準を満たすかを判別する判別手段と、
前記判別手段の判別結果に応じて、前記画像を絵画調の画像に変換する画像変換処理を行う画像変換処理手段と、を備える、
ことを特徴とする画像処理装置。
【請求項２】
前記所定の基準は、前記人物の顔の像が前記画像において定められた所定の領域に含まれるかの第１の基準を含み、
前記判別手段は、前記人物の顔の像が前記所定の領域に含まれない場合に前記第１の基準を満たさないと判別し、
前記画像変換処理手段は、前記判別手段が前記第１の基準を満たさないと判別したときに、前記画像を絵画調の画像に変換する画像変換処理を行う、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記所定の基準は、前記人物の顔の像が所定以下の小ささであるかの第２の基準を含み、
前記判別手段は、前記人物の顔の像が前記所定以下の小ささでない場合に前記第２の基準を満たさないと判別し、
前記画像変換処理手段は、前記判別手段が前記第２の基準を満たさないと判別したときに、前記画像を絵画調の画像に変換する画像変換処理を行う、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記所定の基準は、前記人物の顔及び視線が向いている方向が正面方向であるかの第３の基準を含み、
前記判別手段は、前記人物の顔の像から前記人物の顔及び視線の向きを特定し、特定した前記顔又は前記視線が向いている方向が正面方向でない場合に前記第３の基準を満たさないと判別し、
前記画像変換処理手段は、前記判別手段が前記第３の基準を満たさないと判別したときに、前記画像を絵画調の画像に変換する画像変換処理を行う、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記画像変換処理手段は、前記判別手段の判別結果に応じて、処理強度を変えて前記画像処理を行う、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記画像変換処理手段は、前記判別手段の判別結果に応じて、前記画像に写る顔の像の部分とそれ以外の部分とで処理強度を変えて前記画像処理を行う、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項７】
コンピュータに、
画像を取得し、取得した画像に写る人物の顔の像を検出する顔検出工程と、
前記顔検出工程で検出した前記人物の顔の像が所定の基準を満たすかを判別する判別工程と、
前記判別工程で行った判別結果に応じて、前記画像を絵画調の画像に変換する画像変換処理を行う画像変換処理工程と、を行わせる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
この種の技術として、例えば、特許文献１には、撮影者がデジタルカメラ等を用いて撮影した写真画像を、油絵風、ちぎり絵風、水墨画風等の絵画調で表す絵画調画像に変換する画像変換処理を行う画像処理装置が開示されている。絵画調画像は、元の写真画像を絵画風のタッチで描いたように表現した画像であり、元の写真画像とは異なる印象を見る人に与える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２９８１３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような画像処理によって得られる絵画調画像は、絵画風のタッチで描いたように表現することによって元の写真画像と比べるとぼやけた感じ（不鮮明）に表される。そのため、例えば、撮影者によって撮影された写真画像において人物の顔が小さく写っている場合、この写真画像（例えば、集合写真等）に対して上記のような画像処理を行うと、これによって得られる絵画調画像は、写真画像では鮮明に表されていた人物の顔がつぶれたように表される場合がある。この場合、その人物が、撮影者の意図とは関係なく撮影された人物（例えば通行人等）であれば、その人物の顔が認識できなくても問題はないが、その人物が、撮影者が積極的に撮影した人物（主要被写体）であるときには、上記画像処理は不適切なものとなる。
【０００５】
本発明は、このような点に鑑みてなされたものであり、人物が写った写真画像を絵画調画像に変換する画像変換処理を好適に行うことができる、画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点に係る画像処理装置は、
画像を取得し、取得した画像に写る人物の顔の像を検出する顔検出手段と、
前記顔検出手段が検出した前記人物の顔の像が所定の基準を満たすかを判別する判別手段と、
前記判別手段の判別結果に応じて、前記画像を絵画調の画像に変換する画像変換処理を行う画像変換処理手段と、を備える、
ことを特徴とする。
【０００７】
本発明の第２の観点に係るプログラムは、
コンピュータに、
画像を取得し、取得した画像に写る人物の顔の像を検出する顔検出工程と、
前記顔検出工程で検出した前記人物の顔の像が所定の基準を満たすかを判別する判別工程と、
前記判別工程で行った判別結果に応じて、前記画像を絵画調の画像に変換する画像変換処理を行う画像変換処理工程と、を行わせる、
ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、人物が写った写真画像を絵画調画像に変換する画像変換処理を好適に行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る画像処理装置のブロック図である。
【図２】本発明の一実施形態に係る画像処理装置のハードウェア構成を示したブロック図である。
【図３】本発明の一実施形態に係る画像処理装置が行う画像処理を示したフローチャートである。
【図４】図１の表示部の表示画面に表示される分割線を示した図である。
【図５】本発明の一実施形態に係る画像処理装置が用いる第１の基準についての領域を示した図である。
【図６】本発明の一実施形態に係る画像処理装置が用いる第１の基準を満たす場合の写真画像に写った人物の顔を示した図である。
【図７】本発明の一実施形態に係る画像処理装置が用いる第１の基準を満たさない場合の写真画像に写った人物の顔を示した図である。
【図８】本発明の一実施形態に係る画像処理装置が用いる第２の基準についての範囲を示した図である。
【図９】本発明の一実施形態に係る画像処理装置が用いる第２の基準を満たす場合の写真画像に写った人物の顔を示した図である。
【図１０】本発明の一実施形態に係る画像処理装置が用いる第２の基準を満たさない場合の写真画像に写った人物の顔を示した図である。
【図１１】本発明の一実施形態に係る画像処理装置が用いる第３の基準を満たさない（顔が正面を向いていない）場合の写真画像に写った人物の顔を示した図である。
【図１２】本発明の一実施形態に係る画像処理装置が用いる第３の基準を満たさない（視線が正面を向いていない）場合の写真画像に写った人物の顔を示した図である。
【発明を実施するための形態】
【００１０】
本発明に係る実施形態を、図面を参照して以下に説明する。
【００１１】
はじめに、本発明に係る画像処理装置の概略を説明する。本実施形態では、本発明に係る画像処理装置がデジタルカメラである形態を説明する。画像処理装置は、撮影モードとして絵画調変換モードを有する。絵画調変換モードは、撮影者の撮影操作に従って画像処理装置が撮影した写真画像を、絵画調の画像（以下、絵画調画像という）に変換する画像変換処理を自動的に行う撮影モードである。この画像処理装置によって得られる絵画調画像は、元の写真画像を絵画風のタッチで描いたように表されるものであり、これによって、元の写真画像とは趣（画風）の異なる印象を見る人に与えることができる。なお、絵画調の種類には、例えば、油絵風、ちぎり絵風、水墨画風等がある。絵画調の画像に変換する画像変換処理は、例えば、フォトショップ（登録商標）等で行われる処理を利用することができる。
【００１２】
つづいて、図１を用いて画像処理装置１の構成を説明する。画像処理装置１は、制御部１０と、記憶部２０と、撮像部３０と、入力部４０と、表示部５０と、読出書込部６０と、を備える。
【００１３】
制御部１０は、画像処理装置１の各部の制御を行い、画像処理装置１全体の制御を行う。また、制御部１０は、顔検出部１０ａ、判別部１０ｂ、及び、画像変換処理部１０ｃを備え、後述の画像処理を行う。
【００１４】
記憶部２０は、制御部１０が後述の画像処理で使用する各種データを記憶する。また、記憶部２０は、制御部１０の制御のもと、制御部１０が処理中に生成した各種画像データ、及び、読出書込部６０が記録媒体１００から読み出した記録画像データ等を適宜記憶する。
【００１５】
撮像部３０は、制御部１０の制御のもと、写真画像を撮像する。撮像部３０は、撮像した写真画像を表す撮像信号を生成し、生成した撮像信号をもとに、１フレーム分（１枚の画像分）の写真画像を表す写真画像データを生成する。撮像部３０は、生成した写真画像データを制御部１０に供給する。制御部１０は、写真画像データを取得する。なお、撮像部３０は写真画像を表す所定のデータを制御部１０に供給し、制御部１０がこの所定のデータに対して所定の処理を行って写真画像データを生成することによって、写真画像データを取得してもよい。なお、写真画像は静止画像であり、写真画像データは静止画像を表す静止画像データである。
【００１６】
入力部４０は、撮影者の操作を受け付ける操作部であり、受け付けた操作の内容に対応する操作信号を制御部１０に供給する。
【００１７】
表示部５０は、制御部１０（画像変換処理部１０ｃ）の制御のもと、メニュー画面やライブビュー表示画面、絵画調画像データにより表される絵画調画像（油絵風、ちぎり絵風、水墨画風等の画像）を表示する。
【００１８】
読出書込部６０は、制御部１０の制御のもと、記録媒体１００から記録画像データの読み出し、記録媒体１００への記録画像データの書き込み等を行う。
【００１９】
次に、図２を用いて画像処理装置１のハードウェアの構成を説明する。画像処理装置１は、ＣＰＵ（Central Processing Unit：中央演算処理装置）１１と、一次記憶装置１２と、二次記憶装置２１と、撮像装置３１と、入力装置４１と、表示パネル駆動回路５１と、表示パネル５２と、読出書込装置６１と、を備える。
【００２０】
図１の制御部１０は、ＣＰＵ１１と一次記憶装置１２とによって実現される。ＣＰＵ１１は、二次記憶装置２１から一次記憶装置１２にロードされた画像処理プログラム２１ａに従って、画像処理装置１全体を制御する。ＣＰＵ１１は、特に、画像処理プログラム２１ａに従って、図１の制御部１０（顔検出部１０ａ、判別部１０ｂ、及び、画像変換処理部１０ｃ）が行う後述の画像処理を実際に行う。なお、制御部１０は、その他、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）、ＤＳＰ（Digital Signal Processor）等を含んでもよい。この場合、ＡＳＩＣ、ＤＳＰ等は、ＣＰＵ１１が行う処理の少なくとも一部を行う。
【００２１】
一次記憶装置１２は、ＲＡＭ（Random Access Memory）等によって実現される。一次記憶装置１２は、ＣＰＵ１１が使用するデータや生成したデータを適宜一次記憶する。
【００２２】
図１の記憶部２０は、二次記憶装置２１によって実現される。二次記憶装置２１は、フラッシュメモリ又はハードディスク等によって構成される。また、二次記憶装置２１は、画像処理プログラム２１ａを記憶している。ＣＰＵ１１は、二次記憶装置２１が記憶している画像処理プログラム２１ａを一次記憶装置１２にロードし、一次記憶装置１２にロードした画像処理プログラム２１ａの指令に基づいて、後述の画像処理を行う。
【００２３】
図１の撮像部３０は、撮像装置３１によって実現される。撮像装置３１は、ＣＣＤ（Charge Coupled Device）イメージセンサー又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等の撮像素子、ＡＦＥ（Analog Front End）、ＤＳＰ（Digital Signal Processor）等を備える。
【００２４】
撮像装置３１は、撮影者が行う撮影操作に従って写真画像を撮像し、撮像した写真画像を表す撮像信号を撮像素子によって生成し、生成した撮像信号に各種処理（ＡＦＥ、ＤＳＰ等によって行われる処理）を施して、デジタルの写真画像データを生成する。なお、各種処理には、例えば、相関二重サンプリング（Correlated Double Sampling）の処理と、サンプリング後の撮像信号に施す自動利得調整（Automatic Gain Control）の処理と、自動利得調整後のアナログの撮像信号をデジタル信号に変換するアナログ／デジタル変換の処理と、輪郭強調、オートホワイトバランス、オートアイリス等の画質を向上させる処理とがある。
【００２５】
撮像装置３１は、生成した写真画像データを一次記憶装置１２に供給する。一次記憶装置１２は、撮像装置３１から受け取った写真画像データを静止画像データとして記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶した静止画像データを用いて、後述の画像処理を行う。なお、撮像装置３１のＤＳＰ（Digital Signal Processor）等によって行われる処理は、ＣＰＵ１１によって行われてもよい。
【００２６】
図１の入力部４０は、入力装置４１によって実現される。入力装置４１は、撮影者により操作が行われるインターフェース装置である。入力装置４１は、撮影キー、メニューキー、撮影モード（絵画調変換モードを含む）選択キー、電源キー等の各種操作キーを含む。撮影者がこれらの各キーを操作すると、入力装置４１は、各キーに応じた操作信号を生成し、生成した操作信号をＣＰＵ１１に供給する。ＣＰＵ１１は、操作信号を受け取ると、この操作信号に対応する処理を行う。
【００２７】
図１の表示部５０は、表示パネル駆動回路５１と、表示パネル５２とによって実現される。ＣＰＵ１１は、各種画像データを用いて、表示用画像データ（例えば、ＲＧＢ（ＲＥＤ−ＧＲＥＥＮ−ＢＬＵＥ）データ）を生成し、生成した表示用画像データを表示パネル駆動回路５１に供給する。表示パネル駆動回路５１は、ＣＰＵ１１から表示用画像データを受け取って表示パネル５２を駆動し、表示用画像データによって表される画像を表示パネル５２に表示させる。このようにして、ＣＰＵ１１は、前記の所定の画像データを用いて、このデータによって表される画像を表示部５０の表示パネル５２に表示する。表示パネル５２は、例えば、液晶表示パネル又は有機ＥＬ（Organic Electro-Luminescence：OEL）表示パネル等によって構成される。表示パネル５２には、表示パネル駆動回路５１によって画像が表示される。
【００２８】
なお、図１の入力部４０と表示部５０とを、タッチパネルによって実現してもよい。この場合、入力装置４１及び表示パネル５２は、タッチパネルによって構成される。タッチパネルは、撮影者からの所定の操作を受け付ける入力画面を表示すると共に、入力画面において撮影者が接触操作を行った位置に対応する操作信号をＣＰＵ１１に供給する。
【００２９】
図１の読出書込部６０は、読出書込装置６１によって実現される。読出書込装置６１は、メモリーカード１０１に対して、データの読み出しや書き込みを行うインターフェース装置である。
【００３０】
記録媒体１００は、フラッシュメモリタイプのメモリーカード１０１等によって実現される。メモリーカード１０１としては、データを記録するＳＤメモリーカード等がある。
【００３１】
次に、図３を参照して、撮影者が絵画調変換モードを選択した時の画像処理装置１の動作を説明する。
【００３２】
撮影者は、入力部４０を用いて、電源投入後に表示部５０に表示されるメニュー画面から絵画調変換モードを選択する操作を行う。また、撮影者は、入力部４０を用いて、絵画調の種類（水彩画、カラースケッチ、パステル画、点描画、エアブラシ、油彩画、ゴシック様式の油絵等）を選択する操作を行う。入力部４０は、撮影者が行った選択操作に対応する操作信号を顔検出部１０ａに供給する。
【００３３】
顔検出部１０ａは、予め設定されたフレームレートによって撮像部３０に現在の画像を撮像させ、現在の画像を表す写真画像データ（ライブビュー画像データ）を撮像部３０から順次取得する。なお、ライブビュー画像データは、ライブビュー用に解像度等が低い画像データとする。顔検出部１０ａは、撮像部３０から順次取得したライブビュー画像データにより表されるライブビュー画像を表示部５０の表示画面に表示する。これによって、撮影者は、ライブビュー画像を確認しながら撮影を行うことができる。
【００３４】
次に、顔検出部１０ａは、絵画調変換モードが終了したか否かを判別する（ステップＳ１０１）。撮影者が入力部４０を用いて絵画調変換モードを終了する操作を行った場合、顔検出部１０ａは、この撮影者の操作に対応する操作信号を入力部４０から受け取る。顔検出部１０ａは、この操作信号を受け取った場合、絵画調変換モードが終了したと判別し（ステップＳ１０１；ＹＥＳ）、画像処理を終了する。一方、顔検出部１０ａは、それ以外については、絵画調変換モードが終了していないと判別する（ステップＳ１０１；ＮＯ）。
【００３５】
顔検出部１０ａによって絵画調変換モードが終了していないと判別された場合（ステップＳ１０１；ＮＯ）、顔検出部１０ａは、撮影操作があったかを判別する（ステップＳ１０２）。撮影者は、ライブビュー画像を確認し、所望のタイミングで、入力部４０を用いて撮影操作を行う。顔検出部１０ａは、撮影者の撮影操作に対応する操作信号を入力部４０から受け取ると、この場合に撮影操作があったと判別して（ステップＳ１０２；ＹＥＳ）、これに応じて撮像部３０に写真画像を撮像させ、これにより撮像部３０から写真画像を表す写真画像データを取得する。写真画像データは、基本的に保存用の画像データになるので、解像度等が高い画像データとするとよい（制御部１０（顔検出部１０ａ）は、例えば、撮像部３０を制御して、解像度等を調整する）。
【００３６】
顔検出部１０ａによって撮影者の撮影操作に対応する操作信号が供給されておらず、撮影操作が無かったと判別された場合（ステップＳ１０２；ＮＯ）、顔検出部１０ａは、上記ステップＳ１０１に戻り、再度、絵画調変換モードが終了したか否かを判別する。つまり、撮影者によって撮影が行われるか、絵画調変換モードの終了があるまで画像処理装置１は待機する。
【００３７】
一方、顔検出部１０ａによって、撮影操作があったと判別された場合（ステップＳ１０２；ＹＥＳ）、顔検出部１０ａは、写真画像データにより表される写真画像に人物の顔が写っているか否かを判別する（ステップＳ１０３）。
【００３８】
具体的には、顔検出部１０ａは、予め記憶部２０に記録された所定の顔の像を表すテンプレート画像データを用いるテンプレートマッチング等の適宜の処理によって、写真画像中における顔の像の検出を試みる。例えば、顔検出部１０ａが取得した写真画像データにより表される写真画像上において、テンプレート画像データにより表される所定の顔の像（テンプレート画像）を、１画素ずつ左右方向または上下方向にずらしながら、このテンプレート画像とこのテンプレート画像に重なる領域の画像との比較を順次行う処理をする。この時、顔検出部１０ａは、テンプレート画像とテンプレート画像に重なる領域の画像との類似度を順次求め、順次求めた類似度を、予め設定された閾値と比較する。そして、その類似度が、閾値以上であった（又は閾値を超えている）場合、顔検出部１０ａは、その像に重なる領域が顔の像の領域であるとして、この領域を顔の像として特定する。この特定によって、顔検出部１０ａは、写真画像上において顔の像を検出したことになり、写真画像に人物の顔が写っていると判別する。なお、類似度の算出については、ＳＡＤ (Sum of Absolute Difference)、ＳＳＤ (Sum of Squared Difference)等が用いられる。また、上記の画像の比較においては、所定の顔の像を、適宜、拡大又は縮小して、比較してもよい。
【００３９】
顔検出部１０ａによって、人物の顔の像が検出されない場合（ステップＳ１０３；ＮＯ）、画像変換処理部１０ｃは、写真画像データにより表される写真画像を絵画調画像に変換する画像変換処理を行い、変換した絵画調画像を表示部５０に表示する（ステップＳ１０８）。
【００４０】
画像変換処理部１０ｃは、ステップＳ１０８において、絵画調変換モード選択時に撮影者が入力部４０を用いて選択した絵画調の種類に従って、写真画像データにより表される写真画像を絵画調画像に変換する画像変換処理を行う。例えば、撮影者により水彩画が選択されている場合、画像変換処理部１０ｃは、写真画像データが有する種々のパラメータを、水彩画風のタッチで描いたように表現するパラメータに変更することにより絵画調画像に変換し、この絵画調画像を表す絵画調画像データを生成する。なお、ここでいうパラメータは、画像を絵画調に変更する画像処理を行うときの処理強度を規定する数値である。また、パラメータには、明るさ、コントラスト、色の濃さ、色合い、シャープネス等を表す各種パラメータがある。また、パラメータは、絵画調の種類（水彩画、カラースケッチ、パステル画、点描画、エアブラシ、油彩画、ゴシック様式の油絵等）によって、それぞれ規定されている。なお、この絵画調に変換する画像変換処理としては、例えば、フォトショップ（登録商標）で使用される各種フィルタ等での処理がある。
【００４１】
画像変換処理部１０ｃは、上記画像処理を行うことにより、絵画調画像を表す絵画調画像データを生成する。画像変換処理部１０ｃは、生成した絵画調画像データを、所定の記憶領域（図２の一時記憶装置１２等）に記録すると共に表示用画像データに変換して表示部５０に供給する。表示部５０は、表示画面（図２の表示パネル５２）に、受け取った絵画調画像データにより表される絵画調画像を表示する。
【００４２】
ステップＳ１０３でＮＯと判別された場合、写真画像には、撮影者が積極的に撮影した人物（主要被写体）が写っていないと考えられる。このため、写真画像データにより表される写真画像を絵画調画像に変換して、その絵画調画像がつぶれたように表される部分があったとしても、主要被写体の像（特に、顔）がそもそも存在しないため、主要被写体の像がつぶれてしまうこともないので、特に問題はないと考えられる。
【００４３】
なお、顔検出部１０ａは、上記テンプレートマッチングで、テンプレート画像を一以上用いればよいが、テンプレート画像が、正面を向いている人物（カメラ目線の人物）のみを表した画像を用いる場合、写真画像において正面以外を向いている人物は検出できない。例えば、図１１に示すように、写真画像データにより表される写真画像において、人物が横向きになっている場合、顔検出部１０ａは、その人物の顔の像を検出しない。この場合、図１１には他に顔がないものとしているので、画像変換処理部１０ｃは、その写真画像を絵画調画像に変換する画像変換処理を行う。
【００４４】
一方、顔検出部１０ａによって、写真画像データにより表される写真画像に人物の顔が写っていると判別された場合（ステップＳ１０３；ＹＥＳ）、つまり、写真画像の中で顔の像が検出された場合、判別部１０ｂは、顔検出部１０ａが検出した人物の顔の像が、第１の基準を満たすか否かを判別する（ステップＳ１０４）。
【００４５】
ここでは、第１の基準は、三分割法を用いた領域による基準となっている。三分割法は、画面の構図についての経験則のひとつである。三分割法では、図４に示すように、画像上で、分割線５３を水平線と垂直線とをそれぞれ２本ずつ等間隔に引いて、この画像上をマトリックス状に９等分に分割する。本実施形態では、例えば、図５に示すように、三分割法での分割線５３の中間にある線によって形成される、写真画像の中央位置で写真画像全体の約４／９に相当する範囲の領域Ｔ１であって、分割線５３の交点を全て含む領域Ｔ１を定義し、この領域Ｔ１に人物の顔の像が含まれるか否かを前記の第１の基準とする。
【００４６】
判別部１０ｂは、例えば、図６に示すように、人物の顔の像Ｆ１（前記で検出された顔の像）が領域Ｔ１に含まれている場合、その人物の顔の像Ｆ１は第１の基準を満たすと判別する（ステップＳ１０４；ＹＥＳ）。一方、判別部１０ｂは、例えば、図７に示すように、人物の顔の像Ｆ２が領域Ｔ１に含まれていない場合、その人物の顔の像Ｆ２は第１の基準を満たさないと判別する（ステップＳ１０４；ＮＯ）。なお、人物の顔の像が領域Ｔ１に含まれるとは、例えば、顔の像の中心の任意の点が領域Ｔ１内にあることをいう。したがって、判別部１０ｂは、例えば、図７に示すように、人物の顔の像Ｆ３の一部が領域Ｔ１に含まれている場合でも、人物の顔の像Ｆ３の中心の任意の点が領域Ｔ１に含まれていない場合、その人物の顔の像Ｆ３は第１の基準を満たさないと判別する（ステップＳ１０４；ＮＯ）。なお、人物の顔の像が領域Ｔ１に含まれるか否かの基準は、適宜の基準を採用でき、例えば、人物の顔の像と領域Ｔ１とが重なる領域の面積が、所定の大きさ以上である場合に、人物の顔の像が領域Ｔ１に含まれるとしてもよい。
【００４７】
判別部１０ｂによって、写真画像に写った人物（前記で検出された顔の像。以下同じ）が、第１の基準を満たさないと判別された場合（ステップＳ１０４；ＮＯ、図７参照）、画像変換処理部１０ｃは、上記ステップＳ１０２で顔検出部１０ａが取得した写真画像データにより表される写真画像を、絵画調画像に変換する画像変換処理を行い、変換した絵画調画像を表示する（ステップＳ１０８、詳しい処理は上記参照）。
【００４８】
このように、写真画像に写る人物の顔の像が、第１の基準を満たさない場合（領域Ｔ１外にある場合）、写真画像を絵画調画像に変換する画像変換処理を行う。領域Ｔ１外の領域は、写真画像の端であり、また、領域Ｔ１は、三分割法によって定義された領域であるので、写真画像に写る人物の顔の像が領域Ｔ１外にある場合、その像は、撮影者が意図して撮影を行った人物の顔の像ではなく、撮影者が意図せずたまたま写った通行人等である可能性が高い。このため、このような写真画像を絵画調画像に変換する画像変換処理を行って、その絵画調画像に写る人物の顔がつぶれたように表されたとしても、その画像に写る人物は撮影者にとって関心がない人物である可能性が高く、その人物の顔の認識ができなくても問題ない可能性が高い。
【００４９】
一方、上記ステップＳ１０４において、判別部１０ｂによって人物の顔の像が、第１の基準を満たすと判別された場合（ステップＳ１０４；ＹＥＳ、図６参照）、その像は、上記とは反対に、撮影者が意図して撮影を行った人物の顔の像である可能性が高い。この場合、判別部１０ｂは、顔検出部１０ａが検出した人物の顔の像が、第２の基準を満たすか否かを判別する（ステップＳ１０５）。
【００５０】
ここでは、第２の基準は、前記で検出された顔の像が予め設定されている範囲よりも小さいか否かの基準である。例えば、図８に示すように、写真画像上で、全体の約１／９（領域Ｔ１の約１／４）に相当する矩形の範囲Ｓ１と顔の像とを、それぞれの中心を一致させて重ね、顔の像が範囲Ｓ１からはみ出ない場合に、人物の顔の像が予め設定されている基準よりも小さいことになり、顔検出部１０ａが検出した人物の顔の像が、第２の基準を満たす（ステップＳ１０５；ＹＥＳ）。顔の像が範囲Ｓ１からはみ出た場合は、顔の像が予め設定されている基準よりも大きいことになり、顔検出部１０ａが検出した人物の顔の像は、第２の基準を満たさない（ステップＳ１０５；ＮＯ）。判別部１０ｂは、このような内容の処理を行うことで、ステップＳ１０５の判別処理を行う。なお、前記の大きさの判定は、面積が所定の閾値を超えるか等、他の方法によって行ってもよい。
【００５１】
ここで、前記の予め設定されている基準は、写真画像を絵画調画像に変換した場合に、基準の判断対象の人物の顔の像がつぶれたように表されるか否かを分ける基準である。つまり、写真画像に写る人物の顔の像が前記の基準よりも小さい場合、この写真画像を絵画調画像に変換すると、その絵画調画像における前記人物の顔の像がつぶれたように表される可能性が高い。一方、写真画像に写る人物の顔の像が、前記の基準よりも大きい場合、この写真画像を絵画調画像に変換しても、その絵画調画像に写る前記の人物の顔の像がつぶれる可能性が低い。
【００５２】
判別部１０ｂは、ステップＳ１０５において、人物の顔の像が、第２の基準を満たさないと判別された場合（ステップＳ１０５；ＮＯ、図１０参照）、画像変換処理部１０ｃは、ステップＳ１０８の処理を行う（詳しくは上記参照）。このように、写真画像に写る人物の顔の像が、第２の基準を満たさない場合、写真画像を絵画調画像に変換する画像変換処理を行う。つまり、この場合、写真画像を絵画調画像に変換しても、その絵画調画像に写る人物の顔の像が大きいので、つぶれたように表されるおそれがない。したがって、その写真画像に写る人物が、撮影者が意図して撮影を行った人物（主要被写体）であったとしても、画像処理を行って得られる絵画調画像を見る人は、その絵画調画像に写った主要被写体の顔を認識できる。
【００５３】
一方、上記ステップＳ１０５において、判別部１０ｂによって、人物の顔の像が第２の基準を満たすと判別された場合（ステップＳ１０５；ＹＥＳ、図９参照）、判別部１０ｂは、顔検出部１０ａが検出した人物の顔の像が小さいので、前記の画像処理によって、この顔の像がつぶれたように表されるおそれがある。この場合、判別部１０ｂは、ステップＳ１０８に移行せずに、第３の基準を満たすか否かを判別する（ステップＳ１０６）。
【００５４】
ここでは、第３の基準は、人物の顔及び視線の向きが、写真画像上で正面方向を向いている（人物がカメラを向いている）か否かの基準である。人物の顔及び視線の向きが正面を向いている場合、この人物は、カメラに向いて、かつ、カメラを見ている可能性が高く、撮影者が積極的に撮影した人物（主要被写体）である可能性が高い。一方、それ以外の場合、この人物はカメラに向いて、かつ、カメラを見ていない可能性が高いので、撮影者の意図とは関係なく撮影された人物（通行人等）である可能性が高い。
【００５５】
判別部１０ｂは、例えば、顔検出部１０ａが検出した人物の顔の像から、その人物の顔と視線の方向を検出する。人物の顔の向きは、上記のステップＳ１０２で行ったテンプレートマッチング等と同様の適宜の処理を行うことにより検出される。具体的には、判別部１０ｂは、予め記憶部２０に記録された、目、鼻、口等を、それぞれ表す各画像データを用いて、顔検出部１０ａが検出した人物の顔の像において、テンプレートマッチングを行い、顔検出部１０ａが検出した人物の顔の像における目、鼻、口等を検出し、検出した目、鼻、口等の位置関係を基に顔の向きを検出する。例えば、二つの目の位置が、鼻の位置と口の位置とを結ぶ線を基準として、ほぼ左右対称に並んでいる場合は、その人物の顔の向きは正面であることを検出する。一方、二つの目の位置が、鼻の位置と口の位置とを結ぶ線を中央とした場合に、左側に寄った位置で並んでいる場合は、人物の顔の向きは写真に向かって左（実空間では右）であることを検出する。
【００５６】
また、人物の視線方向は、人物の顔の向きを検出する際に検出した上記の目の領域から、さらに、黒眼と白眼の位置を特定し、これにより、白眼の中の黒眼の位置を基に視線方向を検出する。例えば、白眼の中で黒眼がほぼ中央の位置にある場合は、視線方向は正面方向であることを検出する。一方、白眼の中で黒眼が中央から右の位置に寄っている場合は、視線方向は写真に向かって右方向（実空間では左方向）であることを検出する。
【００５７】
判別部１０ｂは、図９に示すように、人物の顔の像Ｆ１により特定される人物の顔と視線とが何れも正面方向を向いている場合、その人物の顔の像Ｆ１は第３の基準を満たすと判別する（ステップＳ１０６；ＹＥＳ）。一方、それ以外の場合、判別部１０ｂは、第３の基準を満たさないと判別する（ステップＳ１０６；ＮＯ）。例えば、判別部１０ｂは、図１１に示すように、人物の顔の像Ｆ５により特定される人物の顔が正面方向を向いていない場合、その人物の顔の像Ｆ５は第３の基準を満たさないと判別する（ステップＳ１０６；ＮＯ）。また、判別部１０ｂは、図１２に示すように、人物の顔の像Ｆ６により特定される人物の視線が正面方向を向いていない場合、その人物の顔の像Ｆ６は第３の基準を満たさないと判別する（ステップＳ１０６；ＮＯ）。
【００５８】
なお、上記のテンプレートマッチング処理で使用するテンプレート画像データにより表されるテンプレート画像が、正面を向いている人物（カメラ目線の人物）のみを表した画像を用いる場合、顔検出部１０ａは、写真画像において正面以外を向いている人物は検出できない。この場合、判別部１０ｂは、検出した人物（正面を向いている人）の顔の向きは検出せずに、視線方向が正面を向いているときに第３の基準を満たすと判別する。
【００５９】
判別部１０ｂによって、ステップＳ１０６において、人物の顔の像が、第３の基準を満たさないと判別された場合（ステップＳ１０６；ＮＯ、図１１，図１２参照）、画像変換処理部１０ｃは、ステップＳ１０８の処理を行う（詳しくは上記参照）。
【００６０】
写真画像に写る人物の顔の像が、第３の基準を満たさない場合（人物の顔と視線の少なくとも一方が正面方向を向いていない場合）、写真画像を絵画調画像に変換する画像変換処理を行う。つまり、この場合、写真画像を絵画調画像に変換して絵画調画像に写る人物の顔の像がつぶれたように表されたとしても、その画像に写る人物は、通行人等、撮影者にとって関心がない人物である可能性が高く、その人物の顔の認識ができなくても問題ない可能性が高い。
【００６１】
一方、上記ステップＳ１０６において、判別部１０ｂによって人物の顔の像が、第３の基準を満たすと判別された場合（ステップＳ１０６；ＹＥＳ、図９参照）、画像変換処理部１０ｃは、上記ステップＳ１０２で顔検出部１０ａが取得した写真画像データにより表される写真画像を絵画調画像に変換する画像変換処理を行わず、その写真画像を表示部５０の表示画面に表示する（ステップＳ１０７）。つまり、人物の顔の像が第３の基準を満たす場合（人物の視線と顔が正面方向を向いている場合）、その像は、上記とは反対に、撮影者が積極的に撮影した人物（主要被写体）である可能性が高い。また、この場合に写真画像を絵画調画像に変換すると、その絵画調画像に写る人物の顔の像がつぶれたように表され、その画像に写る人物の顔の認識ができなくなってしまう可能性が高い。そこで、この場合には、写真画像を絵画調画像に変換する画像変換処理を行わずに、上記ステップＳ１０２で顔検出部１０ａが取得した写真画像データにより表される写真画像を表示部５０の表示画面に表示する。また、この場合、画像変換処理部１０ｃは、表示部５０の表示画面に“絵画調変換ＮＧ”等と表示し、写真画像を絵画調画像に変換できなかったことを撮影者に知らせる。
【００６２】
以上、本実施形態に係る画像処理装置１によれば、取得した写真画像データにより表される写真画像に写る人物の顔の像を検出し、検出した人物の顔の像が第１乃至第３の基準を満たすかに応じて、写真画像を絵画調画像に変換できるかを判別し、その判別結果に基づいて写真画像を絵画調画像に変換する。本実施形態では、人物が写っている写真画像を絵画調画像に変換する場合に、写真画像において人物が写っている位置（領域Ｔ１）やその大きさ（範囲Ｓ１）、あるいはその人物の顔及び視線の向き等を考慮して、絵画調変換をするかしないかが決定される。上記のように、主要被写体と考えられる顔の像が小さい場合には、絵画調変換が行われないため、顔がつぶれてしまうといった不都合を抑制できる。このようにして、本実施形態では、写真画像において人物が写っている位置（領域Ｔ１）やその大きさ（範囲Ｓ１）、あるいはその人物の顔及び視線の向き等を考慮して、つまり、顔の像について所定の判別をして、画像変換処理を行うか否かを決定するため、好適な画像処理を行うことができる。
【００６３】
なお、上記実施形態では、判別部１０ｂによって、人物の顔の像が、第１乃至第３の基準の何れかを満たしていないと判別された場合に、画像変換処理部１０ｃが、その写真画像を絵画調に変換する画像変換処理を自動で行うものとして説明したが、この場合に、画像変換処理部１０ｃが、表示部５０の表示画面に“絵画調変換ＯＫ”等と表示し、写真画像を絵画調画像に変換できることを撮影者に知らせてもよい。この場合、撮影者は、入力部４０を用いて、写真画像を絵画調画像に変換するか否かについて選択操作を行う。画像変換処理部１０ｃは、入力部４０から選択操作に対応する操作信号を受け取り、受け取った操作信号に応じて、上記の写真画像を絵画調画像に変換する画像変換処理を行ってもよい。このように撮影者の操作を介して、画像変換処理部１０ｃは、判別部１０ｂの判別結果に応じて、写真画像を絵画調の画像に変換する画像変換処理を行ってもよい。
【００６４】
また、画像変換処理部１０ｃは、判別部１０ｂによって、第１乃至第３の基準の全てを満たしていないと判別された場合でも、つまり、ステップＳ１０７においても、写真画像を絵画調画像に変換する画像変換処理を行うようにしてもよい。但し、ここで行う画像変換処理の処理強度は、ステップＳ１０８の処理強度よりも小さくする。ここで、処理強度が大きければ大きいほど、変換前後の画像の変化度が大きくなる。このため、処理強度を小さくすることによって、変換前後の画像の変化度は小さくなる。なお、処理強度は、上記のように、パラメータによって規定されるので、処理強度の強弱は、パラメータの数値を調整することによって行われる（なお、このような変更方法は、予め設定された方法で行われる。）。これにより、写真画像において、主要被写体と考えられる人物の顔の像が小さい場合でも、元の写真画像との変化度合いが小さい絵画調変換を行うことにより、顔がつぶれてしまうといった不都合を抑制できる。しかも、絵画調変換を行うことができるので、ユーザの興味を引く画像が生成される。また、画像変換処理部１０ｃは、ステップＳ１０７において、画像の変化が少ない種類（予め決められているものとする）の絵画調変換を行っても良い。これにより、上記同様、顔がつぶれてしまうといった不都合を抑制できる。しかも、絵画調変換を行うことができるので、ユーザの興味を引く画像が生成される。
【００６５】
また、画像変換処理部１０ｃは、顔検出部１０ａ又は判別部１０ｂによって上記ステップＳ１０３乃至Ｓ１０６で行われる判別結果に応じて、処理強度や絵画調の種類を変更して画像変換処理を行うようにしてもよい。具体的には、画像変換処理部１０ｃは、どのステップでＮＯと判別されたかに対応させて、ステップＳ１０８で行う画像変換処理の強度や種類を変える。例えば、記憶部２０には、上記ステップＳ１０３乃至Ｓ１０６のいずれかを特定する情報と、画像変換処理の処理強度や絵画調の種類と、を対応付けて記録した対応表（図示しない）を予め記憶する。画像変換処理部１０ｃは、どのステップでＮＯと判別されたか（つまり直前のステップがどれであったか）を特定するとともに、前記の対応表を参照して、ＮＯと判別されたステップと同じステップを特定する情報に対応付けられた画像変換処理の処理強度や絵画調の種類を取得する。そして、画像変換処理部１０ｃは、取得した画像変換処理の処理強度や絵画調の種類で、画像変換処理を写真画像に対して行う。基本的に、ステップＳ１０８で画像変換処理の対象となる写真画像は、上記ステップＳ１０３乃至Ｓ１０６のどれでＮＯと判別されたかによって、その中身（人の顔の像の有無、位置、大きさ等）が異なる。このため、異なる中身に対応させて画像変換処理の処理強度や絵画調の種類を設定することによって、写真画像に対して適切な画像変換処理を行うことができる。
【００６６】
例えば、上記の場合において、画像変換処理の処理強度は、ＮＯと判別されたステップが、ステップＳ１０３からＳ１０６に進むにつれて小さくなるように設定される。また、絵画調の種類は、ＮＯと判別されたステップが、ステップＳ１０３からＳ１０６に進むにつれて変換前後の画像の変化度が小さくなるように設定される。これらによって、写真画像に対して適切な画像変換処理を行うことができる場合がある。
【００６７】
また、上記実施形態では、説明の便宜上、写真画像に写っている人物が一人の場合を説明したが、本発明に係る画像処理装置は、写真画像に写っている人物が複数人の場合でも適用できる。この場合において、例えば、画像処理装置１が画像変換処理を行うときは、判別部１０ｂによって上記の第１乃至第３の基準を満たしていると判別された人物が一人でもいる場合には、画像変換処理部１０ｃは、その写真画像を絵画調画像には変換しないか、または、その人物に合わせて処理強度を変えて画像処理を行う。
【００６８】
また、上記実施形態では、判別部１０ｂは、第１乃至第３の基準を用いて、顔検出部１０ａが検出した人物の顔の像について基準を満たしているか判別しているが、第１乃至第３の基準は、撮影者が適宜、選択して用いることができる。
【００６９】
さらに、上記実施形態では、撮影者の撮影操作に従って撮影された写真画像を用いて、これを絵画調画像に変換する画像変換処理装置１を説明したが、これに限定されず、記憶部２０や記録媒体１００等に記録された記録画像データにより表される記録画像を用いてもよい。
【００７０】
その他、本発明に係る画像処理装置は、上記実施形態において、写真画像（静止画像）を絵画調画像に変換する画像変換処理を行うものとして説明したが、ライブビュー表示に用いられる画像や動画像（複数の連続する静止画像によって構成された画像群）を絵画調画像（絵画調画像群）に変換する画像変換処理を行ってもよい。
【００７１】
また、本発明に係る画像処理装置は、上記実施形態において、その一例として、デジタルカメラを挙げたが、その他、デジタルフォトフレームやパーソナルコンピュータ等の画像処理装置であれば適用できる。
【００７２】
なお、上記実施形態の画像処理プログラム２１ａは、持ち運び可能な記録媒体等に記録されてもよい。持ち運び可能な記録媒体には、例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）又はＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等がある。また、画像処理プログラム２１ａは、持ち運び可能な記録媒体から各種読取装置を介して画像処理装置１にインストールされてもよい。さらに、画像処理プログラム２１ａは、インターネット等のネットワークから図示しない通信部を介して画像処理装置１にダウンロード及びインストールされてもよい。また、画像処理プログラム２１ａは、画像処理装置１と通信可能なサーバ等の記憶装置に格納されて、ＣＰＵ等への指令を行ってもよい。さらに、画像処理プログラム２１ａを記憶した読み取り可能な記録媒体（例えば、ＲＡＭ、ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＤＶＤ−Ｒ、ハードディスク、又は、フラッシュメモリ）は、コンピュータが読み取り可能な、プログラムを記憶した記憶媒体となる。
【符号の説明】
【００７３】
１・・・画像処理装置、１０・・・制御部、１０ａ・・・顔検出部、１０ｂ・・・判別部、１０ｃ・・・画像処理部、１１・・・ＣＰＵ、１２・・・一次記憶装置、２０・・・記憶部、２１・・・二次記憶装置、２１ａ・・・画像処理プログラム、３０・・・撮像部、３１・・・撮像装置、４０・・・入力部、４１・・・入力装置、５０・・・表示部、５１・・・表示パネル駆動装置、５２・・・表示パネル、５３・・・分割線、６０・・・読出書込部、６１・・・読出書込装置、１００・・・記録媒体、１０１・・・メモリーカード、Ｔ１・・・第１の基準として定められた領域、Ｓ１・・・第２の基準として定められた範囲、Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５，Ｆ６・・・人物の顔の像
【図１】
2012027687.tif 000003
【図２】
2012027687.tif 000004
【図３】
2012027687.tif 000005
【図４】
2012027687.tif 000006
【図５】
2012027687.tif 000007
【図６】
2012027687.tif 000008
【図７】
2012027687.tif 000009
【図８】
2012027687.tif 000010
【図９】
2012027687.tif 000011
【図１０】
2012027687.tif 000012
【図１１】
2012027687.tif 000013
【図１２】
2012027687.tif 000014