(57)【要約】  被写体の顔を検知する顔検知方法において、最初の顔検知ステップで顔検知できなかった場合、画像の撮影情報を取得して顔検知領域を再設定し、顔検知ステップを再実行する。【選択図】  図１
2005202543.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力するステップと、該画像の注目領域検知ステップと、該画像の撮影情報を取得するステップと、前記注目領域検知結果に基づいて、該画像の注目領域を決定するステップとを有し、前記注目領域の検知に失敗した場合、前記撮影情報より前記注目領域検索範囲を決定し、前記注目領域検知ステップを再実行することを特徴とする被写体抽出方法。
【請求項２】
前記注目領域検知ステップは、画像内の顔検知を実行することを特徴とした請求項１に記載の被写体抽出方法。
【請求項３】
前記撮影情報は、少なくとも人物撮影モードとそれ以外の撮影モードとを区別することを特徴とした請求項１または２に記載の被写体抽出方法。
【請求項４】
前記注目領域検知ステップを再実行する条件は、前記撮影情報で人物撮影モードと判別したに限ることを特徴とした請求項３に記載の被写体抽出方法。
【請求項５】
前記注目領域検知ステップを再実行時の前記注目領域検索範囲は、前記撮影情報の焦点位置情報から決定するステップとを有することを特徴とした請求項１から４に記載の被写体抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
デジタルカメラやデジタルカムコーダー等により撮影された画像データから被写体が写っている部分を抽出する被写体抽出方法に属する。
【背景技術】
【０００２】
近年、デジタルスチールカメラやデジタルビデオカメラが爆発的に普及してきている。また携帯電話や情報携帯端末などにもカメラ機能が搭載されることは珍しくなくなってきている。
【０００３】
これらのデジタル機器で撮影されたデジタル画像の撮影枚数は、旧来の銀塩カメラよりも増加する傾向にある。これは銀塩カメラで撮影した画像は、フィルムの現像および印画紙への焼き付けが必須であるが、デジタル画像はこれらの処理が基本的に不要である。またデジタル画像の蓄積保存も、ＰＣ等のストレージ機器の普及により簡易に低コストで行うことができるようになった。
【０００４】
一方で、フィルム撮影のカメラからの数が増えたためユーザが所望した画像をすばやく検索することがむずかしくなってきている。
【０００５】
特開２００２−３５８５２２では、画像の顔領域を検出し、検出された顔領域を拡大してサムネイル一覧表示する手法が提案されている。この構成により注目領域として顔領域を検知し、その部分を拡大表示することによってデジタル画像の検索性を高めたシステムが可能となる。
【特許文献１】特開２００２−３５８５２２号公報
【特許文献２】特開２００３−１６３８２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
顔領域の検出方法については、すでに色々な手法が提案されている。基本的な顔領域の検知方法としては、画像データ内の肌色領域を検索し、肌色領域中に顔パターンが存在しているか否かにより判断する構成が一般的である。
【０００７】
一方で、撮影素子の高画素化やデータ処理の高速化を背景に、デジタルカメラ等によるデジタル画像のデータ量は飛躍的に増加している。データ量の多い画像データに対し、高精度で顔検知処理を実行すれば、長い処理時間が必要となる。また高速に顔検知するためには、検知精度を下げなければならない。
【０００８】
そこで特開２００３−１６３８２７では、画像撮影時の撮影モードにより顔検知処理の精度を切り替える構成が提案されている。撮影モードがポートレートモードのとき、画像内にある顔領域が大きいと推定して、処理を省いて高速化している。その他のモードでは処理を精細に実行している。この処理により、処理時間と精度の両立を図っている。
【０００９】
しかし、特開２００３−１６３８２７はデジタルカメラなどの画像撮影装置を前提とした提案である。したがって、このまま他目的の装置に適応するのは顔検知の処理方法や制御部の演算能力の違いから適当ではない。
【課題を解決するための手段】
【００１０】
上記のような課題を解決するために、本発明の請求項１で示した被写体抽出方法においては、画像を入力するステップと、該画像の注目領域検知ステップと、該画像の撮影情報を取得するステップと、前記注目領域検知結果に基づいて、該画像の注目領域を決定するステップとを有し、前記注目領域の検知に失敗した場合、前記撮影情報より前記注目領域検索範囲を決定し、前記注目領域検知ステップを再実行することを特徴としている。
【００１１】
また請求項２で示した被写体抽出方法においては、前記注目領域検知ステップは、画像内の顔検知を実行することを特徴としている。
【００１２】
また請求項３で示した被写体抽出方法においては、前記撮影情報は、少なくとも人物撮影モードとそれ以外の撮影モードとを区別することを特徴としている。
【００１３】
また請求項４で示した被写体抽出方法においては、前記注目領域検知ステップを再実行する条件は、前記撮影情報で人物撮影モードと判別したに限ることを特徴としている。
【００１４】
また請求項５で示した被写体抽出方法においては、前記注目領域検知ステップを再実行時の前記注目領域検索範囲は、前記撮影情報の焦点位置情報から決定するステップとを有することを特徴としている。
【発明の効果】
【００１５】
本発明の請求項１から５で示した被写体抽出方法により、ある画像に行った顔検知処理の結果、顔領域が無いと判断された場合、撮影時に保存された情報を用いて、再検知処理を実行するための範囲を抜き出し拡大する。これにより再検知処理時の顔検知の精度向上が期待できる。
【００１６】
また、実装対象の装置の演算能力に応じた顔検知精度の切り替えを行うこともできる。
【発明を実施するための最良の形態】
【００１７】
以下図面を参照しながら本発明の実施形態を説明する。
【実施例１】
【００１８】
本実施例では、本発明の被写体抽出方法をデジタルテレビ等の画像表示装置に実装している。
【００１９】
図１は、本発明の実施例を適用した画像表示装置の構成を示したブロック図である。
【００２０】
ここで１０１は画像表示装置全体を示している。２０１は制御ＣＰＵであり、画像表示装置１０１の全体の制御を行っている。２０３は画像表示部で、液晶やプラズマディスプレイ等の薄型画面を実現できるデバイスにより構成されている。画像表示部２０３は、制御ＣＰＵ２０１に指示された画像を表示する。
【００２１】
また、本発明の特徴である複数画像データの重ね一覧表示を表示する装置でもある。
【００２２】
２０５は画像蓄積部で、ハードディスクなどの不揮発性記憶装置からなっている。ユーザの操作により、デジタルカメラやデジタルビデオカメラなどで撮影され、画像表示装置に取り込まれた画像を大量に蓄積保存することができる。
【００２３】
２０７はメモリカードである。メモリカード２０７は着脱可能な構成である。またメモリカード２０７はデジタルカメラやデジタルビデオカメラ等の画像撮影機器とも接続が可能であり、メモリカード２０７を経由し、撮影された画像データを画像表示装置１０１内に取り込むことができる。
【００２４】
２０９は外部入力端子である。この端子を経由し、直接デジタルカメラやデジタルビデオカメラ等の画像撮影機器の画像データを画像表示装置１０１内に取り込むことができる。
【００２５】
２１１は画像デコーダ部である。画像蓄積部２０５やメモリカード２０７、外部入力端子２０９から取り込まれた画像データはここで制御ＣＰＵ２０１等の画像表示装置１０１内部で扱えるデータフォーマットに変換される。
【００２６】
２１３は顔検知処理部である。取り込まれた画像データ内に人物像があるか否かを判断し、人物像がある場合その領域を特定する処理を行う。処理の詳細については、後述する。
【００２７】
２１５はキャッシュメモリである。画像デコーダ２１１でデコードされた画像データの一時保持や、画像表示部２０３に表示されている画像データの保持、顔検知処理部２１３の一時データ保持などに使用される。
【００２８】
本画像表示装置では、顔検知結果により、検知した場所を拡大する等の、表示効果を行うために、本発明が実装されている。
【００２９】
図２は、注目領域検出の一手法として使用されている顔検知処理の処理フローを示したフローチャートである。
【００３０】
本処理は、重ね一覧表示の実行に先立ち、表示対象となる画像データより、顔検知処理部２１３で実行される。処理開始後、ステップ１０１へ進む。
【００３１】
ステップ１０１では、画像データ内色データの中から肌色データが含まれる領域を探し出す処理を実行する。処理後、ステップ１０３へ進む。
【００３２】
ステップ１０３では、顔の特徴を示すパターン目や口の形状の画像パターンと対象画像とのパターンマッチング処理を実行する。処理後、ステップ１０５へ進む。
【００３３】
ステップ１０５では、ステップ１０１およびステップ１０３の処理結果にもとづき、対象画像内に顔領域が存在したか否かで処理を分岐している。すなわちもし顔領域が存在したら処理をステップ１０７へ進める。またもし顔領域が存在しなければ本処理は終了となる。
【００３４】
ステップ１０７では、ステップ１０１およびステップ１０３の処理結果より顔領域と判断したエリアの情報をキャッシュメモリ２１５へ書き出し、制御ＣＰＵ２０１へ処理を戻すことで本処理は終了となる。
【００３５】
図３−Ａは、画像データの一例を示した図である。また図３−Ｂは、顔検知処理後の顔領域を判定結果による注目領域の範囲決定処理の一例を示した図である。
【００３６】
図３−Ａに示したような、人物像が写った画像データを、顔検知処理部２１３により図２で説明した処理の流れで、顔検知処理を実行する。図３−Ｂで示したように、顔領域として判断したエリアは３０３と３０５の部分である。図のように顔領域は円図形データとして認識される。
【００３７】
顔検知処理は、被写体としての顔が画像データ全てに占める割合が大きい場合は検知率が良い。しかし、その割合が低い場合、顔を検知することができない傾向がある。この場合の処理について、図４−Ａと図４−Ｂを用いて説明する。
【００３８】
図４−Ａは、画像データの一例を示した図である。また図４−Ｂは、図４−Ｂは、撮影情報による顔検知の再検知範囲の一例を示した図である。
【００３９】
デジタルカメラ等で撮影された画像データには、撮影時の情報を画像データ内に保持することができる（ＥＸＩＦ情報）。このＥＸＩＦ情報には撮影時の位置情報が含まれている。そこで本発明では、顔検知処理が失敗した場合、ＥＸＩＦ情報の焦点位置情報を読み取る。図４−Ａで４０３と４０５で示した範囲である。
【００４０】
この焦点位置情報を元に、顔検知の再検知範囲を決定する。図４−Ｂの４０７で示した領域が再検知範囲である。
【００４１】
対象画像から顔領域が検知できなかった場合、このＥＸＩＦ情報の焦点位置情報から再検知領域を切り出し、決定をした後、顔検知処理を再実行する。
【００４２】
図５は、画像ファイルのフォーマットの一例を示した図である。
【００４３】
デジタルカメラ等で撮影された、デジタル画像はさまざまなフォーマットが提案されている。最近では画像データ５０１の他に、撮影時の付加情報を含めたフォーマットが広く普及している。
【００４４】
本発明では、その付加情報である焦点位置情報５０３を利用している。焦点位置情報５０３には、画像データ５０１のどの部分に焦点が当っているという情報が書き込まれている。
【００４５】
図６は、顔検知処理の再実行有無の判断を行う処理のフローを示した図である。
【００４６】
本処理は、制御ＣＰＵ２０１で顔検知処理が必要と判断した時に、やはり制御ＣＰＵ２０１にて実行する。実行時、まずステップ２０１へ進む。
【００４７】
ステップ２０１では、図２で説明した顔検知処理を呼び出している。顔検知処理終了後、ステップ２０３へ進む。
【００４８】
ステップ２０３では、前ステップの顔検知結果で、顔領域が検知できたか否かで、処理を分岐している。すなわちもし、顔領域が検知できていた場合は、処理を終了する。またもし検知できていなかった場合は、ステップ２０５へ進む。
【００４９】
ステップ２０５では、対象画像のデータより、焦点位置情報５０３を読み込む処理を実行している。処理後、ステップ２０７へ進む。
【００５０】
ステップ２０７では、焦点位置情報５０３からその周囲を拡大切り出す設定を実行している。実行後、ステップ２０９へ進む。
【００５１】
ステップ２０９では、前ステップで決定された領域を再度スキャンし、顔検知処理が行われる。検知処理終了後、本処理は終了となる。
【００５２】
図７は、顔検知処理結果を、画像表示に応用した例を示した図である。
【００５３】
ここで、領域６０１が顔検知された領域である。本画像表示装置では、このように大量の画像データを表示する場合、領域６０１が必ず画面上に露出する表示制御を行っている。これにより、ユーザの画像検索性が向上する。
【実施例２】
【００５４】
本実施例も画像表示装置に本発明を適用した例である。基本構成は実施例１と同様であるため、説明を略す。
【００５５】
本実施例では、顔検知領域の再検知の精度をさらに向上させるため、図５で説明した画像情報で画像撮影時の撮影モード５０５を使用している。
【００５６】
図８は、本実施例での顔検知処理の再実行有無の判断を行う処理のフローを示した図である。処理開始後、ステップ３０１へ進む。
【００５７】
ステップ３０１では、図２で説明した顔検知処理を呼び出している。顔検知処理終了後、ステップ３０３へ進む。
【００５８】
ステップ３０３では、前ステップの顔検知結果で、顔領域が検知できたか否かで、処理を分岐している。すなわちもし、顔領域が検知できていた場合は、処理を終了する。またもし検知できていなかった場合は、ステップ３０５へ進む。
【００５９】
ステップ３０５では、対象画像のデータより、撮影モード５０５を読み込む処理を実行している。処理後、ステップ３０７へ進む。
【００６０】
ステップ３０７では、前ステップで読み込んだ撮影モード５０５の内容がポートレート（人物像）モードか否かを判断し、処理を分岐させている。すなわちもし、撮影モード５０５の内容がポートレートモードであれば、画像中に人物像が写っている可能性が高いと判断して、処理をステップ３０９へ進める。またもし、撮影モード５０５の内容がポートレートでなければ、画像中に人物像が無い可能性が大きいので、本処理は終了する。
【００６１】
ステップ３０９では、対象画像のデータより、焦点位置情報５０３を読み込む処理を実行している。処理後、ステップ３１１へ進む。
【００６２】
ステップ３１１では、焦点位置情報５０３からその周囲を拡大切り出す設定を実行している。実行後、ステップ２０９へ進む。
【００６３】
ステップ３１３では、前ステップで決定された領域を再度スキャンし、顔検知処理が行われる。検知処理終了後、本処理は終了となる。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施例を適用した画像表示装置の構成を示したブロック図である。
【図２】注目領域検出の一手法として使用されている顔検知処理の処理フローを示したフローチャートである。
【図３】図３−Ａは、画像データの一例を示した図である。図３−Ｂは、顔検知処理後の顔領域を判定結果の一例を示した図である。
【図４】図４−Ａは、画像データの一例を示した図である。図４−Ｂは、撮影情報による顔検知の再検知範囲の一例を示した図である。
【図５】画像ファイルのフォーマットの一例を示した図である。
【図６】顔検知処理の再実行有無の判断を行う処理のフローを示した図である。
【図７】顔検知処理結果を、画像表示に応用した例を示した図である。
【図８】実施例２での顔検知処理の再実行有無の判断を行う処理のフローを示した図である。
【図１】
2005202543.tif 000003
【図２】
2005202543.tif 000004
【図３】
2005202543.tif 000005
【図４】
2005202543.tif 000006
【図５】
2005202543.tif 000007
【図６】
2005202543.tif 000008
【図７】
2005202543.tif 000009
【図８】
2005202543.tif 000010