(57)【要約】【課題】莫大な処理を必要とすることなく顔検出の高速化と検出の精度向上を実現する撮像装置を提供する。【解決手段】撮像装置１は、被写体を撮像して画像データとして出力する撮像部３と、撮像部３により撮像された画像データから人物の顔を検出する顔検出手段として機能するシステム制御部２と、人物の顔を検出する際に用いるパラメータを記憶する記憶媒体５と、を有し、システム制御部２は、操作者が選んだ任意の画像データから人物の顔を検出する際に用いるパラメータを抽出して、記憶媒体５にそのパラメータを記憶させ、人物の顔を検出する際にはそのパラメータを用いて検出する。【選択図】図１
2009038516.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データとして出力する撮像手段と、前記撮像手段により撮像された画像データから人物の顔を検出する顔検出手段と、前記顔検出手段が人物の顔を検出する際に用いるパラメータを記憶する記憶手段と、を有し、前記顔検出手段は、操作者が選んだ任意の画像データから前記パラメータを抽出して、前記記憶手段に前記パラメータを記憶させ、人物の顔を検出する際に前記パラメータを用いて検出することを特徴とする撮像装置。
【請求項２】
前記顔検出手段は、前記撮像手段が撮像中の画像データから前記パラメータを抽出して、前記記憶手段に前記パラメータを記憶させることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記顔検出手段は、前記パラメータのうち特定のパラメータを除くパラメータを無効化し、前記特定のパラメータのみを用いて人物の顔の検出を行うことを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記記憶手段は、撮像装置の位置に関する情報を記憶し、前記顔検出手段は、前記パラメータに加え、前記位置に関する情報を用いて、人物の顔を検出することを特徴とする請求項１から３のいずれか１項記載の撮像装置。
【請求項５】
撮像装置の位置に関する情報を取得する位置情報取得手段を有し、前記記憶手段は、前記位置情報取得手段の取得した撮像装置の位置に関する情報を記憶することを特徴とする請求項４記載の撮像装置。
【請求項６】
撮像装置の位置する場所の外気温を検出する温度検出手段を有し、前記顔検出手段は、前記パラメータに加え、前記温度検出手段の検出した外気温を用いて、人物の顔を検出することを特徴とする請求項４又は５記載の撮像装置。
【請求項７】
操作者が選んだ任意の画像データから顔検出手段が人物の顔を検出する際に用いるパラメータを前記顔検出手段により抽出し、記憶手段に記憶させておく抽出工程と、
撮像手段により被写体を撮像して画像データとして出力する撮像工程と、
前記撮像工程により撮像された画像データから前記顔検出手段により前記抽出工程で記憶された前記パラメータを用いて人物の顔を検出する顔検出工程と、
を含むことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、特に、顔検出機能を備える撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、人物の顔を検出して検出結果を焦点合わせやホワイトバランスの設定に役立てるために、顔検出機能を搭載する撮像装置が開発されている。このような撮像装置では、顔検出することにより顔を基準としたホワイトバランスやＡＦ（オートフォーカス）検出など顔が綺麗に撮像することができる。このような顔検出機能を備える撮像装置に関連する技術としては、例えば、特許文献１，２に記載の技術がある。
【０００３】
特許文献１に記載の技術は、顔検出の高速化と正確性を向上させるために、撮像された画像の領域の一部が設定された肌色領域基準を満たしているか否かを判別することにより高速化することを目的としている。また、特許文献２に記載の技術は、顔検出を行って面内の人物の位置／範囲にかかわらず、人物を適正露光とすることを目的としている。したがって、いずれも本願発明と目的が異なる。
【特許文献１】特許第３８０６０９６号公報
【特許文献２】特開２００３−１０７５５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
顔検出の方法については、多数の方式が発明されているが、基本的に莫大な処理が必要となっており、高速化と検出の精度向上が求められている。
【０００５】
そこで本発明は、上記実情に鑑みて、莫大な処理を必要とすることなく顔検出の高速化と検出の精度向上を実現する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１記載の本発明は、被写体を撮像して画像データとして出力する撮像手段と、前記撮像手段により撮像された画像データから人物の顔を検出する顔検出手段と、前記顔検出手段が人物の顔を検出する際に用いるパラメータを記憶する記憶手段と、を有し、前記顔検出手段は、操作者が選んだ任意の画像データから前記パラメータを抽出して、前記記憶手段に前記パラメータを記憶させ、人物の顔を検出する際に前記パラメータを用いて検出することを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の撮像装置において、前記顔検出手段は、前記撮像手段が撮像中の画像データから前記パラメータを抽出して、前記記憶手段に前記パラメータを記憶させることを特徴とする。
【０００８】
請求項３記載の発明は、請求項１又は２記載の撮像装置において、前記顔検出手段は、前記パラメータのうち特定のパラメータを除くパラメータを無効化し、前記特定のパラメータのみを用いて人物の顔の検出を行うことを特徴とする。
【０００９】
請求項４記載の発明は、請求項１から３のいずれか１項記載の撮像装置において、前記記憶手段は、撮像装置の位置に関する情報を記憶し、前記顔検出手段は、前記パラメータに加え、前記位置に関する情報を用いて、人物の顔を検出することを特徴とする。
【００１０】
請求項５記載の発明は、請求項４記載の撮像装置において、撮像装置の位置に関する情報を取得する位置情報取得手段を有し、前記記憶手段は、前記位置情報取得手段の取得した撮像装置の位置に関する情報を記憶することを特徴とする。
【００１１】
請求項６記載の発明は、請求項４又は５記載の撮像装置において、撮像装置の位置する場所の外気温を検出する温度検出手段を有し、前記顔検出手段は、前記パラメータに加え、前記温度検出手段の検出した外気温を用いて、人物の顔を検出することを特徴とする。
【００１２】
請求項７記載の発明は、操作者が選んだ任意の画像データから顔検出手段が人物の顔を検出する際に用いるパラメータを前記顔検出手段により抽出し、記憶手段に記憶させておく抽出工程と、撮像手段により被写体を撮像して画像データとして出力する撮像工程と、前記撮像工程により撮像された画像データから前記顔検出手段により前記抽出工程で記憶された前記パラメータを用いて人物の顔を検出する顔検出工程と、を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、莫大な処理を必要とすることなく顔検出の高速化と検出の精度向上を実現する撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好適な実施の形態について図面を参照して説明する。なお、本実施形態で説明する各構成は、本発明の趣旨を逸脱しない限りにおいて、互いに組み合わせることが可能である。
【００１５】
図１は、本実施形態に係る撮像装置の構成を示すブロック図である。
図１において、撮像装置１は、システム制御部２と、撮像部３と、画像処理部４と、記憶媒体インターフェース５ａと、音声処理部６と、表示制御部７と、ストロボ制御発光部１０と、操作入力部１１と、位置検出部１２と、温度検出部１３と、を有し、それぞれは、バスを介して通信可能に接続されている。
【００１６】
システム制御部２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ、タイマー等を備え、撮像装置１全体の制御を行う。
撮像装置３は、光学系部品（レンズやレンズ駆動モータを含む）、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）、ＣＣＤ駆動回路、Ａ／Ｄ変換器等を備え、撮像を行う。
【００１７】
画像処理部４は、画像処理コントローラや、画像処理専用のメモリ等を備え、撮像部３で得られた画像信号に種々の画像処理を施すとともに、撮像部３のＣＣＤ駆動タイミングやレンズ駆動モータを制御して、フォーカシング、倍率機能、露出調整等を行う。また、画像処理部４は、システム制御部２等からの制御を受けて、画像処理部４に入力された画像データの圧縮伸張を行う。
【００１８】
また、記憶媒体５は、撮像装置１に着脱可能な、可搬性を有する記憶媒体であって、例えば、メモリカードやフラッシュメモリ（登録商標）等が使用できる。記憶媒体５は、本例においては撮像装置１の内部に装着され、記憶媒体インターフェース５ａによって読み取りと書き込みが可能となっている。また、記憶媒体５は、圧縮された画像信号や音声信号など音、画像に纏わる種々の情報を記憶する。すなわち、記憶媒体５と記憶媒体インターフェース５ａは、協働して撮像装置１の記憶装置として機能する。
【００１９】
音声処理部６は、音声ＣＯＤＥＣ回路、Ａ／Ｄ変換器、Ｄ／Ａ変換器等を備える。音声入出力部９は、音を入力する（マイクロホン）と、音を出力する（ヘッドホン、イヤホン、スピーカ）等を備え、例えば音声を入力する場合は、入力データを音声処理部６のＡ／Ｄ変換器に伝え、デジタルデータに変換する。
【００２０】
表示制御部７は、Ｄ／Ａ変換器、オンスクリーンディスプレイコントローラ等を備え、画像処理部４で処理された画像信号をＬＣＤ８へ表示するための信号処理を行い、また、ユーザーインターフェースのための種々のグラフィック画像を生成しＬＣＤ８へ表示する。ＬＣＤ８は、画像を表示し、また、ユーザーインターフェースのためのグラフィックを表示する。
【００２１】
ストロボ制御発光部１０は、ストロボの充電、発光制御及び発光部を備える。
操作入力部１１は、ユーザーインターフェースの操作キーを備える。ハードキーインターフェースと称することもある。
位置検出部１２は、撮像装置１の位置に関する情報を取得する。
温度検出部１３は、撮像装置１の位置する場所の外気温を検出する。
なお、位置検出部１２としては、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍｓ）が用いられるが、これは撮像装置１の位置によりパラメータを補正することが目的であるから、ＧＰＳに限定しないことは言うまでもない。
【００２２】
次に、本実施形態の動作について図２ないし図５を参照して説明する。図２は、本実施形態の第１の動作例を示すフローチャートである。本実施形態においては、通常動作等で撮影された画像データは、図１に示した記憶媒体５に格納されている。図２において、操作者は、操作入力部１１の操作を通じて、記憶媒体５に格納されている任意の画像データを選択する（ステップＳ２０１）。
【００２３】
システム制御部２は、選択された画像データから顔検出に用いるパラメータを抽出する（ステップＳ２０２）。そして、抽出した顔検出のパラメータを記憶媒体５に記憶させる（ステップＳ２０３）。ここまでが準備段階であり、本実施形態の撮像装置１は、次回使用時において下記の動作を行う。
【００２４】
撮像装置１は、人物撮影モードを含む種々の撮影モードを備える。人物撮影モードは、本実施形態の顔検出動作を行い、人物の撮影に適したモードである。本実施形態は、種々の撮影モードを備えることによって被写体の性質に応じた撮像環境（例えば、最適なホワイトバランス等）を提供できる。
【００２５】
システム制御部２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部４へ設定する。あるいはまた、利用者は図示されていないズームレバーを操作し、画角（構図）を決定する。利用者の操作内容は操作入力部１１を通じてシステム制御部２で判別され、システム制御部２は、操作に応じて撮像部３を制御しレンズを駆動する。
【００２６】
撮像部３は画像処理部４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始すると同時に、画像処理部４は顔検出の処理を起動する。撮像されたデータは連続的に画像処理部４へ送られ、画像処理部４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部７へ送る（ステップＳ２０４）。また、この時同時に画像処理部４では、抽出した顔検出のパラメータを用いたフォーカス、露出の検出を行い、撮像部３を制御して調整を行う（ステップＳ２０５）。表示制御部７では、画像データを信号処理してＬＣＤ８へ表示し、操作者へ撮像状態を提示する。
【００２７】
図示されていないレリーズボタンが押されると、その操作はモード設定と同様にしてハードキー等による操作入力部１１を通じてシステム制御部２で判別される。撮像部３は画像処理部４からの制御に従い、所定の画像を取り込み画像処理部４へ送り、画像処理部４は、撮影モードに応じた画像処理、圧縮処理を行う。システム制御部２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記憶媒体インターフェース５ａを通じて記憶媒体５へ書き込む（ステップＳ２０６）。すなわち、ステップＳ２０６における撮像では、実際の撮影と撮影した画像データの記憶が行われる。
【００２８】
上記、本実施形態の第１の動作例によれば、顔検出に用いるパラメータを画像データから取得することにより顔検出の精度向上と高速化を実現することができ、特定人物の検出率が向上する。
【００２９】
次に、図３を参照して本実施形態の第２の動作例を説明する。本動作例は、図２に示した第１の動作例と、パラメータを抽出する対象となる画像データが異なる点において相違する。本動作例は、操作者が任意の画像データを選択する（図２のステップＳ２０１）ことに代えて、表示中のモニタリング画像からパラメータを抽出する（図３のステップＳ３０１，２０２）。
【００３０】
本動作例によれば、顔検出率を向上させたい人物の画像データが記憶媒体５に記憶されていない場合であっても、特定人物の検出率が向上する。言い換えれば、顔検出に用いるパラメータをモニタリング状態で取得することにより利便性の向上が実現でき、また、顔検出の精度向上と高速化を実現することができ、特定人物の検出率が向上する。
【００３１】
次に、本実施形態の顔検出動作の詳細について図４ないし図８を参照して説明する。図４は、本実施形態の第１の顔検出動作の要部を示すフローチャートである。第１の顔検出動作は、図２又は図３の、画像データから抽出パラメータを用いて顔検出する動作（ステップＳ２０５）において行う。
【００３２】
図４において、撮影モードに応じて、又は、操作者による操作入力部１１の操作に応じて、システム制御部２は、抽出された顔検出に用いるパラメータの限定を許可するか否かを決定する（ステップＳ４０１）。許可する場合は（ステップＳ４０１、Ｙｅｓ）、抽出パラメータのうち、限定されたパラメータのみを用いて顔検出する（ステップＳ４０２）。なお、この際、システム制御部２は、限定するパラメータを選択し、限定するパラメータ以外のパラメータを無効化することが好ましい。
【００３３】
本動作例によれば、通常は数万のパラメータから顔検出を行うが、特定パラメータでロックするため、あらかじめ取得した顔に類似していない顔を検出する可能性を低減することができる。また、特定の人物のみ認識することで、例えば、運動会など多数の人物が被写体に写り込む可能性が高い撮像環境において、特に有効に使用でき、ユーザの利便性を向上させることができる。
【００３４】
次に、本実施形態の第２の顔検出動作について図５を参照して説明する。図５は、本動作例を説明するためのフローチャートであるが、図２に示した本実施形態の第１の動作例のフローチャートと同等の個所もある。説明が重複する部分については説明を省略する。
【００３５】
図５において、操作者が任意の画像データを選択し（ステップＳ５０１）、システム制御部２が選択された画像データから顔検出に用いるパラメータを抽出し（ステップＳ５０２）、記憶媒体インターフェース５ａが記憶媒体５に抽出されたパラメータを記憶させる（ステップＳ５０３）までの動作は、図２に示した動作と同じである。なお、図３を参照して説明した、任意の画像データを操作者が選択することに代えて、ＬＣＤ８にモニタリング中の画像データからパラメータを抽出することとしてもよいことは、言うまでもない。
【００３６】
本動作例においては、顔検出の前、好適には撮影モードの決定後ＬＣＤ８にモニタリングを行っている間に、位置検出部１２が、撮像装置１の位置情報を取得する（ステップＳ５０４）。また、温度検出部１３が、撮像装置１の位置する場所の外気温を検出する（ステップＳ５０５）。これらの検出結果から、システム制御部２は、撮像装置１が位置する地域と季節に関する情報を決定し、ステップＳ５０３で抽出されたパラメータを補正する（ステップＳ５０６）。なお、後段の動作は、ステップＳ５０８において、顔検出に用いるパラメータが補正後の抽出パラメータである点が異なることを除いて、図２と同じである。
【００３７】
システム制御部２により決定された地域の情報は、その地域で使用するユーザ情報であり、例えば、地域の情報から、顔検出をする人物の肌の色、目の色、彫りの深さ等を推定することができる。また、これらをパラメータに反映させることで顔検出の精度向上に資することができる。地域の情報からパラメータの推定は、例えば、地域情報とパラメータの関係を事前に記憶媒体５にテーブルとして格納しておき、抽出パラメータ補正の際にテーブルを参照することで実現可能となる。
【００３８】
システム制御部２により決定された季節の情報は、その季節で使用するユーザ情報であり、例えば、季節の情報から、顔検出をする人物の肌の色の、季節間変化を推定することができる。例えば、夏の場合は、顔の色がデフォルトに比べて黒いことをパラメータに反映させることで顔検出の精度向上に資することができる。
【００３９】
本実施形態では顔検出動作にパターンマッチングを用いる。パターンマッチングを利用した顔検出では、形状により判断するため画像内の顔画像が、多様な大きさや多様な位置に存在する可能性がある。そのため、画像を走査するための領域として種々の大きさのものを用意し（例えば図６参照）、用意した種々の大きさの領域の各々を用いて画像を全走査する必要がある。
【００４０】
そして、各々の領域に、図７に例示するような顔パターンを当てはめて、顔であるかの判断をする。図７には２例を示すのみであるが、この顔パターンは、鼻や目の位置や大きさ、各パーツ間の距離などが違ったものが数多く用意される。顔パターンの数が多ければ多いほど認識率が向上するからである。しかしながら、多量の顔パターンは、膨大な処理時間も必要とする。したがって、適用すべき顔パターンをあらかじめ絞ることが好ましい。
【００４１】
そこで、上記地域情報（システム制御部２により決定された地域の情報）を使用し、その地域に多い特徴の顔パターンのみを用いて、パラメータを変化させる。また、顔パターンの適用の順番によっても認識率は変わるため、その地域に多い特徴の顔パターンを優先的に用いるようにすることも好ましい。
上述のように、顔検出に用いる顔パターンの削減と顔パターン適用の順番の変更をすることによって、認識率の向上を図ることができる。
【００４２】
また、顔検出における目と口の検出は、画像の輝度の明るさで判断する。特に、目の部分については、色情報を持っているため認識率が高いが、顔全体についての問題と理由を同じくして、多量の目の色のパターンを当てはめるのは膨大な処理時間等を要するため、適用すべき目の色のパターンをあらかじめ絞ることが好ましい。そこで、上記地域情報を使用し、その地域に多い特徴の顔パターンと目の色のみを用いて、パラメータを変化させる。また、目の色の適用の順番によっても認識率は変わるため、その地域に多い特徴の顔パターンと目の色を優先的に用いるようにすることも好ましい。
【００４３】
なお、「彫りの深さ」のパラメータとしての使い方は、彫りの深さによる目の周囲の影の大きさを利用するものである。また、目の色と、この影の大きさと、を組み合わせてもよい。ここで、影の大きさとは、輝度調整後に暗い部分と認識する部分の多さである。また、輝度から暗い部分と明るい部分とを検出する方法としては、積分値と２値化の方法がある。
【００４４】
次に、システム制御部２により決定された季節の情報を利用してパラメータに反映させる方法についてさらに詳細に説明する。図８は、顔検出動作における肌色情報と顔の大きさによる顔パターンの例を示す図である。顔パターンは、図６に例示した分割後の各々の領域の中に、多様な大きさで配置される可能性がある（図８の（ａ）〜（ｃ）参照）。図８において、（ｃ）に適用される顔パターンは、（ａ）（ｂ）に適用される顔パターンより顔の大きさが大きい。また、例えば、（ａ）は（ｂ）より肌色情報が濃い（黒い）ものとする。このように、顔検出動作における肌色情報と顔の大きさによる顔パターンは、多様な可能性がある。これに対応するための顔パターンの数が多ければ多いほど認識率が向上するものの、反面、膨大な処理時間がかかる。
【００４５】
そこで、上記地域情報（システム制御部２により決定された地域の情報）と、上記季節情報（システム制御部２により決定された季節の情報）の、少なくともいずれかを使用し、その地域と季節に沿った肌色の顔パターンのみにパラメータを変化させる。これにより、従来必要としていた顔パターンの数を減らすことができる。したがって、顔認識の高速化と、その地域に多い特徴の顔パターンを当てはめることによる認識率の向上と、を図ることができる。
【００４６】
なお、位置情報検出部１２は、撮像装置１の地域の情報を決定する際に用いられるものであるから、撮像装置１の地域の情報が得られるもので代替できる。例えば、撮像装置１の言語設定から地域の情報を推定してもよい。この場合、操作者は、撮像装置１の言語設定を設定し、記憶媒体５等に格納している。システム制御部２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部４へ設定する。そして、操作者が設定している言語設定をシステム制御部２で判別し、その判別結果により、記憶媒体５にある、抽出パラメータに顔検出処理に使用するパラメータを書き換えて、補正する。
【図面の簡単な説明】
【００４７】
【図１】本発明による実施の形態の構成を示すブロック図である。
【図２】本発明による実施の形態の第１の動作例を示すフローチャートである。
【図３】本発明による実施の形態の第２の動作例を示すフローチャートである。
【図４】本発明による実施の形態の第１の顔検出動作を示すフローチャートである。
【図５】本発明による実施の形態の第２の顔検出動作を示すフローチャートである。
【図６】本発明による実施の形態の顔検出動作における画面分割を説明するための図である。
【図７】本発明による実施の形態の顔検出動作における顔パターン例を示す図である。
【図８】本発明による実施の形態の顔検出動作における肌色情報と顔の大きさによる顔パターンの例を示す図である。
【符号の説明】
【００４８】
１    撮像装置
２    システム制御部
３    撮像部
４    画像処理部
５    記憶媒体
５ａ    記憶媒体インターフェース
６    音声処理部
７    表示制御部
８    ＬＣＤ
９    音声入出力部
１０    ストロボ制御発光部
１１    操作入力部
１２    位置検出部
１３    温度検出部
【図１】
2009038516.tif 000003
【図２】
2009038516.tif 000004
【図３】
2009038516.tif 000005
【図４】
2009038516.tif 000006
【図５】
2009038516.tif 000007
【図６】
2009038516.tif 000008
【図７】
2009038516.tif 000009
【図８】
2009038516.tif 000010