(57)【要約】【課題】被写体を取り巻く照明条件などの環境が変った場合においても、画像中から所定の被写体を精度よく判別する。【解決手段】画像中から所定の被写体を検出する画像処理装置であって、画像を人間の知覚量に基づく色空間の画像に変換する変換部２０，３０と、この変換部により変換された画像から特徴量を抽出する特徴量抽出部４０と、この特徴量抽出部により抽出された特徴量に基づいて所定の被写体を検出する被写体検出部５０，６０とを具備する。【選択図】      図１
2005346474.tif 000002
【特許請求の範囲】
【請求項１】
画像中から所定の被写体を検出する画像処理方法であって、
画像を人間の知覚量に基づく色空間の画像に変換する変換工程と、
該変換工程において変換された画像から特徴量を抽出する特徴量抽出工程と、
該特徴量抽出工程において抽出された特徴量に基づいて前記所定の被写体を検出する被写体検出工程と、
を具備することを特徴とする画像処理方法。
【請求項２】
前記変換工程では、前記画像を撮影した際の撮影環境をもとに画像に対して順応処理を行うことを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記被写体判別工程では、あらかじめ異なる環境で撮影した検出対象の被写体を含む画像に前記変換工程を施して人間の知覚量に基づく色空間の画像に変換し、前記特徴量抽出工程において抽出した特徴量の分布をもとに前記所定の被写体を判別することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項５】
請求項４に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
【請求項６】
画像中から所定の被写体を検出する画像処理装置であって、
画像を人間の知覚量に基づく色空間の画像に変換する変換手段と、
該変換手段により変換された画像から特徴量を抽出する特徴量抽出手段と、
該特徴量抽出手段により抽出された特徴量に基づいて前記所定の被写体を検出する被写体検出手段と、
を具備することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中から所定の被写体を判別する技術に関するものである。
【背景技術】
【０００２】
従来より画像中から所定の被写体が存在する領域を画像処理によって検出するためのいくつかの方法が知られている。
【０００３】
例えば、特開平６−４４３６５号公報（特許文献１）によれば、対象とする画像データから処理に必要な色情報を取り出し、人の肌領域や口唇、目といった顔特有の特徴となる部分を抽出し、画像中から顔の位置情報を得ている。また、特開平１１−１５９７９号公報（特許文献２）によれば、画像中から明るさがある程度暗い領域と肌色領域を検出し、画像中の所定の領域を人の顔とするかどうかの判別を行っている。
【０００４】
しかしながら、以上のいずれの方法においても、被写体特有の明るさや色の特徴を被写体判別における重要なポイントとしているが、被写体の明るさや色の見え方の変化については考慮されておらず、被写体の置かれている環境が著しく変化した場合には被写体の判別が極端に困難となるという問題点を有していた。
【特許文献１】特開平６−４４３６５号公報
【特許文献２】特開平１１−１５９７９号公報
【特許文献３】特開平１１−５３５４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上の点を考慮し、例えば、特開平１１−５３５４７号公報（特許文献３）においては、あらかじめ照明条件などの環境を変えて被写体画像を取得し、取得した被写体画像の特徴量の分布を基に参照辞書を作成し、被写体の照合を行い、対象とする画像から被写体の抽出を行うようにしている。
【０００６】
しかしながら、照明条件を変えて被写体を撮影して作成した参照辞書による照合では、結果的に色の情報よりもテクスチャの情報の方が重視されるようになるため、例えば、人物の顔の検出といった色情報が重要となる被写体の判別には効果的ではなかった。また、照明条件などの環境を変えて被写体画像を取得する必要があるため参照辞書の作成が容易ではなかった。
【０００７】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体を取り巻く照明条件などの環境が変った場合においても、画像中から所定の被写体を精度よく判別できるようにすることである。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理方法は、画像中から所定の被写体を検出する画像処理方法であって、画像を人間の知覚量に基づく色空間の画像に変換する変換工程と、該変換工程において変換された画像から特徴量を抽出する特徴量抽出工程と、該特徴量抽出工程において抽出された特徴量に基づいて前記所定の被写体を検出する被写体検出工程と、を具備することを特徴とする。
【０００９】
また、この発明に係わる画像処理方法において、前記変換工程では、前記画像を撮影した際の撮影環境をもとに画像に対して順応処理を行うことを特徴とする。
【００１０】
また、この発明に係わる画像処理方法において、前記被写体判別工程では、あらかじめ異なる環境で撮影した検出対象の被写体を含む画像に前記変換工程を施して人間の知覚量に基づく色空間の画像に変換し、前記特徴量抽出工程において抽出した特徴量の分布をもとに前記所定の被写体を判別することを特徴とする。
【００１１】
また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。
【００１２】
また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。
【００１３】
また、本発明に係わる画像処理装置は、画像中から所定の被写体を検出する画像処理装置であって、画像を人間の知覚量に基づく色空間の画像に変換する変換手段と、該変換手段により変換された画像から特徴量を抽出する特徴量抽出手段と、該特徴量抽出手段により抽出された特徴量に基づいて前記所定の被写体を検出する被写体検出手段と、を具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体を取り巻く照明条件などの環境が変った場合においても画像中から所定の被写体を精度よく判別することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。
【００１６】
本実施形態に係る画像処理装置は、ＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータにより構成されており、デジタルカメラからの入力、インターネットからのダウンロード、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体からの読み出し等により入力された画像に対して、所定の被写体を判別し、その領域を検出することを目的とするものである。
【００１７】
以下、このような処理を行う本実施形態に係る画像処理装置についてより詳細に説明する。特に、本実施形態では、カメラで撮影した画像中から人物の顔領域を検出する例について説明する。
【００１８】
図２は、本実施形態に係る画像処理装置の基本構成を示す図である。
【００１９】
２０１はＣＰＵで、ＲＡＭ２０２やＲＯＭ２０３に格納されているプログラムやデータを用いて本装置全体の制御を行うと共に、後述する各処理を行う。
【００２０】
２０２はＲＡＭで、外部記憶装置２０７や記憶媒体ドライブ装置２０８から読み出したプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２０１が各種の処理を実行するために用いるワークエリアも備える。
【００２１】
２０３はＲＯＭで、ここにブートプログラムや本装置の設定データなどを格納する。
【００２２】
２０４、２０５は夫々キーボード、マウスで、夫々ＣＰＵ２０１に各種の指示を入力するためのものである。
【００２３】
２０６は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による処理結果を文字や画像などにより表示する。
【００２４】
２０７は外部記憶装置で、例えばハードディスクドライブ装置等の大容量情報記憶装置であって、ここにＯＳ（オペレーティングシステム）や、後述する各処理をＣＰＵ２０１に実行させるためのプログラムやデータが格納されており、これらは必要に応じて、ＣＰＵ２０１の制御によりＲＡＭ２０２に読み出される。
【００２５】
２０８は記憶媒体ドライブ装置で、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているプログラムやデータを読み出して、ＲＡＭ２０２や外部記憶装置２０７に出力する。なお、上記外部記憶装置２０７に記憶されているプログラムやデータの一部を上記記憶媒体に記録しておいても良く、その場合には、これら記憶されているプログラムやデータを使用する際に、記憶媒体ドライブ装置２０８がこの記憶媒体に記録されているプログラムやデータを読み出して、ＲＡＭ２０２に出力する。
【００２６】
２０９はＩ／Ｆ（インターフェース）で、ここにデジタルカメラやインターネットやＬＡＮのネットワーク回線等を接続することができる。
【００２７】
２１０は上述の各部を繋ぐバスである。
【００２８】
図１は、本実施形態に係る画像処理装置として機能するコンピュータの機能構成を示すブロック図である。
【００２９】
図１において１０は画像入力部で、この画像入力部１０を介して画像処理装置１００に以下の処理対象の画像のデータが入力される。尚、この画像（入力画像）には、被写体として人の顔が写っている。２０はアピアランスパラメータ設定部で、入力画像をアピアランス色空間のデータに変換するためのパラメータを設定する。ここでは入力画像を撮影した際の撮影環境を表すパラメータとして環境、被写体の明るさ、光源の種類などが設定される。３０は色の見え変換部で、アピアランスパラメータ設定部２０で設定したアピアランスパラメータに従って、入力画像を人間の知覚量に基づいてアピアランス色空間の画像データに変換する。４０は被写体特徴量算出部で、色の見え変換部３０で変換されたアピアランス色空間の画像データから顔を検出するための特徴量を算出する。即ち画像から所定の注目領域を部分画像として切り出し、明るさ、色情報から計算される特徴量を求める。５０は参照辞書記憶部で、検出対象である被写体を判別するための特徴量の分布を辞書データとしてあらかじめ記憶するためのものである。６０は被写体判別部で、被写体特徴量算出部４０で算出した特徴量と参照辞書記憶部５０に記憶されている辞書データとを比較し、対象とする領域が検出すべき被写体のカテゴリーに属するかを判別する。７０は被写体領域出力部で、検出した被写体領域を検出結果として出力する。
【００３０】
尚、図１に示した各部は専用のハードウェアにより構成しても良いが、本実施形態では各部が行なおうとする後述の各処理をＣＰＵ２０１に実行させるためのプログラムとして実現するものとする。
【００３１】
図３は、図１に示した各部により行われる処理のフローチャートである。なお、図３のフローチャートに従ったプログラムを外部記憶装置２０７や記憶媒体ドライブ装置２０８によってＲＡＭ２０２にロードし、これをＣＰＵ２０１が実行することにより、本実施形態に係る画像処理装置は、後述する各処理を行うことになる。
【００３２】
先ず、ＲＡＭ２０２に処理対象の画像（処理対象画像）のデータをロードする（ステップＳ１０１）。このロードの形態は特に限定するものではないが、例えばこの処理対象画像のデータを外部記憶装置２０７に保存させておき、キーボード２０４やマウス２０５を用いてこの処理対象画像のデータのファイル名を入力して、ＣＰＵ２０１にＲＡＭ２０２へのロードを指示しても良いし、Ｉ／Ｆ２０９に不図示のデジタルカメラを接続し、このデジタルカメラに対して（実際にはＲＡＭ２０２にロードされているこのデジタルカメラのドライバソフトに対して）、デジタルカメラが撮像し、自身の内部メモリに保存している画像のデータを画像処理装置のＲＡＭ２０２に転送する指示を送信することにより、ＲＡＭ２０２にこの処理対象画像のデータを転送するようにしても良い。
【００３３】
本実施形態では、この処理対象画像は１画素が８ビットで表現されるＲＧＢ画像であって、且つ処理対象画像のサイズはＭ画素×Ｎ画素（但し、Ｍは水平画素数、Ｎは垂直画素数）であるとする。また、この処理対象画像は、Ｒ（赤）の画素値のみで構成されるプレーンと、Ｇ（緑）の画素値のみで構成されるプレーンと、Ｂ（青）の画素値のみで構成されるプレーンの計３つのプレーンで構成されるものであるとするが、これに限定されるものではなく、１枚の画像であっても良い。
【００３４】
また、この処理対象画像データがＪＰＥＧなどで圧縮されている場合には、ＣＰＵ２０１はこれを伸張し、各画素がＲ、Ｇ、Ｂの各成分で表現される画像を生成する。
【００３５】
次に、ステップＳ１０１でＲＡＭ２０２にロードされた処理対象画像に対応するアピアランスパラメータを設定する（ステップＳ１０２）。ここで、ステップＳ１０２におけるアピアランスパラメータの設定処理についてより詳細に説明する。
【００３６】
以下、設定すべきアピアランスパラメータと設定方法を列挙する。
【００３７】
カメラプロファイル：撮影したカメラが出力する画像データ（ＲＧＢ）と標準的な撮影環境での色データ（色の三刺激値ＸＹＺ）を対応付けたテーブル。画像データを撮影した環境で複数の色票を撮影し取得したＲＧＢデータと標準的な撮影環境で色票の分光分布特性を測定しＸＹＺに変換したデータから作成する。撮影するシーンを昼光、曇り、蛍光灯、タングステン、ストロボなど、光源ごとに大別し、あらかじめシーンごとにカメラプロファイルを作成しておき、その中からカメラプロファイルを代表させても良い。その場合、ユーザは画像に応じて撮影したシーンに対応するカメラプロファイルを選択する。
【００３８】
白点：画像データの基準となる白のＸＹＺデータ。ユーザが画像中から白レベルの領域を指定する。指定された領域の画像データをＲＧＢからカメラプロファイルによりＸＹＺに変換し、その平均値を白点データとする。画像中から比較的輝度の高い部分を自動的に抽出し白点を求めるようにしても良い。
【００３９】
順応輝度：順応領域における絶対輝度を表す。撮影時の被写体輝度を順応輝度として入力する。被写体輝度は撮影時の感度、絞り値、露光時間から計算できるのでカメラで撮影する際の感度、絞り値、露光時間を入力するようにしてもよい。
【００４０】
背景輝度：背景領域の相対輝度。視野角１０度までの領域を背景領域とする。したがって画像データの視野角１０度に相当する部分領域のサイズを入力し、部分領域内の平均輝度を背景輝度とする。ここでは、画像データをＲＧＢからカメラプロファイルによりＸＹＺに変換し、Ｙ値の平均値を出力する。計算は画素毎に行うようにし、その際、部分領域は注目画素を中心としてその都度設定する。なお、視野角１０度に相当する部分領域のサイズは撮影した画像の画素数と画素サイズ、撮影レンズの焦点距離によって求めることができるので画像サイズを入力する代わりに画素数と画素サイズ、撮影レンズの焦点距離を入力するようにしても良い。
【００４１】
周囲条件：撮影時の環境が平均的な環境、薄暗い環境、暗い環境の中からユーザが選択し、指定する。夜景など暗い環境で撮影したものを暗い環境、明け方や夕暮れ、薄暗い屋内などで撮影したものを薄暗い環境、その他の通常の明るい環境を平均的な環境とする。
【００４２】
すなわち、以上の設定すべき条件をキーボード２０４やマウス２０５を用いてアピアランスパラメータ設定部２０でユーザが入力するが、画像データに付帯情報として光源別のホワイトバランスのモードが設定されている場合にはカメラプロファイルの選択に利用できる。また、付帯情報に撮影モードとして感度、絞り値、露光時間が設定されている場合には順応輝度の算出に利用できる。また、感度、絞り値、露光時間から被写体輝度を算出し周囲条件の自動選択にも利用できる。また、付帯情報に画素数と画素サイズ、撮影レンズの焦点距離が設定されている場合には背景輝度の算出に利用できる。また、付帯情報に夜景撮影や夕焼けなど環境が特定できるシーンモードが設定されている場合には周囲条件の自動選択に利用できる。
【００４３】
次に、設定したアピアランスパラメータに従って画像データをアピアランス色空間のデータに変換する（ステップＳ１０３）。
【００４４】
以下で説明するアピアランス色空間への変換は図１の色の見え変換部３０で行われ、色の見え変換部３０の機能は図４に示すように４つのブロックに分けることができる。３１はカラーマッチング部であり、カメラで撮影した環境での画像データを標準的な撮影環境での色に変換する。３２は色順応部であり、白点をもとに色の順応処理を行う。３３は錐体応答部であり、順応輝度をもとに視覚の錐体の応答を模擬した非線形圧縮処理を行う。３４は知覚属性抽出部であり、錐体応答出力から背景輝度、周囲条件をもとに知覚属性である明るさ、彩度、色相を求める。すなわち、アピアランス色空間への変換は異なる環境に対するカラーマッチング、色順応、輝度順応、知覚属性（明るさ、彩度、色相）への変換を含む。
【００４５】
まず、画像入力部１０で取得されたＲＧＢデータは、カラーマッチング部３１であらかじめ設定されたアピアランスパラメータであるカメラプロファイルによりそれぞれ標準的な撮影環境における三刺激値ＸＹＺデータに変換される。カメラプロファイルには代表的なＲＧＢ値に対応するＸＹＺの値が所定間隔の格子状にテーブルとして記憶されており、所望のＲＧＢ値に対応するＸＹＺの値の算出は、既存の四面体補間処理などにより補間算出するものとする。
【００４６】
そして、色順応部３２では白点をもとに以下の色順応処理を行う。
【００４７】
Ｒａ＝｛Ｄ×Ｒｓ／Ｒｗ＋（１−Ｄ）｝×Ｒ
Ｇａ＝｛Ｄ×Ｇｓ／Ｇｗ＋（１−Ｄ）｝×Ｇ
Ｂａ＝｛Ｄ×Ｂｓ／Ｂｗ＋（１−Ｄ）｝×Ｂ        …（１）
但し、（Ｒ，Ｇ，Ｂ）はカラーマッチング部３１で変換されたＸＹＺを所定の変換式（例えば３行３列のマトリクス演算、以下ＸＹＺ−ＲＧＢ変換とする）にしたがってＲＧＢに変換した値、（Ｒｓ,Ｇｓ,Ｂｓ）は標準的な撮影環境における白点を表すＸＹＺデータをＸＹＺ−ＲＧＢ変換によりＲＧＢに変換した値、（Ｒｗ,Ｇｗ,Ｂｗ）は画像データから白点として設定されたＸＹＺデータをＸＹＺ−ＲＧＢ変換によりＲＧＢに変換した値、（Ｒａ,Ｇａ,Ｂａ）は色順応変換後のＲＧＢデータ、Ｄは順応度合いを表すパラメータで例えば０.１など所定の値を設定しておく。Ｄはまた順応輝度、周囲条件から計算するようにしてもよいし、アピアランスパラメータ設定部２０においてユーザが設定できるようにしてもよい。そして色順応変換後のＲＧＢデータを所定の変換式（ＸＹＺ−ＲＧＢ変換の逆変換、例えば３行３列のマトリクス演算、以下ＲＧＢ−ＸＹＺ変換とする）にしたがってＸＹＺに変換し、出力する。
【００４８】
次に、錐体応答部３３では順応輝度をもとに視覚の錐体の応答を模擬した非線形圧縮処理を行う。まず、ＸＹＺデータを人間の視覚における錐体に対応する３つの周波数帯域における色データＬＭＳに所定の変換式（例えば３行３列のマトリクス演算、以下ＸＹＺ−ＬＭＳ変換とする）にしたがって変換する。そして、順応輝度をパラメータとした所定の圧縮式にしたがってＬＭＳデータの非線形圧縮を行い、出力する。
【００４９】
次に、知覚属性抽出部３４では錐体応答出力から背景輝度、周囲条件をもとに所定の変換式にしたがい知覚属性である明るさＪ、彩度Ｃ、色相ｈを求める。まず、錐体応答出力であるＬＭＳデータから色相ｈを求める。次に、錐体応答出力であるＬＭＳデータを周囲条件によって決まる定数パラメータと背景輝度から輝度順応を行い、明るさＪを求める。そして求めた色相ｈ、明るさＪと周囲条件によって決まる定数パラメータと背景輝度から彩度Ｃを求める。これらの処理は、例えば、CIE CAM97sやCIE CAM02などのカラーアピアランスモデルに基づく変換処理により実現できる。
【００５０】
次に、所望の被写体を検出するため画像から部分領域を切り出す（ステップＳ１０４）。
【００５１】
このステップＳ１０４ではあらかじめ決められた複数の画像サイズの部分領域を所定の画素ごとに画像中を走査するように移動させて部分領域を切り出す。人物画像から人物の顔を検出する場合には、例えば、画像サイズの５％〜２５％の面積のサイズの部分領域を５％ごとに５段階、大きいサイズから走査するようにする。
【００５２】
次に、被写体特徴量算出部４０で部分領域毎にアピアランス色空間の画像データ（ＪＣｈ）から顔を検出するための特徴量を計算する（ステップＳ１０５）。
【００５３】
まず、切り出した部分領域を所定のサイズに正規化する。そして、正規化した画像データから以下に示す５つの特徴量を求める。
【００５４】
明るさの平均値：画像データのＪ成分の平均値。
【００５５】
肌色部分の明るさ：画像データの色相ｈ成分から所定の範囲の画素を肌色画素とし、肌色画素のＪ成分の平均値を求める。
【００５６】
目、口、鼻部分の明るさ：図５に示すように部分領域として抽出し、正規化した画像データの所定の領域を目（図５のＡ）、口（図５のＢ）、鼻（図５のＣ）部分とし、各領域に属する画素のＪ成分の平均値を求める。
【００５７】
これらの特徴量は、顔画像の場合、肌色部分、鼻の明るさは顔全体の明るさよりも明るい、目、口の明るさは顔全体の明るさよりも暗い、などの仮定により顔の判別を行うために決定されたものである。このとき、画像を撮影する環境の違いにより、肌色の色相が多少変化してもアピアランス色空間の知覚属性に基づき肌色画素を判定するので光源の色の変化による精度劣化に対応することができる。また、照明により顔画像に陰が生じた場合にも輝度順応によって陰などに依存する成分をある程度除去しているので特徴量を精度よく抽出することができる。
【００５８】
なお、本実施形態のように特徴量算出に明るさ、色相の知覚属性のみが必要であるような場合には、特に必要なもののみ計算すればよく、本例では彩度の算出は特に必要でないことはいうまでもない。
【００５９】
ここでは、顔を代表する特徴量として５つの明るさ特徴量について説明したが、色、エッジ強度や方向に基づく特徴量を算出して判別に利用するようにしてもよい。
【００６０】
次に、算出した特徴量に基づき被写体判別部５０で部分領域に対する顔らしさの判別を行う（ステップＳ１０６）。
【００６１】
顔らしさの判別を行うには、参照辞書記憶部５０に記憶されている辞書データを用いる。参照辞書記憶部５０には、あらかじめ様々な環境で撮影された顔を含む画像データを本実施形態のステップＳ１０１〜Ｓ１０５と同様の処理により計算した特徴量のデータが記憶されている。但し、参照辞書を作成する際のステップＳ１０４に相当する部分領域の切り出しは画像中の顔部分の位置を、画像を確認しながら入力するものである。計算された顔ごとの特徴量は統計的に処理され、顔らしさの判別を行うための、各特徴量の上限値、下限値および中心値、各特徴量を組み合わせた評価関数の上限値、下限値および中心値が顔画像と顔以外の画像を最適に判別するように設定され、参照辞書として記憶されている。各特徴量を組み合わせた評価関数としては、例えば、顔全体の明るさに対する肌色部分、目、口、鼻の明るさの比、肌色部分の明るさと目、口の明るさとの差などが用いられる。なお、本実施形態では、このように参照辞書を作成する際にも画像データをアピアランス色空間の画像に変換し、知覚量に基づいた正規化が行われているので、参照画像撮影時と検出の対象とする画像の撮影時での撮影環境が異なっても精度のよい検出が行える。
【００６２】
顔らしさの判別は、部分領域の画像データから抽出した特徴量と参照辞書の各データとを比較し、まず、各特徴量および各特徴量を組み合わせた評価関数の値が上限値と下限値の範囲内にあるかが判定される。そして、全ての値が上限値と下限値の範囲内にあるものが顔候補として選定される。さらに、各特徴量および各特徴量を組み合わせた評価関数の値と対応する中心値との距離の総和の逆数を顔らしさの指標として求めておく。
【００６３】
なお、本実施形態では各特徴量および各特徴量を組み合わせた評価関数をそれぞれ個別に判定し、中心値との距離の総和で顔らしさの指標を求めるようにしたが、例えば、各特徴量および各特徴量を組み合わせた評価関数を特徴ベクトルとし、参照辞書には参照とする顔画像の特徴ベクトルの平均値、共分散行列、マハラノビス距離での判定閾値を記憶しておき、部分領域の画像データから抽出した特徴ベクトルと参照辞書の平均値、共分散行列からマハラノビス距離を計算し、閾値以下の部分領域を顔候補として判別し、計算したマハラノビス距離の逆数を顔らしさの指標として求めておいてもよい。
【００６４】
次に、全ての部分領域について顔判別の走査が終了したかを判定する（ステップＳ１０７）。全ての部分領域について顔判別の走査が終了していない場合には、次の部分領域について顔判別を行うようにステップＳ１０４に戻る。また、全ての部分領域について顔判別の走査が終了した場合には、次のステップＳ１０８に移る。
【００６５】
次に、被写体領域出力部７０で顔候補として判別された全ての部分領域について顔領域の重なりの判定を行う（ステップＳ１０８）。
【００６６】
まず、顔候補として判別された部分領域の組を順次、位置的に重なり合うかの判定を行う。そして重なり合った部分領域の組が検出された場合には、ステップＳ１０６で求めた顔らしさの指標をもとに顔らしさの指標が低い部分領域を顔候補から取り除く。以上の処理を部分領域の重なりがなくなるまで繰り返し行い、最終的な顔候補とする。
【００６７】
そして最後に被写体領域出力部７０で顔候補として判別された全ての部分領域を表示部２０６に出力する処理を行う（ステップＳ１０９）。例えば、画像入力部１０で取得した画像データに検出した顔部分の部分領域を示す矩形の枠を重畳表示する。
【００６８】
以上説明したように、本実施形態によれば、被写体を取り巻く照明条件などの環境が変った場合においても画像中から人物の顔部分を精度よく判別することができる。
【００６９】
なお、本実施形態では、顔を検出する場合について説明したが、被写体特徴量抽出部４０において検出すべき被写体に適した特徴量の抽出を行い、被写体判別部５０において検出すべき被写体に適した参照辞書をもとに判別すれば、広く所望の被写体の検出に適用できる。特に、本実施懈怠においては人間の視覚のメカニズムを参考にし、被写体認識処理を行う前段で入力した画像に対して色・輝度順応および知覚量への変換を行っているので、人間の視覚の特徴である環境への堅牢性が達成されるものである。
【００７０】
（他の実施形態）
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７３】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００７４】
【図１】本発明の一実施形態に係る画像処理装置として機能するコンピュータの機能構成を示すブロック図である。
【図２】本発明の一実施形態に係る画像処理装置の基本構成を示す図である。
【図３】図１に示した各部により行われる処理のフローチャートである。
【図４】色の見え変換部の詳細を示すブロック図である。
【図５】顔画像の特徴量を説明する図である。
【図１】
2005346474.tif 000003
【図２】
2005346474.tif 000004
【図３】
2005346474.tif 000005
【図４】
2005346474.tif 000006
【図５】
2005346474.tif 000007