(57)【特許請求の範囲】
【請求項１】
入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する手段と、
複数の属性のそれぞれに属する被写体の画像特徴量によって規定される特徴空間の基底、を取得する取得手段と、
前記複数の属性のそれぞれについて、前記特徴空間の基底を用いて前記画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める手段と、
前記複数の属性のそれぞれについて求めた射影ベクトルを用いて、前記推定対象被写体を前記複数の属性の何れかに分類する分類手段と、
前記分類手段が分類した属性について予め求められているモデルを選択モデルとして選択する選択手段と、
前記選択モデルを用いて、前記分類手段が分類した属性について求めた射影ベクトルから、前記推定対象被写体が属するサブ属性を推定する推定手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体は人物であり、前記属性は被写体の顔の向きであって、
前記取得手段は、被写体の顔の向きごとに予め求められている、該向きの被写体の画像から抽出される該被写体の画像特徴量によって規定される特徴空間の基底、を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体は人物であり、前記属性は被写体の顔の向きであって、
前記選択手段は、被写体の顔の向きごとに予め求められている、該向きに分類された顔がどの角度に向いているのかを推定するモデル、のうち、前記分類手段が分類した向きについて予め求められているモデルを選択モデルとして選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記分類手段は、サポートベクトルマシーンを用いて前記分類を行うことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の抽出手段が、入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する工程と、
前記画像処理装置の取得手段が、複数の属性のそれぞれに属する被写体の画像特徴量によって規定される特徴空間の基底、を取得する取得工程と、
前記画像処理装置の計算手段が、前記複数の属性のそれぞれについて、前記特徴空間の基底を用いて前記画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める工程と、
前記画像処理装置の分類手段が、前記複数の属性のそれぞれについて求めた射影ベクトルを用いて、前記推定対象被写体を前記複数の属性の何れかに分類する分類工程と、
前記画像処理装置の選択手段が、前記分類工程で分類した属性について予め求められているモデルを選択モデルとして選択する選択工程と、
前記画像処理装置の推定手段が、前記選択モデルを用いて、前記分類工程で分類した属性について求めた射影ベクトルから、前記推定対象被写体が属するサブ属性を推定する推定工程と
を備えることを特徴とする画像処理方法。
【請求項６】
コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる物体の属性を推定する為の技術に関するものである。
【背景技術】
【０００２】
近年、画像中の物体の属性（以下、物体属性という）を推定する物体属性推定技術の開発が盛んに行われている。その中で、顔向き推定技術は、画像中の人物の顔がどの方向を向いているかを推定するものであり、物体を人の顔、属性をその向きとした場合の物体属性推定技術の例である。このように、人手を介することなく画像中の人物の顔向き情報を取得することができるため、画像の意味理解や構図推定、人物の顔向きに応じた機器制御など利用範囲が広い。
【０００３】
顔向き推定の典型的な方法として、特定の向きの顔専用の顔検出器を複数用意し、それぞれの顔検出器の出力を統合して顔向きを推定する方法がある（特許文献１）。特定の向きの顔専用の顔検出器は、顔向きの角度が特定の範囲（以下、顔向き範囲という）にある人物の顔が写った画像（以下、顔画像という）を大量に用意し、事前に機械学習の手法で学習しておくことで実現している。顔検出と同時に顔向きを推定できるメリットがあるが、推定の分解能を高めるためには顔検出器の数を増やさなければならないため、複数の顔検出器それぞれで辞書ファイルが必要となり、それらの辞書ファイル全体のサイズが膨大となるデメリットがある。また、顔検出器はそれぞれ独立した検出器であり、それぞれの出力値の間に関連性がないため、出力値を統合しても高い精度で推定できるとは限らない。
【０００４】
一方で、顔画像から特徴量を抽出し、回帰関数（推定モデル）にその特徴量を入力することで、顔向き角度値を推定する方法が提案されている。この手法は事前に顔画像とその顔向きの角度値を関連づけた学習データを用いて、回帰関数を学習することにより高い分解能で角度推定を行うことができる。回帰関数による顔向き推定の例として非特許文献１に開示されている技術がある。非特許文献１に開示されている技術では、顔画像から抽出した特徴量を事前に用意した固有空間基底で射影した射影特徴を回帰関数であるＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｒｅｇｒｅｓｓｉｏｎ（ＳＶＲ）に入力することで顔向きを推定している。このように特徴量を固有空間に射影することで、特徴量の次元削減の効果があるだけでなく、顔画像の照明条件等の変化に由来するノイズの影響を軽減する効果が期待できる。固有空間は、あらかじめ推定したい顔向き範囲の顔画像を大量に用意し、学習しておく。またＳＶＲで非線形カーネルを使用することで、複雑で非線形な構造を持つ特徴空間を詳細に表現し、顔向き角度へとマッピングする回帰関数を構成することができる。
【０００５】
非特許文献２に開示されている技術では、特徴量として勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ，ＨＯＧ）を抽出し、ＳＶＲで顔向きを推定している。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴量で、局所的なノイズや画像の明暗にロバストな特徴量として知られている。ノイズや照明変動のような、顔向きに関係のない変動にロバストな特徴量を選択することで、実環境においても安定した顔向き推定を実現している。
【０００６】
特許文献２に開示されている技術では、顔画像から抽出した特徴量を事前に学習したニューラルネットに入力することにより、顔の年齢を推定している。このように、顔向き以外の属性に関しても、機械学習の手法を用いることで推定することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−２２６５１２号公報
【特許文献２】特開平６−３３３０２３号公報
【非特許文献】
【０００８】
【非特許文献１】Ｙ．  Ｌｉ，  Ｓ．  Ｇｏｎｇ，  Ｊ．  Ｓｈｅｒｒａｈ，  ａｎｄ  Ｈ．  Ｌｉｄｄｅｌｌ，  “Ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ  ｂａｓｅｄ  ｍｕｌｔｉ−ｖｉｅｗ  ｆａｃｅ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｒｅｃｏｇｎｉｔｉｏｎ，”  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，  ｖｏｌ．  ２２，  ｎｏ．  ５，  ｐ．  ２００４，  ２００４．
【非特許文献２】Ｅｒｉｋ  Ｍｕｐｈｙ−Ｃｈｕｔｏｒｉａｎ，  “Ｈｅａｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  ｄｒｉｖｅｒ  ａｓｓｉｓｔａｎｃｅ  ｓｙｓｔｅｍｓ：  Ａ  ｒｏｂｕｓｔ  ａｌｇｏｒｉｔｈｍ  ａｎｄ  ｅｘｐｅｒｉｍｅｎｔａｌ  ｅｖａｌｕａｔｉｏｎ，”  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆ．  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  Ｓｙｓｔｅｍｓ，  ２００７，  ｐｐ．  ７０９−７１４．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、これらの手法では、一般写真のような顔向き範囲が広く、かつ、実環境のノイズを含む顔画像が入力された際に推定の精度が低下する、という問題がある。実環境では顔向きに制限がないため、正面向きから横向きまでの広い顔向き範囲となり、その角度変化に応じた画像の見え（アピアランス）が大幅に変化する。それに加え、直射日光下や屋内の照明下など多様な照明条件、頭部形状の個人差、多様な表情など、顔向き以外にアピアランスを大幅に変化させる要因（ノイズ）が数多くある。このような場合、非特許文献１のように単一の固有空間を用いた射影特徴から推定する方法や、非特許文献２のように、ノイズ等に頑健な特徴量を使用するだけの単純な推定モデルでは、顔向き推定が難しい。これは、顔向きとその他の要因によるアピアランスの変化が重なることにより、単一の特徴量で表現できる範囲を超えてしまい、推定器が顔向きによるアピアランスの違いを区別できなくなるためだと考えられる。
【００１０】
本発明は上記のような問題に鑑みてなされたものであり、実環境においても、高精度で広い範囲の属性推定を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、例えば、本発明の画像処理装置は、入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する手段と、複数の属性のそれぞれに属する被写体の画像特徴量によって規定される特徴空間の基底、を取得する取得手段と、前記複数の属性のそれぞれについて、前記特徴空間の基底を用いて前記画像特徴量を示すベクトルを該特徴空間に射影した射影ベクトルを求める手段と、前記複数の属性のそれぞれについて求めた射影ベクトルを用いて、前記推定対象被写体を前記複数の属性の何れかに分類する分類手段と、前記分類手段が分類した属性について予め求められているモデルを選択モデルとして選択する選択手段と、前記選択モデルを用いて、前記分類手段が分類した属性について求めた射影ベクトルから、前記推定対象被写体が属するサブ属性を推定する推定手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明の構成によれば、実環境においても、高精度で広い範囲の属性推定を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】コンピュータのハードウェア構成例を示すブロック図。
【図２】画像処理装置の機能構成例を示すブロック図。
【図３】画像処理装置が行う処理のフローチャート。
【図４】物体特徴量抽出部１４の機能構成例を示すブロック図。
【図５】物体属性推定部１５の機能構成例を示すブロック図。
【図６】特徴量射影処理部３１が行う処理のフローチャート。
【図７】それぞれの固有空間の学習に用いた顔画像の顔向き範囲の一例を示す図。
【図８】属性分類処理部３６が行う処理のフローチャート。
【図９】ＳＶＲの学習に用いる顔画像の顔向き範囲の一例を示す図。
【図１０】属性別物体検出部１０５の機能構成例を示すブロック図。
【図１１】物体属性推定部１０７の機能構成例を示すブロック図。
【図１２】属性分類処理部１３２が行う処理のフローチャート。
【図１３】領域の重なりを説明する図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１５】
［第１の実施形態］
先ず、本実施形態に係る画像処理装置の機能構成例について、図２のブロック図を用いて説明する。なお、図２に示した各部は、必ずしも１つの装置内に収める必要はない。例えば、画像保持部１２などのメモリとして機能する構成要件を画像処理装置の外部装置として実装しても良い。
【００１６】
画像取得部１１は、物体としての被写体が写っている画像を取得する。取得元については特定の取得元にかぎるものではなく、インターネットなどのネットワークを介して外部の装置から取得（受信）しても良いし、画像処理装置内のメモリから読み出して取得しても良い。
【００１７】
画像保持部１２は、画像取得部１１が取得した画像を一時的に記憶し、この記憶している画像を、物体検出部１３、物体特徴量抽出部１４、属性推定結果出力部１６からの要求に応じて、規定のタイミングでもって要求もとに対して送出する。
【００１８】
物体検出部１３は、画像保持部１２から受けた画像に対して周知の被写体検出処理を施すことで、該画像から被写体の領域を検出する。そして物体検出部１３は、検出した被写体の領域を示す領域情報を物体特徴量抽出部１４に送出する。この領域情報については、画像中における被写体の領域を特定することができるのであれば、如何なる情報であっても良い。例えば、被写体が写っている領域を囲む矩形領域の左上隅の座標位置及び右下隅の座標位置を領域情報としても良いし、該矩形領域の左上隅の座標位置及び該領域の縦及び横のサイズを領域情報としても良い。
【００１９】
物体特徴量抽出部１４は、物体検出部１３から受けた領域情報を用いて、画像保持部１２から受けた画像から被写体の領域を抽出し、該抽出した領域から画像特徴量を抽出する。そして物体特徴量抽出部１４は、この抽出した画像特徴量を、物体属性推定部１５に対して送出する。
【００２０】
物体属性推定部１５は、物体特徴量抽出部１４から受けた画像特徴量を用いて、画像中の被写体の状態を推定する。そして物体属性推定部１５は、この推定した状態を属性推定結果出力部１６に通知する。
【００２１】
属性推定結果出力部１６は、画像保持部１２に記憶されている画像と、物体属性推定部１５から通知された状態を示す情報と、を出力する。この出力先については特定の出力先に限るものではない。
【００２２】
次に、本実施形態に係る画像処理装置が行う処理について、同処理のフローチャートを示す図３を用いて説明する。なお、以下では、説明をわかりやすくするために具体例を挙げて説明する。この具体例では、被写体を人の顔とし、該顔が、左右パン方向においてどの方向に向いており（属性の分類）、且つその方向における顔の角度が何度であるのか（属性値の推定）を推定する。
【００２３】
ステップＳ３００では、画像取得部１１は、人の顔（推定対象被写体）が写っている画像を取得し、取得した画像を画像保持部１２に格納する。
【００２４】
ステップＳ３０１では、物体検出部１３は、画像保持部１２に格納されている画像から人の顔を検出する。画像から人物の顔を検出する方法については、例えば、特許３０７８１６６号公報や特開２００２−８０３２号公報等の公知技術を用いればよい。そして物体検出部１３は、検出した領域の領域情報を生成し、生成した領域情報を物体特徴量抽出部１４に対して送出する。なお、この領域情報には、両目の画像座標を含めても良い。
【００２５】
なお、物体検出部１３が画像から人の顔を検出することができなかった場合は、処理はステップＳ３０２を介して終了する。一方、顔を検出することができた場合は、処理はステップＳ３０２を介してステップＳ３０３に進む。
【００２６】
ステップＳ３０３では、物体特徴量抽出部１４は、物体検出部１３から受けた領域情報を用いて、画像保持部１２から受けた画像から人の顔の領域を抽出し、該抽出した領域から画像特徴量を抽出する。ステップＳ３０３における処理の詳細については後述する。
【００２７】
次に、ステップＳ３０４では、物体属性推定部１５は、物体特徴量抽出部１４から受けた画像特徴量を用いて、画像中の人の顔の状態（属性）として、該顔の向いている方向（左右パン方向において正面、左、右の何れかの方向）を推定する。そして更に物体属性推定部１５は、この推定した状態における顔の更なる状態（属性値）として、左右パン方向における顔の角度値を推定する。そして物体属性推定部１５は、この推定した角度値を属性推定結果出力部１６に通知する。ステップＳ３０４における処理の詳細については後述する。
【００２８】
ステップＳ３０３及びステップＳ３０４における処理はステップＳ３０１で検出された全ての顔について行う。然るに、ステップＳ３０３及びステップＳ３０４における処理を、ステップＳ３０１で検出された全ての顔について行った場合は、処理はステップＳ３０５を介してステップＳ３０６に進む。一方、まだステップＳ３０３及びステップＳ３０４における処理の対象となっていない顔が残っている場合は、処理はステップＳ３０５を介してステップＳ３０３に戻る。
【００２９】
ステップＳ３０６では、属性推定結果出力部１６は、画像保持部１２に記憶されている画像と、物体属性推定部１５から通知されたそれぞれの顔の角度値と、を出力する。なお、この角度値を所定の顔向き範囲毎のクラスにマッピングした顔向きクラスとして出力してもよい。
【００３０】
なお、画像中におけるそれぞれの顔の特徴量を予め求めておき、求めたそれぞれの顔の特徴量をメモリなどに格納しておけば、図３のフローチャートはステップＳ３０４から始めても良い。即ち、全ての顔についてステップＳ３０４の処理を行い、その後、ステップＳ３０６の処理を行う。
【００３１】
次に、上記のステップＳ３０３における処理の詳細について説明する。物体特徴量抽出部１４の機能構成例について、図４のブロック図を用いて説明する。
【００３２】
物体検出結果取得部２１は、画像保持部１２から画像を取得すると共に、物体検出部１３から領域情報を取得し、取得したそれぞれを後段の切り出し物体画像生成部２２に対して送出する。
【００３３】
切り出し物体画像生成部２２は、物体検出結果取得部２１から受けた領域情報を用いて、物体検出結果取得部２１から受けた画像から人の顔の領域を抽出する（切り出す）。ここで、領域情報に顔の両目の画像座標が含まれている場合は、両目を結ぶ直線が画像の横軸と平行になるように画像を回転させることで、画像面に対する顔の傾き（画像面内方向の傾き）を補正してもよい。また、両目を結ぶ線分の長さが、一定の画素数になるよう、画像を拡大・縮小することで、抽出する領域（顔領域）の大きさを正規化してもよい。
【００３４】
物体特徴量抽出部２３は、切り出し物体画像生成部２２が抽出した（切り出した）領域から画像特徴量を抽出する。本実施形態では、抽出する画像特徴量として、勾配方向ヒストグラム特徴量を用いるが、その他の画像特徴量を用いてもかまわない。勾配方向ヒストグラム特徴量の抽出方法は以下の通りである。
【００３５】
画像中の座標位置（ｘ、ｙ）における画素の画素値（輝度値）をＩ（ｘ、ｙ）とすると、Ｘ方向における輝度勾配は以下の式によって計算することができる。
【００３６】
【数１】
0005836095.tif 000002
【００３７】
また、Ｙ方向における輝度勾配は以下の式によって計算することができる。
【００３８】
【数２】
0005836095.tif 000003
【００３９】
そして、Ｘ方向における輝度勾配、Ｙ方向における輝度勾配から、勾配強度ｍ（ｘ、ｙ）は、以下の式によって計算することができる。
【００４０】
【数３】
0005836095.tif 000004
【００４１】
また、Ｘ方向における輝度勾配、Ｙ方向における輝度勾配から、勾配方向θ（ｘ、ｙ）は、以下の式によって計算することができる。
【００４２】
【数４】
0005836095.tif 000005
【００４３】
そして、勾配方向の範囲１８０度を２０度毎に９分割したそれぞれの区間をビンとし、勾配方向θの頻度ヒストグラムを、画像を複数の矩形領域（セル）に分割した場合のそれぞれの矩形領域についてに作成する。３×３の９個のセルを１ブロックとして、ブロック毎に正規化を行う。正規化は１セルずつずらしながら全領域に対して行い、正規化の度にヒストグラムを連結していく。この処理を画像全体にわたって行って得た連結ヒストグラムが勾配方向ヒストグラム特徴量である。
【００４４】
このように、通常は、ブロック毎の正規化を１セルずつずらしながら行うが、ずらす量を増やすことで計算量と特徴量の次元数を軽減してもよい。この特徴量は、画像中の物体の回転、スケール変化に対しては不変ではないものの、局所的な幾何学的変化や明るさの変化には不変な特徴量として知られている。なお、勾配方向ヒストグラム特徴量についての詳細は、「N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. Coference on Computer Vision and Pattern Recognition (CVPR), 2005.」を参照されたい。
【００４５】
本実施形態では、物体検出結果取得部２１から受けた領域情報が規定する領域内の画像（切り出し物体画像）から画像特徴量を抽出する。この抽出された画像特徴量は上記の通り、後段の物体属性推定部１５に対して送出する。しかし、あらかじめ複数の領域に対する画像特徴量を保持しておき、要求のあった領域に対する画像特徴量を物体属性推定部１５に対して送出するようにしても良い。
【００４６】
次に、物体属性推定部１５の機能構成例について、図５のブロック図を用いて説明する。
【００４７】
特徴量射影処理部３１は、物体特徴量抽出部１４から得た画像特徴量を表すベクトルを取得すると共に、固有空間基底保持部３２が記憶している正面向き固有空間基底、左向き固有空間基底、右向き固有空間基底、の３つの固有空間基底を取得する。そして特徴量射影処理部３１は、物体特徴量抽出部１４から得た画像特徴量を表すベクトルを、この３つの固有空間基底のそれぞれを用いて射影して射影ベクトルを求める処理を行う。
【００４８】
特徴量射影処理部３１が行う処理について、同処理のフローチャートを示す図６を用いて説明する。先ず、ステップＳ６０１では、特徴量射影処理部３１は、物体特徴量抽出部１４から送出された画像特徴量を取得する。
【００４９】
ステップＳ６０２では、特徴量射影処理部３１は、固有空間基底保持部３２が保持している上記３つの固有空間基底のうち何れか１つを読み出す。上記３つの固有空間基底の読み出し順については特定の順序に限るものではない。そして特徴量射影処理部３１は、ステップＳ６０１で取得した画像特徴量を表すベクトルを、固有空間基底保持部３２から読み出した固有空間基底を用いて、該固有空間基底が規定する固有空間（特徴空間）に射影して、射影ベクトルを求める。
【００５０】
それぞれの固有空間基底は、互いに異なる複数の規定状態（ここではそれぞれ異なる顔向き）のそれぞれについて予め計算されている、該規定状態を有する被写体が写っている画像中の該被写体の画像特徴量によって規定される特徴空間の基底、である。より詳しくは、学習データである大量の顔画像群から事前に、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、ＰＣＡ）を用いて計算されたものである。
【００５１】
ここで、ステップＳ６０１で取得した画像特徴量を表すベクトルをＸとし、このＸを以下のように定義する。
【００５２】
【数５】
0005836095.tif 000006
【００５３】
ここで、Ｔは転置、ｘは勾配方向ヒストグラム特徴量の構成要素成分、ｍはステップＳ６０１で取得した画像特徴量の次元数、である。また、固有空間基底保持部３２から読み出した固有空間基底によって規定される、該固有空間基底が規定する特徴空間への射影行列をＶとし、このＶを以下のように定義する。
【００５４】
【数６】
0005836095.tif 000007
【００５５】
そして、この射影行列ＶによってベクトルＸを射影した結果である射影ベクトル（射影特徴）をＰとすると、以下の式が成り立つ。
【００５６】
【数７】
0005836095.tif 000008
【００５７】
【数８】
0005836095.tif 000009
【００５８】
Ａは、学習データの平均ベクトルである。主成分分析は、特徴量群の分布を解析し、分散最大基準で基底を計算する手法であり、特徴量を元の特徴空間よりも情報的価値（分散最大基準での）が高い空間へと射影することができる。主成分分析により得られた固有空間へ特徴量を射影することにより、学習に用いた画像セットをよりよく表現できるだけでなく、特徴量の次元数を削減する効果も期待できる。次元削減の量は（数式８）のｎの数値を調整すればよい。ここではｎを実験的に定めるが、累積寄与率を基に定めてもよい。
【００５９】
なお、固有空間は、他の方法を用いて求めても良い。例えば、Ｌｏｃａｌｉｔｙ  Ｐｒｅｓｅｒｖｉｎｇ  Ｐｒｏｊｅｃｔｉｏｎ（ＬＰＰ）や、教師付きの固有空間学習方法であるＬｏｃａｌ  Ｆｉｓｈｅｒ  Ｄｉｓｃｒｉｍｉｎａｎｔ  Ａｎａｌｙｓｉｓ（ＬＦＤＡ）等、他の方法を採用しても良い。
【００６０】
上記の３つの固有空間基底は、それぞれ所定の顔向き範囲で学習する。具体的には、左向き固有空間基底は、左を向いた顔の画像群を用いて学習することで得る。また、右向き固有空間基底は、右を向いた顔の画像群を用いて学習することで得る。また、正面向き固有空間基底は、正面を向いた顔の画像群を用いて学習することで得る。
【００６１】
それぞれの固有空間の学習に用いた顔画像の顔向き範囲の一例を、図７を用いて説明する。図７に示すように、正面（本画像を撮像した撮像装置の方向）を向いた顔向きを０度とし、撮像装置から見て左を向いた方向をマイナス、右を向いた方向をプラス方向の顔向き角度とする。このとき、正面向き固有空間基底は−３０度から３０度の範囲、左向き固有空間基底は−９０度から−３０度、右向き固有空間基底は３０度から９０度の範囲と設定している。もちろん、各基底を学習するための顔向き角度範囲はこれに限るものではないが、角度範囲は、異なる角度範囲に属する画像間のアピアランスが大きく異なるように設定する。
【００６２】
このように学習することにより、全ての顔向きを用いて学習した固有空間よりも、それぞれの顔向き範囲に特化した固有空間となり、その範囲内での顔向きの変化をより詳細に表現できる射影特徴を取得することができる。
【００６３】
これらの事前に用意した固有空間基底それぞれで特徴量の射影を行う。（数式７、８）に従い、正面向き固有空間基底を用いて射影した射影ベクトルＰＦ、左向き固有空間基底を用いて射影した射影ベクトルＰＬ、右向き固有空間基底を用いて射影した射影ベクトルＰＲ、を以下の式で表す。
【００６４】
【数９】
0005836095.tif 000010
【００６５】
【数１０】
0005836095.tif 000011
【００６６】
【数１１】
0005836095.tif 000012
【００６７】
ただし、ｎ１、ｎ２、ｎ３はそれぞれ、対応する射影ベクトルの次元数を表わす自然数である。この射影処理のように、一つの特徴量を別々の固有空間基底で射影することにより、異なる特徴量を取得することができる。すなわち、画像から異なる特徴量を抽出していることになる。
【００６８】
本実施形態では顔向きのおおよその３方向について固有空間を用意したが、さらに細かい顔向き範囲毎に固有空間を用意してもよいし、左右２方向だけ用意してもよい。ただし、前述の通り、この範囲の基準に用いる属性は、定量的またはヒューリスティックに数値化できるものに限られる。
【００６９】
ステップＳ６０３では、特徴量射影処理部３１は、固有空間基底保持部３２が保持する全ての顔向きに対する固有空間基底を用いた射影処理を行ったか否かを判断する。この判断の結果、全ての顔向きに対する固有空間基底を用いた射影処理を行った場合は、処理はステップＳ６０４に進み、まだ射影処理で用いていない固有空間基底が残っている場合は、処理はステップＳ６０２に戻る。
【００７０】
ステップＳ６０４では、特徴量射影処理部３１は、正面向き固有空間基底を用いて射影した射影ベクトルについては正面向き射影特徴保持部３３に格納する。また、特徴量射影処理部３１は、左向き固有空間基底を用いて射影した射影ベクトルについては左向き射影特徴保持部３４に格納する。また、特徴量射影処理部３１は、右向き固有空間基底を用いて射影した射影ベクトルについては右向き射影特徴保持部３５に格納する。
【００７１】
このように、特徴量射影処理部３１は、複数の規定状態（ここでは３種類の顔向き）のそれぞれについて、推定対象被写体の画像特徴量を表すベクトルを、該規定状態について取得した基底が規定する特徴空間に射影した射影ベクトルを求める。
【００７２】
属性分類処理部３６は、特徴量射影処理部３１が顔向きごとに求めた射影ベクトルを用いて、画像中の顔の向きがどの顔向き範囲にあるのかを分類する処理を行う。属性分類処理部３６が行う処理について、同処理のフローチャートを示す図８を用いて説明する。
【００７３】
ステップＳ８０１では、属性分類処理部３６は、正面向き射影特徴保持部３３、左向き射影特徴保持部３４、右向き射影特徴保持部３５のぞれぞれから、射影ベクトルを読み出す。
【００７４】
ステップＳ８０２では、属性分類処理部３６は、ステップＳ８０１で読み出した３つの射影ベクトルを連結して連結ベクトル（連結射影特徴）を生成する。３つの射影ベクトルＰＦ、ＰＬ、ＰＲを連結することで生成される連結ベクトルＰＣＯＮは以下の式で表される。
【００７５】
【数１２】
0005836095.tif 000013
【００７６】
ステップＳ８０３では、属性分類処理部３６は、属性分類パラメタ保持部３７に保持されている属性分類パラメタを読み出す。この属性分類パラメタは、図７の固有空間基底の学習に用いた顔向きの角度範囲と同じ顔画像に分類ラベル（正面向き、左向き、右向き）を関連づけたデータを用いて予め学習しておく。
【００７７】
ステップＳ８０４では、属性分類処理部３６は、ステップＳ８０２で生成した連結ベクトルと、ステップＳ８０３で読み出した属性分類パラメタと、を用いて、画像中の顔の向きを、正面向き、左向き、右向きの何れかに分類する。この分類には、マルチクラスサポートベクトルマシーン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）（マルチクラスＳＶＭ）を用いる。
【００７８】
そしてステップＳ８０５では、属性分類処理部３６は、ステップＳ８０４で行った分類結果（分類した属性）を、後段の属性値推定パラメタ選択部３８及び射影特徴選択部４０に対して送出する。
【００７９】
属性値推定パラメタ選択部３８は、属性分類処理部３６から受けた分類結果に応じた属性値推定パラメタを属性値推定パラメタ保持部３９から取得し、取得した属性値推定パラメタを、属性値推定処理部４１に送出する。同様に射影特徴選択部４０もまた、この分類結果に応じた射影ベクトルを、正面向き射影特徴保持部３３、左向き射影特徴保持部３４、右向き射影特徴保持部３５の何れかから取得し、取得した射影ベクトルを、属性値推定処理部４１に送出する。
【００８０】
例えば、分類結果が「正面向き」であった場合、属性値推定パラメタ選択部３８は、正面向きの顔がどの角度で正面に向いているのかを推定するためのパラメタである正面向き属性値推定パラメタを、属性値推定パラメタ保持部３９から読み出す。また、射影特徴選択部４０は、正面向き射影特徴保持部３３に保持されている射影ベクトルを読み出す。
【００８１】
また、分類結果が「左向き」であった場合、属性値推定パラメタ選択部３８は、左向きの顔がどの角度で左に向いているのかを推定するためのパラメタである左向き属性値推定パラメタを、属性値推定パラメタ保持部３９から読み出す。また、射影特徴選択部４０は、左向き射影特徴保持部３４に保持されている射影ベクトルを読み出す。
【００８２】
また、分類結果が「右向き」であった場合、属性値推定パラメタ選択部３８は、右向きの顔がどの角度で右に向いているのかを推定するためのパラメタである右向き属性値推定パラメタを、属性値推定パラメタ保持部３９から読み出す。また、射影特徴選択部４０は、右向き射影特徴保持部３５に保持されている射影ベクトルを読み出す。
【００８３】
属性値推定処理部４１は、属性値推定パラメタ選択部３８から受けた属性値推定パラメタを取得して、顔の角度を推定するための推定モデルを構築する。そして属性値推定処理部４１は、この推定モデルに、射影特徴選択部４０から受けた射影ベクトルを入力して該推定モデルを計算することで、顔の角度を顔の属性値として推定する。この推定には、ＳＶＲを用いる。また、属性値推定パラメタは事前に、顔画像とその顔向きの整数値が関連づけられたデータを用いて学習したＳＶＲのパラメタである。
【００８４】
ＳＶＲの学習に用いる顔画像の顔向き範囲の一例について、図９を用いて説明する。図９に示す如く、各属性値推定パラメタは隣り合う範囲にオーバーラップする顔画像を用いて学習を行う。例えば、正面向き属性値推定パラメタは、−４５度から４５度の範囲の顔画像、左向き属性値推定パラメタは、−１００度から−１５度の範囲の顔画像を用いて学習したものである。−４５度から−１５度の範囲が重複しており、この範囲はどちらの属性値推定パラメタでも角度の推定ができるようになっている。これは、属性分類の左向きと正面向きの境界である３０度付近の顔画像は分類が失敗しやすいため、誤って隣の範囲に分類したとしても角度推定で精度低下が起こらないようにするためである。
【００８５】
この推定モデルには、その他の回帰関数を用いてもよいし、２クラス識別器を複数組み合わせて疑似的に顔向き角度を推定してもよい。ＳＶＲにより、入力された射影ベクトルが推定の顔向き角度（整数値）へとマッピングされる。この際、属性値推定パラメタおよび入力される射影ベクトルは、属性分類結果に応じたものが選択されているため、分類結果の顔向き範囲について詳細な属性推定が可能であると考えられる。
【００８６】
属性推定結果出力部１６は、画像保持部１２に記憶されている画像と、属性値推定処理部４１が推定した角度値を示す情報と、を出力する。
【００８７】
このように、本実施形態では、あらかじめ大雑把な顔向き毎の固有空間基底それぞれで射影した射影特徴を用いて、おおよその顔向きに分類する属性分類処理およびその分類結果に応じた射影特徴および推定モデルを用いた属性推定を行った。詳細の顔向きを推定するのに比べ、おおよその顔向きを推定（分類）することは比較的容易であるため、比較的高精度な分類結果を基にした詳細の顔向き推定により精度向上が期待できる。それに加え、分類結果に対応する推定モデルを選択することにより、分類結果の範囲内の顔向きをより詳細に推定することができる。また、射影特徴を一旦保持しておくことで、属性分類処理部３６と属性値推定処理部４１とで射影特徴を共通化することができ、特徴抽出および射影処理に要する計算手間を軽減することもできる。
【００８８】
本実施形態では、顔の向きを推定する場合について説明したが、人物の体や動物の顔、車といった、その他の物体の向きを推定する場合にも、本実施形態は同様に適用可能であり、これにより、同様の効果が期待できる。
【００８９】
また、上記の説明では、様々な具体例を挙げて説明したが、何れも次に説明する構成の一例に過ぎず、本実施形態は、下記の構成から派生可能な実施形態の一例に過ぎない点に注意されたい。
【００９０】
入力画像中に写っている推定対象被写体の領域から画像特徴量を抽出する。更に、被写体の属性として予め定められた複数の属性のそれぞれについて予め求められている、該属性に属する被写体の画像から抽出される該被写体の画像特徴量によって規定される特徴空間の基底、を取得する。そして、この複数の属性のそれぞれについて、該属性について予め求められている特徴空間の基底を用いて上記画像特徴量を示すベクトルを該特徴空間に射影することで射影ベクトルを求める。そして、この複数の属性のそれぞれについて求めた射影ベクトルを用いて、推定対象被写体をこの複数の属性の何れかに分類する。
【００９１】
次に、この複数の属性のそれぞれについて予め求められている、該属性に分類された被写体が該属性に含まれるサブ属性群の何れのサブ属性に属するのかを推定するモデル、のうち、分類した属性について予め求められているモデルを選択モデルとして選択する。そしてこの選択モデルを用いて、分類した属性について求めた射影ベクトルから、推定対象被写体が属するサブ属性を推定する。
【００９２】
［第２の実施形態］
本実施形態では、特定の属性の物体を検出する物体検出器を複数備え、それぞれの検出結果から、属性分類および属性値推定を行う。以下の説明では、一例として、対象の物体を人の顔、属性をその人物（顔）の年齢とする。
【００９３】
本実施形態に係る画像処理装置の機能構成は、物体検出部１３、物体特徴量抽出部１４、物体属性推定部１５をそれぞれ、属性別物体検出部１０５、属性別特徴量抽出部１０６、物体属性推定部１０７に置き換えたものとなる。以下では、第１の実施形態と異なる点のみについて説明し、第１の実施形態と同様の点についてはその説明を省略する。
【００９４】
先ず、属性別物体検出部１０５の機能構成例について、図１０を用いて説明する。属性別物体検出部１０５は、画像保持部１２から取得した画像から顔検出を行う点では第１の実施形態と同様であるが、顔の種類（図１０では赤ちゃんの顔、若者の顔、老人の顔）ごとに顔検出器を有している点で第１の実施形態と異なる。
【００９５】
赤ちゃん顔検出部１１１は、人物の顔のうち年代が赤ちゃんに相当するものを検出するための検出器である。また、若者顔検出部１１２は、人物の顔のうち年代が若者に相当するものを検出するための検出器である。また、老人顔検出部１１３は、人物の顔のうち年代が老人に相当するものを検出するための検出器である。それぞれの検出器には、第１の実施形態で説明した顔検出の技術を用いればよい。
【００９６】
赤ちゃん顔検出部１１１は、赤ちゃんに相当する顔の画像群を用いて学習した顔検出用のパラメタを用いて顔検出を行う。若者顔検出部１１２は、若者に相当する顔の画像群を用いて学習した顔検出用のパラメタを用いて顔検出を行う。老人顔検出部１１３は、老人に相当する顔の画像群を用いて学習した顔検出用のパラメタを用いて顔検出を行う。
【００９７】
これにより、年代によってアピアランスの傾向が異なる人物の顔の検出見落としを減らす効果が期待できるのに加え、各検出器の出力から年代の分類をすることができる。ここでは、所定範囲の年齢を年代と呼んでおり、年齢はその人物の実年齢である。実年齢の他に、人の主観に基づく顔の見た目の年齢を用いてもよい。
【００９８】
そして、赤ちゃん顔検出部１１１は、赤ちゃんに相当する顔の領域を囲む矩形領域の領域情報を赤ちゃん検出結果保持部１１４に格納する。若者顔検出部１１２は、若者に相当する顔の領域を囲む矩形領域の領域情報を若者検出結果保持部１１５に格納する。老人顔検出部１１３は、老人に相当する顔の領域を囲む矩形領域の領域情報を老人検出結果保持部１１６に格納する。
【００９９】
また、赤ちゃん顔検出部１１１、若者顔検出部１１２、老人顔検出部１１３は何れも、領域情報に加えて、検出の尤度（それぞれσbaby、σyoung、σelder）も格納する。領域情報に対する尤度は、例えば、検出用パラメタとのマッチングの度合いに基づいても良いし、あるいは該領域情報が示す領域の面積が大きいほど高くするようにしても良いし、どのような基準で尤度を定義しても良い。なお、尤度σbaby、σyoung、σelderはそれぞれ、赤ちゃん顔検出部１１１、若者顔検出部１１２、老人顔検出部１１３により計算される。この格納したそれぞれの情報は、属性別特徴量抽出部１０６や物体属性推定部１０７からの要求に応じて適宜出力される。
【０１００】
なお、本実施形態では年代を赤ちゃん、若者、老人の３つに分割し、分割した年代それぞれに対応する顔検出器を用意したが、赤ちゃんとその他、のように更に少ない数の顔検出器で構成してもよい。年代を更に細かく分割して、顔検出器の数を増やしてもよいが、前述の通り、顔検出器の数を増やすと辞書ファイルが増大するデメリットがあるため、辞書ファイル全体のサイズを考慮した上で、顔検出器の数を設定する必要がある。
【０１０１】
属性別特徴量抽出部１０６は、赤ちゃん検出結果保持部１１４、若者検出結果保持部１１５、老人検出結果保持部１１６、のそれぞれから、検出結果の尤度σbaby、σyoung、σelderを取得する。そして、赤ちゃん検出結果保持部１１４、若者検出結果保持部１１５、老人検出結果保持部１１６のそれぞれに格納されている領域情報のうち、閾値以上の尤度に対応する領域情報を、後段の物体属性推定部１０７に通知する。例えば、上記の３つの尤度のうち、尤度σbabyのみが閾値よりも低い場合、属性別特徴量抽出部１０６は、若者検出結果保持部１１５及び老人検出結果保持部１１６から領域情報を読み出して後段の物体属性推定部１０７に対して送出する。
【０１０２】
物体属性推定部１０７の機能構成例について、図１１のブロック図を用いて説明する。属性別物体特徴量保持部１３１には、属性別特徴量抽出部１０６から送出された領域情報が格納される。
【０１０３】
属性分類処理部１３２は、属性別物体特徴量保持部１３１に格納されている領域情報から、最終的に画像中に写っている１以上の顔を、赤ちゃん、若者、老人の何れかに分類する。属性分類処理部１３２が行う処理について、同処理のフローチャートを示す図１２を用いて説明する。
【０１０４】
ステップＳ１２０１では、属性分類処理部１３２は、属性別物体特徴量保持部１３１から領域情報を取得する。
【０１０５】
ステップＳ１２０２では、属性分類処理部１３２は、ステップＳ１２０１で取得した領域情報が１つであるか否かを判断する。領域情報が１つしかない場合とは、残りの２つの顔検出部では顔が検出されなかった、または、尤度が低かったために属性別物体特徴量保持部１３１に格納されなかった場合である。この判断の結果、領域情報が１つしかない場合は、処理はステップＳ１２０６に進む。一方、領域情報が２以上であれば、処理はステップＳ１２０３に進む。
【０１０６】
ステップＳ１２０２からステップＳ１２０６に処理が進んだ場合、ステップＳ１２０６で属性分類処理部１３２は、この１つの領域情報の検出元が赤ちゃん顔検出部１１１であれば、分類結果として「赤ちゃん」を示す情報を、物体属性推定部１０７に送出する。また、検出元が若者顔検出部１１２であれば、分類結果として「若者」を示す情報を、後段の物体属性推定部１０７に対して送出する。また、検出元が老人顔検出部１１３であれば、分類結果として「老人」を示す情報を、後段の物体属性推定部１０７に対して送出する。
【０１０７】
一方、ステップＳ１２０３では、属性分類処理部１３２は、２以上のそれぞれの領域情報が示す領域同士で重なっている部分（重複している部分）があるか否かを判断する。領域情報から画像上の領域は特定できるので、それぞれの領域情報に対応する領域を特定し、特定した領域同士で重なっている部分を特定することは容易に実現できる。なお、本実施形態では、重なっている部分の面積Ｓが閾値θよりも大きい場合に、「重なっている部分がある」と判断する。しかし、この判断基準は特定の判断基準に限るものではない。
【０１０８】
ステップＳ１２０３において、重なっている部分が存在すると判断した場合は、処理はステップＳ１２０４を介してステップＳ１２０５に進み、重なっている部分は存在しないと判断した場合は、処理はステップＳ１２０４を介してステップＳ１２０６に進む。
【０１０９】
ステップＳ１２０４を介してステップＳ１２０６に処理が進んだ場合、ステップＳ１２０６で属性分類処理部１３２は、２以上の領域情報のそれぞれについて、該領域情報の検出元に対応する分類結果を示す情報を、物体属性推定部１０７に送出する。例えば、２以上の領域情報のそれぞれの検出元が、赤ちゃん顔検出部１１１と若者顔検出部１１２である場合、分類結果として「赤ちゃん」を示す情報及び「若者」を示す情報を、物体属性推定部１０７に送出する。
【０１１０】
一方、ステップＳ１２０５では、属性分類処理部１３２は、重なっている部分を有すると判断されたそれぞれの領域の領域情報に対する尤度を、該尤度を保持している保持部から取得し、取得した尤度の中で最も高い尤度を特定する。そして特定した尤度に対応する領域情報の検出元に対応する分類結果を示す情報を、物体属性推定部１０７に送出する。
【０１１１】
例えば図１３に示す如く、赤ちゃん顔検出部１１１が検出した領域情報が示す領域１４１と、若者顔検出部１１２が検出した領域情報が示す領域１４２と、が重なっている部分１４３の面積Ｓは閾値θよりも大きい。然るにこの場合は、ステップＳ１２０５の処理を実行することになる。そしてステップＳ１２０５では、尤度σbabyとσyoungとの大小比較を行い、尤度の高い方を選択する。そしてその後、ステップＳ１２０６では、属性分類処理部１３２は、この選択した尤度に対応する領域情報の検出元に対応する分類結果を示す情報を、物体属性推定部１０７に送出する。なお、選択した尤度がある閾値よりも小さい場合は、検出結果なしと判定してもよい。
【０１１２】
属性値推定パラメタ選択部１３３は、属性値推定パラメタ保持部１３４から、属性分類処理部１３２から受けた分類結果に応じた属性値推定パラメタを取得し、取得した属性値推定パラメタを、属性値推定処理部１３５に送出する。例えば、属性分類処理部１３２から受けた分類結果が「赤ちゃん」であれば、属性値推定パラメタ選択部１３３は、赤ちゃんの年齢を推定するための属性値推定パラメタを取得する。
【０１１３】
属性値推定処理部１３５は、分類結果に対応する領域情報が示す領域から画像特徴量を求めると共に、属性分類処理部１３２が分類した属性に対応する固有空間基底を用いて射影ベクトルを第１の実施形態と同様にして求める。そして、属性分類処理部１３２が分類した属性の射影ベクトルと、属性値推定パラメタ選択部１３３から受けた属性値推定パラメタと、を用いて第１の実施形態と同様の処理を行うことで、年齢推定を行う。
【０１１４】
このように、特定物体検出用の検出器を複数用意しておき、その検出結果を基に分類を行うことで年代を分類するための専用の分類器を用意することなく、分類処理を行うことができる。顔向き推定と同様に、人物の顔は年代に応じてアピアランスが大幅に変化する。そのため、顔画像から年齢を詳細に推定するためには、全ての年代共通の推定モデル（学習パラメタ）を用意するよりも、年代毎のモデルを用意し、顔画像に対応する推定モデルを選択することで、より精密な年齢推定が期待できる。人物の顔の年齢推定を実現するための構成として、第１の実施形態のように１つの物体検出器と、顔を所定の属性毎に分類する分類器を持つ構成であってもよい。
【０１１５】
また、顔に関して、他の属性を推定してもよい。例えば、目や口の開閉度合いを数値化し、所定の数値範囲を定めることで、数値範囲毎に分類し、分類結果に応じたモデルで詳細に属性値を推定することができる。その他にも、顔色やひげの濃さ、笑顔の度合い等について、定量的な数値またはヒューリスティックに定めた数値を属性値として割り当てれば、本実施形態と同様の処理を適用し、属性値を詳細に推定することができる。この方法は、顔以外の車や動物等の向きや、向き以外の年齢、笑顔度といった属性を推定する際にも効果が期待できる。
【０１１６】
なお、被写体の属性を分類する方法は、第１の実施形態と第２の実施形態とでは異なるが、一方の実施形態で説明した分類方法を他方の実施形態で使用しても良い。即ち、第１の実施形態、第２の実施形態のそれぞれで説明した技術は適宜組み合わせても良いし、部分的に実施形態間で入れ替えても良い。
【０１１７】
［第３の実施形態］
図２，４，５，１０，１１に示した各部はハードウェアとして実装しても良いが、保持部として説明した構成要件をメモリで実装し、それ以外の各部をコンピュータプログラムで実装しても良い。この場合、上記の画像処理装置には、図１に示した構成を有するコンピュータを適用することができる。
【０１１８】
ＣＰＵ１は、ＲＯＭ２やＲＡＭ３に格納されているコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ全体の動作制御を行うと共に、本コンピュータを適用した画像処理装置が行うものとして上述した各処理を実行する。
【０１１９】
ＲＯＭ２は、本コンピュータの設定データやブートプログラムなどを格納する。ＲＡＭ３は、２次記憶装置４からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、信号処理装置６を介して入力される画像のデータを一時的に記憶するためのエリアを有する。更にＲＡＭ３は、ＣＰＵ１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ３は、このような各種のエリアを適宜提供することができる。
【０１２０】
２次記憶装置４は、ハードディスクドライブ装置などに代表される大容量情報記憶装置である。２次記憶装置４には、ＯＳ（オペレーティングシステム）や、図２，４，５，１０，１１に示した構成要件のうち保持部以外の各部の機能をＣＰＵ１に実現させるためのコンピュータプログラムが保存されている。また、保持部が保持しているものとして説明したデータもこの２次記憶装置４に保存することもできる。２次記憶装置４に保存されているコンピュータプログラムやデータは、ＣＰＵ１による制御に従って適宜ＲＡＭ３にロードされ、ＣＰＵ１による処理対象となる。
【０１２１】
撮像素子５は、ＣＣＤセンサやＣＭＯＳセンサ等により構成されており、ディジタルカメラに備わっているものである。この撮像素子５は、外界の光を電気信号（画像信号）に変換し、変換した画像信号を信号処理装置６に出力するものである。
【０１２２】
信号処理装置６は、撮像素子５から受けた画像信号から画像のデータを生成し、生成した画像のデータをＲＡＭ３や２次記憶装置４に送出するものである。なお、本コンピュータに画像を入力するための構成についてはこれに限るものではなく、様々な構成が考え得る。
【０１２３】
外部出力装置７は、表示装置や、外部のネットワークに接続するためのネットワークインターフェース、などにより構成されている。外部出力装置７が表示装置である場合、この表示装置はＣＲＴや液晶画面などにより構成されており、本コンピュータによる処理結果を画像や文字などでもって表示することができる。例えば、属性推定結果出力部１６が出力した結果を表示しても良い。また、外部出力装置７がネットワークインターフェースである場合、属性推定結果出力部１６が出力した結果をネットワークを介して外部の装置に対して送信しても良い。このネットワークは無線、有線の何れであっても良いし、混在していても良い。
【０１２４】
接続バス８は、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、２次記憶装置４、信号処理装置６、外部出力装置７のそれぞれに接続されているものであり、これら各部はこの接続バス８を介して互いに通信が可能である。
【０１２５】
なお、図１に示した構成は、一般のＰＣ（パーソナルコンピュータ）の構成としても良いし、ディジタルカメラの構成としても良い。図１に示した構成を、一般のＰＣの構成とする場合、撮像素子５及び信号処理装置６は省いても良い。このように、図１に示した構成は、様々な機器に適用することができる。
【０１２６】
なお、図２，４，５，１０，１１に示した各部をハードウェアで実装する場合は、そのハードウェアとして専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵ）などを用いることができる。
【０１２７】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005836095.tif 000014
【図２】
0005836095.tif 000015
【図３】
0005836095.tif 000016
【図４】
0005836095.tif 000017
【図５】
0005836095.tif 000018
【図６】
0005836095.tif 000019
【図７】
0005836095.tif 000020
【図８】
0005836095.tif 000021
【図９】
0005836095.tif 000022
【図１０】
0005836095.tif 000023
【図１１】
0005836095.tif 000024
【図１２】
0005836095.tif 000025
【図１３】
0005836095.tif 000026