(57)【要約】【課題】            従来の情報検索装置は、顔電話帳を作成するとき、単独で撮影された単独写真画像を電子メール等から入手しなければならないという問題があった。また、集合写真を電話帳に用いる場合、誰から電話がかかっているかを集合写真の画像を見ただけでは判断できないという問題があった。さらに、単独写真画像であっても被写体が小さく撮影されていたりすると背景が冗長となり、そのまま登録すると見づらくなってしまう問題があった。【解決手段】        画像を入力する画像入力装置と、顔画像のデータが登録された顔画像データベースと、第１の顔領域を人数分検出する顔領域検出装置と、電子ファイルに登録する際の適正な画角を求め、第１の顔領域を拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置と、顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、を備えて構成される。【選択図】          図１
2005309850.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を登録した電子ファイルを生成する電子ファイル生成装置において、画像を入力する画像入力装置と、顔画像のデータが登録された顔画像データベースと、上記画像入力装置により入力された画像と上記顔画像データベースに登録されたデータとを比較することにより、上記画像から当該画像に写された人の顔画像が存在する領域である第1の顔領域を人数分検出する顔領域検出装置と、上記顔領域検出装置により検出された第1の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、当該第1の顔領域を拡張した第2の顔領域にかかる顔画像を抽出する顔領域抽出装置と、上記顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、を備えたことを特徴とする電子ファイル生成装置。
【請求項２】
上記顔領域検出装置は、入力画像上で移動する探索ブロック内側の画像の特徴量と顔画像データベースに登録された顔画像の特徴量とを比較し、探索ブロック内側の画像が顔領域の一部又は全部であるか否かを判定する顔領域判定装置と、上記顔領域判定装置で顔領域の一部又は全部であると判断された複数の画像が同一人の顔領域と判断された場合には、当該同一人の顔領域と判断された複数の画像を統合し第1の顔領域を生成する重複領域統合装置と、を備えたことを特徴とする請求項１に記載の電子ファイル生成装置。
【請求項３】
上記顔領域検出装置は、上記顔領域判定をする前に、上記探索ブロック内側の画素値を正規化する画素値正規化装置を備えたことを特徴とする請求項１又は２に記載の電子ファイル生成装置。
【請求項４】
上記顔領域抽出装置は、顔画像の部位のデータが登録された部位画像データベースと、上記顔領域検出装置によって検出された第1の顔領域にかかる顔画像と上記部位画像データベースに登録されたデータとを比較することにより第1の顔領域から顔画像の部位領域を検出する部位領域検出装置と、上記部位領域検出装置により検出された部位領域に基づいて電子ファイルに登録するに適した画角の調整を行う適正画角算出装置と、を備えたことを特徴とする請求項１乃至３に記載の電子ファイル生成装置。
【請求項５】
上記顔領域抽出装置は、両目及び口のデータが登録された部位画像データベースと、上記顔領域検出装置によって検出された第1の顔領域にかかる顔画像と上記部位画像データベースに登録されたデータとを比較することにより第1の顔領域から両目及び口の領域である部位領域を検出する部位領域検出装置と、上記部位領域検出装置により検出された部位領域に基づいて電子ファイルに登録するに適した画角の調整を行う適正画角算出装置と、を備えたことを特徴とする請求項１乃至４に記載の電子ファイル生成装置。
【請求項６】
上記電子ファイル登録装置は、上記顔領域抽出装置により顔画像が複数人分抽出された場合に、当該複数人分のうち数人分又は全員分の顔画像の一覧を表示する一覧表示装置と、上記一覧表示装置により表示された顔画像の一覧からユーザが電子ファイルに登録したい顔画像を選択することができる顔画像選択装置と、を備えたことを特徴とする請求項１乃至５に記載の電子ファイル生成装置。
【請求項７】
上記電子ファイル登録装置は、上記一覧表示装置により表示された顔画像を選択すると当該選択された顔画像に合成可能なアイコンを一覧表示するアイコン一覧表示装置と、上記アイコン一覧表示装置により表示されたアイコン画像からユーザが選択すると顔の大きさに合わせてアイコン画像を拡大縮小し、顔画像の部位の位置に合わせてアイコン画像を上記選択された顔画像に合成するアイコン画像合成装置と、を備えたことを特徴とする請求項１乃至６に記載の電子ファイル生成装置。
【請求項８】
上記電子ファイル生成装置は、電話帳生成装置であることを特徴とする請求項１に係る電話帳生成装置。
【請求項９】
オブジェクト画像を登録した電子ファイルを生成する電子ファイル生成装置において、画像を入力する画像入力装置と、オブジェクト画像のデータが登録されたオブジェクトデータベースと、上記画像入力装置により入力された画像と上記オブジェクトデータベースに登録されたデータとを比較することにより、上記画像から当該画像に写されたオブジェクト画像が存在する領域である第1のオブジェクト領域をオブジェクトの数だけ検出するオブジェクト領域検出装置と、上記オブジェクト領域検装置により検出された第1のオブジェクト領域にかかるオブジェクト画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、当該第1のオブジェクト領域を拡張した第2のオブジェクト領域にかかるオブジェクト画像を抽出するオブジェクト領域抽出装置と、上記オブジェクト領域抽出装置により抽出されたオブジェクト画像を電子ファイルに登録する電子ファイル登録装置と、を備えたことを特徴とする電子ファイル生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】この発明は、入力画像から人物の顔画像に係る顔領域を検出し、当該顔領域から適切な画角の顔画像を電子ファイルに登録する装置に関する。
【背景技術】
【０００２】従来の情報検索装置、情報検索システム及びサーバは、電子メールに添付された顔画像、あるいは、外部接続装置から入力した画像を電子ファイルに登録することによって、顔画像電話帳を作成していた（例えば、特許文献１）。【０００３】
【特許文献１】特開２００２−９２０１３
【０００４】
【特許文献２】特開平９−３０９１３７
【０００５】
【特許文献３】特開平１１−１１０５２９
【０００６】
【特許文献４】特開２０００−３２２５８８
【発明の開示】
【発明が解決しようとする課題】
【０００７】従来の情報検索装置、情報検索システム及びサーバは、顔電話帳を作成するとき、１人のみで撮影された単独写真画像を電子メールあるいは外部接続装置から入手しなければならないという問題があった。また、集合写真をそのまま電話帳に用いることも可能であるが、その場合、誰から電話がかかっているかを集合写真の画像を見ただけでは判断が困難という問題があった。さらに、たとえ単独写真画像であったとしても、被写体が小さく撮影されていたり、画像の端に撮影されている場合、背景が冗長となり、画像をそのまま登録すると電子ファイルに登録された画像が見づらくなってしまう問題があった。【０００８】この発明は上記のような問題点を解決するためになされたもので、集合写真画像あるいは単独写真画像から顔画像を自動抽出し、集合写真画像からでも個々の顔画像が登録された電子ファイルを作成することを可能とし、顔領域を適正な画角で切り出すことにより登録された顔画像を見易くすることを目的とする。
【課題を解決するための手段】
【０００９】この発明にかかる電子ファイル生成装置は、画像を入力する画像入力装置と、顔画像のデータが登録された顔画像データベースと、画像入力装置により入力された画像と顔画像データベースに登録されたデータとを比較することにより、画像から当該画像に写された人の顔画像が存在する領域である第１の顔領域を人数分検出する顔領域検出装置と、顔領域検出装置により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、第１の顔領域を拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置と、顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、を備えて構成される。
【発明の効果】
【００１０】この発明にかかる電子ファイル生成装置は、画像を入力する画像入力装置と、顔画像のデータが登録された顔画像データベースと、画像入力装置により入力された画像と顔画像データベースに登録されたデータとを比較することにより、画像から当該画像に写された人の顔画像が存在する領域である第１の顔領域を人数分検出する顔領域検出装置と、顔領域検出装置により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、当該第１の顔領域を拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置と、顔領域抽出装置により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置と、を備えて構成されるものであり、集合写真画像あるいは単独写真画像から顔画像を自動抽出し、集合写真画像からでも個々の顔画像が登録された電子ファイルを作成することを可能とし、顔領域を適正な画角で切り出すことにより登録された顔画像を見易くする効果を有する。
【発明を実施するための最良の形態】
【００１１】実施の形態１．図１を用いて、この発明の実施の形態における電子ファイル生成装置１００の構成を説明する。図１において、電子ファイル生成装置１００は、画像を入力する画像入力装置１と、顔画像のデータが登録された顔画像データベース（以下顔画像ＤＢ）7と、画像入力装置１により入力された画像と上記顔画像ＤＢ７に登録されたデータとを比較することにより、画像から画像に写された人の顔画像が存在する領域である第１の顔領域を画像に存在する人の人数分検出する顔領域検出装置２と、顔領域検出装置２により検出された第１の顔領域にかかる顔画像の特性に基づいて、電子ファイルに登録する際の適正な画角を求め、第１の顔領域を拡張した第２の顔領域にかかる顔画像を抽出する顔領域抽出装置３と、顔領域抽出装置３により抽出された顔画像を電子ファイルに登録する電子ファイル登録装置４と、で構成されている。【００１２】顔領域検出装置２は、入力画像を拡大又は縮小した複数の解像度の画像を生成するマルチスケール画像生成装置５と、入力画像の照明条件に応じて顔に光があたったような画像にするため画像を正規化する画像正規化装置６と、顔画像の特徴が定量化された顔画像特徴量が保存されている顔画像ＤＢ７と、一定の大きさ（例えば、２４（画素）×２４の矩形）を有し入力画像上で移動する探索ブロック１４の内側の画像の特徴量と顔画像ＤＢ７に登録されている顔画像特徴量とを比較し、探索ブロック１４内側の画像が顔領域の一部又は全部であるか否かを判定する顔領域判定装置８と、探索ブロック１４を順次移動させて顔領域判定を判定し、同一人の顔領域の一部又は全部と判断された複数の断片領域を統合し画像に存在する人の人数分の第１の顔領域を生成する重複領域統合装置９と、で構成されている。【００１３】顔領域抽出装置３は、顔領域検出装置２により検出された第１の顔領域に対して、顔画像の特性に基づいて電子ファイルに登録する際の適性な画角を算出する適正画角算出装置１０と、算出された適正画角に基づいて検出した第２の顔領域にかかる顔画像を入力画像から抽出する顔領域抽出装置１１と、で構成されている。【００１４】電子ファイル登録装置４は、顔画像が複数抽出された場合に、当該複数人分のうちの数人分又は全員分の顔画像の一覧を表示する一覧表示装置４０と、表示された顔画像の一覧からユーザが電子ファイルに登録したい顔画像を選択することができる顔画像選択装置４１と、で構成されている。【００１５】次に図２から図１０を用いて電子ファイルの動作を説明する。図２は、本発明の電子ファイル生成装置１００の動作を説明するためのフローチャートである。図３は、顔領域検出装置２の動作を説明するためのフローチャートである。図４は、顔領域抽出装置３の動作を説明するためのフローチャートである。図５は、電子ファイル登録装置４の動作を説明するためのフローチャートである。図６は、マルチスケール画像生成装置５の動作を説明するための図である。図７は、顔領域判定装置８の動作を説明するための図である。図８は、重複領域統合装置９の動作を説明するための図である。図９は、適正画角算出装置１０の動作を説明するための図である。図１０は、電子ファイル登録装置４を説明するための図である。【００１６】まず、図２を用いて電子ファイル生成装置１００の動作について説明する。画像入力装置１において画像を入力する（ステップS１-１）。入力画像は、例えば、携帯電話の場合、電子メールに添付された画像、カメラで撮影した画像、外部記憶装置から入力した画像など、携帯電話に入力可能な全ての画像を対象とする。次に、顔領域検出装置２において入力画像から第１の顔領域を検出し（ステップS１-２）、顔領域抽出装置３において電子ファイルに登録する際の適正画角を求め、第１の顔領域から拡大した第２の顔領域にかかる顔画像を抽出し（ステップS１-３）、電子ファイル登録装置４において当該抽出した顔画像を電子ファイルに登録する（ステップS１-４）。【００１７】次に、図３、図６、図７、図８及び図１１１を用いて顔領域検出装置２の動作について説明する。具体的に、図６の１２に示す画像が入力された場合を考える。【００１８】画像が入力されると、顔領域検出装置２において、マルチスケール画像生成装置５を用いて図６の１３に示すような、入力画像が拡大又は縮小した複数の画像を生成する（ステップS２-１）。そして、求めた個々のスケール画像に対して以下の処理を繰り返す（ステップS２-２）。図７の１４に示す大きさが固定された探索ブロック１４の内側の画像の特徴量と、あらかじめ顔画像ＤＢ７の顔画像（機械学習などで学習した顔画像等）の特徴量とを比較することで顔の一部又は全部（顔領域の一部又は全部）か否かを判定する（ステップS２-４）。【００１９】探索ブロックサイズが固定されている場合、マルチスケール画像生成装置５を用いることにより画像を拡張縮小し、すなわち顔画像を大きく又は小さくし、探索ブロックサイズにあわせることができる。【００２０】このとき、照明条件の変化に応じて顔の特徴量が変化する問題を解決するために、探索ブロック１４内側の画素値を正規化する（ステップS２-３）。正規化の手法として、例えば、探索ブロック１４内側の画素値の分散を用いるもの、画素値平均値を用いるもの、ヒストグラムを用いるものなどがあり、どの手法を用いても良い。ここでは、次式の通り分散を用いて正規化する方法を用いることとして説明する。【００２１】
2005309850.tif 000003
ここでV(x、y)は座標値(x、y)における正規化後の画素値である。v(x、y)は座標値（x、y）におけるオリジナルの画素値である。varは探索ブロック１４内側の画素値の分散で【００２２】ある。上記式を用いて探索ブロック１４内側の画素値を正規化した後、顔画像ＤＢ７に格納された顔画像特徴量と探索ブロック１４内側の特徴量とのマッチングを行う（ステップS２-４）。マッチングの結果、探索ブロック１４内側にかかる画像が顔領域であるか否かを判定し（ステップS２-５）、顔領域であれば、現画像における顔領域矩形の４点の座標値を求め（ステップS２-６）、その領域を記憶する（ステップS２-７）。なお、顔領域の探索ブロックと学習データとのマッチング処理は例えば、以下の通り行う。まず、顔画像データベース７に登録されている、例えば顔の特徴を学習した顔画像データは、図１１１に示すRectangle Featureに基づいて定量化されているとする。Rectangle Featureとは、探索ブロック内側の白い矩形領域の画素値合計からハッチングした矩形領域の画素値合計を引いた値である。【００２３】図１１１に示す基本パターンの大きさ、位置、回転角を変えた複数のRectangle Featureが存在する。顔の特徴は、このRectangle Featureを組み合わせたClassifierと呼ばれる顔領域判別関数を用いて表現する。具体的には、各Rectangle Featureの値（Rf（i））が閾値（th）を超えたか否かに応じて重み（pv又はnv）を与え、次に、全てのRectangle Featureの重みの総和（Cls）がある閾値（th２）を超えた場合に顔か否かを判別する。2005309850.tif 000004
pv,nvは重み2005309850.tif 000005
2005309850.tif 000006
マッチング処理が完了すると、顔領域検出装置２は探索ブロック１４を例えば、一画素づつ移動させ（ステップS２-８）、スケール画像全体を操作し、画像にある人数分上記処理をした後、次のスケール画像を処理する（ステップS２-９）。以上の処理を全てのスケール画像に対して行った後（ステップS２-１０）、重複領域統合装置９において、検出領域のうち重なり合った領域を統合する（ステップS２-１１）。ここで、重複領域統合装置９をさらに詳しく説明する。顔領域検出装置２は、前述の通り探索ブロック１４を例えば、１画素ずつ移動させながら顔領域判定を行うため、図８の１５のように、顔の付近では複数の探索ブロック１４が顔領域と判定することにより顔領域判定装置８で記憶した顔領域矩形が重なり合う場合がある。これらは本来１つであるべきであるので、矩形同士が重なり合っている場合、その重なり合う割合に応じて矩形同士を統合し、その結果、１６に示す検出結果を得るようにする。重なり合う割合は、例えば矩形１、矩形２が重なり合っている場合、次式で求めることができる。if 矩形１の面積  ＞  矩形２の面積  重なり率  ＝  重なり部分の面積/矩形１の面積    else  重なり率  ＝  重なり部分の面積/矩形２の面積そして、重なり率がある閾値よりも大きい場合に２つの矩形を統合し、１つの矩形にする。２つの矩形を統合する場合、各４点の座標の平均値を求める、あるいは座標値の大小関係から求めることができる。この統合は、画像の人数分それぞれ行われる。【００２４】次に、図４、図９を用いて顔領域抽出装置３の動作について説明する。顔領域検出装置２で検出した第１の顔領域は、図９に示す１７のように頭髪を含めた顔全体を含んでいない場合が多い。【００２５】そこで、顔領域抽出装置３の適正画角算出装置１０において１７の領域を顔の特性を考慮して縦横を拡張し、１８に示す第２の顔領域を求める（ステップS３-１）。ここで適正画角とは、電子ファイルに登録するのに適した範囲であり、後で利用者が電子ファイルを開いて当該画像を見る場合に顔画像全体が適切に見れる範囲をいう。また、顔の特性を考慮する方法とは、例えば、検出した矩形の高さをh、幅をwとし、矩形の中心座標を(cx, cy)とした場合は、次の通り拡大する方法がある。【００２６】左上座標：(left, top) = (cx  w/２ * p１, cy  h/２ * p２)、右上座標：(right, top) = (cx + w/２ * p１, cy  h/２ * p２)、左下座標：(left, bottom) = (cx  w/２ * p１, cy + h/２ * p３)、右下座標：(left, bottom) = (cx  w/２ * p１, cy + h/２ * p４)、p１, p２, p３は各辺の延長率で例えば、p１=１.５, p２=２.０, p３=１.５がある。これにより、図９に示すように、検出矩形では髪の毛や顎まで含まれなかったものが、適正画角の場合に基づく顔画像では含まれるようになる。【００２７】領域抽出装置１１において、求めた矩形の顔領域にかかる顔画像を入力画像から抽出し（ステップS３-２）、電子ファイルに登録する際のサイズに合わせて抽出した顔画像を拡大縮小する（ステップS３-３）。顔画像を拡大縮小する方法としては、双線形補間、間引き等がある。以上により、写真画像から複数人の画像がある場合には、その人数分の顔画像を抽出することができる。【００２８】次に、図５、図１０を用いて電子ファイル登録装置４の動作について説明��る。図１０に示すように、一覧表示装置４０により顔領域抽出装置３で抽出した複数人分の顔画像のうち、数人分又は全員分の一覧を表示し（ステップS４-１）、顔画像選択装置４１によりユーザが一覧表示した顔画像から電子ファイルに登録したい顔を選択する。次に、メニューから新規登録あるいは、既に作成した電子ファイルに顔画像を追加するための登録編集のいずれかのメニュー２０を選択する（ステップS４-３）。ユーザが新規登録２１を選択した場合、新規登録画面２２を表示し、そこで必要な情報を入力し、顔画像と共に電子ファイルに登録する（ステップS４-７、S４-８）。ユーザが登録編集２３を選択した場合、既存の電子ファイル一覧２４を表示し（ステップS４−４）、ユーザは表示された電子ファイル一覧から、顔画像を登録したい項目を選択する（ステップS４-５）。そして、選択された項目のデータに顔画像が登録され２２と同様に登録内容を確認できる画面が表示される（ステップS４-８）。【００２９】以上のように、入力画像から複数の顔画像を抽出し当該画像を電子ファイルに登録可能とすることで、電子ファイル登録のために単独写真を撮影あるいは入手する必要がなく、顔画像を電子ファイルに登録するのを簡易化することが可能となる。【００３０】なお、この実施の形態では、顔画像を登録する媒体を、電子ファイルとして説明した。電子ファイルは、電子情報を保存できる電話帳を含む概念である。また、この実施の形態では、登録する画像は、顔画像として説明した。しかし、本発明は登録する対象として顔画像に限定されず、広くオブジェクト画像を含む。この場合、画像データベースはオブジェクトデータベースとなり、顔領域検出装置はオブジェクト領域検出装置となり、顔領域抽出装置はオブジェクト領域抽出装置、に対応する。例えば、花が電子ファイルに登録される対象である場合も含まれる。また、この実施の形態では、マルチスケール画像を生成した後に、画像の画像値を正規化するものとして説明した。しかし、本発明はマルチスケール画像を生成した後に、画像の画像値を正規化する場合に限られない。例えば、画像の画像値を正規化した後に、マルチスケール画像を生成する場合も含まれる。【００３１】実施の形態２図１１を用いてこの発明の本実施の形態における電子ファイル生成方法２００の構成を説明する。なお、実施の形態１と共通する部分については説明を省略する。２０１は顔領域検出装置２により検出された第１の顔領域に基づいて顔画像を抽出する顔領域抽出装置、２５は顔領域抽出装置２０１のうち顔画像から両目や口である部位を検出する部位検出装置、２６は部位検出装置２５のうち、両目を検出する両目検出装置、２７は部位検出装置２５のうち、口を検出する口検出装置、２８は両目や口を検出するためのマッチング情報を格納した部位画像データベース（以下、部位画像ＤＢ）、３０は両目や口の位置を考慮して適正な画角調整を行う適正画角算出装置、である。【００３２】次に図１２から図１６を用いて本発明における各装置の動作を説明する。図１２は、本発明の電子ファイル生成装置２００の動作を説明するためのフローチャートである。図１３及び図１４は、部位検出装置２５の動作を説明するためのフローチャー���である。図１５は、適正画角算出装置３０の動作を説明するためのフローチャートである。図１６は、適正画角算出装置３０の動作を説明するための図である。【００３３】まず、図１２を用いて電子ファイル生成装置２００の動作について説明する。画像入力装置１で画像を入力し（ステップS５-１）、顔領域検出装置２で第１の顔領域を検出する（ステップS５-２）。次に、部位画像ＤＢ２８を参照することにより第１の顔領域にかかる顔画像から両目及び口を検出する（ステップS５-３）。そして適正画角算出装置３０において検出した部位の位置に応じて画角を調整し（ステップS５−４）、調整した画角で第２の顔領域にかかる顔画像を抽出し、電子ファイルに登録するためのサイズにあわせるように顔画像を拡大縮小する（ステップS５-５）。最後に電子ファイル登録装置４で顔領域画像を電子ファイルに登録する（ステップS５-６）。【００３４】次に、図１３及び図１４を用いて部位検出装置２５の動作を説明する。まず、部位検出装置２５において、顔領域検出装置２により検出した第１の顔領域にかかる顔画像のマルチスケール画像を生成する（ステップS６-１）。次に一定の大きさ（例えば２４（画素）×２４の矩形）を有し、第１の顔領域にかかる顔画像上で移動し、左目、右目、口を探索する探索ブロックを、上記で生成したマルチスケール画像全てに対して走査し、マッチング処理を行い各部位を検出する。【００３５】具体的には、ステップS６-１で求めたマルチスケール画像に対して、以下の処理を繰り返す（ステップS６-２）。まず、左目を既に検出したか否かをチェックし（ステップS６-３）、検出していなければ、左目の探索ブロックと左目の特徴量が登録されている部位画像ＤＢ２８のデータでマッチング処理を行い（ステップS６-４）、マッチング処理した結果探索ブロックが左目と判断した場合（ステップS６-５）、左目の位置を記憶する（ステップS６-６）。探索ブロックが左目ではなかった場合、左目の探索ブロックを一画素移動させる（ステップS６-７）。【００３６】ここでマッチング処理とは、部位画像ＤＢ２８に登録されている、例えば、顔の部位の特徴を学習した部位データは、Rectangle Featureに基づいて定量化されているとする。顔の部位の特徴は、このRectangle Featureを組み合わせたClassifierと呼ばれる顔領域判別関数を用いて表現する。具体的には、各Rectangle Featureの値（Rf（i））が閾値（th）を超えたか否かに応じて重み（pv又はnv）を与え、次に、全てのRectangle Featureの重みの総和（Cls）がある閾値（th２）を超えた場合に部位画像か否かを判別する。2005309850.tif 000007
pv,nvは重み2005309850.tif 000008
2005309850.tif 000009
【００３７】次に右目、口も同様の処理を行い（ステップS６-８〜ステップS６-１７）、全ての部位が検出されるかあるいは、画像全体を走査し終えるまで検出処理を繰り返す。【００３８】以上で求めた部位の位置に基づいて適正画各算出装置３０において画角調整を行う。例えば、次のような手法がある。まず、両目間の距離を求める（ステップS７-１）。そして、両目の検出点でできるベクトルを求め（ステップS７-２）、両目の中心点から、求めた両目ベクトルに沿って、両目間の距離に応じて、両目ベクトルを左右に拡張する（ステップS７-３）。検出した両目及び口が図１６の３１であったとする。このときの両目ベクトルは３２であり、３２は両目間の距離に応じて拡張されたものである。次に、口の検出点と両目ベクトルとが垂直に交わるベクトルを求める（ステップS７-４）。図１６では、３３が求めたベクトルとなる。このベクトルを、両目ベクトルと口検出点との距離に応じてまず下方向に拡張し（ステップS７-５）、さらに、上方向に拡張する（ステップS７-６）。３３は上記の通り求めたベクトルである。【００３９】以上の通り求めた両目ベクトル、口−両目ベクトルから、顔領域の矩形３４を求め、この矩形に応じて領域抽出装置１１で領域を抽出する。このように、顔の部位をさらに検出することにより適正画角をさらに正確に求めることが可能となり、顔領域を適切に切り出すことが可能となる。【００４０】なお、本実施の形態においては、顔画像の部位として、両目及び口として説明した。しかし、本発明は、顔画像の部位として両目及び口に限定されない。すなわち、顔画像の部位として、鼻、耳等があり、このような部位を根拠として第２の顔の領域にかかる顔画像を抽出する場合もある。実施の形態３【００４１】図１７を用いてこの発明の本実施の形態における電子ファイル生成装置３００の構成を説明する。なお、実施の形態１又は２と共通する部分については説明を省略する。図１７において、電子ファイル生成装置３００は、画像を入力する画像入力装置１と、入力された画像から顔の領域である第１の顔領域を検出する顔領域検出装置２と、第１の顔領域から顔画像の特徴に基づいて第２の顔領域にかかる顔画像を抽出する顔領域抽出装置２９と、顔領域抽出装置２９で抽出した顔画像を電子ファイルに登録する電子ファイル登録装置４と、で構成されている。電子ファイル登録装置４は、抽出した顔画像にアイコン等の装飾画像を重畳することにより顔画像を編集する画像合成装置３５を有する。【００４２】次に、図１８及び図１９を用いて画像合成装置３５を含む電子ファイル登録装置４の動作を説明する。図１８は、動作を説明するためのフローチャートである。図１９は、動作中の画面遷移を示した図である。【００４３】電子ファイル登録装置４において、図１９の３６に示すように画像から抽出した複数人分の顔画像のうち、数人分又は全員分の顔画像の一覧を表示し、ユーザがその中の１つを選択して顔画像編集メニューを選択すると（ステップS８-１）、画像合成装置３５は、合成可能なアイコンを３７のように一覧表示する（ステップS８-２）。一覧表示されたアイコン画像からユーザがアイコンを選択すると（ステップS８-３）、画像合成装置において、顔��大きさに合わせてアイコン画像を拡大縮小し、部位の位置に合わせてアイコン画像を合成する（ステップS８-４）。ここで、顔の大きさに合わせてアイコン画像を拡大縮小し、部位の位置に合わせてアイコン画像を合成するとは、例えば、部位検出に基づいてする場合がある。なお、アイコン画像は、各画素に対してそれぞれ透過情報を保持しているものであり、例えばアルファチャネルを持っている画像である。画像合成装置は、透過情報に基づいて顔画像とアイコンを重畳する。合成した結果は３８のように表示され（ステップS８-４）、ここでユーザが例えば、OKボタンを押下すれば（ステップS８-５）、通常の電子ファイル登録画面２２あるいは２４に遷移し電子ファイル登録可能となる（ステップS８-６）。【００４４】このように、切り出した顔写真を装飾可能とすることでより本人の特徴を誇張し、例えば電話を着信した際に、容易に本人を特定し易くすることが可能となる。
【図面の簡単な説明】
【００４５】
【図１】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図２】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図３】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図４】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図５】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図６】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図７】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図８】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図９】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図１０】この発明の実施の形態１を示す電子ファイル生成装置の概念図である。
【図１１】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１２】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１３】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１４】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１５】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１６】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１７】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１８】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図１９】この発明の実施の形態２を示す電子ファイル生成装置の概念図である。
【図２０】この発明の実施の形態１に示すRectangleFeatureの基本形を示す図である。
【符号の説明】
【００４６】１  画像入力装置２  顔領域検出装置３  顔領域抽出装置４  電子ファイル登録装置５  マルチスケール画像生成装置６  画像値正規化装置７  顔画像データベース（顔画像ＤＢ）８  顔領域判定装置９  重複領域統合装置１０  適正画角算出装置１１  領域抽出装置４０  一覧表示装置４１  顔画像選択装置１２  入力画像１３  マルチスケール画像１４  探索ブロック２５  部位検出装置２６  両目領域検出装置２７  口領域検出装置２８  部位画像データベース（部位ＤＢ）３０  適正画角算出装置２００  電子ファイル生成装置２０１  顔領域抽出装置２９  顔領域抽出装置３５  画像合成装置３００  電子ファイル生成装置
【図１】
2005309850.tif 000010
【図２】
2005309850.tif 000011
【図３】
2005309850.tif 000012
【図４】
2005309850.tif 000013
【図５】
2005309850.tif 000014
【図６】
2005309850.tif 000015
【図７】
2005309850.tif 000016
【図８】
2005309850.tif 000017
【図９】
2005309850.tif 000018
【図１０】
2005309850.tif 000019
【図１１】
2005309850.tif 000020
【図１２】
2005309850.tif 000021
【図１３】
2005309850.tif 000022
【図１４】
2005309850.tif 000023
【図１５】
2005309850.tif 000024
【図１６】
2005309850.tif 000025
【図１７】
2005309850.tif 000026
【図１８】
2005309850.tif 000027
【図１９】
2005309850.tif 000028
【図２０】
2005309850.tif 000029