(57)【要約】【課題】撮影者が注目している人物に合わせて自動的にトリミングを行う。【解決手段】まず、顔検出手段１０において、全体画像Ｐに含まれるすべての顔画像Ｆ１〜Ｆ４が検出される。その後、認識手段３０により、検出した顔画像Ｆ１〜Ｆ４が顔データベース２０に記憶された特定の人物であるか否かが認識される。そして、特定の人物の顔画像Ｆ１、Ｆ２が検出されたとき、この特定の人物の顔画像Ｆ１、Ｆ２に合わせてトリミングが行われる。【選択図】図１
2007272685.tif 000002
【特許請求の範囲】
【請求項１】
全体画像の中から顔画像を検出し、
検出した顔が顔データベースに登録された特定の人物であるか否かを認識し、
前記顔画像が前記顔データベースに登録された前記特定の人物であると認識したとき、認識した前記顔画像の位置に合わせて自動的にトリミングを行う
ことを特徴とする自動トリミング方法。
【請求項２】
全体画像の中から顔画像を検出する顔検出手段と、
特定の人物の顔画像が登録されている顔データベースと、
前記顔検出手段により検出された前記顔画像が前記顔データベース内に登録された前記特定の人物であるか否かを認識する認識手段と、
該認識手段において前記顔画像が前記顔データベースに登録された前記特定の人物であると認識されたとき、認識された前記顔画像の位置を基準に自動的にトリミングを行うトリミング手段と
を備えたことを特徴とする自動トリミング装置。
【請求項３】
前記トリミング手段が、前記全体画像内に前記顔画像がトリミング枠内の所定の位置に配置されるようにトリミングを行うものであることを特徴とする請求項２記載の自動トリミング装置。
【請求項４】
前記認識手段が前記全体画像内に前記顔データベースに登録された前記顔画像が複数存在していると認識した場合、前記トリミング手段が認識された前記複数の顔画像を含むようにトリミング枠を設定するものであることを特徴とする請求項２または３記載の自動トリミング装置。
【請求項５】
前記顔検出手段が、
前記全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を検出する顔判別器と
を有し、
該顔判別器が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを判別する顔判別器を備えたものであることを特徴とする請求項２から４のいずれか１項記載の自動トリミング装置。
【請求項６】
コンピュータに、
全体画像の中から顔画像を検出し、
検出した前記顔画像が画像データベース内に登録された特定の被写体画像であるか否かを認識し、
前記顔画像が前記顔データベースに登録されていると認識したとき、認識した前記顔画像の位置に合わせて自動的にトリミングを行う
ことを実行させるための自動トリミングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等により取得した全体画像から特定の人物の顔に合わせて自動的にトリミングする自動トリミング方法および装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
パスポートや免許証の交付申請あるいは履歴書等に用いる証明写真を作成する際、証明写真の規格に合わせて画像中の顔を拡大縮小するとともに、顔が写真の所定の位置に配置されるようにトリミングする方法が知られている。特に、写真画像から顔や目などを検出する技術の進歩に伴い、写真画像から顔、目等を検出してそれに基づいてトリミング領域を設定してトリミングを行う自動トリミング処理方法が提案されている（たとえば特許文献１参照）。特許文献１において、まず写真画像から顔、目および瞳が検出された後、両瞳の位置および両瞳間の距離が算出される。そして、両瞳の位置および両瞳間の距離に基づいて顔全体を含むようなトリミング枠が設定される。その後、トリミング枠の情報をこの写真画像に付属させトリミング用データを生成するようになっている。
【０００３】
ところで、上述した証明写真用の自動トリミング処理方法のみならず、デジタルカメラ等を用いてユーザーが取得した画像に対し自動的にトリミングを行うことも提案されている（たとえば特許文献２参照）。特許文献２においては、まず写真画像から人物の顔が検出され、検出されたすべての顔の位置を基準にトリミング領域の位置および大きさが設定される。そして、このすべての顔を含むようなトリミング領域に基づいて自動的にトリミングが行われる。
【特許文献１】特開２００５−２４２６４１号公報
【特許文献２】特開２００５−２６７４５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献２におけるトリミング枠の設定は、検出されたすべての顔を含むように行われているため、たとえば通行人等のトリミング枠内に含める必要のない人物までトリミング枠に含まれてしまう。その結果、自動トリミング後の画像において撮影者が注目している人物の位置が画像の端部に位置しまたは大きさが小さくなってしまい、撮影者が取得したい人物の画像に合わせたトリミングを自動的に行うことができないという問題がある。
【０００５】
そこで、本発明は、撮影者が注目する特定の人物を基準に自動的にトリミングを行うことができる自動トリミング方法および装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００６】
本発明の自動トリミング方法は、全体画像の中から顔画像を検出し、検出した顔画像が画像データベース内に登録された特定の人物であるか否かを認識し、顔画像が顔データベースに登録された特定の人物であると認識したとき、認識した顔画像の位置に合わせて自動的にトリミングを行うことを特徴とするものである。
【０００７】
本発明の自動トリミング装置は、全体画像の中から顔画像を検出する顔検出手段と、特定の人物の顔画像が登録されている顔データベースと、顔検出手段により検出された顔画像が顔データベース内に登録された特定の人物であるか否かを認識する認識手段と、認識手段において顔画像が顔データベースに登録された特定の人物であると認識されたとき、顔画像の位置を基準に自動的にトリミングを行うトリミング手段とを備えたことを特徴とするものである。
【０００８】
本発明の自動トリミングプログラムは、コンピュータに、全体画像の中から顔画像を検出し、検出した顔画像が画像データベース内に登録された特定の人物であるか否かを認識し、顔画像が顔データベースに登録された特定の人物であると認識したとき、検出した顔画像の位置に合わせて自動的にトリミングを行うことを実行させることを特徴とするものである。
【０００９】
ここで、トリミング手段は、登録された顔画像の位置を基準に自動的にトリミングするものであればその手法を問わず、たとえば全体画像内に顔画像がトリミング枠内の所定の位置に配置されるようにトリミングを行うものであってもよい。
【００１０】
また、顔データベースは、１つの顔画像が登録されたものであってもよいし、複数の顔画像が登録されたものであっても良い。そして、認識手段が全体画像に顔データベースに登録された顔画像が複数存在していると認識した場合、トリミング手段は、各顔画像毎にトリミング枠を設定するようにしても良いし、登録されている複数の顔画像を含むようにトリミング枠を設定するようにしてもよい。
【００１１】
また、顔検出手段は、いかなる顔の検出方法も用いることができ、たとえば全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である該部分画像を検出する顔判別器とを有し、顔判別器が、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器を備えたものであってもよい。
【発明の効果】
【００１２】
本発明の自動トリミング方法および装置ならびにプログラムによれば、全体画像の中から顔画像を検出し、検出した顔画像が画像データベース内に登録された特定の人物であるか否かを認識し、顔画像が顔データベースに登録された特定の人物であると認識したとき、認識した顔画像の位置に合わせて自動的にトリミングを行うことにより、全体画像内に通行人等撮影者とは関係のない人物の顔が存在していても、撮影者が注目している特定の人物に合わせてトリミング枠を設定することができるため、撮影者の意図を反映したトリミングを自動的に行うことができる。
【００１３】
なお、トリミング手段が、全体画像内に顔画像がトリミング枠内の所定の位置に配置されるようにトリミングを行うものであるとき、構図の良いとされるトリミング画像を自動的に生成することができる。
【００１４】
また、認識手段が全体画像内に顔データベースに登録された顔画像が複数存在していると認識した場合、トリミング手段が認識された複数の顔画像を含むようにトリミング枠を設定するものであれば、全体画像内に存在する撮影者が注目している複数の人物を確実にトリミング枠内に収めることができる。
【００１５】
また、顔検出手段が、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明の自動トリミング装置の好ましい実施の形態を詳細に説明する。なお、図１のような自動トリミング装置１の構成は、補助記憶装置に読み込まれた自動トリミングプログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この自動トリミングプログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。もしくは自動トリミングプログラムをデジタルカメラ内のプロセッサにより実装することにより実現されたものであってもよい。
【００１７】
自動トリミング装置１は、デジタルカメラ等により取得された全体画像Ｐ内にトリミング枠を設定しトリミングを自動的に行うものであって、全体画像Ｐの中から顔画像Ｆを検出する顔検出手段１０と、特定の人物が登録されている顔データベース２０と、顔画像Ｆが顔データベース２０内に登録された特定の人物であるか否かを認識する認識手段３０と、顔画像Ｆが顔データベース２０に登録されていると認識されたとき、顔画像Ｆの位置を基準に自動的にトリミングを行うトリミング手段４０とを備えている。
【００１８】
顔検出手段１０は、図２に示すように、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰから正面顔である部分画像を検出する正面顔判別手段１２Ａおよび横顔である部分画像を検出する横顔判別手段１２Ｂとを有している。
【００１９】
なお、部分画像生成手段１１に入力される全体画像Ｐは前処理手段１０ａにより前処理が施されている。前処理手段１０ａは、全体画像Ｐに対し図３（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０ａは、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。
【００２０】
部分画像生成手段１１は、図３（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段１１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。
【００２１】
なお、部分画像生成手段１１は、図３（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、全体画像ＰにおいてサブウィンドウＷ内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。
【００２２】
正面顔判別手段１２Ａおよび横顔判別手段１２Ｂは、たとえばアダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ    Ａｌｇｏｒｉｔｈｍ）を用いて顔画像Ｆを検出するものである。正面顔判別手段１２Ａは面内回転している正面顔を検出する機能を有しており（図４（Ａ）参照）、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器１３−１〜１３−１２を有している。なお、各正面顔判別器１３−１〜１３−１２は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。横顔判別手段１２Ｂは、面内回転している横顔を検出する機能を有しており（図４（Ｂ）参照）、たとえば−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器１４−１〜１４−７を有している。なお、横顔判別手段１２Ｂは、さらに画面内の顔の向きが回転している画像（面外回転）を検出する横顔判別器をさらに備えていても良い。
【００２３】
上述した正面顔判別器１３−１〜１３−１２および横顔判別器１４−１〜１４−７は、部分画像ＰＰが顔であるか非顔かの２値判別を行う機能を有し、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を備える。そして、各顔判別器１２Ａ、１２Ｂは弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００２４】
具体的には、各弱判別器ＣＦ１〜ＣＦＭは図５に示すように部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。
【００２５】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。
【００２６】
各弱判別器ＣＦ１〜ＣＦＭは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βＭとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを認識し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。
【００２７】
また、各弱判別器ＣＦ１〜ＣＦＭはそれぞれカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを顔画像Ｆとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。
【００２８】
なお、各判別器１３−１〜１３−１２、１４−１〜１４−７は、それぞれ判別すべき所定の角度で面内回転された正面顔もしくは横顔を正解サンプル画像として学習された弱判別器を有しているものである。また、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを認識するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。
【００２９】
さらに、顔検出手段１０はアダブースティングアルゴリズムを用いて顔を検出する場合について例示しているが、ＳＶＭ（Support Vector Machine）アルゴリズムやMing-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔の検出を行うようにしても良い。
【００３０】
図１の顔データベース２０には、撮影者およびその関係者の顔等の撮影者が注目する特定の人物の顔画像Ｆの情報が予め登録されている。顔データベース２０の顔画像はたとえば過去に撮影者等が写っている画像を用いて登録したものである。認識手段３０は、顔画像Ｆが顔データベース２０内に登録された顔画像Ｆであるか否かを認識することにより、顔画像Ｆが特定の人物であるかを認識するようになっている。ここで、顔の認識には種々の手法を用いることができる。たとえば顔画像の局所特徴量を用いて顔認識する方法、Ａｄａｂｏｏｓｔアルゴリズムを用いて顔認識する方法、グラフマッチング法、テンプレートマッチング法等の公知の顔認識技術を用いることができ、詳細については、W. Y. Zhao, R. Chellappa, A.Rosenfeld, P. J. Phillips: “Face recognition: A literature survey”, UMD CfAR Technical Report CAR-TR-948,2000.,労世紅、山口修、平山高嗣、“画像処理による顔検出と顔認識“、ＣＶＩＭ２００５年５月（第１４９回）研究会、坂野鋭、“パターン認識における主成分分析“、統計数理、vol. 49, no. 1, pp. 23-42,2001等の文献に記載されている。なお、顔データベース２０には、上述した各顔認識アルゴリズムに合った最適な形式の顔情報（たとえば顔画像の局所特徴量、顔画像自体等）が登録されている。
【００３１】
トリミング手段４０は、認識手段３０において認識された顔画像Ｆがトリミング枠内において所定の位置に配置されるようにトリミングを行う機能を有している。具体的には、図７の全体画像Ｐにおいて４つの顔画像Ｆ１〜Ｆ４が顔検出手段１０により検出され、認識手段３０において２つの顔画像Ｆ１、Ｆ２が認識されたものとする。このとき、トリミング手段４０は、図８に示すように、トリミング枠ＴＧの垂直方向において顔画像Ｆが上１：１．６１８の比率となる位置に配置されるようにトリミング枠ＴＧを設定する。同時に、トリミング手段４０は、水平方向において２つの顔画像Ｆ１、Ｆ２を含む領域の水平方向の中点がトリミング枠ＴＧの中心に一致するようにトリミング枠ＴＧを自動的に設定するようになっている。上記比率に基づいてトリミング枠ＴＧの位置を決定することにより、構図の良いとされるトリミング画像を自動的に生成することができる。
【００３２】
このように、認識手段３０により認識された顔画像Ｆ１、Ｆ２に合わせて自動的にトリミングを行うことにより、撮影者が注目したい人物に合わせたトリミングを行うことができる。つまり、従来のように、検出されたすべての顔画像Ｆ１〜Ｆ４に合わせてトリミング枠ＴＧを設定した場合、注目している人物の顔画像Ｆ１、Ｆ２の位置がトリミング枠ＴＧ内において中心以外の位置になってしまうとともに、大きさが相対的に小さくなってしまう。よって撮影者が望むトリミングになりにくい。一方、図８に示すように認識手段３０により認識された顔画像Ｆ１、Ｆ２に合わせて自動的にトリミングを行うことにより、通行人等の撮影者が注目していない顔画像Ｆ３、Ｆ４が検出されたときであっても、撮影者が注目している顔画像Ｆ１、Ｆ２を基準にトリミング枠ＴＧの設定を行うことができるため、撮影者の意図に合致したトリミングを自動的に行うことができる。
【００３３】
また、図８のように、認識手段３０が複数の顔画像Ｆ１、Ｆ２が登録されていると認識したときに、トリミング手段４０が複数の顔画像Ｆ１、Ｆ２を含めるようにトリミング枠ＴＧを設定することにより、複数の全体画像Ｐ内に存在する撮影者が注目している複数の人物を確実にトリミング枠内に収めることができる。
【００３４】
図９は本発明の自動トリミング方法の好ましい実施の形態を示すフローチャートであり、図１から図９を参照して自動トリミング方法について説明する。まず、顔検出手段１０において、全体画像Ｐの中から顔画像Ｆが検出される（ステップＳＴ１）。その後、認識手段３０により、検出した顔が顔データベース２０に記憶された特定の人物の顔であるか否かが認識される（ステップＳＴ２）。そして、特定の人物の顔が検出されたとき、トリミング手段４０においてこの特定の人物の顔に合わせてトリミングが行われる（ステップＳＴ３）。
【００３５】
上記実施の形態によれば、全体画像Ｐの中から顔画像Ｆを検出し、検出した顔画像Ｆが顔データベース２０内に登録されている特定の人物か否かを認識し、顔画像Ｆが特定の人物であると認識したとき、認識した顔画像Ｆの位置に合わせて自動的にトリミングを行うことにより、全体画像Ｐ内に通行人等撮影者とは関係のない人物の顔が存在していても、撮影者が注目している特定の人物に合わせてトリミング枠を設定することができるため、撮影者の意図を反映したトリミングを自動的に行うことができる。
【００３６】
本発明の実施の形態は上記実施の形態に限定されない。たとえば図８において複数の顔が登録されている場合には複数の顔画像Ｆを含むようにトリミング枠ＴＧを設定するようにしているが、トリミング手段４０において各顔画像を基準として複数のトリミング枠を設定し、撮影者が選択できるように表示部に表示するようにしてもよい。
【００３７】
また、上記実施の形態において、トリミング手段４０によりトリミング枠が自動的に設定される場合について例示しているが、トリミング枠が自動的に設定された後、ユーザーがトリミング枠ＴＧの位置および大きさを補正できるような補正手段を備えていてもよい。
【００３８】
さらに、上記実施の形態に示す自動トリミング装置は、デジタルカメラ等の撮影装置に実装されたものであってもよい。また遠隔操作カメラ等によるリモート撮影により全体画像Ｐが取得されたとき、上述した自動トリミングにより得られた構図に基づいて、遠隔操作カメラの向き、ズーム、フォーカス等を制御するようにしても良い。
【００３９】
また、トリミング手段４０においてトリミング枠ＴＧを顔画像Ｆに合わせて設定するときに、人物領域の標準位置、大きさをポートレートモードや人物撮影モード等の撮影モード毎に予め設定しておき、この撮影モードに応じた位置，大きさになるようにトリミング枠ＴＧを設定するようにしても良い。例えば、全体画像Ｐがポートレートモードで撮影されたものである場合、トリミング手段４０は他のモードと比べて人物領域を大きめにトリミング枠ＴＧを設定するようになる。
【００４０】
さらに、トリミング枠ＴＧを設定するときに、人物以外の情報も組み合わせて、位置、大きさを補正するようにしてもよい。たとえば、特開２００４−３１０７５３号公報のように、全体画像Ｐ中からオブジェクト領域の意味を特定し、特定のオブジェクト領域（たとえば建築物等）が含まれるようにトリミング枠ＴＧを設定するようにしても良い。このとき、人物領域が所定の位置、大きさになるようにしてから、オブジェクト領域が画像内に収まるように人物領域の位置、大きさを補正するようにしてもよい。
【００４１】
また、認証手段３０において顔認証により特定の人物を認識する場合について例示しているが、被写体が所持するＩＣタグからの信号を受信することにより被写体を特定するようにしてもよい。そして、トリミング枠ＴＧを設定する際、特開２００２−１０１１４号公報に開示されているように、人物被写体が所持するＩＣタグもしくはＧＰＳと方位センサとから撮影位置と撮影方位とを取得し、この撮影位置・撮影方位から推定される状況（周囲の風景や建造物を地図情報等のデータベースから取得するなど）に基づいてトリミング枠ＴＧを設定するようにしても良い。たとえば、トリミング手段４０が撮影位置、撮影方位ごとに人物領域の位置、大きさを予め記憶しておき、全体画像Ｐのタグ情報等から撮影位置、撮影方位が取得されたときに、トリミング枠ＴＧ内の人物領域が記憶している位置、大きさになるようにトリミング枠ＴＧを設定するようにしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の自動トリミング装置の好ましい実施の形態を示すブロック図
【図２】図１の自動トリミング装置における顔検出手段の一例を示すブロック図
【図３】図２の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図４】図２の顔検出手段により検出される正面顔および横顔の一例を示す模式図
【図５】図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図
【図６】図１の弱判別器が有するヒストグラムの一例を示すグラフ図
【図７】複数の顔画像が検出された全体画像の一例を示す模式図
【図８】図７の全体画像から自動的にトリミングをした後の画像の一例を示す模式図
【図９】本発明の自動トリミング方法の好ましい実施の形態を示すフローチャート
【符号の説明】
【００４３】
１     自動トリミング装置
１０   顔検出手段
１２Ｂ 横顔判別手段
１２Ａ 正面顔判別手段
２０   顔データベース
３０   認識手段
４０   トリミング手段
ＣＦ１〜ＣＦｍ   各弱判別器
Ｆ１〜Ｆ４     顔画像
Ｐ     全体画像
ＰＰ   部分画像
ＴＧ   トリミング枠
【図１】
2007272685.tif 000003
【図２】
2007272685.tif 000004
【図３】
2007272685.tif 000005
【図４】
2007272685.tif 000006
【図５】
2007272685.tif 000007
【図６】
2007272685.tif 000008
【図７】
2007272685.tif 000009
【図８】
2007272685.tif 000010
【図９】
2007272685.tif 000011