(57)【要約】  【課題】  撮像の際に被写体となる人物の顔をフレームの中に容易に、又は自動的に収めることを可能とすること。  【解決手段】  フレーム調節装置は、予備的に撮像された画像から特徴点を検出することにより、フレーム内に被写体の顔が含まれるか否かを判断する。次にフレーム調節装置は、この特徴点に基づいて、フレームから被写体の顔がはみ出ているか否かを判断する。被写体の顔がフレームからはみ出ている場合、検出された特徴点の位置や、顔の位置に基づいて、フレーム調節装置はフレームの調節量を取得する。【選択図】  図１
2005065265.tif 000002
【特許請求の範囲】
【請求項１】
取得された画像から特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるフレーム調節手段と
を含むフレーム調節装置。
【請求項２】
前記フレーム調節手段は、ズームの調節量を含むフレーム調節データを求める請求項１に記載のフレーム調節装置。
【請求項３】
前記フレーム調節手段は、フレームの移動量を含むフレーム調節データを求める請求項１に記載のフレーム調節装置。
【請求項４】
前記フレーム調節手段は、ズームの調節量及びフレームの移動量を含むフレーム調節データを求める請求項１に記載のフレーム調節装置。
【請求項５】
前記特徴点検出手段は、取得された画像から肌色の領域を抽出し、
前記判断手段は、前記特徴点検出手段によって肌色の領域が抽出されない場合には、フレームから被写体の顔がはみ出ていないと判断し、
前記フレーム調節手段は、前記判断手段がフレームから被写体の顔がはみ出ていないと判断した場合には、フレーム調節データを求めない
請求項１に記載のフレーム調節装置。
【請求項６】
前記判断手段は、前記抽出された肌色の領域のうち、フレームの境界部分に位置する肌色領域が無い場合には、フレームから被写体の顔がはみ出ていないと判断する請求項５に記載のフレーム調節装置。
【請求項７】
前記特徴点検出手段は、両目及び口のそれぞれに含まれる点を特徴点として検出し、
前記判断手段は、前記特徴点検出手段によって前記特徴点全てが検出された場合に、前記特徴点から求められる基準点から所定の距離内にフレームの境界が有るか否かに応じて、フレームから被写体の顔がはみ出ているか否かを判断する
請求項１に記載のフレーム調節装置。
【請求項８】
前記取得された画像が、フレームからはみ出た複数の顔を含む場合、前記フレーム調節手段は、フレームからはみ出たそれぞれの顔について、それぞれの顔がフレーム内に収まるためのフレーム調節データを求め、前記複数のフレーム調節データのうち、はみ出た顔全てがフレーム内に収まるフレーム調節データを最終的なフレーム調節データとする請求項１に記載のフレーム調節装置。
【請求項９】
前記取得された画像が、フレームからはみ出た複数の顔を含む場合、前記フレーム調節手段は、フレームからはみ出たそれぞれの顔について、それぞれの顔がフレーム内に収まるためのフレーム調節データを求め、前記複数のフレーム調節データのうち、ズームが最も広角になるフレーム調節データを最終的なフレーム調節データとする請求項２又は４に記載のフレーム調節装置。
【請求項１０】
被写体を画像データとして取得する撮像手段と、
前記撮像手段によって取得された画像から特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が取得される取得
領域となるフレームから被写体の顔がはみ出ているか否かを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるフレーム調節手段と、
前記フレーム調節手段によって求められたフレーム調節データに基づいてフレームを制御するフレーム制御手段と
を含む撮像装置。
【請求項１１】
前記特徴点検出手段は、前記フレーム制御手段によってフレームが制御された後に改めて前記撮像手段によって取得された画像から特徴点を検出し、
前記判断手段は、前記新たに取得された画像について検出された特徴点に基づいて、前記フレーム制御手段によって制御されたフレームから被写体の顔がはみ出ているか否かを判断し、
前記フレーム調節手段は、前記新たに取得された画像に基づいて前記判断手段が行った判断に基づき前記フレームを調節するためのフレーム調節データを求め、
前記フレーム制御手段は、前記新たに取得された画像に基づいて求められたフレーム調節データに基づきフレームを再度制御する
請求項１０に記載の撮像装置。
【請求項１２】
被写体を画像データとして取得する撮像手段と、
前記撮像手段によって取得された画像から特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断する判断手段と、
前記判断手段が、フレームから被写体の顔がはみ出ていると判断した場合にユーザに対して警告を行う警告手段と
を含む撮像装置。
【請求項１３】
フィルムまたは記録媒体から印刷領域の画像データを取得する画像入力手段と、
前記画像入力手段によって取得された画像から特徴点を検出する特徴点検出手段と、
前記特徴点検出手段によって検出された特徴点に基づいて、前記印刷領域となるフレームから被写体の顔がはみ出ているか否かを判断する判断手段と、
前記判断手段による判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるフレーム調節手段と、
前記フレーム調節手段によって求められたフレーム調節データに基づいてフレームを印刷する印刷手段と
を含む印刷装置。
【請求項１４】
取得された画像から特徴点を検出するステップと、
検出された前記特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、
前記判断するステップにおける判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるステップと
を含むフレーム調節方法。
【請求項１５】
取得された画像から特徴点を検出するステップと、
検出された前記特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、
前記判断するステップにおける判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるステップと、
前記フレーム調節データに基づいてフレームを制御するステップと
を含むフレーム調節方法。
【請求項１６】
取得された画像から特徴点を検出するステップと、
前記特徴点から求められる基準点から所定の距離内に前記画像が取得される取得領域となるフレームの境界が有るか否かに応じて、フレームから被写体の顔がはみ出ているか否かを判断するステップと
を含む、被写体のはみ出しを検知する方法。
【請求項１７】
取得された画像から特徴点を検出するステップと、
検出された前記特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、
前記判断するステップにおける判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるステップと
を、処理装置に実行させるためのプログラム。
【請求項１８】
取得された画像から特徴点を検出するステップと、
検出された前記特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、
前記判断するステップにおける判断結果に基づいて、前記フレームを調節するためのフレーム調節データを求めるステップと、
前記フレーム調節データに基づいてフレームを制御するステップと
を、処理装置に実行させるためのプログラム。
【請求項１９】
取得された画像から特徴点を検出するステップと、
前記特徴点から求められる基準点から所定の距離内に前記画像が取得される取得領域となるフレームの境界が有るか否かに応じて、フレームから被写体の顔がはみ出ているか否かを判断するステップと
を、処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に人物を被写体とした画像を撮像する撮像装置および人物を被写体とした画像を印刷する印刷装置に適用されて有効な技術に関する。
【背景技術】
【０００２】
人物を被写体として含む画像が撮像されようとする場合、この被写体となる人物に基づいて画像の枠（フレーム）の位置やズームが調整されることが多い。例えば、ズームの自動制御により、画像中における被写体の面積を一定に保つ技術がある。具体的には、画像中から被写体が検出され、検出された被写体の面積が算出される。そして、算出された被写体の面積が、初期設定時の被写体の面積に対して一定の範囲内になるように、ズームモータ１２が制御される（特許文献１参照）。
【０００３】
また、他の例として、画像中の主要被写体に基づいて写真を自動的にクロッピング又はズームすることを目的とした技術がある（特許文献２）。ここで、クロッピングとは、画像中から特定の枠内の画像を切り抜くこと（部分切り取り）を示す。
【０００４】
また、他の例として、撮影画面の中央部と上部とについて被写体距離を測定し、それぞれの被写体距離が略同じ距離である場合には、被写体がフレームからはみ出ていると判断して撮影動作を禁止及び／又は警告する技術がある（特許文献３）。
【特許文献１】特開平０９−６５１９７号公報
【特許文献２】特開２００１−２３６４９７号公報
【特許文献３】特許２９７７９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
人物が被写体となる画像において、ユーザが望まない状況の一つに、撮像された画像のフレームから被写体の顔がはみ出てしまう状況がある。このため、このような状況を自動的に回避することが要求されている。しかしながら、従来の技術ではこのような問題は解決できていない。
【０００６】
例えば、特許文献１のように被写体の面積に応じてズームを自動調整する技術があるが、この技術では、被写体がフレームからはみ出ているか否かは判別されない。具体的には、被写体の面積は撮像装置と被写体との距離に応じて変化するため、例え被写体がフレームからはみ出ていようとも距離が近ければ面積が大きいと判断される。逆に、例え被写体がフレーム内に収まっていようとも、距離が遠ければ面積が小さいと判断される。
【０００７】
また、フレームから被写体の顔がはみ出て撮像されてしまった画像については、はみ出た先の顔の画像をその後の画像処理などによって付加することは基本的に不可能である。即ち、このように被写体がフレームからはみ出ないように撮像することは、特許文献２のようにクロッピングを行う以前の問題である。
【０００８】
このように、特許文献１，２に記載の技術は、フレームから被写体の顔がはみ出てしまうことを防止することを目的としたものではなく、このような問題を解決することに適用することもできない。
【０００９】
一方、特許文献３に記載の技術は、フレームから被写体の顔（又は頭）がはみ出てしまうことを防止することを目的としている。しかしながら、特許文献３に記載の技術にも解
決されていない問題がある。
【００１０】
例えば、複数人の被写体に対して撮影が行われた場合、画面中央及び上部の被写体距離を元にフレームから被写体の顔や頭がはみ出ていることを検出することは困難である。また、一般的に自分撮りと呼ばれる行為、即ち自身の顔を撮像装置によって撮像する場合、ユーザは、頭がはみ出ていたとしても問題にすることは少なく、自身の顔がフレーム内に収まっているか否かを問題とすることが多い。これらの場合に、特許文献３に記載の技術では、ユーザの要望に十分に応えることができなかった。
【００１１】
本発明では、このような問題を解決し、撮像の際に被写体となる人物の顔をフレームの中に容易に、又は自動的に収めることを可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
以下の説明において、肌色とはあらゆる人の肌の色を意味し、特定の人種の肌の色には限定されない。
【００１３】
上記問題を解決するため、本発明は以下のような構成をとる。本発明の第一の態様は、フレーム調節装置であって、特徴点検出手段，判断手段，及びフレーム調節手段を含む。
【００１４】
特徴点検出手段は、取得された画像から特徴点を検出する。フレーム調節装置は、例えばデジタルカメラや、撮像装置を備えた携帯端末（例：携帯電話，ＰＤＡ（Personal Digital Assistant））の内部や外部に備えられ、これらの装置から画像を取得する。特徴点とは、例えば顔を構成する部位（例：目，鼻，額，口，頬，眉，眉間，顎）に含まれる点（例：左上端の点，中央点）である。
【００１５】
判断手段は、特徴点検出手段によって検出された特徴点に基づいて、画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断する。
【００１６】
フレーム調節手段は、判断手段による判断結果に基づいて、フレームを調節するためのフレーム調節データを求める。フレーム調節手段は、フレーム内に被写体の顔が収まるように、フレーム調節データを求める。即ち、ユーザによって又は撮像装置自身または印刷装置自身によって、このフレーム調節データに基づいてフレームが制御されることにより、撮像または印刷される画像のフレーム内に被写体の顔が収まる。
【００１７】
本発明の第一の態様によれば、取得された画像において、被写体の顔がフレームからはみ出ている場合、フレーム内に被写体の顔が収まるようなフレーム調節データが求められる。このため、撮像装置または印刷装置においてこのフレーム調節データに従ってフレームを拡大することにより、それまでフレームからはみ出ていた被写体の顔がフレーム内に収まった画像を容易に撮像または印刷することが可能となる。
【００１８】
また被写体の顔がフレームからはみ出していない場合（フレームに対して顔が小さい場合）にはフレームを縮小し、顔がはみ出ないまで拡大した画像を容易に撮像または印刷することが可能となる。
【００１９】
本発明の第一の態様のフレーム調節手段は、ズームの調節量を含むフレーム調節データを求めるように構成されても良い。このように構成された本発明の第一の態様は、ズームの調節が可能な撮像装置に対して備えられることにより効果を発揮する。フレーム調節データに基づいて撮像装置のズームを広角に調節することにより、フレーム内に被写体の顔が収まった画像を容易に撮像することが可能となる。
【００２０】
本発明の第一の態様のフレーム調節手段は、フレームの移動量を含むフレーム調節データを求めるように構成されても良い。このように構成された本発明の第一の態様は、ズームの調節が不可能な撮像装置に対して備えられても効果を発揮する。フレーム調節データに基づいて撮像装置のフレームを移動させることにより、フレーム内に被写体の顔が収まった画像を容易に撮像することが可能となる。
【００２１】
このように構成された本発明の第一の態様は、例えば、ズームを調節しなくともフレームを移動させることのみによってフレーム内に被写体の顔を収めることが可能である場合などに効果を発揮する。このような場合、ズームが広角に調節されなくとも、即ち被写体の像が小さくなることなく、フレーム内に被写体の顔を収めた画像を撮像することが可能となる。
【００２２】
本発明の第一の態様のフレーム調節手段は、ズームの調節量及びフレームの移動量を含むフレーム調節データを求めるように構成されても良い。このように構成された本発明の第一の態様は、前述の場合と同様に、例えば、ズームを調節しなくともフレームを移動させることのみによってフレーム内に被写体の顔を収めることが可能である場合などに効果を発揮する。このような場合、ズームが広角に調節されなくとも、即ち被写体の像が小さくなることなく、フレーム内に被写体の顔を収めた画像を撮像することが可能となる。
【００２３】
本発明の第一の態様の特徴点検出手段は、取得された画像から肌色の領域を抽出するように構成されても良い。この場合、判断手段は、特徴点検出手段によって肌色の領域が抽出されない場合には、フレームから被写体の顔がはみ出ていないと判断するように構成される。また、この場合、フレーム調節手段は、判断手段がフレームから被写体の顔がはみ出ていないと判断した場合には、フレーム調節データを求めないように構成される。
【００２４】
このように構成された本発明の第一の態様では、特徴点の検出を行うことなく、フレームから被写体の顔がはみ出ていないと判断される場合がある。そして、この場合はフレーム調節データが算出されない。このため、このような場合には、本発明の第一の態様の処理が高速に終了し、その後の撮像装置による撮像を早期に開始することが可能となる。
【００２５】
本発明の第一の態様の判断手段は、抽出された肌色の領域のうち、フレームの境界部分に位置する肌色領域が無い場合には、フレームから被写体の顔がはみ出ていないと判断するように構成されても良い。このように構成された本発明の第一の態様でも、特徴点の検出を行うことなく、フレームから被写体の顔がはみ出ていないと判断される場合がある。そして、この場合はフレーム調節データが算出されない。このため、このような場合には、本発明の第一の態様の処理が高速に終了し、その後の撮像装置による撮像を早期に開始することが可能となる。
【００２６】
本発明の第一の態様の特徴点検出手段は、両目及び口のそれぞれに含まれる点を特徴点として検出するように構成されても良い。この場合、判断手段は、特徴点検出手段によって特徴点全てが検出された場合に、特徴点から求められる基準点から所定の距離内にフレームの境界が有るか否かに応じて、フレームから被写体の顔がはみ出ているか否かを判断するように構成される。
【００２７】
本発明の第一の態様は、取得された画像がフレームからはみ出た複数の顔を含む場合、フレーム調節手段は、フレームからはみ出たそれぞれの顔について、それぞれの顔がフレーム内に収まるためのフレーム調節データを求め、複数のフレーム調節データのうち、はみ出た顔全てがフレーム内に収まるフレーム調節データを最終的なフレーム調節データとするように構成されても良い。
【００２８】
このように構成された本発明の第一の態様では、フレームからはみ出ている全ての顔がフレーム内に収まるようなフレーム調節データが求められる。このため、このフレーム調節データに基づいて撮像装置のフレームを制御することにより、フレームからはみ出ていた顔全てがフレーム内に収まった画像を容易に撮像することが可能となる。
【００２９】
本発明の第一の態様は、取得された画像が、フレームからはみ出た複数の顔を含む場合、フレーム調節手段は、フレームからはみ出たそれぞれの顔について、それぞれの顔がフレーム内に収まるためのフレーム調節データを求め、複数のフレーム調節データのうち、ズームが最も広角になるフレーム調節データを最終的なフレーム調節データとするように構成されても良い。
【００３０】
このように構成された本発明の第一の態様は、ズームの調整が可能な撮像装置に対して備えられることにより効果を奏する。求められた複数のフレーム調節データのうち、ズームが最も広角になるフレーム調節データに基づいて撮像装置のズームが調節されることにより、フレームからはみ出ていた顔全てがフレーム内に収まった画像を容易に撮像することが可能となる。
【００３１】
本発明の第二の態様は、撮像装置であって、撮像手段，特徴点検出手段，判断手段，フレーム調節手段，及びフレーム制御手段を含む。ここで撮像装置とは、デジタルスチルカメラであってもよいし、デジタルビデオカメラであってもよい。
【００３２】
撮像手段は、被写体を画像データとして取得する。特徴点検出手段は、撮像手段によって取得された画像から特徴点を検出する。判断手段は、特徴点検出手段によって検出された特徴点に基づいて、画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断する。フレーム調節手段は、判断手段による判断結果に基づいて、フレームを調節するためのフレーム調節データを求める。フレーム制御手段は、フレーム調節手段によって求められたフレーム調節データに基づいてフレームを制御する。
【００３３】
本発明の第二の態様では、フレーム調節手段によって求められたフレーム調節データに基づいて、フレーム制御手段がフレームを自動的に制御する。このため、ユーザの手を介すことなく、フレーム内に被写体の顔が収まった画像を自動的に撮像することが可能となる。
【００３４】
本発明の第二の態様の特徴点検出手段は、フレーム制御手段によってフレームが制御された後に改めて撮像手段によって取得された画像から特徴点を検出するように構成されても良い。この場合、判断手段は、新たに取得された画像について検出された特徴点に基づいて、フレーム制御手段によって制御されたフレームから被写体の顔がはみ出ているか否かを判断するように構成される。また、この場合、フレーム調節手段は、新たに取得された画像に基づいて判断手段が行った判断に基づきフレームを調節するためのフレーム調節データを求めるように構成される。また、この場合、フレーム制御手段は、新たに取得された画像に基づいて求められたフレーム調節データに基づきフレームを再度制御するように構成される。
【００３５】
このように構成された本発明の第二の態様では、フレーム調節データに基づいてフレームが一度制御された後、このフレームに基づいて新たに撮像された画像について同様の処理が再度実行される。このため、新たに撮像された画像において新たにフレームからはみ出ている顔が出現した場合、この顔についてもフレーム内に収めた画像を撮像することが可能となる。
【００３６】
本発明の第三の態様は、撮像装置であって、撮像手段，特徴点検出手段，判断手段，及び警告手段を備える。
【００３７】
撮像手段は、被写体を画像データとして取得する。特徴点検出手段は、撮像手段によって取得された画像から特徴点を検出する。判断手段は、特徴点検出手段によって検出された特徴点に基づいて、画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断する。警告手段は、判断手段が、フレームから被写体の顔がはみ出ていると判断した場合にユーザに対して警告を行う。警告手段は、例えば警告を示す画像や音声の出力や、照明装置の点灯又は点滅などによって警告を行う。
【００３８】
本発明の第三の態様では、被写体の顔がフレームからはみ出ている場合に、ユーザに対して警告が行われる。このため、ユーザは、フレームから被写体の顔がはみ出ていることを容易に知ることが可能となる。
【００３９】
例えば、ユーザが自身の顔を撮像する場合などに、本発明の第三の態様は有効である。通常、ユーザは自身の顔を撮像する場合、フレーム内に自身の顔が収まっているか否かを判断するために、表示装置などの出力を見て判断する。しかし、このような場合にはユーザの視線は撮像装置のレンズではなく、表示装置へ向いてしまうため不自然な画像が撮像されてしまう。しかし、本発明の第三の態様では、このような表示装置を見てカメラ位置（フレームの位置）を調節する必要は無く、警告が行われない状態になったフレームの位置で撮像を行えば良い。
【００４０】
本発明の第四の態様は、印刷装置であって、画像入力手段、特徴点検出手段，判断
手段，フレーム調節手段、および印刷手段を含む。ここで印刷装置とは、デジタル画像をプリントアウトするプリンタでもよいし、フィルムから印画紙に焼き付けるいわゆるミニラボ機のようなものであってもよい。
【００４１】
画像入力手段は、記録媒体から画像データを取得する。特徴点検出手段は、画像入力手段によって取得された画像から特徴点を検出する。判断手段は、特徴点検出手段によって検出された特徴点に基づいて、印刷領域となるフレームから被写体の顔がはみ出ているか否かを判断する。フレーム調節手段は、判断手段による判断結果に基づいて、フレームを調節するためのフレーム調節データを求める。印刷手段は、フレーム調節手段によって求められたフレーム調節データに基づいてフレームを印刷する。
【００４２】
本発明の第四の態様では、フレーム調節手段によって求められたフレーム調節データに基づいて、フレーム制御手段がフレームを自動的に制御する。このため、ユーザの手を介すことなく、フレーム内に被写体の顔が収まった画像を自動的に印刷することが可能となる。
【００４３】
本発明の第五の態様は、フレーム調節方法であって、取得された画像から特徴点を検出するステップと、検出された特徴点に基づいて、画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、判断するステップにおける判断結果に基づいて、フレームを調節するためのフレーム調節データを求めるステップとを含む。
【００４４】
本発明の第六の態様は、フレーム調節方法であって、取得された画像から特徴点を検出するステップと、検出された特徴点に基づいて、画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、判断するステップにおける判断結果に基づいて、フレームを調節するためのフレーム調節データを求めるステップと、フレーム調節データに基づいてフレームを制御するステップとを含む。
【００４５】
本発明の第七の態様は、被写体のはみ出しを検知する方法であって、取得された画像から特徴点を検出するステップと、特徴点から求められる基準点から所定の距離内に画像が取得される取得領域となるフレームの境界が有るか否かに応じて、フレームから被写体の顔がはみ出ているか否かを判断するステップとを含む。
【００４６】
本発明の第八の態様は、取得された画像から特徴点を検出するステップと、検出された特徴点に基づいて、前記画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、判断するステップにおける判断結果に基づいて、フレームを調節するためのフレーム調節データを求めるステップとを、処理装置に実行させるためのプログラムである。
【００４７】
本発明の第九の態様は、取得された画像から特徴点を検出するステップと、検出された特徴点に基づいて、画像が取得される取得領域となるフレームから被写体の顔がはみ出ているか否かを判断するステップと、判断するステップにおける判断結果に基づいて、フレームを調節するためのフレーム調節データを求めるステップと、フレーム調節データに基づいてフレームを制御するステップとを、処理装置に実行させるためのプログラムである。
【００４８】
本発明の第十の態様は、取得された画像から特徴点を検出するステップと、特徴点から求められる基準点から所定の距離内に画像が取得される取得領域となるフレームの境界が有るか否かに応じて、フレームから被写体の顔がはみ出ているか否かを判断するステップとを、処理装置に実行させるためのプログラムである。
【発明の効果】
【００４９】
本発明によれば、撮像装置において、本発明のフレーム調節装置によって出力されるフレーム調節データに従ってフレームを調節することにより、フレーム内に被写体の顔が収まった画像を容易に撮像することが可能となる。
【発明を実施するための最良の形態】
【００５０】
次に、図を用いて本発明によるフレーム調節装置を備える撮像装置について説明する。なお、撮像装置及びフレーム調節装置についての以下の説明は例示であり、その構成は以下の説明に限定されない。
【００５１】
〔第一実施形態〕
〔〔システム構成〕〕
まず、撮像装置の第一実施形態である撮像装置５ａについて説明する。撮像装置５ａは、本発明によるフレーム調節装置の一形態であるフレーム調節装置１ａを備える。
【００５２】
フレーム調節装置１ａ及び撮像装置５ａは、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）
，マスクＲＯＭ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等を指す
。これらの各装置は、フレーム調節装置１ａ及び撮像装置５ａそれぞれに備えられても良いし、双方によって共通に使用される装置として備えられても良い。双方によって共通に使用される場合、フレーム調節装置１ａは、撮像装置５ａの一機能部であるフレーム調節部として撮像装置５ａに備えられても良い。また、フレーム調節装置１ａは、ハードウェア的に構成された専用のチップとして構成されても良い。
【００５３】
図１は、フレーム調節装置１ａ及び撮像装置５ａの機能ブロックを示す図である。フレーム調節装置１ａは、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、特徴点検出部２，判断部３，及びズーム調節部４等を含む装置として機能する。特徴点検出部２，判断部３，及びズーム調節部４は、フレーム調節プログラムがＣＰＵによって実行されることにより実現される。また、特徴点検出部２，判断部３，及びズーム調節部４は、それぞれが専用のチップとして構成されても良い。
【００５４】
撮像装置５ａは、補助記憶装置に記憶された各種プログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、フレーム調節装置１ａ，入力部６，画像表示部７，画像取得部８，及びズーム制御部９ａ等を含む装置として機能する。
【００５５】
まず、図１を用いてフレーム調節装置１ａに備えられる各機能部について説明する。
【００５６】
〈特徴点検出部〉
特徴点検出部２は、入力された画像中の特徴点を検出する。まず、特徴点検出部２は、入力された画像から肌色領域を抽出する。このとき、特徴点検出部２は、例えばＬａｂ空間法を用い肌色以外の領域をマスキングすることによって肌色領域を抽出する。
【００５７】
次に、特徴点検出部２は、抽出された肌色領域を濃淡化する。例えば、特徴点検出部２は、入力された画像を２５６階調のグレースケール画像に変換する。このような画像変換には、一般的に数１の式が用いられる。
【００５８】
【数１】
2005065265.tif 000003
数１において、Ｒ，Ｇ，Ｂは、それぞれ入力された画像の各画素の２５６階調ＲＧＢ成分を示す。また、数１において、Ｙは変換後のグレースケール画像における画素値、即ち階調値を示す。
【００５９】
そして、特徴点検出部２は、あらかじめ設定されているテンプレートを用いて上記グレースケール画像に対してテンプレートマッチングを実施することにより、顔の複数の部位を検出する。特徴点検出部２は、顔の部位として右目，左目，口を検出する。特徴点検出部２は、それぞれの部位の中心点を特徴点として検出する。このテンプレートマッチングにおいて使用されるテンプレートは、目の平均画像や口の平均画像によりあらかじめ作成される。
【００６０】
〈判断部〉
判断部３は、フレーム調節装置１ａの処理において必要ないくつかの判断を行う。
【００６１】
判断部３は、特徴点検出部２によって抽出された肌色領域の数を数える。判断部３は、画像中の肌色領域を、顔である可能性のある領域として捉える。判断部３は、このような肌色領域の数に応じて、その後の処理を選択する。
【００６２】
また、判断部３は、特徴点検出部２によって検出された特徴点を用いて、フレームからはみ出ている顔が存在するか否かについて判断する。フレームは、画像が取得される取得領域を示す。判断部３は、例えば検出された特徴点の個数やその位置関係によって、フレームからはみ出た顔の存在について判断する。
【００６３】
判断部３は、ある肌色領域について、この領域内から検出された特徴点が２点未満である場合は、この肌色領域は人の顔ではないと判断する。また、判断部３は、検出された特徴点が２点である場合には、人の顔であると判断する。
【００６４】
判断部３は、検出された特徴点が３点である場合には、人の顔であると判断する。そして、特徴点が２点検出された場合と、３点検出された場合とに応じて、それぞれに特有の判断基準を用いて、人物の顔がフレームからはみ出ているか否かを判断する。以下、それぞれの判断基準について説明する。
【００６５】
図２は、肌色領域において特徴点が２点検出される場合の画像の例を示す図である。図２（ａ）は、フレームの横方向に顔がはみ出ている場合の例を示す図である。図２（ｂ）は、フレームの縦方向に顔がはみ出ている場合の例を示す図である。いずれの場合も、３点目の特徴点が検出されていないため、顔がはみ出ていることは明らかである。このため、判断部３は、特徴点が２点のみ検出された肌色領域については、フレームからはみ出た顔であると判断する。
【００６６】
図３は、肌色領域において特徴点が３点検出される場合の画像の例を示す図である。図３（ａ），（ｂ）は、基準点から横方向の規定距離（横規定距離）以内にフレームの境界が存在するか否かについて判断する場合の判断基準を示す図である。基準点から横方向の規定距離以内にフレームの境界が存在する場合、判断部３は顔が横方向にはみ出していると判断する。
【００６７】
まず、判断部３は、右目を示す特徴点と左目を示す特徴点とを含む直線を横基準軸として求める。また、判断部３は、右目を示す特徴点と左目を示す特徴点との中点を基準点として求める。また、判断部３は、基準点と右目を示す特徴点又は左目を示す特徴点との距離を横基準距離として求める。そして、判断部３は、基準点から横基準軸に沿って右目方向と左目方向双方とについて、横基準距離のα倍の距離（横規定距離）以内にフレームの境界が存在するか否かを判断する。
【００６８】
図３（ｃ），（ｄ）は、基準点から縦方向の規定距離（縦規定距離）以内にフレームの境界が存在するか否かについて判断する場合の判断基準を示す図である。基準点から縦方向の規定距離以内にフレームの境界が存在する場合、判断部３は顔が縦方向にはみ出していると判断する。
【００６９】
まず、判断部３は、基準点と口を示す特徴点とを含む直線を縦基準軸として求める。また、判断部３は、基準点と口を示す特徴点との距離を縦基準距離として求める。そして、判断部３は、基準点から縦基準軸に沿って口方向及びその反対方向の双方について、縦基準距離のβ倍の距離（縦規定距離）以内にフレームの境界が存在するか否かを判断する。
【００７０】
α及びβの値は設計者やユーザによって任意に設定されて良い値であり、例えば２．５及び２．０等に設定される。αとβとの値は一致する必要は無い。また、α及びβの値は、小さい値に設定されれば顔のはみ出しの判断基準が緩められ、大きい値に設定されれば顔のはみ出しの判断基準が厳しくなる。α及びβの値は、このことを踏まえて設計者やユーザによって設定されることが望ましい。例えば、頭部や顎付近はフレーム内に収める必要が無いと考えるユーザは、βの値を小さく設定することにより、要望に沿った画像を取得することが可能となる。
【００７１】
〈ズーム調節部〉
ズーム調節部４は、判断部３によってフレームからはみ出た顔が存在すると判断された
場合、ズームの調節量を求める。ズーム調節部４は、はみ出た顔と判断された肌色領域内の特徴点間の距離に応じて、はみ出ている顔がフレーム内に収まるようにズームの調節量を求める。
【００７２】
図４は、特徴点が２点検出された場合のズーム調節量の例を示す図である。図４（ａ）は、片方の目と口とが特徴点として検出された場合の例を示す図である。この場合、ズーム調節部４は、例えばフレーム境界上での肌色領域の縦方向の画素数に従って画角を広げるようにズームの調節量を求める。具体的には、ズーム調節部４は、この画素数をｍ１とし、もともとのフレームの横方向の画素数をｎ１とした場合、ｎ１＋（２×ｍ１）の範囲（図４（ａ）において点線で示される範囲）に含まれる画像がフレーム内に収まるようにズームの調節量を求める。
【００７３】
図４（ｂ）は、両方の目が特徴点として検出された場合の例を示す図である。この場合、ズーム調節部４は、例えばフレーム境界上での肌色領域の横方向の画素数に従って画角を広げるようにズームの調節量を求める。具体的には、ズーム調節部４は、この画素数をｍ２とし、もともとのフレームの縦方向の画素数をｎ２とした場合、ｎ２＋（２×ｍ２）の範囲（図４（ｂ）において点線で示される範囲）に含まれる画像がフレーム内に収まるようにズームの調節量を求める。このズームは、光学ズーム，デジタルズームのいずれであっても良い。
【００７４】
また、特徴点が３点検出された場合、ズーム調節部４は、基準点から横及び縦基準軸に沿って横及び縦規定距離以内にフレームの境界が存在しなくなるようにズームの調節量を求める。
【００７５】
次に、図１を用いて撮像装置５ａに備えられる各機能部のうち、フレーム調節装置１ａ以外の機能部について説明する。
【００７６】
〈入力部〉
入力部６は、ボタン，押下可能な装置（ダイヤル等），リモートコントローラ等を用いて構成される。入力部６は、ユーザインタフェースとして機能し、ユーザからの各種の命令を撮像装置５ａに対して入力する。例えば、入力部６はユーザがシャッターを切ることを入力するためのボタンであり、このボタンが半押し状態にされることにより、フレーム調節装置１ａが動作を開始するように構成される。
【００７７】
〈画像表示部〉
画像表示部７は、例えばファインダーや液晶ディスプレイ等を用いて構成される。画像表示部７は、撮像される予定の画像と略同一の映像をユーザに提供する。画像表示部７に表示される画像と実際に撮像される画像との同一性は、必ずしも厳密である必要は無く、撮像装置５ａの設計者によってどのように設計されても良い。ユーザは、画像表示部７によって提供される映像を元に、フレーミング（撮影する範囲の設定）を実行することが可能である。
【００７８】
〈画像取得部〉
画像取得部８は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の光センサを用いて構成される。また、画像取得部８は不揮
発性記憶装置を備えるように構成され、光センサによって取得された画像情報を不揮発性記憶装置に記録する。
【００７９】
〈ズーム制御部〉
ズーム制御部９ａは、ズーム調節部４からの出力、即ちズーム調節部４によって求めら
れたズーム調節量に基づいて、ズームの調節を実行する。このズームは、光学ズーム，デジタルズームのいずれであっても良い。
【００８０】
〔〔動作例〕〕
図５は、撮像装置５ａの動作例を示すフローチャートである。図６〜８は、フレーム調節装置１ａの動作例を示すフローチャートである。図５〜８を用いて、撮像装置５ａ及びフレーム調節装置１ａの動作例について説明する。
【００８１】
まず、ユーザによってズーム調節が実施される（Ｓ０１：図５）。その後、ユーザは、自身のフレーミングが終了した時点でシャッターボタンを半押しする。このとき、入力部６は、ユーザによってシャッターボタンが半押しされたことを検知する（Ｓ０２）。入力部６がシャッターボタンの半押しを検知すると、画像取得部８は、ユーザによってフレーミングされた画像、即ち現時点で撮像される予定の画像を取得し、この画像のデータをフレーム調節装置１ａに入力する（Ｓ０３）。
【００８２】
フレーム調節装置１ａは、画像が入力されると、ズーム調節処理を実行する（Ｓ０４）。ズーム調節処理については後述する。フレーム調節装置１ａはズーム調節処理の実行後にズーム調節量又は撮像可能通知を出力する。ズーム制御部９ａは、ズーム調節量が出力された場合、このズーム調節量に従ってズームを制御する（Ｓ０５）。ズーム制御部９ａは、ズーム制御後、又はフレーム調節装置１ａから撮像可能通知が出力された場合、撮像可能通知を画像取得部８へ渡す（出力する）。
【００８３】
画像取得部８は、撮像可能通知を受け取ると、レンズを通して取得される画像を記録媒体に記録する（Ｓ０６）。
【００８４】
〈ズーム調節処理〉
次に、図６〜８を用いて、フレーム調節装置１ａによって実行されるズーム調節処理について説明する。
【００８５】
まず、特徴点検出部２は、入力画像に対し肌色以外の領域をマスキングし、肌色領域を抽出する（Ｓ１０）。この処理は、例えばＬａｂ空間法を用いて実行される。次に、判断部３は、抽出された肌色領域の数を数える。肌色領域の数が０である場合（Ｓ１１：＝０）、判断部３は撮像可能通知を出力し（Ｓ１７）、ズーム調節処理は終了する。
【００８６】
肌色領域の数が１である場合（Ｓ１１：＝１）、特徴点検出部２は、この肌色領域から特徴点を検出する（Ｓ１２）。次に、判断部３は、検出された特徴点の数を数える。検出された特徴点が１以下である場合（Ｓ１３：＜＝１）、判断部３は撮像可能通知を出力し（Ｓ１７）、ズーム調節処理は終了する。
【００８７】
検出された特徴点が２である場合（Ｓ１３：＝２）、判断部３は二つの特徴点の位置情報を取得する。次に、判断部３は、この二つの特徴点の位置情報を元に、抽出された肌色領域は人間の顔であるか否かを判断する。判断部３が肌色領域を顔であると判断した場合（Ｓ１４：Ｙｅｓ）、ズーム調節部４はズームの調節量を算出及び出力し（Ｓ１５）、ズーム調節処理は終了する。一方、判断部３が肌色領域を顔ではないと判断した場合（Ｓ１４：Ｎｏ）、判断部３は撮像可能通
知を出力し（Ｓ１７）、ズーム調節処理は終了する。
【００８８】
検出された特徴点が３点である場合（Ｓ１３：＝３）、判断部３は三つの特徴点の位置情報を元に、顔がフレームからはみ出ているか否かを判断する（Ｓ１６）。このとき、判断部３は、基準点から横と縦との規定距離内にフレームの境界が存在するか否かについて
判断する。
【００８９】
基準点から横及び縦の規定距離以内にフレームの境界が存在しない場合（Ｓ１６：Ｎｏ，図３（ａ），（ｃ））、判断部３は撮像可能通知を出力する（Ｓ１７）。一方、横又は縦の規定距離以内にフレームの境界が存在する場合（Ｓ１６：Ｙｅｓ，図３（ｂ），（ｄ））、ズーム調節部４はズームの調節量を算出し出力する（Ｓ１５）。そして、いずれの場合もズーム調節処理は終了する。
【００９０】
Ｓ１１における分岐処理の説明に戻る。抽出された肌色領域の数が１より多い場合（Ｓ１１：＞１）、Ｓ２０以降の処理が実行される。
【００９１】
次に、Ｓ２０以降の処理について、図７，８を用いて説明する。判断部３は、フレームの境界部分に位置する肌色領域の数を数える。フレームの境界部分に位置する肌色慮域とは、フレームの境界とフレームの境界から所定の画素数分内側までとの間の領域に、その一部又は全部が含まれる肌色領域である。所定の画素数は、１であっても良いしそれ以上であっても良く、設計者によって自由に設定されて良い。
【００９２】
フレームの境界部分に位置する肌色領域の数が０である場合（Ｓ２０：＝０）、判断部３は撮像可能通知を出力し（Ｓ２３）、ズーム調節処理は終了する。
【００９３】
一方、フレームの境界部分に位置する肌色領域の数が０より多い場合（Ｓ２０：＞０）、特徴点検出部２は、フレームの境界部分に位置する全ての肌色領域について特徴点の検出を実行する（Ｓ２１）。そして、判断部３は、フレームの境界部分に位置する肌色領域のうち、特徴点が２点以上検出された肌色領域の数を数える（Ｓ２２）。図９は、フレームの境界部分に位置する肌色領域が１以上である場合の入力画像のパターンを示す図である。図９を用いて、Ｓ２２の処理の内容について説明する。
【００９４】
Ｓ２２の処理において処理対象となる画像には、一つの顔の肌色領域のみがはみ出ている画像（図９（ａ））、一つの顔と顔以外の（非顔の）肌色領域がはみ出ている画像（図９（ｂ））、複数の顔の肌色領域はみ出ている画像（図９（ｃ））、及び非顔の肌色領域のみがはみ出ている画像（図９（ｄ））の、四つのパターンがある。Ｓ２２以降の処理では、（ａ）の場合、（ｂ）又は（ｃ）の場合、（ｄ）の場合の三つの場合に分けて処理を行う。これらの分類は、フレームの境界部分に位置する肌色領域であって特徴点が２点以上検出された肌色領域の数によって行う。
【００９５】
特徴点が２点以上検出された肌色領域の数が０である場合（Ｓ２２：＝０，図９（ｄ）に相当）、判断部３は撮像可能通知を出力し（Ｓ２３）、ズーム調節処理は終了する。
【００９６】
特徴点が２点以上検出された肌色領域の数が１である場合（Ｓ２２：＝１，図９（ａ）又は（ｂ）に相当）、フレーム調節装置１ａは、Ｓ１２以降の処理（図４参照）を実行する。
【００９７】
特徴点が２点以上検出された肌色領域の数が複数である場合（Ｓ２２：＞＝２，図９（ｃ）に相当）、フレーム調節装置１ａは、Ｓ３０以降の処理（図８参照）を実行する。
【００９８】
次に、図８を用いてＳ３０以降の処理について説明する。判断部３は、フレームの境界部分に位置する肌色領域であって２点以上の特徴点が検出された肌色領域の中で最大の肌色領域を抽出する（Ｓ３０）。
【００９９】
次に、判断部３は、抽出された肌色領域において検出された特徴点の数を数える。検出
された特徴点の数が二つである場合（Ｓ３１：＝２）、判断部３は２点の位置情報を取得し、この位置情報を元にこの肌色領域が顔であるか否かを判断する。この肌色領域が顔である場合（Ｓ３２：Ｙｅｓ）、ズーム調節部４は、この肌色領域の特徴点位置に基づいてズーム調節量の算出及び出力を実行し（Ｓ３６）、ズーム調節処理は終了する。
【０１００】
一方、この肌色領域が顔でない場合（Ｓ３２：Ｎｏ）、判断部３は、フレームの境界部分に位置する肌色領域であって、特徴点が２点以上検出された肌色領域全てについてＳ３１以降の処理が終了したか否かについて判断する。処理が終了していない場合（Ｓ３３：Ｎｏ）、判断部３は、処理が実行されていない他の上記肌色領域を抽出し（Ｓ３４）、抽出された肌色領域を処理対象としてＳ３１以降の処理を実行する。このとき、判断部３は、前回処理した肌色領域の次に大き
い肌色領域を抽出するように構成されても良い。
【０１０１】
一方、全ての上記肌色領域に対して処理が終了している場合（Ｓ３３：Ｙｅｓ）、判断部３は撮像可能通知を出力し（Ｓ３５）、ズーム調節処理は終了する。
【０１０２】
Ｓ３１における分岐処理の説明に戻る。検出された特徴点の数が三つである場合（Ｓ３１：＝３）、ズーム調節部４は、この肌色領域の特徴点位置に基づいてズーム調節量の算出及び出力を実行し（Ｓ３６）、ズーム調節処理は終了する。
【０１０３】
〔〔作用／効果〕〕
フレーム調節装置１ａを備えた撮像装置５ａでは、最終的に撮像する対象となるフレームを決定する際に、フレーム調節装置１ａによってズーム調節の要否が判断される。このとき、フレーム調節装置１ａは、フレームからはみ出している顔がある場合にはズーム調節が必要であると判断し、そのような顔が無い場合にはズーム調節は不要であると判断する。ズーム調節が必要である場合には、さらにフレーム調節装置１ａは適当なズームの調節量を求める。このとき、フレーム調節装置１ａは、フレームからはみ出ている顔がフレーム内に収まるようにズームの調節量を求める。そして、ズーム制御部９ａが、フレーム調節装置１ａにより求められたズームの調節量に基づいてズームを制御する。
【０１０４】
このため、撮像装置５ａによれば、ユーザが決定したフレーム位置においてフレームから被写体の人物の顔がはみ出ていたとしても、自動的にはみ出た顔がフレーム内に収まるようにズームが制御される。従って、被写体の顔がフレームからはみ出たまま撮像されることが防止される。
【０１０５】
また、フレーム調節装置１ａでは、顔の部位のパターンマッチング等に比べて計算量の少ない肌色領域の抽出処理を最初に実行し、肌色領域の数が０である場合には撮像可能通知を出力する。このため、被写体として人物が全く写っていない場合、即ち肌色領域の数が０である場合には、即座に撮像可能通知が出力され、無駄な処理を行うことなく高速に撮像を実施することが可能となる。
【０１０６】
また、フレーム調節装置１ａでは、特徴点の数や位置などに応じて、フレーム内に収めるべき被写体が判断基準に基づいて自動的に判断される。このため、フレーム内に収めるべき被写体をユーザ等が手動で指定する必要が無い。
【０１０７】
また、フレーム調節装置１ａでは、被写体の顔の有無を判断する際に、顔そのものを検出するのではなく、顔の一部（具体的には口と両目）について検出を行う。このため、一般的な顔認識では検出できないような、フレームからはみ出してしまっている顔（入力された画像に一部しか含まれない顔）についても検出することが可能となる。
【０１０８】
また、フレーム調節装置１ａでは、検出された特徴点の位置に応じて、はみ出している顔がフレーム内に収まるようにズームの調節量が自動的に算出される。このため、基本的には一度のズーム調節によってはみ出している顔がフレーム内に収まるように制御可能となる。従って、フレームからはみ出している任意の顔について、ズームの調節と顔がフレーム内に収まったか否かの確認とを繰り返す必要が無い。よって、実際に撮像されるまでの処理が高速に行われる。
【０１０９】
また、フレーム調節装置１ａでは、例えフレームから頭部や耳などがはみ出ているとしても、顔そのものははみ出ていないという判断に基づいてそのまま撮像が実行されるようにαやβの値を設定することも可能である。このため、αやβの値の設定者（例えば撮像装置５ａのユーザや設計者）の意志に基づいて、顔がフレーム内に含まれているか否かの判断基準を変更することが可能となる。例えば、撮像画素数の少ないカメラ付き携帯電話などでは、頭部全体をフレーム内に収めようとすると、顔の部分が小さくなってしまう。このため、このような場合には、主要部分である顔が大きく撮像されるように、頭部がフレームからはみ出ていたとしても顔ははみ出ていないと判断されるようにαやβの値を小さめに設定することは有効である。また、照明写真のように、頭部の端からフレームまで一定の間隔が必要となる場合は、αやβの値を大きめに設定することも有効である。
【０１１０】
ただし、フレームから頭部や耳がはみ出ている場合は、顔がはみ出ているという判断に基づいてズームの調節が実行されるようにαやβの値を設定することも当然可能である。
【０１１１】
〔〔変形例〕〕
フレーム制御装置１ａは、フレームからはみ出た顔が複数存在する場合、これらの顔全てについてズーム調節量を求め、そのうち最も大きい調節量を出力するように構成されても良い。このように構成されることにより、はみ出た顔の大きさによって優先順位をつけることなく、はみ出ていた全ての顔がフレーム内に収まるようにズームを制御することが可能となる。
【０１１２】
また、ズーム調節部４は、例えば肌色領域の縦方向の画素数のうち最大値に従って画角を広げるようにズームの調節量を求めても良い。この場合、この最大値をｍ１として処理が実行される。同様に、ズーム調節部４は、例えば肌色領域の横方向の画素数のうち最大値に従って画角を広げるようにズームの調節量を求めても良い。この場合、この最大値をｍ２として処理が実行される。
【０１１３】
また、フレーム制御装置１ａは、フレームからはみ出た顔が複数存在する場合、一定の大きさ以上の肌色領域を有するもの全てについてズーム調節量を求め、そのうち最も大きい調節量を出力するように構成されても良い。このように構成されることにより、一定の大きさ以上の肌色領域を有する顔全てがフレーム内に収まるようにズームを制御することが可能となる。
【０１１４】
また、判断部３は、一定の大きさよりも小さい肌色領域については、特徴点の数に関わらず処理を行わないと判断するように構成されても良い。このように構成されることにより、例えば撮像者が被写体として意識していなかった小さく写ってしまった他人の顔について、わざわざフレーム内に収めようとする処理が実行されることを防止することが可能となる。
【０１１５】
また、フレーム制御装置１ａは、Ｓ１３の処理において、検出した特徴点の数が１以下である場合には、撮像装置５ａを介してユーザに対し警告を発するように構成されても良い。この場合、撮像装置５ａは、ユーザに警告を発する警告部を備える必要がある。警告部の構成については、第四実施形態の欄で説明する。また、この場合、警告が発せられた
後は、処理はＳ０３まで戻るように構成されても良いし、Ｓ０１まで戻るように構成されても良い。
【０１１６】
また、フレーム制御装置１ａ及び撮像装置５ａはさらに、２点以上の特徴点が検出されるまで警告を発しつづけるように構成されても良い。このように構成されることにより、被写体の顔が大幅にフレームからはみ出ている場合であっても、警告を受けたユーザが撮像装置５ａを操作してフレーム内に２点以上の特徴点が検出されることによって、必ず顔をフレーム内に収めた画像が撮像される。このような構成は、例えば「自分撮りモード」として、必ず被写体に顔を含むことが確定している場合に適用されると効果的である。
【０１１７】
また、判断部３は、特徴点が２点検出された肌色領域について、この肌色領域が人の顔であるか否かを判断せず、無条件で人の顔であると判断するように構成されても良い。
【０１１８】
また、判断部３は、特徴点が３点検出された肌色領域についても、無条件に顔であると判断せずに、検出された３点の属性と位置関係によって顔であるか否かを判断するように構成されても良い。例えば、３点が全て同じ部位を示す特徴点である場合には顔でないと判断するように構成されても良い。また、例えば、３点が一つの略直線上に並んで位置する場合には顔でないと判断するように構成されても良い。このように構成される場合、Ｓ１３の処理（図６参照）で特徴点が３点であると判断された後、Ｓ１６の処理が実行される前に、肌色領域が顔であるか否かの判断が実施される。肌色領域が顔である場合は、Ｓ１６の処理が実行され、顔でない場合はＳ１７の処理が実行される。また、このように構成される場合、Ｓ３１の処理（図８参照）で特徴点が３点であると判断された後、Ｓ３６の処理が実行される前に、肌色領域が顔であるか否かの判断が実施される。肌色領域が顔である場合はＳ３６の処理が実行され、顔でない場合はＳ３３の処理が実行される。
【０１１９】
また、判断部３は、処理Ｓ１１（図６参照）において、抽出された肌色領域のうちフレームの境界部分に位置する肌色領域の数に基づいて分岐の判断を行うように構成されても良い。このように構成されると、肌色領域の数が複数である場合（Ｓ１１：＞１）、Ｓ２０の処理（図７参照）は省略され、Ｓ２１以降の処理が実行される。このように構成されることにより、画像中に１以上の肌色領域が存在したとしても、フレームからはみ出た顔が一つも無い場合、顔の部位のパタ
ーンマッチング（即ち特徴点の検出）等の処理を行うことなく、判断部３は撮像可能通知を出力する。このため、無駄な処理を行うことなく高速に撮像を実施することが可能となる。
【０１２０】
〔第二実施形態〕
〔〔システム構成〕〕
次に、撮像装置の第二実施形態である撮像装置５ｂについて、撮像装置５ａと異なる点について説明する。撮像装置５ｂは、ズーム制御部９ａの代わりにズーム制御部９ｂを備える点で撮像装置５ａと異なる。また、ズーム制御部９ｂは、ーム制御部９ａと変わらず、その処理フローが異なる。
【０１２１】
〔〔動作例〕〕
図１０は、撮像装置５ｂの処理を示すフローチャートである。以下、図１０を用いて、撮像装置５ｂの処理のうち撮像装置５ａと異なる処理について説明する。
【０１２２】
フレーム調節装置１ａがズーム調節処理を終了すると（Ｓ０４）、ズーム制御部９ｂは、フレーム調節装置１ａからの出力内容がズーム調節量であるか、撮像可能通知であるかについて判断する。ズーム調節量である場合（Ｓ０７：ズーム調節量）、ズーム制御部９ｂは、このズーム調節量に従ってズームの制御を実行する（Ｓ０５）。そして、撮像装置
５ｂは、Ｓ０３以降の処理を再び実行する。
【０１２３】
一方、フレーム調節装置１ａからの出力内容が撮像可能通知である場合（Ｓ０７：撮像可能通知）、ズーム制御部９ｂは、撮像可能通知を画像取得部８へ渡す。そして、画像取得部８は、撮像可能通知を受け取ると、レンズを通して取得される画像を記録媒体に記録する（Ｓ０６）。
【０１２４】
〔〔作用／効果〕〕
撮像装置５ｂによれば、フレーム調節装置１ａから出力されるズーム調節量に従ってズームの制御が実行されると、ズーム制御後の画像について、再度ズーム調節処理が実行される。このため、ズームの制御後の画像において新たにはみ出た顔が検出された場合、この顔についてもフレーム内に収められるようにズームの制御が再度実行される。従って、ユーザによるズーム調節（Ｓ０１）の時点でフレーム内に全く含まれていない顔についても、ズーム調節処理及びズーム制御
によってフレーム内に収めることが可能となる。
【０１２５】
〔第三実施形態〕
〔〔システム構成〕〕
次に、撮像装置の第三実施形態である撮像装置５ｃについて、撮像装置５ａと異なる点について説明する。図１１は、撮像装置５ｃの機能ブロックを示す図である。撮像装置５ｃは、フレーム調節装置１ａ及びズーム制御部９ａの代わりに、フレーム調節装置１ｃ及びフレーム制御部１１を備える点で、撮像装置５ａと異なる。
【０１２６】
フレーム調節装置１ｃは、ズーム調節部４の代わりにフレーム調節部１０を備える点でフレーム調節装置１ａと異なる。また、フレーム調節装置１ｃは、顔検出部１３を備える点でフレーム調節装置１ａと異なる。
【０１２７】
一般的なデジタル撮像装置では、実際に画像取得部によって取得される画像（有効画素による画像）は、フレーム内の画像（記録媒体に記録される画像）よりも広い範囲の画像を含む。このため、フレームからはみ出た顔をフレーム内に収めようとする場合、ズームを制御しなくとも可能な場合がある。即ち、有効画素による画像内に、フレームからはみ出た顔の画像全てが含まれる場合などは、フレームの位置を有効画素による画像内で移動させることにより、ズームの調節量を最小限に抑えて、フレーム内に顔を収めることが可能となる場合がある。このような根拠に基づき、フレーム調節装置１ｃは、フレームの移動及び／又はズームの調節によりフレーム内に顔を収めるように動作する。
【０１２８】
〈顔検出部〉
顔検出部１３は、顔検出プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部１３は、専用のチップとして構成されても良い。
【０１２９】
顔検出部１３は、入力された画像から人の顔を検出し、顔矩形座標をフレーム調節部１０に出力する。このとき、顔検出部１３には、有効画素による画像が入力される。顔矩形座標とは、入力された画像における顔矩形の位置や大きさを示すデータである。顔矩形とは、入力された画像において検出された人の顔を含む矩形である。
【０１３０】
顔検出部１３は、既存のどのような方法によって顔検出を実施しても良い。例えば、顔検出部１３は、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングを実施することにより顔矩形座標を取得しても良い。また、顔検出部１３は、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔矩形座標を取得しても良い。また、顔検出部１３は、クロマキー処理によって頭髪の頂点を検出し、この頂点
に基づいて顔矩形座標を取得しても良い。
【０１３１】
〈フレーム調節部〉
フレーム調節部１０は、フレーム調節プログラムがＣＰＵによって実行されることにより実現される。また、フレーム調節部１０は、専用のチップとして構成されても良い。
【０１３２】
フレーム調節部１０は、ズーム調節部４が実行する処理（即ちズーム調節量の算出）に加え、フレームの移動量の算出も行う。フレーム調節部１０は、フレームの移動量及び／又はズームの調節量を算出する。
【０１３３】
以下、フレーム調節部１０の具体的な処理について説明する。フレーム調節部１０は、フレームからはみ出た顔が、有効画素による画像内にその全体が含まれる場合に、フレームの移動によりこの顔をフレーム内に含めるように動作する。
【０１３４】
一方、フレームからはみ出た顔が有効画素による画像内にその全体が含まれない場合、フレーム調節部１０はズーム調節部４と同様の処理を実行してズーム（光学ズーム）の調節量を算出しても良い。ただし、このように構成されるためには、撮像装置１ｃが光学ズームを備える必要がある。また、同様の場合、フレーム調節部１０は、フレーム内に可能な限り顔の領域が入るようにフレームの移動量及び／又はズーム（デジタルズーム）の調節量を算出しても良い。
【０１３５】
フレーム調節部１０は、顔検出部１３に対し、フレームからはみ出た顔についての顔検出を依頼する。そして、顔が検出された場合、即ち顔矩形座標が顔検出部１３によって出力された場合、フレーム調節部１０は、この顔矩形座標に基づいてフレームの移動量を算出する。具体的には、フレーム調節部１０は、検出された顔矩形がフレーム内に収まるようにフレームの移動量を算出する。ことのき、フレームの移動のみによっては検出された顔矩形がフレーム内に収まらない場
合、フレーム調節部１０は、デジタルズームによるズームの調節量も併せて算出する。
【０１３６】
〈フレーム制御部〉
フレーム制御部１１は、プログラムがＣＰＵによって実行されることにより実現される。また、フレーム制御部１１は、専用のチップとして構成されても良い。
【０１３７】
フレーム制御部１１は、フレーム調節部１０によって出力される、即ちフレーム調節装置１ｃによって出力されるフレームの移動量及び／又はズームの調節量に従って、フレームの位置及び／又はズームの調節量を制御する。
【０１３８】
〔〔動作例〕〕
図１２は、撮像装置５ｃの処理を示すフローチャートである。以下、図１２を用いて、撮像装置５ｃの処理のうち撮像装置５ａと異なる処理について説明する。
【０１３９】
Ｓ０３の処理において画像が取得されると、フレーム調節装置１ｃはこの画像に対しフレーム調節処理を実行する（Ｓ０８）。
【０１４０】
フレーム調節処理は、Ｓ１５（図６参照）及びＳ３６（図８参照）の処理のみがズーム調節処理と異なる。フレーム調節処理では、Ｓ１５及びＳ３６の処理において、フレーム調節部１０がフレームの移動量及び／又はズームの調節量を算出し出力する。このとき、この処理において顔検出部１３は顔の検出を実行する。フレーム調節処理における他の処理は、ズーム調節処理と同じである。
【０１４１】
このようにしてフレーム調節処理が実行されると（Ｓ０８）、フレーム制御部１１は、フレーム調節装置１ｃから出力されるフレームの移動量及び／又はズームの調節量に基づいてフレームの位置やズームを制御する（Ｓ０９）。そして、画像取得部８は、レンズを通して取得される画像を記録媒体に記録する（Ｓ０６）。
【０１４２】
〔〔作用／効果〕〕
撮像装置５ｃによれば、ズームの制御、即ち画角の調節のみではなく、さらにフレーム位置の調節によって、フレームからはみ出ている顔をフレーム内に収める操作が実現される。従って、例えばフレーム位置の制御をズームの制御よりも優先的に行うように構成することにより、ズームを制御することなくフレーム位置の制御のみによって、フレームからはみ出ている顔をフレーム内に収めることが可能となる。
【０１４３】
このような場合、例えば、フレームの移動のみによってフレーム内に顔を収めることが可能であると判断された場合は、ズームの調節量を算出せずに、フレームの移動量のみを算出するように構成される。フレームからはみ出ている顔をフレーム内に収めるためにズームが調節されると、画角が広げられるため、取得される画像における被写体の顔は小さくなる。一方、フレームの位置が調節されたとしても、取得される画像における被写体の顔は小さくならない。このような理由により、よりユーザの意図した画像（ユーザによるズーム調節（Ｓ０１）の状態で撮像される画像に近い画像）を取得するために、ズームの調節よりもフレーム位置の調節が優先されるように構成されることは効果的である。
【０１４４】
〔〔変形例〕〕
フレーム調節部１０は、デジタルズームの調節について考慮することなく、フレームの移動量のみを出力するように構成されても良い。このように構成されると、フレームからはみ出ている顔をフレーム内に収めることができない場合があるが、撮像装置５ｃがデジタルズーム機能を備えていない場合などに有効である。このような場合、例えばフレームからはみ出てしまう肌色領域の面積を最小にとどめるようにフレームの移動量が算出されるように構成されても良い。
【０１４５】
また、撮像装置５ｃは、撮像装置５ｂのように、フレーム制御（Ｓ０９）の処理の後に、画像の取得（Ｓ０３）及びフレーム調節処理（Ｓ０８）を実行するように構成されても良い。
【０１４６】
また、フレーム調節装置１ｃは、撮像装置５ｃのみならず他の装置に備えられても良い。例えば、写真の現像・焼き付けを自動的に行うミニラボ機（写真処理現像機）またはプリンタなどの印刷装置に適用されても良い。具体的には、ミニラボ機において、フィルムの画像またはメモリーカード等から入力された画像から実際にプリントする範囲を決定する際に、フレーム調節装置１ｃによってこの範囲が決定されるように構成されても良い。また、例えばプリンタ等の出力装置によって入力画像が印刷される場合に、入力された画像から実際に出力する範囲を決定する際に、フレーム調節装置１ｃによってこの範囲が決定されるように構成されても良い。
【０１４７】
〔第四実施形態〕
〔〔システム構成〕〕
次に、撮像装置の第四実施形態である撮像装置５ｄについて、撮像装置５ａと異なる点について説明する。図１３は、撮像装置５ｄの機能ブロックを示す図である。撮像装置５ｄは、ズーム制御部９ａの代わりに警告部１２を備える点で撮像装置５ａと異なる。
【０１４８】
〈警告部〉
警告部１２は、表示装置やスピーカや照明装置などを用いて構成される。警告部１２は
、フレーム調節装置１ａからズーム調節量が出力されると、ユーザに対して警告を行う。例えば、警告部１２は、警告文や警告を示す画像などを表示装置によって表示することにより警告を行う。また、例えば、警告部１２は、スピーカから警告音などを発することにより警告を行う。また、例えば、警告部１２は、照明装置を点灯及び／又は点滅させることにより警告を行う。
【０１４９】
〔〔動作例〕〕
図１４は、撮像装置５ｄの処理を示すフローチャートである。以下、図１４を用いて、撮像装置５ｄの処理のうち撮像装置５ａと異なる処理について説明する。
【０１５０】
フレーム調節装置１ａがズーム調節処理を終了すると（Ｓ０４）、警告部１２は、フレーム調節装置１ａからの出力内容がズーム調節量であるか、撮像可能通知であるかについて判断する。ズーム調節量である場合（Ｓ４０：ズーム調節量）、警告部１２は、ユーザに対して警告を行う（Ｓ４１）。そして、撮像装置５ｄの処理は、Ｓ０１へ戻る。
【０１５１】
一方、フレーム調節装置１ａからの出力内容が撮像可能通知である場合（Ｓ４０：撮像可能通知）、警告部１２は、撮像可能通知を画像取得部８へ渡す。そして、画像取得部８は、撮像可能通知を受け取ると、レンズを通して取得される画像を記録媒体に記録する（Ｓ０６）。
【０１５２】
〔〔作用／効果〕〕
撮像装置５ｄによれば、フレーム調節装置１ａによってズームの調節が必要であると判断された場合、警告部１２はユーザに対して警告を実行する。ユーザによってフレーム位置やズームが調節されることにより、フレームからはみ出ている顔が無くなると、フレーム調節装置１ａは撮像可能通知を出力する。そして、フレーム調節装置１ａから撮像可能通知が出力されると、警告部１２は警告を行わなくなり、画像取得部８が画像を記録する。
【０１５３】
このように構成されることにより、自動でズームを制御するための機構を撮像装置５ｄに搭載する必要が無くなる。このため、撮像装置５ｄのコストを抑えることや小型化や省電力化などを図ることが可能となる。
【０１５４】
〔〔変形例〕〕
撮像装置５ｄは、フレーム調節装置１ａの代わりにフレーム調節装置１ｃを備えるように構成されても良い。この場合、警告部１２は、フレームの移動量及び／又はズーム調節量が出力された場合に警告を発するように構成される。また、このような構成において、撮像装置５ｄはさらにフレーム制御部１１を備え、警告部１２は、ズーム調節量が出力された場合にのみ警告を発するように構成されても良い。このような構成は、撮像装置５ｄがズーム機能を備えていない場合に有効である。
【０１５５】
また、フレーム調節装置１ａのズーム調節部４は、Ｓ１５（図６参照）及びＳ３６（図８参照）の処理において、ズーム調節量を算出することなく、警告部１２に警告を実行させるための値をズーム調節量（又は警告通知）として出力するように構成されても良い。
【０１５６】
〔第五実施形態〕
〔〔システム構成〕〕
撮像装置の第五の実施形態についてのシステム構成は、上記第一実施形態から第四実施形態で示した各システム構成と同様である。第五の実施形態で説明する撮像装置は動画撮影できるビデオカメラとして機能する。
【０１５７】
〔〔動作例〕〕
図１５は撮像装置５における処理を示すフローチャートである。以下図１５を用いて、撮像装置５の動画撮影の処理について説明する。
【０１５８】
まず、ユーザによって録画が開始される（Ｓ５０）。画像取得部８は画像を取得し（Ｓ５１）画像記録媒体（非表示）に記録する（Ｓ５２）。次に、フレーム調節装置１はその時点で取得した画像からズーム調節処理（Ｓ５３）を行い、続いて必要に応じてズーム制御（Ｓ５４）を行う。最後に録画終了の判断（Ｓ５５）を行い、録画終了でなければ（Ｓ５５：Ｎｏ）画像取得に戻る。このループを回ることにより、ズーム制御をしながら画像が連続的に動画として記録される。録画終了であれば（Ｓ５５：Ｙｅｓ）動画撮影は終了する。
【図面の簡単な説明】
【０１５９】
【図１】撮像装置５ａ，５ｂの機能ブロックの例を示す図である。
【図２】二つの特徴点が検出される場合の画像の例を示す図である。
【図３】三つの特徴点が検出された場合にフレームから顔がはみ出ているか否かを判断する際の判断基準を示す図である。
【図４】二つの特徴点が検出された場合のズームの調節量を示す図である。
【図５】撮像装置５ａの処理の流れの例を示すフローチャートである。
【図６】フレーム調節装置１ａの処理の流れの例を示すフローチャートである。
【図７】フレーム調節装置１ａの処理の流れの例を示すフローチャートである。
【図８】フレーム調節装置１ａの処理の流れの例を示すフローチャートである。
【図９】フレームの境界部分に位置する肌色領域が複数ある場合の画像例を示す図である。
【図１０】撮像装置５ｂの処理の流れの例を示すフローチャートである。
【図１１】撮像装置５ｃの機能ブロックの例を示す図である。
【図１２】撮像装置５ｃの処理の流れの例を示すフローチャートである。
【図１３】撮像装置５ｄの機能ブロックの例を示す図である。
【図１４】撮像装置５ｄの処理の流れの例を示すフローチャートである。
【図１５】撮像装置５が動画撮影をするときの処理の流れの例を示すフローチャートである。
【符号の説明】
【０１６０】
１ａ，１ｃ      フレーム調節装置
２              特徴点検出部
３              判断部
４              ズーム調節部
５ａ，５ｂ，５ｃ，５ｄ            撮像装置
６              入力部
７              画像表示部
８              画像取得部
９ａ，９ｂ      ズーム制御部
１０            フレーム調節部
１１            フレーム制御部
１２            警告部
１３            顔検出部
【図１】
2005065265.tif 000004
【図２】
2005065265.tif 000005
【図３】
2005065265.tif 000006
【図４】
2005065265.tif 000007
【図５】
2005065265.tif 000008
【図６】
2005065265.tif 000009
【図７】
2005065265.tif 000010
【図８】
2005065265.tif 000011
【図９】
2005065265.tif 000012
【図１０】
2005065265.tif 000013
【図１１】
2005065265.tif 000014
【図１２】
2005065265.tif 000015
【図１３】
2005065265.tif 000016
【図１４】
2005065265.tif 000017
【図１５】
2005065265.tif 000018