(57)【要約】【課題】特定人物の顔の特徴のみでは識別が困難な状況であっても、優先すべき特定人物をより高い確度で識別して自動的に焦点を合わせることに可能にする。【解決手段】撮影部５３で得られた被写体の画像データから、顔領域検出部５６は人物の顔の領域を抽出し、顔周辺領域検出部５７は顔以外の領域を抽出する。特定人物情報記録部５８は特定人物の顔の特徴情報（顔情報）と顔以外の衣服等の色や形の特徴情報（付加情報）とを予め記録する。第２対象物識別部６０は、第１対象物識別部５９によって顔情報により特定人物の識別ができない場合に、付加情報を用いて登録された特定人物に関する特徴情報が被写体に含まれるかを判定し、含まれる場合は該当する人物の顔領域をフォーカス対象物とする。ＡＦ制御部５５は識別されたフォーカス対象物に焦点が合うようにＡＦ制御を行う。【選択図】図１
2010014783.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影部と、
前記撮影部により得られた被写体の画像データから、人物の顔の領域における第１の画像情報と、前記顔の周辺領域における第２の画像情報とを検出する特定領域検出部と、
特定人物の顔に関する特徴情報を含む顔情報と、この特定人物の顔以外に関する特徴情報を含む付加情報とを記録する特定人物情報記録部と、
前記特定領域検出部で検出された顔領域の第１の画像情報と前記特定人物情報記録部に記録された顔情報とを比較し、前記第１の画像情報と前記顔情報とが一致する場合に、この顔領域をフォーカス対象物として識別する第１の対象物識別部と、
前記検出された顔領域の第１の画像情報と前記記録された顔情報とが一致しない場合に、前記特定領域検出部で検出された顔の周辺領域の第２の画像情報と前記特定人物情報記録部に記録された付加情報とを比較し、前記第２の画像情報に前記付加情報が含まれる場合に、この周辺領域に対応する顔領域をフォーカス対象物として識別する第２の対象物識別部と、
前記第１の対象物識別部または前記第２の対象物識別部で識別されたフォーカス対象物の位置に前記撮影部の焦点を合わせる焦点調整部と、
を備える撮影装置。
【請求項２】
被写体を撮影する撮影部と、
前記撮影部により得られた被写体の画像データから、人物の顔の領域における第１の画像情報と、前記顔の周辺領域における第２の画像情報とを検出する特定領域検出部と、
特定人物の顔に関する特徴情報を含む顔情報と、この特定人物の衣服に関する特徴情報を含む付加情報とを記録する特定人物情報記録部と、
前記特定領域検出部で検出された顔領域の第１の画像情報と前記特定人物情報記録部に記録された顔情報とを比較し、前記第１の画像情報と前記顔情報とが一致する場合に、この顔領域をフォーカス対象物として識別する第１の対象物識別部と、
前記検出された顔領域の第１の画像情報と前記記録された顔情報とが一致しない場合に、前記特定領域検出部で検出された顔の周辺領域の第２の画像情報と前記特定人物情報記録部に記録された付加情報とを比較し、前記第２の画像情報に前記衣服に関する付加情報が含まれる場合に、この周辺領域に対応する顔領域をフォーカス対象物として識別する第２の対象物識別部と、
前記第１の対象物識別部または前記第２の対象物識別部で識別されたフォーカス対象物の位置に前記撮影部の焦点を合わせる焦点調整部と、
を備える撮影装置。
【請求項３】
請求項１または２に記載の撮影装置であって、
前記特定人物情報記録部は、前記顔情報として輝度情報を含む特徴情報を記録し、前記付加情報として色差情報を含む特徴情報を記録するものであり、
前記第１の対象物識別部は、前記第１の画像情報における輝度情報を用いて前記顔情報との比較を行い、
前記第２の対象物識別部は、前記第２の画像情報における色差情報を用いて前記付加情報との比較を行う撮影装置。
【請求項４】
請求項１または２に記載の撮影装置であって、
前記第１の対象物識別部は、前記第１の画像情報と前記顔情報との一致の確からしさを示す尤度を算出し、この尤度と、第１の閾値及びこの第１の閾値より小さい第２の閾値とを比較して、前記尤度が前記第１の閾値以上の場合に一致を判定し、
前記第２の対象物識別部は、前記第１の対象物識別部において前記尤度が前記第１の閾値と前記第２の閾値の間である場合にのみ、前記第２の画像情報と前記付加情報とを比較して特定人物の顔領域を識別する撮影装置。
【請求項５】
請求項１または２に記載の撮影装置であって、
前記第２の対象物識別部は、前記第２の画像情報として、前記特定領域検出部で検出された顔領域に対して下方に位置する周辺領域の色情報を用いて、前記付加情報と比較して特定人物の顔周辺領域を識別する撮影装置。
【請求項６】
請求項１または２に記載の撮影装置であって、
前記特定人物情報記録部は、前記付加情報として特定人物の顔、上半身、下半身に関する色情報を記録するものであり、
前記第２の対象物識別部は、前記第２の画像情報として、前記特定領域検出部で検出された顔領域と、この顔領域に近接する上半身に相当する領域と、この上半身に近接する下半身に相当する領域とにおける色情報を用いて、前記第２の画像情報と前記付加情報の色の配置を比較して特定人物の顔周辺領域を識別する撮影装置。
【請求項７】
請求項１または２に記載の撮影装置であって、
前記特定人物情報記録部は、前記付加情報として色差情報と輝度情報を含む複数の特徴情報を記録するものであり、
前記第２の対象物識別部は、前記第２の画像情報における色差情報を用いた第１の付加情報との比較、及び前記第２の画像情報における輝度情報を用いた第２の付加情報との比較を行い、特定人物の顔周辺領域を識別する撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルスチルカメラやカメラ機能を搭載した携帯端末などの撮影装置に関し、特に撮影時の焦点合わせのための技術に関する。
【背景技術】
【０００２】
例えばデジタルスチルカメラのような撮影装置を用いて写真等を撮影する場合には、撮影対象の被写体の像の中で特に注目すべき対象物（例えば人物）を鮮明に撮影できるように、前記対象物の箇所に対して光学系の焦点を合わせるのが一般的である。また、自動焦点調節機構（ＡＦ）を搭載した撮影装置においては、撮影範囲内の特定箇所（例えば撮影範囲の中央部）に対して焦点を合わせるように光学系の焦点距離を自動的に調節するのが一般的である。また最近では、被写体画像中に存在する人物の顔を認識し、顔領域に対して自動的に焦点を合わせる技術なども広く用いられている。
【０００３】
ところで、例えば同時に複数の人物を撮影する際に、同じ被写体の中に存在する複数の人物の中で特定人物だけに優先的に焦点を合わせたいような場合がある。例えば、複数の人物の中に、自分の家族や友人などの特定人物が含まれているような場合である。しかし、このような特定人物が撮影範囲の中央位置に存在するとは限らないので、特定人物に対して自動的に焦点を合わせることは困難である。
【０００４】
このような場合に便利な機能を提供するための技術が、例えば特許文献１に開示されている。特許文献１の技術では、撮影範囲に含まれる人物の顔を画像処理により自動的に認識し、認識した顔の箇所に対して自動的に焦点を合わせる。更に、特定の顔の画像情報を予め登録しておいて、撮影対象の画像に含まれる顔が登録されている顔と一致したら、その顔に対して自動的に焦点を合わせるようにする。なお、顔の照合には画像データに含まれる輝度情報を利用している。
【０００５】
また、例えば特許文献２においては、焦点位置を自動的に調整した後で、画像中のどの位置が合焦しているかを確認するための技術が開示されている。特許文献３においては、人物を撮影した場合に、画像に含まれる顔を認識して、顔が画面の中心に配置されるよう位置調整し拡大表示する技術が開示されている。特許文献４においては、撮影直後に、画面内の予め選択されたピント位置を自動的に拡大表示する技術が開示されている。
【特許文献１】特開２００２−３３３６５２号公報
【特許文献２】特許第３９５６８６１号公報
【特許文献３】特開２００５−３１８５１５号公報
【特許文献４】特開２００４−６４２５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１の技術を採用すれば、複数の人物が含まれる被写体を撮影する場合に、複数の人物中に家族や友人など予め登録した特定人物が含まれている場合には、特定人物が撮影範囲の中央に位置していなくても、特定人物の顔に対して自動的に焦点を合わせることが可能である。
【０００７】
しかしながら、被写体画像中のある人物の顔が特定人物の顔と一致するかどうか正確に照合するのは難しく、顔の特徴のみでは複数の人物の中で特定人物を認識できない状況が発生する可能性も高い。例えば、顔の特徴を示す輝度情報のみで特定人物かどうかを識別する場合、特定人物が横の方向を向いているような状態では、特定人物の顔が撮影方向に対して６０度以上傾いていると顔の識別が極めて困難になる。
【０００８】
このように、特定人物が横を向いているなどして顔を正しく認識できない場合は、その特定人物に対して焦点を合わせることができないという課題がある。この場合、特定人物を十分認識可能になってから撮影を行おうとすると、撮影までに時間がかかり、シャッターチャンスを逃してしまうこともある。
【０００９】
本発明は、上記事情に鑑みてなされたもので、特定人物の顔の特徴のみでは識別が困難な状況であっても、特定人物をより高い確度で識別して自動的に焦点を合わせることが可能な撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、被写体を撮影する撮影部と、前記撮影部により得られた被写体の画像データから、人物の顔の領域における第１の画像情報と、前記顔の周辺領域における第２の画像情報とを検出する特定領域検出部と、特定人物の顔に関する特徴情報を含む顔情報と、この特定人物の顔以外に関する特徴情報を含む付加情報とを記録する特定人物情報記録部と、前記特定領域検出部で検出された顔領域の第１の画像情報と前記特定人物情報記録部に記録された顔情報とを比較し、前記第１の画像情報と前記顔情報とが一致する場合に、この顔領域をフォーカス対象物として識別する第１の対象物識別部と、前記検出された顔領域の第１の画像情報と前記記録された顔情報とが一致しない場合に、前記特定領域検出部で検出された顔の周辺領域の第２の画像情報と前記特定人物情報記録部に記録された付加情報とを比較し、前記第２の画像情報に前記付加情報が含まれる場合に、この周辺領域に対応する顔領域をフォーカス対象物として識別する第２の対象物識別部と、前記第１の対象物識別部または前記第２の対象物識別部で識別されたフォーカス対象物の位置に前記撮影部の焦点を合わせる焦点調整部と、を備える撮影装置を提供する。
上記構成により、特定人物の顔の特徴のみでは識別が困難な状況であっても、顔以外の付加情報を用いることによって、特定人物をより高い確度で識別することが可能となる。このため、対象の特定人物に対してより確実にすばやく自動的に焦点を合わせることができるようになる。顔以外に関する特徴情報としては、例えば、特定人物が身に着けている衣服、めがねやアクセサリー、特定人物が所持しているバッグなどに関する情報を用いることが想定される。
【００１１】
本発明は、被写体を撮影する撮影部と、前記撮影部により得られた被写体の画像データから、人物の顔の領域における第１の画像情報と、前記顔の周辺領域における第２の画像情報とを検出する特定領域検出部と、特定人物の顔に関する特徴情報を含む顔情報と、この特定人物の衣服に関する特徴情報を含む付加情報とを記録する特定人物情報記録部と、前記特定領域検出部で検出された顔領域の第１の画像情報と前記特定人物情報記録部に記録された顔情報とを比較し、前記第１の画像情報と前記顔情報とが一致する場合に、この顔領域をフォーカス対象物として識別する第１の対象物識別部と、前記検出された顔領域の第１の画像情報と前記記録された顔情報とが一致しない場合に、前記特定領域検出部で検出された顔の周辺領域の第２の画像情報と前記特定人物情報記録部に記録された付加情報とを比較し、前記第２の画像情報に前記衣服に関する付加情報が含まれる場合に、この周辺領域に対応する顔領域をフォーカス対象物として識別する第２の対象物識別部と、前記第１の対象物識別部または前記第２の対象物識別部で識別されたフォーカス対象物の位置に前記撮影部の焦点を合わせる焦点調整部と、を備える撮影装置を提供する。
上記構成により、特定人物の顔の特徴のみでは識別が困難な状況であっても、衣服に関する特徴情報を含む付加情報を用いることによって、特定人物をより高い確度で識別することが可能となる。このため、対象の特定人物に対してより確実にすばやく自動的に焦点を合わせることができるようになる。
【００１２】
また、本発明は、上記の撮影装置であって、前記特定人物情報記録部は、前記顔情報として輝度情報を含む特徴情報を記録し、前記付加情報として色差情報を含む特徴情報を記録するものであり、前記第１の対象物識別部は、前記第１の画像情報における輝度情報を用いて前記顔情報との比較を行い、前記第２の対象物識別部は、前記第２の画像情報における色差情報を用いて前記付加情報との比較を行うものを含む。
上記構成により、特定人物の顔の特徴のみでは識別が困難な状況であっても、色差情報を用いることで、例えば衣服の色などの一致によって高い確度で特定人物か否かを識別することが可能になる。また、色を判定することによって容易に特定人物の識別が可能である。
【００１３】
また、本発明は、上記の撮影装置であって、前記第１の対象物識別部は、前記第１の画像情報と前記顔情報との一致の確からしさを示す尤度を算出し、この尤度と、第１の閾値及びこの第１の閾値より小さい第２の閾値とを比較して、前記尤度が前記第１の閾値以上の場合に一致を判定し、前記第２の対象物識別部は、前記第１の対象物識別部において前記尤度が前記第１の閾値と前記第２の閾値の間である場合にのみ、前記第２の画像情報と前記付加情報とを比較して特定人物の顔領域を識別するものを含む。
上記構成により、一致度を示す尤度を算出して判定することで、顔領域や周辺領域について特定人物に該当するか否かをより適切に判別することが可能になる。
【００１４】
また、本発明は、上記の撮影装置であって、前記第２の対象物識別部は、前記第２の画像情報として、前記特定領域検出部で検出された顔領域に対して下方に位置する周辺領域の色情報を用いて、前記付加情報と比較して特定人物の顔周辺領域を識別するものを含む。
上記構成により、顔領域の下方に位置する衣服などの色を比較することで、高い確度で特定人物の識別、検出が可能になる。
【００１５】
また、本発明は、上記の撮影装置であって、前記特定人物情報記録部は、前記付加情報として特定人物の顔、上半身、下半身に関する色情報を記録するものであり、前記第２の対象物識別部は、前記第２の画像情報として、前記特定領域検出部で検出された顔領域と、この顔領域に近接する上半身に相当する領域と、この上半身に近接する下半身に相当する領域とにおける色情報を用いて、前記第２の画像情報と前記付加情報の色の配置を比較して特定人物の顔周辺領域を識別するものを含む。
上記構成により、人物の顔、上半身、下半身の色及びその配置を比較して整合性を判定することで、顔以外の付加情報を用いて特定人物の識別、検出がより確実に行える。例えば、特定人物の上半身の衣服と似た衣服を身につけた人物が被写体の中に複数存在する場合であっても、上半身の衣服と下半身の衣服の組み合わせなども判定することによって、判定精度を高められる。
【００１６】
また、本発明は、上記の撮影装置であって、前記特定人物情報記録部は、前記付加情報として色差情報と輝度情報を含む複数の特徴情報を記録するものであり、前記第２の対象物識別部は、前記第２の画像情報における色差情報を用いた第１の付加情報との比較、及び前記第２の画像情報における輝度情報を用いた第２の付加情報との比較を行い、特定人物の顔周辺領域を識別するものを含む。
上記構成により、付加情報として色差情報に加えて輝度情報を用いて顔以外の衣服等の特徴を比較することで、特定人物の判定精度を高めることができる。例えば、特定人物の衣服と同じ色の衣服を身につけた人物が被写体の中に複数存在する場合であっても、衣服の形状、めがね等の身に着けている物の形状、かばん等の持ち物の形状などを合わせて判定することで、判定精度を高められる。
【発明の効果】
【００１７】
本発明によれば、特定人物の顔の特徴のみでは識別が困難な状況であっても、特定人物をより高い確度で識別して自動的に焦点を合わせることが可能な撮影装置を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下の実施形態では、撮影装置の一例として、携帯電話端末等の携帯電子機器に搭載されるカメラ機能部、あるいはデジタルスチルカメラに適用した構成例を示す。
【００１９】
図１は本発明の実施形態に係る撮影装置の概略構成を示すブロック図である。本実施形態の撮影装置は、光学系５２、撮影部５３、焦点調節機構５４、ＡＦ制御部５５、顔領域検出部５６、顔周辺領域検出部５７、特定人物情報記録部５８、第１対象物識別部５９、及び第２対象物識別部６０を備えて構成される。
【００２０】
光学系５２は、複数のレンズなどで構成されており、任意の被写体５１から入射する光を撮影部５３の撮像面に導いて結像する。光学系５２に連結されている焦点調節機構５４は、モータなどの駆動力によって光学系５２のレンズの位置を移動し、撮影部５３の撮像面に結像する光の焦点を調整する。撮影部５３は、被写体５１を撮影するもので、例えば二次元ＣＣＤイメージセンサのような撮像素子を備え、この表面の撮像面に入射した被写体像を二次元画像の電気信号に変換し画像データとして出力する。
【００２１】
ＡＦ（自動焦点調節）制御部５５は、撮影部５３から出力される画像データ、もしくはその他のセンサ（図示しない測距センサ等）から出力される信号に基づいて焦点調節機構５４を制御し、被写体５１上の特定の位置に対して正しく焦点が合うように光学系５２の焦点を自動的に調整するＡＦ制御を行う。ＡＦ制御部５５は、通常の動作モードでは、画面の中央などの予め定めた位置で焦点が合うようにＡＦ制御を行う。また、ＡＦ制御部５５は、人物に焦点を合わせる特別なモードでは、第１対象物識別部５９または第２対象物識別部６０から入力される信号に基づいて焦点を合わせるべきフォーカス対象物の位置を特定し、被写体５１上の優先すべきフォーカス対象物の位置で正しく焦点が合うようにＡＦ制御を行う。ここで、焦点調節機構５４、ＡＦ制御部５５が焦点調整部の機能を実現する。
【００２２】
顔領域検出部５６は、撮影部５３から出力される画像データに含まれる輝度信号について所定の画像処理を実施することにより、撮影前の被写体画像（被写体イメージ画像）における各人物の顔の領域を抽出し、抽出された顔の領域のデータを出力する。
【００２３】
顔周辺領域検出部５７は、撮影部５３から出力される画像データに含まれる輝度信号について所定の画像処理を実施することにより、撮影前の被写体画像（被写体イメージ画像）における各人物に属している顔以外の領域を抽出し、抽出された領域のデータを出力する。各人物に属している顔以外の領域としては、人物の上半身の領域、下半身の領域、所持している物品（例えばバッグ）の領域などがある。また、例えば人物がめがねをかけているような場合には、めがねの領域も顔以外の領域として抽出する。顔以外の領域のデータとしては、輝度情報だけでなく、色差情報なども用いる。ここで、顔領域検出部５６、顔周辺領域検出部５７が、被写体の画像データから人物の顔の領域における第１の画像情報と、顔の周辺領域における第２の画像情報とを検出する特定領域検出部の機能を実現する。
【００２４】
特定人物情報記録部５８は、不揮発性メモリを有し、ある時点で撮影部５３が撮影した画像の中から顔領域検出部５６及び顔周辺領域検出部５７が抽出した特定人物に関する情報や、予め登録された人物特定用の衣服や所持品等に関する特徴情報などを特定人物情報として記録して保存する。特定人物としては、例えばこの撮影装置のユーザ（所有者等）の家族や友人などを選択することが想定される。したがって、撮影画像から特定人物に関する情報を記録する場合、この撮影装置のユーザがボタンなどの入力操作により指定した人物を特定人物として選択すればよい。
【００２５】
特定人物情報記録部５８が記録する特定人物情報としては、特定人物の顔の領域の輝度信号の解析により得られた顔の特徴情報（例えば両目の間隔など、以下「顔情報」と称する）、特定人物の顔以外の領域の色差信号及び輝度信号の解析により得られた顔周辺の特徴情報（例えば衣服の色や形状など、以下「付加情報」と称する）、撮影日などが含まれている。更なる具体例については後で説明する。
【００２６】
第１対象物識別部５９は、撮影部５３により得られた被写体イメージ画像の画像データにおいて、顔領域検出部５６が抽出した人物の顔領域に関する特徴情報と、予め特定人物情報記録部５８に登録されている特定人物の顔領域に関する特徴情報とを比較することにより、両者が同一人物かどうかを判断する。そして、同一人物であると判断した場合には、顔領域検出部５６が抽出した該当する人物を特定人物と識別して、その顔領域をフォーカス対象物に決定し、このフォーカス対象物の領域に関する位置情報をＡＦ制御部５５に与える。
【００２７】
第２対象物識別部６０は、第１対象物識別部５９において、顔領域検出部５６が検出した人物を特定人物と識別できなかった場合に、次の処理を行う。すなわち、第２対象物識別部６０は、撮影部５３により得られた被写体イメージ画像の画像データにおいて、顔周辺領域検出部５７が抽出した人物の顔以外の領域に関する特徴情報と、予め特定人物情報記録部５８に登録されている特定人物の顔以外の領域に関する特徴情報とを比較することにより、両者が同一人物かどうかを判断する。そして、同一人物であると判断した場合には、顔周辺領域検出部５７が抽出した該当する人物を特定人物と識別して、その顔領域をフォーカス対象物に決定し、このフォーカス対象物の領域に関する位置情報をＡＦ制御部５５に与える。
【００２８】
つまり、本実施形態では、撮影部５３で撮影された被写体５１に含まれる人物が特定人物情報記録部５８に登録されている特定人物と一致するかどうかを、第１対象物識別部５９によって顔だけでは判断できない場合には、第２対象物識別部６０によって顔以外の領域の特徴情報（付加情報）を利用して判断を行う。この際、予め特定人物情報記録部５８に登録された特定人物が被写体５１の中に含まれている場合には、第１対象物識別部５９または第２対象物識別部６０の識別結果に基づき、ＡＦ制御部５５は、撮影部５３で得られた被写体イメージ画像の画像データにおいて、フォーカス対象物となる特定人物に該当する人物の顔の領域の位置を把握し、この領域（特定人物の顔）で焦点が合うように焦点調節機構５４を自動的に調整する。
【００２９】
図２は本実施形態の撮影装置の主要部の構成を示すブロック図である。本実施形態の撮影装置は、カメラデバイス１０、表示デバイス２０、アプリケーション部１００、ＡＦ制御部２００、優先判定部３００、輝度成分判定部３１０、色差成分判定部３２０、優先登録部４００、及び撮影制御部５００を備えて構成される。
【００３０】
なお、図１に示した各構成要素のうち、光学系５２、撮影部５３、焦点調節機構５４はカメラデバイス１０に含まれており、ＡＦ制御部５５はＡＦ制御部２００に対応する。また、顔領域検出部５６、顔周辺領域検出部５７、第１対象物識別部５９、第２対象物識別部６０は優先判定部３００に対応し、特定人物情報記録部５８は優先登録部４００に対応する。ここで、第１対象物識別部５９は優先判定部３００の輝度成分判定部３１０の機能を含み、第２対象物識別部６０は優先判定部３００の色差成分判定部３２０及び輝度成分判定部３１０の機能を含む。
【００３１】
カメラデバイス１０は、任意の被写体のイメージを撮影するためのデバイスであり、ＡＦ制御部２００からの指示によりフォーカス調整を行うとともに、撮影制御部５００からの指示で撮影を行う。カメラデバイス１０により得られた撮影前の被写体イメージ画像または撮影後の被写体画像の画像データは、撮影制御部５００を経由してアプリケーション部１００に引き渡される。カメラデバイス１０はカラー画像を撮影し、出力される画像データには輝度情報（Ｙ）と色差情報（Ｃｂ／Ｃｒ）とが含まれる。
【００３２】
表示デバイス２０は、例えば液晶表示パネルのように二次元の画像表示機能を有する装置であり、撮影制御部５００からの指示及び情報に基づき表示を行う。この際、カメラデバイス１０の撮影領域にある被写体イメージ画像の表示（プレビュー表示）や撮影した被写体画像の表示（ポストビュー表示）を行う。
【００３３】
アプリケーション部１００は、写真撮影を行う機能を制御するためのアプリケーションプログラム（カメラアプリケーション）である。このアプリケーションプログラムは、撮影装置に設けられる制御処理用のプロセッサによって実行される。このアプリケーション部１００でのカメラアプリケーションの実行により、カメラの各機能を実現しており、撮影前のＡＦ制御及びＡＥ（自動露出調節）制御、撮影処理、撮影後のデータ保存などの一連の処理の制御が実施される。
【００３４】
ＡＦ制御部２００は、アプリケーション部１００からの指示を受け、被写体の特定位置に対して自動的にカメラデバイス１０の光学系の焦点を合わせるためのＡＦ制御を行う。この際、どこにフォーカスを合わせるかの判定を優先判定部３００に確認する。優先判定部３００は、ＡＦ制御部２００からの要求を受け、フォーカス調整時に優先的にフォーカスを合わせる対象（人物）が存在するかどうかを判定する。
【００３５】
輝度成分判定部３１０は、撮影時に、フォーカスを合わせる際の優先箇所の有無判定を、輝度成分（顔領域の情報及び顔の周辺領域に関する付加情報）を基に行う。この際、輝度成分判定部３１０は、優先登録部４００に予め登録された特定人物の顔情報及び付加情報と撮影領域内の被写体イメージ画像との比較を行い、情報の一致度に基づき、フォーカス優先箇所の有無判定を行う。
【００３６】
色差成分判定部３２０は、撮影時に、フォーカスを合わせる際の優先箇所の有無判定を、色差成分（衣服などの色情報）を基に行う。この際、色差成分判定部３２０は、優先登録部４００に予め登録された特定人物の周辺領域の色情報と撮影領域内の被写体イメージ画像との比較を行い、情報の一致度に基づき、フォーカス優先箇所の有無判定を行う。すなわち、輝度成分判定部３１０が輝度成分の判定を行うのに対して、色差成分判定部３２０は同様の判定を色差成分によって行う。
【００３７】
優先登録部４００は、フォーカスを合わせる際に優先すべき特定人物についての特徴情報を登録するために、優先対象（人物の顔や衣服、など）の特徴情報の記録、保持を行う。この際、優先対象（人物及び衣服等）を撮影した画像データを元に、輝度成分及び色差成分を抽出して、輝度成分判定部３１０及び色差成分判定部３２０において用いる登録データとする。
【００３８】
撮影制御部５００は、カメラの撮影動作そのものを制御する構成要素である。すなわち、撮影制御部５００は、フォーカス調整や露出調整が完了した後、アプリケーション部１００からの撮影操作（シャッター押下）信号により、カメラデバイス１０がとらえている被写体画像の撮影動作の制御を行う。
【００３９】
次に、本実施形態の撮影装置の動作について説明する。図３は本実施形態の撮影装置における動作の概要を示すフローチャートである。
【００４０】
まず、アプリケーション部１００がユーザの撮影開始操作を入力し、カメラアプリケーションを起動して撮影処理を開始する（ステップＳ１１）。その後、ユーザがシャッターボタンの半押しなどによりＡＦ制御を指示する操作を行うと、アプリケーション部１００がこのＡＦ制御操作を入力し、ＡＦ制御部２００に対してＡＦ制御を実行する指示を行う（ステップＳ１２）。
【００４１】
ＡＦ制御部２００は、ＡＦ制御処理において、まずフォーカスを合わせる際の優先箇所の有無を判定する優先判定処理を実行する（ステップＳ１３）。この優先判定処理では、どの位置にフォーカスを合わせるかを決定するための優先条件として、顔領域や顔以外の領域の特徴情報が登録されているかを確認し、優先条件が登録されている場合には、登録情報と画像データとの一致の有無を判定する。この際、まず顔領域の特徴情報（顔情報：輝度成分）に関して、優先条件の登録を確認し、カメラデバイス１０により得られる被写体イメージ画像の画像データ中にその顔情報と合致する部分があるかどうかを判定する（ステップＳ１４）。顔情報の登録が無い場合、または画像データ中に合致部分が無い場合は、続いて、顔以外の領域の特徴情報（付加情報：色差成分、輝度成分）に関して、優先条件の登録を確認し、被写体イメージ画像の画像データ中にその付加情報と合致する部分があるかどうかを判定する（ステップＳ１５）。この優先判定処理については後で詳述する。
【００４２】
ここで、優先条件が登録されており、かつ、その登録された優先条件の特徴情報と撮影対象との比較において撮影対象と特徴情報とが合致した場合には、該当する位置をＡＦ優先位置としてフォーカス位置（フォーカス対象物）に決定し（ステップＳ１６）、ここに優先的にフォーカスを合わせるようにする。一方、優先条件が登録されていないか、または、登録されていてもその優先条件の特徴情報と撮影対象との比較において合致する点が無い場合には、例えば被写体イメージ画像の中央部などをＡＦ標準位置としてフォーカス位置に決定し（ステップＳ１７）、ここにフォーカスを合わせるようにする。
【００４３】
次に、ＡＦ制御部２００は、フォーカス位置として決定したＡＦ優先位置またはＡＦ標準位置に光学系のフォーカスを合わせるよう、カメラデバイス１０に指示を送り、該当するフォーカス位置でのフォーカス調整を行う（ステップＳ１８）。カメラデバイス１０は、ＡＦ制御部２００からの指示を受けて、フォーカス位置で合焦状態となるようレンズを光軸方向に駆動して光学系の焦点を調節する。
【００４４】
次に、ユーザがシャッターボタンの押し込みなどにより撮影実行を指示する操作を行うと、アプリケーション部１００がこの撮影操作を入力し、撮影制御部５００に対して撮影動作を実行する指示を行う（ステップＳ１９）。撮影制御部５００は、アプリケーション部１００から撮影実行の指示を受けると、カメラデバイス１０に対して、撮影を指示する。
【００４５】
そして、撮影制御部５００は、撮影処理の制御を行う（ステップＳ２０）。カメラデバイス１０は、撮影制御部５００の指示に従って撮影対象の被写体を撮影し、撮影により得られた被写体画像の画像データを撮影制御部５００に渡す。撮影制御部５００は、カメラデバイス１０から被写体画像の画像データを受け取った後、この画像データを撮影画像として表示デバイス２０に表示するための制御を行うと同時に、アプリケーション部１００に引き渡す。その後、アプリケーション部１００は、撮影後の処理として、撮影制御部５００から受け取った被写体画像の画像データを画像格納用のメモリに保存する（ステップＳ２１）。
【００４６】
図４は本実施形態の撮影装置における優先判定処理の動作の具体例を示すフローチャートである。ここでは、事前に優先登録部４００に特定人物の顔領域に関する顔情報（輝度情報）及び顔の周辺領域に関する付加情報（色差情報、輝度情報）が登録されている場合に、人物を撮影する際の処理手順を例示する。
【００４７】
人物を含む被写体をカメラデバイス１０で撮影する場合、まずステップＳ３１で優先判定部３００は被写体イメージ画像の中に顔が存在するかどうかを判定する。この際、撮影前の被写体の画像データの中から少なくとも一人の人物の顔を抽出できたかどうかを判定する。ステップＳ３１において被写体イメージ画像の中から顔を検出できない場合には、ステップＳ３２に進み、ＡＦ制御部２００は、予め定めたＡＦ標準位置、例えば被写体イメージ画像の中央部に相当する位置をフォーカス位置とし、この位置に対して焦点を合わせるようにカメラデバイス１０を制御する。
【００４８】
ステップＳ３１において被写体イメージ画像の中から顔を検出できた場合は、ステップＳ３３に進む。ステップＳ３３では、優先判定部３００の輝度成分判定部３１０は、検出された人物の顔情報と優先登録部４００に登録されている特定人物の顔情報とを輝度成分により比較し、一致するかどうかを判定する。
【００４９】
実際に顔情報を比較する際には、例えば顔の特徴である目の幅、口の幅、目と鼻の距離などの情報について、長さの相対的な比率が一致するかどうかを判定する。しかし、撮影の条件の違いなどの影響を受けるため、被写体中の人物と登録された特定人物とが同一人物であったとしても完全に一致するとは限らない。そこで、輝度成分判定部３１０は、一致の確からしさを表す尤度の数値を基に、比較結果を出力する。
【００５０】
図５は尤度の範囲と判定結果との対応関係を表す模式図である。図５において、（ａ）は一致／不一致のいずれかを判定する例を示し、（ｂ）は本実施形態における３つの判定結果を出力する例を示している。図５（ａ）のように、一致または不一致を１つの条件で判定する場合、尤度を０〜１００％の範囲の値で表すと、例えば７５％に判定基準を設定し、これより尤度が高い場合は一致、尤度が低い場合は不一致とする。しかし、判定基準に近い値で不一致となった場合、本当は一致している可能性も高い。
【００５１】
そこで、本実施形態では、図５（ｂ）のように、尤度が第１の閾値である閾値Ａ（例えば８０％）以上の場合には一致と判定し、尤度が第２の閾値である閾値Ｂ（例えば６０％）以下の場合には不一致であると判定する。また、尤度が閾値ＡとＢの間の範囲にある場合には、準一致（おおよそ一致）であるとみなし、他の付加条件によって再判定を行う。準一致の場合は、実際には一致である可能性もあるし、不一致である可能性もあるので、さらに付加情報を用いて特定人物であるかを判定することで、判定精度を高めるようにする。
【００５２】
よって、優先判定部３００は、ステップＳ３３における比較の結果、尤度が閾値Ａ以上で一致と判定した場合にはステップＳ３４に進み、尤度が閾値Ｂ以下で不一致と判定した場合にはステップＳ３８に進み、尤度が閾値ＡとＢの間にあり準一致と判定した場合にはステップＳ３５に進み、尤度が判定不可の場合にはステップＳ３９に進む。判定不可の場合としては、例えば顔である可能性が高いが、目が手で隠れているなどの理由で一致判定が困難な場合などが挙げられる。
【００５３】
ステップＳ３４では、優先判定部３００は、輝度成分判定部３１０または色差成分判定部３２０により一致を検出した人物、すなわち登録済みの特定人物の顔の領域をフォーカス対象物に決定し、ＡＦ制御部２００は、このフォーカス対象物に対応するフォーカス位置に焦点を合わせるようにカメラデバイス１０を制御する。
【００５４】
ステップＳ３５では、優先判定部３００は、優先登録部４００に付加情報として特定人物に関する顔以外の領域の特徴情報が登録されているか否かを判定する。ここで、付加情報が登録されている場合にはステップＳ３６に進み、登録されていない場合はステップＳ３８に進む。ここでは、付加情報として、第１の付加情報（例えば色差情報による衣服等の色情報）と第２の付加情報（例えば輝度情報による衣服等の形情報）とがある場合を想定する。
【００５５】
ステップＳ３６では、優先判定部３００の色差成分判定部３２０は、優先登録部４００に予め登録されている特定人物に関する第１の付加情報と、被写体イメージ画像から検出された人物の顔周辺の領域に関する特徴情報とを色差成分により比較し、一致するかどうかを判定する。この付加情報の比較においても、顔情報を比較する場合と同様に、尤度によって一致、準一致、不一致を判定する。ここで、一致と判定した場合はステップＳ３４に進み、準一致と判定した場合はステップＳ３７に進み、不一致または判定不可の場合はステップＳ３８に進む。
【００５６】
ステップＳ３７では、優先判定部３００の輝度成分判定部３１０は、優先登録部４００に予め登録されている特定人物に関する第２の付加情報と、被写体イメージ画像から検出された人物の顔周辺の領域に関する特徴情報とを輝度成分により比較し、一致するかどうかを判定する。ここで、一致と判定した場合はステップＳ３４に進み、不一致または判定不可の場合はステップＳ３８に進む。
【００５７】
ステップＳ３３で判定不可となり、被写体イメージ画像中の人物と特定人物との顔情報の一致判定ができない場合であっても、付加情報が登録されている場合には、ステップＳ３９でステップＳ３６と同様に、第１の付加情報との一致を判定する。すなわち、優先判定部３００の色差成分判定部３２０は、予め登録されている特定人物に関する第１の付加情報と、被写体イメージ画像から検出された人物の顔周辺の領域に関する特徴情報とを色差成分により比較し、一致するかどうかを判定する。ここで、一致と判定した場合はステップＳ４０に進み、不一致または判定不可の場合はステップＳ３８に進む。
【００５８】
ステップＳ４０では、優先判定部３００の輝度成分判定部３１０は、予め登録されている特定人物に関する第２の付加情報と、被写体イメージ画像から検出された人物の顔周辺の領域に関する特徴情報とを輝度成分により比較し、一致するかどうかを判定する。ここで、一致と判定した場合はステップＳ４１に進み、不一致または判定不可の場合はステップＳ３８に進む。
【００５９】
ステップＳ４１ではステップＳ３４と同様に、優先判定部３００は、輝度成分判定部３１０または色差成分判定部３２０により一致を検出した人物、すなわち登録済みの特定人物の顔の領域をフォーカス対象物に決定し、ＡＦ制御部２００は、このフォーカス対象物に対応するフォーカス位置に焦点を合わせるようにカメラデバイス１０を制御する。
【００６０】
また、ステップＳ３８では、優先判定部３００は、被写体イメージ画像中で検出されたいずれかの顔の領域をフォーカス対象物に決定し、ＡＦ制御部２００は、このフォーカス対象物に対応するフォーカス位置に焦点を合わせるようにカメラデバイス１０を制御する。
【００６１】
上記の優先判定処理により、優先的に撮影すべき特定人物が撮影方向に対して横の方向を向いている場合や、顔の一部分が手などで隠れている場合のように、顔の輝度情報の特徴情報だけでは人物の特定が困難な状況であっても、さらに付加情報を用いて一致判定を行うことで、特定人物との一致の有無をより正確に識別でき、特定人物の顔にフォーカスを自動的に合わせることができる。
【００６２】
次に、顔以外の領域の特徴情報である付加情報に基づき、被写体イメージ画像中の特徴情報と特定人物の特徴情報とが一致するかどうかを判断する処理について、具体例を説明する。
【００６３】
図６は付加情報に関する具体例を表す模式図である。ここでは、優先登録部４００に登録される特定人物の特徴情報のうち、顔情報以外の付加情報として、色情報（第１の付加情報）と形情報（第２の付加情報）とを用いるものとする。図６に示す例では、第１の付加情報の色情報として、顔、上半身、下半身のそれぞれの領域についての色差成分（Ｃｂ／Ｃｒ）の情報を登録している。また、第２の付加情報の形情報として、上半身の衣服（上着）の形状と、下半身の衣服（ズボン）の形状とを登録している。
【００６４】
図７は人物を構成する顔、上半身、下半身の相対的な位置関係の例を示す模式図である。優先判定部３００の色差成分判定部３２０では、第１の付加情報の色情報を比較し、登録された特定人物の付加情報と一致するかを判定する。人物の顔及びその周辺にある衣服等の色は、人物毎に異なっている場合が多いので、顔、上半身、下半身のそれぞれについて色を比較する。また、これらの色の位置関係によっても人物を特定できる場合も多いので、人物の顔及びその周辺の色とその配置を比較する。
【００６５】
被写体の人物が起立姿勢である場合は、図７（ａ）に示すように顔の相対的に下側に上半身があり、上半身の更に下側に下半身が位置する。また、横たわった姿勢である場合は、図７（ａ）に示すように顔から右方向に、あるいは反対の左方向に同じ順序で位置する。この顔→上半身→下半身の位置関係は変わらないので、これらの色の順序は決して入れ替わることはない。よって、色差成分判定部３２０は、これら顔、上半身、下半身の色の一致判定に加えて、色の配置の一致を判定することで、特定人物の色情報と一致するかどうかを識別することができる。特定人物の顔情報に加えて第１の付加情報の色情報を比較することで、精度の高い判定結果を得ることができる。
【００６６】
一方、優先判定部３００の輝度成分判定部３１０では、第２の付加情報の形情報を比較し、登録された特定人物の付加情報と一致するかを判定する。付加情報の形情報については、図６に示した衣服の形状の他に、更に細かい特徴的な形の情報を登録しておくこともできる。例えば、髪型、髭、めがね、ジャケットの襟、ズボン／スカートの区別、長袖／半袖の区別、所持しているバッグ、などの形情報が挙げられる。
【００６７】
図８は付加情報の形情報に関する具体例を示す模式図である。図８の例では、髪型、めがね、襟、ポケット、前開き、下半身、のそれぞれの形状について、顔からの距離を表す数値と、該当するパターンの輪郭の各特徴点を表す座標データとを登録してある。優先登録部４００には、特定人物の第２の付加情報として上記のような様々な形情報を登録しておき、輝度成分判定部３１０において、これらの形情報を組み合わせて比較し、一致判定を行う。このように特定人物の顔情報に加えて第２の付加情報の形情報を比較することで、精度の高い判定結果を得ることができる。
【００６８】
なお、付加情報については、同じ人物であっても変化する可能性があり、特に当日中であれば比較的変化する可能性が低いが、前日またはそれ以前の状況と比較すると変化する可能性が高くなる。図９は付加情報の不変確率の例を示す模式図である。図９の例では、髪型、めがね、襟、ポケット、前開き、下半身、のそれぞれの形情報について、変化しない確率を例示している。
【００６９】
図１０は付加情報として不変確率を含む形情報に関する具体例を示す模式図である。例えば、図９に示した付加情報の不変確率情報のように、当日の不変確率とそれ以前の不変確率とを、それぞれ形情報の項目毎に定数として優先登録部４００に予め登録しておく。そして、輝度成分判定部３１０は、優先登録部４００に登録した特定人物の付加情報を取得する際に、特定人物の付加情報の登録日と現在の日付とが一致するかどうかを判定し、日付に応じた不変確率情報を付加情報に付加することで、付加情報の項目毎の変化可能性を示す情報として反映させる。これにより、図１０に示すように、図８に示した付加情報の形情報に不変確率の要素を追加した付加情報を生成する。
【００７０】
図１１は図１０の付加情報を利用して特定人物の一致判定を行う処理手順を示すフローチャートである。輝度成分判定部３１０は、第２の付加情報を用いて被写体イメージ画像において検出された顔の人物と優先登録部４００に登録されている特定人物との一致を判定する際は、図１１に示すような処理を行う。
【００７１】
ステップＳ５１では、輝度成分判定部３１０は、優先登録部４００に登録されている特定人物の付加情報の形情報（図１０参照）について、比較対象の人物に関する画像の輝度情報と条件が合致するか判定する。この際、形情報のそれぞれの項目を順番（髪型、めがね、襟、ポケット、前開き、下半身の順）に判定する。そして、比較対象の画像と形情報の条件が合致する項目を抽出する。
【００７２】
そして、ステップＳ５２では、輝度成分判定部３１０は、ステップＳ５１で抽出した個別項目の形情報について、比較対象の人物と特定人物との一致に関する尤度を算出して分析する。この際、まずステップＳ５３において、該当する項目の輪郭を表す座標データに基づいて、比較対象の人物と特定人物との輪郭一致度を尤度により算出する。次いでステップＳ５４において、該当する項目の顔からの距離を表す数値に基づいて、比較対象の人物と特定人物との距離一致度を尤度により算出する。そして、ステップＳ５５において、ステップＳ５３で求めた輪郭一致度の尤度とステップＳ５４で求めた距離一致度の尤度とに基づいて、該当する項目（例えば髪型等）に関する一致の確からしさを表す一致度を尤度により算出する。ここでは、輪郭一致度９０％と距離一致度８０％とを積算して項目の一致度を０．９×０．８＝７２％と求める。なお、この一致度を算出する際に、不変確率の値を考慮してもよい。
【００７３】
次に、ステップＳ５６では、輝度成分判定部３１０は、ステップＳ５５で得られた一致度（尤度）を予め定めた第１基準値（例えば７５％）以上であるか判定し、一致かどうかを識別する。ここで、一致度が第１基準値以上であればステップＳ５７に進み、「一致」と判定して結果を出力する。
【００７４】
一方、ステップＳ５６で一致度が第１基準値未満の場合はステップＳ５８に進む。ステップＳ５８では、輝度成分判定部３１０は、ステップＳ５５で得られた一致度（尤度）を予め定めた第２基準値（例えば３０％）以下であるか判定し、不一致かどうかを識別する。ここで、一致度が第２基準値以下であればステップＳ５９に進み、「不一致」と判定して結果を出力する。
【００７５】
また、ステップＳ５５で得られた一致度（尤度）が中間値（第１基準値と第２基準値との間）である場合には、ステップＳ５１に戻って次の項目（めがね等）に関する評価として一致度の判定を実施する。以降は同様の処理を繰り返す。
【００７６】
なお、比較対象の人物と特定人物との一致を最終的に判定する際に、輝度から検出された顔情報の特徴情報に関する一致の程度を表す尤度と、第１の付加情報（色差情報）に関する一致の程度を表す尤度と、第２の付加情報（形情報）に関する一致の程度を表す尤度とに基づいて、これらの尤度を総合的に評価して一致の有無を判定しても良い。
【００７７】
上述したように、本実施形態によれば、予め登録した特定人物の特徴情報と被写体の中に含まれる顔及び顔周辺の特徴情報とを比較して、特定人物と一致する人物の顔の領域に自動的に焦点を合わせることができる。この際、該当する人物が横方向を向いていたり手などで顔の一部分が隠れている場合のように、特定人物の顔の識別が困難な状況においても、顔以外の服装などに関する付加情報に基づいて特定人物を高い確度で識別でき、優先すべき人物にすばやく焦点を合わせて撮影することができる。
【００７８】
例えば、複数の人物を１つの被写体として同時に撮影する場合、複数の人物が身につけている衣服の特徴（色彩やデザインなど）は互いに異なる場合が多く、また、同じ日に違う衣服に着替える可能性は小さいので、例えば同日に撮影された特定人物の衣服に関する情報が付加情報として登録されている場合には、衣服の特徴が一致するかどうかにより、それを身につけている人物が特定人物か否かを識別することができる。なお、各人物が身につける衣服については、毎日違うものと取り替えられる可能性が高いので、登録する付加情報については、その都度当日の衣服の情報に更新するのが望ましい。
【００７９】
なお、本発明は上記の実施形態において示されたものに限定されるものではなく、明細書の記載、並びに周知の技術に基づいて、当業者が変更、応用することも本発明の予定するところであり、保護を求める範囲に含まれる。
【産業上の利用可能性】
【００８０】
本発明は、特定人物の顔の特徴のみでは識別が困難な状況であっても、特定人物をより高い確度で識別して自動的に焦点を合わせることが可能となる効果を有し、例えばデジタルスチルカメラやカメラ機能を搭載した携帯端末などの撮影装置等として有用である。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施形態に係る撮影装置の概略構成を示すブロック図
【図２】本実施形態の撮影装置の主要部の構成を示すブロック図
【図３】本実施形態の撮影装置における動作の概要を示すフローチャート
【図４】本実施形態の撮影装置における優先判定処理の動作の具体例を示すフローチャート
【図５】尤度の範囲と判定結果との対応関係を表す模式図
【図６】付加情報に関する具体例を表す模式図
【図７】人物を構成する顔、上半身、下半身の相対的な位置関係の例を示す模式図
【図８】付加情報の形情報に関する具体例を示す模式図
【図９】付加情報の不変確率の例を示す模式図
【図１０】付加情報として不変確率を含む形情報に関する具体例を示す模式図
【図１１】図１０の付加情報を利用して特定人物の一致判定を行う処理手順を示すフローチャート
【符号の説明】
【００８２】
１０  カメラデバイス
２０  表示デバイス
５１  被写体
５２  光学系
５３  撮影部
５４  焦点調節機構
５５  ＡＦ制御部
５６  顔領域検出部
５７  顔周辺領域検出部
５８  特定人物情報記録部
５９  第１対象物識別部
６０  第２対象物識別部
１００  アプリケーション部
２００  ＡＦ制御部
３００  優先判定部
３１０  輝度成分判定部
３２０  色差成分判定部
４００  優先登録部
５００  撮影制御部
【図１】
2010014783.tif 000003
【図２】
2010014783.tif 000004
【図３】
2010014783.tif 000005
【図４】
2010014783.tif 000006
【図５】
2010014783.tif 000007
【図６】
2010014783.tif 000008
【図７】
2010014783.tif 000009
【図８】
2010014783.tif 000010
【図９】
2010014783.tif 000011
【図１０】
2010014783.tif 000012
【図１１】
2010014783.tif 000013