(57)【特許請求の範囲】
【請求項１】
対象物を撮像することにより順次複数の画像を生成する撮像部と、
前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、
前記対象物領域の面積を算出する面積算出部と、
前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御部とを備える
認識用撮像装置。
【請求項２】
前記認識用撮像装置は、さらに、
前記対象物領域の移動速度を算出する移動速度算出部を備え、
前記露出制御部は、さらに、前記移動速度が第２閾値未満の場合、前記露出時間を第３露出時間に設定し、前記移動速度が前記第２閾値以上の場合、前記露出時間を前記第３露出時間より短い第４露出時間に設定する
請求項１に記載の認識用撮像装置。
【請求項３】
前記認識用撮像装置は、さらに、
前記対象物領域における入光量を算出する入光量算出部を備え、
前記露出制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値以上の場合、前記撮像部における露出時間を第５露出時間に設定し、前記認識用入光量が前記第３閾値未満の場合、前記露出時間を前記第５露出時間より長い第６露出時間に設定する
請求項１に記載の認識用撮像装置。
【請求項４】
前記露出制御部は、前記面積に比例し、かつ、前記対象物領域におけるブレ量に反比例する認識用解像度が第４閾値未満の場合、前記露出時間を前記第１露出時間に設定し、前記認識用解像度が前記第４閾値以上の場合、前記露出時間を前記第２露出時間に設定する
請求項１に記載の認識用撮像装置。
【請求項５】
対象物を撮像することにより順次複数の画像を生成する撮像部と、
前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、
前記対象物領域の面積を算出する面積算出部と、
前記面積が第１閾値未満の場合、当該認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御部とを備える
認識用撮像装置。
【請求項６】
前記合焦位置制御部は、前記面積に比例し、かつ、前記対象物領域におけるボケ量に反比例する認識用解像度が第２閾値未満の場合、前記合焦位置を前記第１位置に設定し、前記認識用解像度が前記第２閾値以上の場合、前記合焦位置を前記第２位置に設定する
請求項５に記載の認識用撮像装置。
【請求項７】
対象物を撮像することにより順次複数の画像を生成する撮像部と、
前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
前記複数の画像間において前記対象物領域を追跡算出する追跡部とを有する認識用撮像装置であって、
前記対象物領域の面積を算出する面積算出部と、
前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御部とを備える
認識用撮像装置。
【請求項８】
前記認識用撮像装置は、さらに、
前記対象物領域における入光量を算出する入光量算出部を備え、
前記絞り制御部は、さらに、前記入光量が第２閾値未満の場合、絞り値を第３絞り値に設定し、前記入光量が前記第２閾値以上の場合、前記絞り値を前記第３絞り値より大きい第４絞り値に設定する
請求項７に記載の認識用撮像装置。
【請求項９】
前記絞り制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値未満の場合、前記絞り値を前記第１絞り値に設定し、前記認識用入光量が前記第２閾値以上の場合、前記絞り値を前記第２絞り値に設定する
請求項８に記載の認識用撮像装置。
【請求項１０】
対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
前記対象物領域の面積を算出する面積算出ステップと、
前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御ステップとを含む
認識用撮像装置の制御方法。
【請求項１１】
対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
前記対象物領域の面積を算出する面積算出ステップと、
前記面積が第１閾値未満の場合、前記認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御ステップとを含む
認識用撮像装置の制御方法。
【請求項１２】
対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
前記対象物領域の面積を算出する面積算出ステップと、
前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御ステップとを含む
認識用撮像装置の制御方法。
【請求項１３】
請求項１０記載の認識用撮像装置の制御方法をコンピュータに実行させるための
プログラム。
【請求項１４】
請求項１１記載の認識用撮像装置の制御方法をコンピュータに実行させるための
プログラム。
【請求項１５】
請求項１２記載の認識用撮像装置の制御方法をコンピュータに実行させるための
プログラム。
【請求項１６】
請求項１記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記露出制御部とを備える
半導体集積回路。
【請求項１７】
請求項５記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記合焦位置制御部とを備える
半導体集積回路。
【請求項１８】
請求項７記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記絞り制御部とを備える
半導体集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内の対象物を認識する認識用撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラの高機能化には目を見張るものがある。最近では、不特定人物の顔の認識、又は特定人物の顔を認識する機能を有するデジタルカメラが普及している。また、デジタルカメラのスルー画像において、移動している顔に対して時間的に連続な認識をすることで、撮影画像上の顔を追跡することが可能になってきている。このように、デジタルカメラに対して、更に高機能化が図られている。
【０００３】
このような顔の認識技術において、顔の解像度とＳＮ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比とが認識精度に大きく関わることが知られている。例えば、顔の解像度が不足した場合、又は、顔のＳＮ比が悪い場合、顔の特徴が不鮮明になり認識精度が下がってしまう。このような顔の解像度及びＳＮ比はカメラで撮影された状況で決まる。つまり、カメラの調整パラメータが認識精度に大きな影響を与える。
【０００４】
従来の顔認識技術として、顔を認識しやすいようにカメラの調整パラメータを制御する技術が開示されている。例えば、特許文献１では、撮影された画像データの品質を判定した結果を用いて、カメラの合焦調整、露出調整、照明調整、及びズーム調整などを行う技術が紹介されている。また、特許文献２では顔の認識結果に基づいてカメラの調整パラメータを制御している。この技術は、顔の位置、大きさ、及び向き等でカメラの絞りを制御するものである。具体的には、この技術は、顔が大きい場合は絞り開度を開き、その逆では絞り開度を絞っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−９４５３５号公報
【特許文献２】特開２００８−２３３４７０号公報
【特許文献３】特開２００６−３５０６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、デジタルカメラ等で人物の顔を認識する場合、入力画像において認識対象である顔が時間的に動くため、顔認識に適した被写界深度（ピントの合う領域）が時間的に変化することが考えられる。そのため、特許文献１のように直前に撮影された画像データに適した合焦位置調整及び絞り調整を行うと、顔が被写界深度外に出る可能性が高くなる。このように被写界深度外に顔が出た場合、ボケの影響で顔の解像度が低下してしまう。これにより、時間的に連続な認識ができなくなることにより顔追跡に失敗する可能性が高くなる。
【０００７】
また、認識に必要な光量が足りない場合に特許文献１のように照明調整を常に作動させることができるとは限らない。例えば、フラッシュ禁止の場所では照明調整をすることができない。また、照明調整を作動させると消費電力が多くなってしまう課題もある。また、特許文献２のように絞りを調整した場合、小さな顔では絞り開度を絞るため、顔に当たる光量が不足して認識精度が下がってしまうという課題もある。
【０００８】
そこで本発明は、時間的に連続な認識を安定して行える認識用撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御部とを備える。
【００１０】
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合には、露出時間を長くする。これにより、対象物領域の入光量を増加できる。ここで、露出時間を長くすると、対象物領域においてブレが起こりやすくなる。しかしながら、対象物領域の面積が十分に大きい場合には、ブレが増加しても対象物認識処理及び対象物追跡処理に必要な解像度を確保できるので、対象物認識処理及び対象物追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、対象物領域のＳＮ比が上がるので、対象物認識処理及び対象物追跡処理の精度が増加する。
【００１１】
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合には、入光量を増やしておくことで、入光量が時間的に減少した場合でも、対象物認識処理に必要な入光量を確保しやすくできる。
【００１２】
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が小さい場合には、露出時間を短くする。これにより、対象物領域におけるブレが低減されるので、対象物認識処理及び対象物追跡処理の精度が向上される。また、本発明の一形態に係る認識用撮像装置は、フラッシュ等の照明調整を行わなくてもよいので、フラッシュ禁止の場所でも入光量を増加できるとともに、消費電力を低減できる。
【００１３】
このように、本発明の一形態に係る認識用撮像装置は、時間的に連続な認識を安定して行える。
【００１４】
また、前記認識用撮像装置は、さらに、前記対象物領域の移動速度を算出する移動速度算出部を備え、前記露出制御部は、さらに、前記移動速度が第２閾値未満の場合、前記露出時間を第３露出時間に設定し、前記移動速度が前記第２閾値以上の場合、前記露出時間を前記第３露出時間より短い第４露出時間に設定してもよい。
【００１５】
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の移動速度が速い場合には、露出時間を短くする。これにより、対象物領域においてブレが起こりにくくなるので、対象物領域の解像度が上がる。よって、対象物認識処理及び対象物追跡処理の精度が向上される。
【００１６】
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の移動速度が遅い場合、露出時間を長くする。これにより、対象物領域の入光量を増加させることができる。ここで、移動速度が遅い場合には、露出時間を長くしても対象物認識処理に必要な解像度を確保できるので、対象物認識処理及び対象物追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、対象物認識処理及び対象物追跡処理の精度を向上できる。
【００１７】
また、前記認識用撮像装置は、さらに、前記対象物領域における入光量を算出する入光量算出部を備え、前記露出制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値以上の場合、前記撮像部における露出時間を第５露出時間に設定し、前記認識用入光量が前記第３閾値未満の場合、前記露出時間を前記第５露出時間より長い第６露出時間に設定してもよい。
【００１８】
この構成によれば、本発明の一形態に係る認識用撮像装置は、認識用入光量が少ない場合に、露出時間を長くする。これにより、対象物領域の入光量を増加できる。
【００１９】
さらに、本発明の一形態に係る認識用撮像装置は、認識用入光量が十分に多い場合には、露出時間を短くする。これにより、対象物領域におけるブレが低減されるので、対象物認識処理及び対象物追跡処理の精度が向上される。
【００２０】
また、前記露出制御部は、前記面積に比例し、かつ、前記対象物領域におけるブレ量に反比例する認識用解像度が第４閾値未満の場合、前記露出時間を前記第１露出時間に設定し、前記認識用解像度が前記第４閾値以上の場合、前記露出時間を前記第２露出時間に設定してもよい。
【００２１】
この構成によれば、本発明の一形態に係る認識用撮像装置は、ブレ量を考慮した認識用解像度を用いることで、より精度よく露出時間を制御できる。
【００２２】
また、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、当該認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御部とを備えてもよい。
【００２３】
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合、合焦位置を対象物認識距離から遠くに設定することで認識可能な被写界深度を広げることができる。このように、対象物領域の面積が十分に大きい場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
【００２４】
さらに、発明の本発明の一形態に係る認識用撮像装置は、対象物領域の解像度が不十分である場合、合焦位置を対象物認識距離の近くに設定する。これにより、本発明の一形態に係る認識用撮像装置は、対象物領域の解像度を高くできる。
【００２５】
このように、本発明の一形態に係る認識用撮像装置は、対象物領域の面積に応じて合焦位置を変更することで、時間的に連続な認識を安定して行える。
【００２６】
また、前記合焦位置制御部は、前記面積に比例し、かつ、前記対象物領域におけるボケ量に反比例する認識用解像度が第２閾値未満の場合、前記合焦位置を前記第１位置に設定し、前記認識用解像度が前記第２閾値以上の場合、前記合焦位置を前記第２位置に設定してもよい。
【００２７】
この構成によれば、本発明の一形態に係る認識用撮像装置は、ボケ量を考慮した認識用解像度を用いることで、より精度よく合焦位置を制御できる。
【００２８】
また、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡算出する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御部とを備えてもよい。
【００２９】
この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合、絞り値を大きくする。ここで、対象物領域の面積が十分に大きい場合、各画素におけるノイズが平均化されるのでノイズの影響が少なくなる。よって、対象物領域の各画素の信号量が相対的に大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、本発明の一形態に係る認識用撮像装置は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
【００３０】
さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が小さい場合、絞り値を小さくする。ここで、対象物領域の面積が少ない場合、ノイズの影響が大きくなる。これに対して、本発明の一形態に係る認識用撮像装置は、このような場合に、絞り値を小さくすることにより、認識に必要とされる光量を確保できる。また、本発明の一形態に係る認識用撮像装置は、フラッシュ等の照明調整を行わなくてもよいので、フラッシュ禁止の場所でも光量を確保できるとともに、消費電力を低減できる。
【００３１】
また、前記認識用撮像装置は、さらに、前記対象物領域における入光量を算出する入光量算出部を備え、前記絞り制御部は、さらに、前記入光量が第２閾値未満の場合、絞り値を第３絞り値に設定し、前記入光量が前記第２閾値以上の場合、前記絞り値を前記第３絞り値より大きい第４絞り値に設定してもよい。
【００３２】
この構成によれば、本発明の一形態に係る認識用撮像装置は、入光量が十分に多い場合、絞り値を大きくする。ここで、入光量が十分に多い場合、対象物領域の各画素の信号量が大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、本発明の一形態に係る認識用撮像装置は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、入光量が十分に多い場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
【００３３】
さらに、本発明の一形態に係る認識用撮像装置は、入光量が少ない場合、絞り値を小さくすることで、認識に必要とされる光量を確保できる。
【００３４】
また、前記絞り制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値未満の場合、前記絞り値を前記第１絞り値に設定し、前記認識用入光量が前記第２閾値以上の場合、前記絞り値を前記第２絞り値に設定してもよい。
【００３５】
この構成によれば、本発明の一形態に係る認識用撮像装置は、面積を考慮した認識用入光量を用いることで、より精度よく絞り値を制御できる。
【００３６】
なお、本発明は、このような認識用撮像装置として実現できるだけでなく、認識用撮像装置に含まれる特徴的な手段をステップとする認識用撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００３７】
さらに、本発明は、このような認識用撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような認識用撮像装置を備えるカメラとして実現したりできる。
【発明の効果】
【００３８】
本発明によれば、時間的に連続な認識を安定して行える認識用撮像装置及びその制御方法を提供できる。
【図面の簡単な説明】
【００３９】
【図１】図１は、本発明の実施の形態１に係る認識用撮像装置のブロック図である。
【図２】図２は、本発明の実施の形態１に係る認識用撮像装置の詳細なブロック図である。
【図３】図３は、本発明の実施の形態１に係る顔追跡処理のフローチャートである。
【図４】図４は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の面積に応じたシャッタースピード制御処理のフローチャートである。
【図５】図５は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の移動速度に応じたシャッタースピード制御処理のフローチャートである。
【図６】図６は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の入光量に応じたシャッタースピード制御処理のフローチャートである。
【図７】図７は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の面積及び入光量に応じたシャッタースピード制御処理のフローチャートである。
【図８】図８は、本発明の実施の形態２に係る認識用撮像装置のブロック図である。
【図９】図９は、本発明の実施の形態２に係る認識用撮像装置の詳細なブロック図である。
【図１０】図１０は、本発明の実施の形態２に係る認識用撮像装置による合焦位置制御処理のフローチャートである。
【図１１】図１１は、本発明の実施の形態２に係る、過焦点距離と被写界深度との関係を示す図である。
【図１２】図１２は、本発明の実施の形態３に係る認識用撮像装置のブロック図である。
【図１３】図１３は、本発明の実施の形態３に係る認識用撮像装置の詳細なブロック図である。
【図１４】図１４は、本発明の実施の形態３に係る認識用撮像装置による、顔領域の面積に応じた絞り値制御処理のフローチャートである。
【図１５】図１５は、本発明の実施の形態３に係る認識用撮像装置による、顔領域の入光量に応じた絞り値制御処理のフローチャートである。
【発明を実施するための形態】
【００４０】
（実施の形態１）
本発明の実施の形態１に係る認識用撮像装置は、顔領域の面積、移動速度及び入光量に応じて、シャッタースピードを変更する。具体的には、本発明の実施の形態１に係る認識用撮像装置は、顔領域の面積が大きい場合、シャッタースピードを遅くする。
【００４１】
これにより、本発明の実施の形態１に係る認識用撮像装置は、顔認識を安定して行える。以下、本発明の実施の形態１について図面を参照しながら説明する。
【００４２】
まず、本発明の実施の形態１に係る認識用撮像装置１００の構成を説明する。
【００４３】
図１は、本発明の実施の形態１に係る認識用撮像装置１００のブロック図である。
【００４４】
図１に示す認識用撮像装置１００は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、又はセキュリティカメラである。この認識用撮像装置１００は、撮像部１０１と、露出制御部１０２と、顔認識部１０５と、顔追跡部１０６と、面積算出部１０９とを備える。
【００４５】
撮像部１０１は、撮像光学系による被写体像を受光して電気信号を生成する。言い換えると、撮像部１０１は、対象物を撮像することにより順次複数の画像を生成する。
【００４６】
顔認識部１０５は、本発明の対象物認識部に相当する。この顔認識部１０５は、撮像部１０１で生成された複数の画像の各々に対して、当該画像内で対象物が撮像されている領域である対象物領域を認識する。
【００４７】
顔追跡部１０６は、本発明の追跡部に相当する。この顔追跡部１０６は、撮像部１０１で生成された複数の画像間において対象物領域を追跡する。
【００４８】
面積算出部１０９は、対象物領域の面積を算出する。
【００４９】
露出制御部１０２は、対象物領域の面積が面積閾値（第１閾値）未満の場合、撮像部１０１における露出時間を第１露出時間に設定し、対象物領域の面積が面積閾値以上の場合、撮像部１０１における露出時間を第１露出時間より長い第２露出時間に設定する。
【００５０】
図２は、認識用撮像装置１００の詳細な構成を示すブロック図である。図２に示すように、認識用撮像装置１００は、さらに、顔認識結果記憶部１０７と、移動速度算出部１０８と、入光量算出部１１０とを備える。
【００５１】
撮像部１０１は、レンズ１１２と、レンズ１１２の合焦位置等を変更するレンズ駆動装置１１３と、レンズ１１２を通過する光量を調整する絞り装置１１４と、撮像素子１１６の露出時間を調整するシャッター装置１１５と、レンズ１１２により結像された像を電気信号に変換する撮像素子１１６と、撮像素子１１６により生成された電気信号（アナログ信号）をデジタル信号に変換するＡＤ変換器１１７とを備える。また、認識用撮像装置１００は、ＡＤ変換器１１７によって生成されたデジタル信号に対してゲイン補正、ガンマ補正、色変換、及び拡大縮小等の信号処理を行うことにより、後述する顔認識部１０５で用いられる入力画像１２０を毎フレーム作成する。
【００５２】
露出制御部１０２は、撮像部１０１のシャッター装置１１５におけるシャッタースピードを制御する。シャッタースピードを遅くすると、撮像素子１１６に光が当たる露出時間が長くなる。これにより、被写体の電気信号が多く得られるので、入力画像の入光量が多くなる。また、シャッタースピードを速くすると、撮像素子１１６に光が当たる露出時間が短くなる。これにより、被写体の電気信号が少なくなるので、入力画像の入光量が少なくなる。
【００５３】
顔認識部１０５は、撮像部１０１により生成された入力画像１２０を用いて、入力画像１２０上にある顔領域を認識する。顔認識部１０５は、生成した顔認識結果１２１を１フレームごとに顔認識結果記憶部１０７に記憶する。一般的に認識対象としては、不特定人物の顔領域、又は特定人物の顔領域が想定される。不特定人物の顔領域の認識は、一般的な顔の特徴を含んだ画像領域を認識する。詳細な認識アルゴリズムは特許文献３等で公開されているＡｄａＢｏｏｓｔアルゴリズムを用い、顔向き毎に専用の顔向きを検出する識別器を構成することで実現する。しかし、不特定人物の顔領域の認識方法はこのアルゴリズムに限ったものではない。また、特定人物の顔領域の認識は、不特定人物の顔領域における詳細な顔特徴情報と顔認識結果記憶部１０７において登録されている特定人物の顔特徴情報１２３との整合性を判定することで個人を特定する。
【００５４】
一般的に顔認識では入力画像１２０をある一定のサイズにリサイズした認識用画像に対して認識が行われる。例えば、不特定人物の顔領域の認識では、特許文献２に記載のように、入力画像を縮小した認識用画像を用いて顔を認識している。また、特許文献１では、認識された不特定人物の顔領域に対して、目検出を行い両目の間隔が所定値になるようにリサイズした認識用画像を用いて特定人物の顔領域の認識を行っている。一般的に特定人物の顔領域の認識は、不特定人物の顔領域の認識より詳細な特徴情報を用いるため、不特定人物の顔領域の認識より高い解像度が求められる。
【００５５】
顔追跡部１０６は、顔認識結果記憶部１０７が保持している過去の顔認識結果１２１に基づいて、連続する入力画像１２０（フレーム）間で顔を追跡する。例えば、顔追跡に用いられる顔認識結果１２１は、入力画像１２０上の顔領域の中心座標等である。一度認識された顔は、次フレームでは、前フレームで認識された位置の近傍で認識される。このように顔追跡部１０６は、認識位置の連続性を用いて顔追跡処理を実現する。図３は、顔追跡部１０６による顔追跡処理のフローチャートである。
【００５６】
図３における顔追跡処理において、まず、顔追跡部１０６は、現フレームで認識された顔領域の中心座標近傍において、１フレーム前にラベルが付与された顔領域が存在したか否を判定する（Ｓ１０１）。
【００５７】
１フレーム前にラベルが付与された顔領域が存在していた場合（Ｓ１０１でＹｅｓ）、顔追跡部１０６は、現フレームで認識された顔領域に、１フレーム前の顔領域に付与されていたラベルと同じラベルを付与する（Ｓ１０２）。
【００５８】
一方、１フレーム前にラベルが付与された顔領域が存在していない場合（Ｓ１０１でＮｏ）、顔追跡部１０６は、これまでに認識された顔とは異なる固有のラベルを現フレームで認識された顔領域に付与する（Ｓ１０３）。
【００５９】
なお、ここでの説明では、位置の連続性を用いた追跡方法を用いる場合を述べたが、色を用いた追跡方法を用いてもよい。また追跡対象の顔が複数あった場合、顔追跡部１０６は、カメラの調整パラメータを制御する顔のラベルを選択する。選択方法としては、顔認識部１０５において登録されている特定人物が認識されているならば、その顔のラベルを選択する。他にも特許文献２等で開示されているように認識された顔のサイズ及び位置などによって制御する顔を選択してもよい。また、顔追跡部１０６は、生成した顔追跡結果１２２を１フレームごとに顔認識結果記憶部１０７に記憶する。
【００６０】
顔認識結果記憶部１０７は、顔認識部１０５で生成された顔認識結果１２１と、顔追跡部１０６で生成された顔追跡結果１２２とを１フレーム毎に保持する。ここで、顔認識結果１２１は、入力画像上の顔領域の座標、顔領域の縦横の画素数、及び登録されている特定人物の認識状況等である。また、顔追跡結果１２２は、顔領域を区別するためのラベル、及びカメラ制御対象のラベル等である。また、顔認識結果記憶部１０７は、顔認識部１０５による特定人物の認識で用いられる特定人物の顔の詳細情報である顔特徴情報１２３を保持する。また、認識用撮像装置１００は、顔認識結果記憶部１０７に１フレームごとにデータが蓄積された結果、メモリ容量が限界に達した場合、最も古いデータから消去することで常に最新の履歴を参照することができる。
【００６１】
移動速度算出部１０８は、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とを用いて、カメラ制御対象のラベルの顔における移動速度を算出する。具体的には、移動速度算出部１０８は、現フレームと１フレーム前とにおいて同じラベルを持つ顔において１フレーム前の顔領域の中心座標から現フレームの顔領域の中心座標までの移動画素数を算出する。そして移動速度算出部１０８は、算出した移動画素数に基づいて、平面方向の移動速度を算出する。また、移動速度算出部１０８は、現フレームと１フレーム前とにおいて同じラベルを持つ顔に対して、１フレーム前の顔領域における縦横の画素数と現フレームの顔領域における縦横の画素数との差分を算出する。そして移動速度算出部１０８は、算出した差分に基づいて、深さ方向の移動速度を計算する。ただし、移動速度の求め方はこれらの方法に限ったものではない。
【００６２】
面積算出部１０９は、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とに基づいて、カメラ制御対象のラベルの顔における顔領域の面積を求める。面積としては認識用画像の顔の解像度（以下、認識用解像度）、又は入力画像１２０上における顔の画素数が考えられる。ここで認識用解像度とは、画像における画素の密度であり、この値が大きいほど顔の特徴が鮮明になる。例えば、この認識用解像度は、顔領域の面積（画素数）に比例し、かつ、顔領域におけるブレ量（又はボケ量）に反比例する値である。具体的には、認識用解像度としては、認識用画像領域のＡＦ評価値（コントラスト量に応じた値）等を用いることができる。または、認識解像度は、入力画像１２０上の顔領域のＡＦ評価値を認識用画像の面積で正規化した値でもよい。ただし、顔領域における面積の求め方はこの方法に限ったものではない。
【００６３】
入光量算出部１１０では、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とに基づいて、カメラ制御対象のラベルの顔領域における入光量を算出する。具体的には、入光量算出部１１０は、認識用画像の顔領域に含まれる複数の画素の輝度値の平均値、又は入力画像１２０上の顔領域に含まれる複数の画素の輝度値の平均値を算出し、算出した平均値を用いて入光量を算出する。また、入光量算出部１１０は、ゲイン又はガンマ補正等の輝度補正が入力画像１２０に施されている場合は、それらの補正の逆補正を入力画像１２０に行い、逆補正を行ったあとの画像を用いて入光量を算出する。ただし、顔領域における入光量の求め方はこの方法に限ったものではない。
【００６４】
露出制御部１０２は、移動速度算出部１０８、面積算出部１０９及び入光量算出部１１０で算出された、顔領域の面積、移動速度及び入光量を用いて、シャッタースピードを決定する。
【００６５】
以下に、露出制御部１０２が、移動速度算出部１０８、面積算出部１０９及び入光量算出部１１０で生成された情報を用いてシャッタースピードを算出する方法を述べる。また、前提条件として、処理対象の顔は顔追跡されている（１フレーム前の顔の履歴がある）カメラ制御対象の顔とする。
【００６６】
まず、露出制御部１０２による顔領域の面積に基づく、シャッタースピードの制御処理について説明する。図４は、顔領域の面積に基づく、シャッタースピードの制御処理のフローチャートである。
【００６７】
また、例えば、図４〜図７の各々に示す一連の処理は、１フレームごとに行われる。なお、図４〜図７の各々に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
【００６８】
まず、面積算出部１０９は、処理対象の顔領域の面積を算出する。ここでは面積は認識用画像におけるＡＦ評価値とする（Ｓ２０１）。
【００６９】
次に、露出制御部１０２は、顔領域の面積が面積閾値（認識に十分な面積）に達しているかどうかを判定する（Ｓ２０２）。なお、認識方法によって面積閾値は変わる。例えば、特定人物の顔認識における面積閾値は、不特定人物の顔認識における面積閾値より高い。
【００７０】
顔領域の面積が面積閾値以上の場合（Ｓ２０２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。言い換えると、露出制御部１０２は、撮像部１０１の露出時間を、現在の露出時間より長い露出時間に設定する。ここで、露出制御部１０２は、現在の顔領域の面積と現在のシャッタースピードとの関係から、認識用解像度が解像度閾値を下回らないシャッタースピードの上限値を算出する。そして、露出制御部１０２は、シャッタースピードを算出した上限値以下の値に設定する。
【００７１】
このように、顔領域の面積が十分に大きい場合には、露出制御部１０２は、撮像部１０１の露出時間を長くする。これにより、顔領域の入光量を増加できる。ここで、露出時間を長くすると、顔領域においてブレが起こりやすくなる。しかしながら、顔領域の面積が十分に大きい場合には、ブレが増加しても顔認識処理に必要な解像度を確保できるので、顔認識処理及び顔追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、顔領域のＳＮ比が上がるので、顔認識処理及び顔追跡処理の精度が増加する。
【００７２】
また、顔領域の面積が十分に大きい場合には、入光量を増やしておくことで、入光量が時間的に減少した場合でも、顔認識処理に必要な入光量を確保しやすくできる。
【００７３】
一方、顔領域の面積が面積閾値未満の場合（Ｓ２０２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。言い換えると、露出制御部１０２は、撮像部１０１の露出時間を、現在の露出時間より長い露出時間に設定する。
【００７４】
このように、顔領域の面積が小さい場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。これにより、顔領域におけるブレが低減されるので、顔認識処理及び顔追跡処理の精度が向上される。
【００７５】
なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の面積に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の面積が大きいほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の面積が小さいほど、より速いシャッタースピードを設定してもよい。
【００７６】
また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
【００７７】
また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の面積が第１面積閾値以上の場合にシャッタースピードを遅くし、顔領域の面積が、第１面積閾値より小さい第２面積閾値未満の場合にシャッタースピードを速くし、顔領域の面積が第１面積閾値と第２面積閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の面積と複数の面積閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
【００７８】
次に、露出制御部１０２による顔領域の移動速度に基づく、シャッタースピードの制御処理について説明する。図５は、顔領域の移動速度に基づく、シャッタースピードの制御処理のフローチャートである。なお、以下では、同様の処理に対しては同様の符号を付し、説明を省略する場合がある。
【００７９】
まず、移動速度算出部１０８は、処理対象の顔の平面方向の移動速度を算出する（Ｓ２１１）。
【００８０】
次に、露出制御部１０２は、顔領域の移動速度が速度閾値以上であるか否かを判定する（Ｓ２１２）。
【００８１】
顔領域の移動速度が速度閾値未満の場合（Ｓ２１２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。
【００８２】
これにより、顔領域の入光量を増加させることができる。ここで、移動速度が遅い場合には、露出時間を長くしても顔認識処理に必要な解像度を確保できるので、顔認識処理及び顔追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、顔認識処理及び顔追跡処理の精度を向上できる。
【００８３】
一方、顔領域の移動速度が速度閾値以上の場合（Ｓ２１２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。
【００８４】
このように、顔領域の移動速度が大きい場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。シャッタースピードを速くすることで、顔領域においてブレが起こりにくくなるので、顔領域の解像度が上がる。これにより、顔認識処理及び顔追跡処理の精度が向上される。
【００８５】
なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の移動速度に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の移動速度が遅いほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の移動速度が速いほど、より速いシャッタースピードを設定してもよい。
【００８６】
また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
【００８７】
また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の移動速度が第１速度閾値以上の場合にシャッタースピードを速くし、顔領域の移動速度が、第１速度閾値より小さい第２速度閾値未満の場合にシャッタースピードを遅くし、顔領域の移動速度が第１速度閾値と第２速度閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の移動速度と複数の速度閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
【００８８】
次に、露出制御部１０２による顔領域の入光量に基づく、シャッタースピードの制御処理について説明する。図６は、顔領域の入光量に基づく、シャッタースピードの制御処理のフローチャートである。
【００８９】
まず、入光量算出部１１０は、処理対象の顔領域の入光量を算出する（Ｓ２２１）。ここでは、入光量は認識用画像の顔領域に含まれる複数の画素の輝度値の平均値とする。
【００９０】
次に、露出制御部１０２は、顔領域の入光量が入光量閾値（認識に十分な入光量）に達しているかどうかを判定する（Ｓ２２２）。ここで、認識方法によって入光量閾値は変わる。例えば、特定人物の顔認識における入光量閾値は、不特定人物の顔認識における入光量閾値とより高い。また、露出制御部１０２は、この判定に用いる入光量として、入光量算出部１１０で算出された入光量そのものを用いてもよいし、面積算出部１０９で算出された面積に比例し、かつ、入光量算出部１１０で算出された入光量に比例する認識用入光量を算出し、当該認識用入光量と、入光量閾値とを比較してもよい。
【００９１】
顔領域の入光量が入光量閾値未満の場合（Ｓ２２２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。
【００９２】
このように、顔領域の入光量が入光量閾値未満の場合には、露出制御部１０２は、撮像部１０１の露出時間を遅くすることで、入光量を増加できる。これにより、顔領域のＳＮ比が上がるので、顔認識処理及び顔追跡処理の精度が向上される。
【００９３】
一方、顔領域の入光量が入光量以上の場合（Ｓ２２２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。ここで、露出制御部１０２は、現在の顔の入光量と現在のシャッタースピードとの関係から、入光量閾値を下回らないシャッタースピードの下限値を算出する。そして、露出制御部１０２は、シャッタースピードを算出した下限値以上の値に設定する。
【００９４】
このように、顔領域の入光量が十分に多い場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。これにより、顔認識処理に必要な入光量を確保しつつ顔領域のブレを低減できる。
【００９５】
また、顔領域の入光量が十分に大きい場合には、シャッタースピードを速くしておくことで、対象物の移動速度が急に増加した場合でも、ブレを抑えることができるので、顔認識処理に必要な解像度を確保しやすくできる。
【００９６】
なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の入光量に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の入光量が少ないほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の入光量が多いほど、より速いシャッタースピードを設定してもよい。
【００９７】
また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
【００９８】
また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の入光量が第１入光量閾値以上の場合にシャッタースピードを速くし、顔領域の入光量が、第１入光量閾値より小さい第２入光量値未満の場合にシャッタースピードを遅くし、顔領域の入光量が第１入光量閾値と第２入光量閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の入光量と複数の入光量閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
【００９９】
また、上記説明では、顔領域の面積、移動速度及び入光量の各々に応じて処理を行う例を述べたが、これらを組み合わせてもよい。つまり、露出制御部１０２は、顔領域の面積、移動速度及び入光量のうち少なくとも一つに応じて、シャッタースピードを変更すればよい。
【０１００】
図７は、露出制御部１０２によるシャッタースピードの制御処理の変形例のフローチャートである。
【０１０１】
図７に示すように、顔領域の入光量が入光量閾値未満であり、かつ、顔領域の面積が面積閾値以上の場合（Ｓ２３１でＹｅｓ）に、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定してもよい（Ｓ２０３）。
【０１０２】
また、顔領域の入光量が入光量閾値以上であり、かつ、顔領域の面積が面積閾値未満の場合（Ｓ２３２でＹｅｓ）に、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定してもよい（Ｓ２０４）。
【０１０３】
また、上記以外の場合（Ｓ２３１でＮｏ、かつ、Ｓ２３２でＮｏ）、露出制御部１０２は、シャッタースピードを変更しない。
【０１０４】
なお、上述した図４〜図７における、ステップＳ２０３及びＳ２０４において、露出制御部１０２は、顔領域の面積、移動速度及び入光量のうち少なくとも一つの値に応じて、シャッタースピードの変更量を変更してもよい。なお、具体的な変更量の制御方法は、上述した説明と同様であればよい。
【０１０５】
このように、本発明の実施の形態１に係る認識用撮像装置１００は、顔領域の面積、移動速度及び入光量に応じてシャッタースピードを増減することで、顔認識処理に必要な顔の解像度、及びＳＮ比を向上できる。これにより、認識用撮像装置１００は、時間的に連続な認識を安定して行える。
【０１０６】
なお、上記説明では、露出制御部１０２は、シャッタースピードを変更することで露出時間を変更しているが、これ以外の方法で露出時間を変更してもよい。
【０１０７】
（実施の形態２）
本発明の実施の形態２に係る認識用撮像装置は、顔領域の面積に応じて、当該認識用撮像装置の合焦位置を変更する。具体的には、本発明の実施の形態２に係る認識用撮像装置は、顔領域の面積が大きい場合、合焦位置を顔から遠くに設定する。
【０１０８】
これにより、本発明の実施の形態２に係る認識用撮像装置は、顔認識を安定して行える。
【０１０９】
なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。また、各図において、同様の要素には同一の符号を付している。
【０１１０】
図８は、本発明の実施の形態２に係る認識用撮像装置１００Ａのブロック図である。
【０１１１】
図８に示す認識用撮像装置１００Ａは、実施の形態１に係る認識用撮像装置１００の構成に対して、露出制御部１０２の代わりに合焦位置制御部１０３を備える。
【０１１２】
また、図９は、認識用撮像装置１００Ａの詳細な構成を示すブロック図である。
【０１１３】
合焦位置制御部１０３は、撮像部１０１のレンズ駆動装置１１３における合焦位置を制御する。合焦位置が対象物に近ければ、対象物にピントが合っている状態になるので、入力画像における対象物の解像度が上がる。一方、合焦位置が対象物から遠ければ、対象物にピントが合っていない状態になるので、入力画像における対象物の解像度が下がる。
【０１１４】
具体的には、合焦位置制御部１０３は、顔領域の面積が面積閾値未満の場合、合焦位置を第１位置に設定し、顔領域の面積が面積閾値以上の場合、合焦位置を、第１位置より対象物から離れた第２位置に設定する。
【０１１５】
図１０は、認識用撮像装置１００Ａによる合焦位置の制御処理のフローチャートである。また、処理対象の顔はカメラ制御対象の顔とする。
【０１１６】
また、例えば、図１０に示す一連の処理は、１フレームごとに行われる。なお、図１０に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
【０１１７】
図１０に示すように、まず、面積算出部１０９は、処理対象の顔領域の面積を算出する（Ｓ２０１）。ここでは、面積は認識用画像におけるＡＦ評価値とする。
【０１１８】
次に、合焦位置制御部１０３は、顔領域の面積が面積閾値に達しているかどうかを判定する（Ｓ２０２）。
【０１１９】
顔領域の面積が面積閾値を超えている場合（Ｓ２０２でＹｅｓ）、合焦位置制御部１０３は、現在の合焦位置より、合焦位置が顔の位置からより遠くなるように合焦位置を設定する（Ｓ３０３）。
【０１２０】
一方、顔領域の面積が面積閾値を超えていないと判定した場合（Ｓ２０２でＮｏ）、合焦位置制御部１０３は、現在の合焦位置より、合焦位置が顔の位置に近くなるように合焦位置を設定する（Ｓ３０４）。
【０１２１】
なお、合焦位置制御部１０３は、ステップＳ３０４において、少なくともステップＳ３０３で設定される位置より、顔に近い位置に合焦位置を設定すればよい。
【０１２２】
また、ここでは一つの閾値を用いて、合焦位置を変更する例を述べたが、複数の閾値を用いてもよい。例えば、合焦位置制御部１０３は、顔領域の面積が第１面積閾値以上の場合に合焦位置を顔から離し、顔領域の面積が、第１面積閾値より小さい第２面積値未満の場合に合焦位置を顔に近づけ、顔領域の面積が第１面積閾値と第２面積閾値との間の場合に合焦位置を変更しなくてもよい。また、合焦位置制御部１０３は、顔領域の面積と複数の面積閾値との大小に応じて、合焦位置の変化量を変更してもよい。
【０１２３】
ステップＳ３０３及びステップＳ３０４における合焦位置の位置算出方法について図１１を用いて詳細に説明する。まず顔の面積を考慮しない一般的な合焦位置の制御方法を、図１１（ａ）を用いて説明する。
【０１２４】
まず、被写界深度について詳細に説明する。一般的に被写界深度は以下の（式１）、（式２）及び（式３）で求められる。ここで、ＤＮは被写界深度の前端であり、ＤＦは被写界深度の後端である。また、全体の被写界深度はＤＦとＤＮとを合わせたものである。また、ｓは合焦位置であり、Ｈは過焦点距離（無限遠が被写界深度の後端ぎりぎりに入るような合焦位置）であり、Ｎは絞り値であり、ｃは許容錯乱円の直径（許容されるボケの直径）であり、ｆはレンズの焦点距離である。
【０１２５】
Ｈ＝ｆ２／（ｃ×Ｎ）・・・（式１）
ＤＮ＝｛ｓ×（Ｈ−ｆ）｝／（Ｈ＋ｓ−２ｆ）・・・（式２）
ＤＦ＝｛ｓ×（Ｈ−ｆ）｝／（Ｈ−ｓ）・・・（式３）
【０１２６】
以下では、ボケ量が１ｐｉｘｅｌ以内に収まる許容錯乱円の直径をｃとして、顔が認識されている距離Ｓに合焦位置を制御した場合の被写界深度をＷ０とする。
【０１２７】
図１１（ａ）に示すように合焦位置Ｓが過焦点距離Ｈ０より手前にある場合、被写界深度の後端が有限の位置になる。ここで、合焦位置制御部１０３は、顔領域の面積を考慮して、合焦位置がＳの場合において顔の認識が可能な解像度を確保できる被写界深度Ｗ１を求める。例として認識対象の顔の面積が認識に必要な面積の縦横２倍あった場合を仮定する。このような場合、認識に必要とされる許容錯乱円の直径を２ｃまで拡大しても認識に必要な解像度を満たすことができる。
【０１２８】
よって、許容錯乱円の直径を２ｃとして再設定する過焦点距離をＨ１とした場合、合焦位置制御部１０３は、式（１）を用いてＨ１＝Ｈ０／２を算出する。つまり、過焦点距離Ｈ１は過焦点距離Ｈ０よりも手前に位置することになる。具体的には、図１１（ｂ）に示すように過焦点距離Ｈ１が合焦位置Ｓよりも手前にある場合、被写界深度Ｗ１の後端は無限遠になる。また、被写界深度Ｗ１の前端も被写界深度Ｗ０に比べて手前になる。このように、顔領域の面積が広いほど認識可能な被写界深度Ｗ１は広くなる。
【０１２９】
さらに、合焦位置制御部１０３は、過焦点距離Ｈ１が顔認識距離Ｓの手前にある場合、図１１（ｃ）に示すように過焦点距離Ｈ１の位置に合焦位置を設定する。これにより、更に認識可能な被写界深度Ｗ２を広くすることができる。このように、合焦位置制御部１０３は、顔領域の面積に応じて合焦位置を適切に制御することで認識可能な被写界深度を広げることができる。
【０１３０】
つまり、顔領域の面積が十分に大きい場合、合焦位置制御部１０３は、ステップＳ３０３で、合焦位置を顔認識距離から遠くに設定することで認識可能な被写界深度を広げる。このように、顔領域の面積が十分に大きい場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
【０１３１】
また、顔領域の面積が不十分である場合、合焦位置制御部１０３は、ステップＳ３０４で、合焦位置を顔認識距離の近くに設定する。これにより、合焦位置制御部１０３は、顔領域の解像度を高くできる。
【０１３２】
このように、本発明の実施の形態２に係る認識用撮像装置１００Ａは、顔領域の面積に応じて合焦位置を変更することで、時間的に連続な認識を安定して行える。
【０１３３】
（実施の形態３）
本発明の実施の形態３に係る認識用撮像装置は、顔領域の面積及び入光量に応じて、絞り値を変更する。具体的には、本発明の実施の形態３に係る認識用撮像装置は、顔領域の面積が大きい場合、絞り値を大きくする。
【０１３４】
これにより、本発明の実施の形態３に係る認識用撮像装置は、顔認識を安定して行える。
【０１３５】
なお、以下では、実施の形態１及び２との相違点を主に説明し、重複する説明は省略する。また、各図において、同様の要素には同一の符号を付している。
【０１３６】
図１２は、本発明の実施の形態３に係る認識用撮像装置１００Ｂのブロック図である。
【０１３７】
図１２に示す認識用撮像装置１００Ｂは、実施の形態１に係る認識用撮像装置１００の構成に対して、露出制御部１０２の代わりに絞り制御部１０４を備える。
【０１３８】
また、図１３は、認識用撮像装置１００Ｂの詳細な構成を示すブロック図である。
【０１３９】
絞り制御部１０４は、撮像部１０１の絞り装置１１４における絞り値を制御する。絞り値を小さくすると、レンズ１１２を通過する光量が多くなるので対象物の電気信号が多く得られる。これにより、入力画像の入光量が多くなる。また、被写界深度が浅く（ピントの合う領域が狭く）なる。一方、絞り値を大きくすると、レンズを通過する光量が少なくなるので、被写体の電気信号が少なくなる。これにより、入力画像の入光量が少なくなる。また、被写界深度が深く（ピントの合う領域が広く）なる。
【０１４０】
具体的には、絞り制御部１０４は、顔領域の面積が面積閾値未満の場合、絞り値を第１絞り値に設定し、顔領域の面積が面積閾値以上の場合、絞り値を第１絞り値より大きい第２絞り値に設定する。
【０１４１】
以下に、絞り制御部１０４が、面積算出部１０９及び入光量算出部１１０により生成さされた情報を用いて絞り値を算出する方法を述べる。また、処理対象の顔はカメラ制御対象の顔とする。
【０１４２】
まず、絞り制御部１０４による顔領域の面積に基づく、絞り値の制御処理について説明する。図１４は、顔領域の面積に基づく、絞り値の制御処理のフローチャートである。
【０１４３】
また、例えば、図１４及び図１５の各々に示す一連の処理は、１フレームごとに行われる。なお、図１４及び図１５の各々に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
【０１４４】
図１４に示すように、まず、面積算出部１０９は、処理対象の顔領域の面積を算出する（Ｓ２０１）。ここで、面積は入力画像における顔領域の画素数とする。
【０１４５】
次に、絞り制御部１０４は、顔領域の面積が面積閾値に達しているかどうかを判定する（Ｓ２０２）。
【０１４６】
顔領域の面積が面積閾値を超えている場合（Ｓ２０２でＹｅｓ）、絞り制御部１０４は、現在の絞り値より大きい絞り値を設定する（Ｓ４０３）。
【０１４７】
ここで、絞り値が大きければ大きいほど被写界深度は深くなるため、認識範囲を広げることができる。
【０１４８】
また、入力画像上の顔領域の画素数が多い場合、認識用画像のサイズに縮小する際に各画素におけるノイズが平均化されるのでノイズの影響が少なくなる。よって、顔領域の各画素の信号量が相対的に大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、絞り制御部１０４は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
【０１４９】
また、絞り制御部１０４は、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、面積が大きいほど絞り値を大きくする。
【０１５０】
一方、顔領域の面積が面積閾値を超えていない場合（Ｓ２０２でＮｏ）、絞り制御部１０４は、現在の絞り値より小さい絞り値を設定する（Ｓ４０４）。また、絞り制御部１０４は、顔領域の面積が小さいほど絞り値を小さくする。
【０１５１】
また、入力画像上の顔領域の画素数が少ない場合、認識用画像のサイズに縮小する際にノイズが平均化されにくくなるので、ノイズの影響が大きくなる。これに対して、絞り制御部１０４は、このような場合に、絞り値を小さくすることにより、認識に必要とされる光量を確保できる。
【０１５２】
また、絞り制御部１０４は、ステップＳ４０４において、少なくともステップＳ４０３で設定される絞り値より小さい絞り値を設定すればよい。
【０１５３】
また、ここでは一つの閾値を用いて、絞り値を変更する例を述べたが、複数の閾値を用いてもよい。例えば、絞り制御部１０４は、顔領域の面積が第１面積閾値以上の場合に絞り値を大きくし、顔領域の面積が、第１面積閾値より小さい第２面積値未満の場合に絞り値を小さくし、顔領域の面積が第１面積閾値と第２面積閾値との間の場合に絞り値を変更しなくてもよい。また、絞り制御部１０４は、顔領域の面積と複数の面積閾値との大小に応じて、絞り値の変化量を変更してもよい。
【０１５４】
次に、絞り制御部１０４による顔領域の入光量に基づく、絞り値の制御処理について説明する。図１５は、顔領域の入光量に基づく、絞り値の制御処理のフローチャートである。
【０１５５】
図１５に示すように、まず、入光量算出部１１０は、処理対象の顔領域の入光量を算出する（Ｓ２２１）。ここで、入光量は入力画像の顔領域に含まれる複数の画素の輝度値の平均値とする。
【０１５６】
次に、絞り制御部１０４は、顔領域における入光量が入光量閾値に達しているかどうかを判定する（Ｓ２２２）。
【０１５７】
顔領域の入光量が入光量閾値を超えている場合（Ｓ２２２でＹｅｓ）、絞り制御部１０４は、現在の絞り値より大きい絞り値を設定する（Ｓ４０３）。
【０１５８】
ここで、絞り値が大きければ大きいほど被写界深度は深くなるため、認識範囲を広げることができる。よって、絞り制御部１０４は、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、入光量が大きいほど絞り値を大きくする。
【０１５９】
例えば、入力画像上の顔領域の入光量が大きい場合、撮像部１０１において発生するノイズの量に比べ、顔領域の各画素の信号量が大きくなる。よって、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、絞り制御部１０４は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。このように、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
【０１６０】
一方、顔領域の入光量が入光量閾値を超えていない場合（Ｓ２２２でＮｏ）、絞り制御部１０４は、現在の絞り値より小さい絞り値を設定する（Ｓ４０４）。絞り値が小さければ小さいほど、認識範囲を狭めるため、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、入光量が小さいほど絞り値を小さくする。
【０１６１】
例えば、入力画像上の顔領域の入光量が小さい場合、撮像部１０１において発生するノイズの量に比べ、顔領域の各画素の信号量が小さくなる。よって、絞り制御部１０４は、絞り値を小さくすることで、認識に必要とされる光量を確保できる。
【０１６２】
また、絞り制御部１０４は、ステップＳ４０４において、少なくともステップＳ４０３で設定される絞り値より小さい絞り値を設定すればよい。
【０１６３】
また、ここでは一つの閾値を用いて、絞り値を変更する例を述べたが、複数の閾値を用いてもよい。例えば、絞り制御部１０４は、顔領域の入光量が第１入光量閾値以上の場合に絞り値を大きくし、顔領域の入光量が、第１入光量閾値より小さい第２入光量値未満の場合に絞り値を小さくし、顔領域の入光量が第１入光量閾値と第２入光量閾値との間の場合に絞り値を変更しなくてもよい。また、絞り制御部１０４は、顔領域の入光量と複数の入光量閾値との大小に応じて、絞り値の変化量を変更してもよい。
【０１６４】
以上より、本発明の実施の形態３に係る認識用撮像装置１００Ｂは、顔領域の面積及び入光量に応じて絞り値を制御することで、認識に必要とされる光量を確保しつつ、認識が可能となる被写界深度をできるだけ深くすることができる。よって、認識用撮像装置１００Ｂは、より安定した認識が可能になる。
【０１６５】
また、上記説明では、顔領域の面積及び入光量の各々に応じて処理を行う例を述べたが、これらを組み合わせてもよい。つまり、絞り制御部１０４は、顔領域の面積及び入光量のうち少なくとも一つに応じて、絞り値を変更すればよい。
【０１６６】
また、上述した図１４及び図１５における、ステップＳ４０３及びＳ４０４において、絞り制御部１０４は、顔領域の面積及び入光量のうち少なくとも一つの値に応じて、絞り値の変更量を変更してもよい。なお、具体的な変更量の制御方法は、上述した説明と同様であればよい。
【０１６７】
以上、本発明の実施の形態に係る認識用撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【０１６８】
例えば、上記実施の形態では、顔を認識する場合を例に説明したが、本発明は、画像内の任意の対象物を認識する場合にも適用できる。
【０１６９】
また、上記実施の形態１〜実施の形態３において、露出時間、合焦位置及び絞り値を制御する例を個別に説明したが、これらを組み合わせたものも本発明に含まれる。つまり、本発明に係る認識撮像装置は、上述した露出制御部１０２、合焦位置制御部１０３及び絞り制御部１０４のうち２以上を備えてもよい。
【０１７０】
例えば、図７に示す処理において、シャッタースピードを変更しない場合（Ｓ２３１でＮｏかつＳ２３２でＮｏ）に、合焦位置又は絞り値を変更してもよい。
【０１７１】
また、この場合、露出時間、合焦位置及び絞り値に用いる面積閾値は、それぞれ異なってもよい。同様に、露出時間、合焦位置及び絞り値に用いる速度閾値も、それぞれ異なってもよいし、露出時間、合焦位置及び絞り値に用いる入光量閾値も、それぞれ異なってもよい。
【０１７２】
また、上記実施の形態に係る認識用撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【０１７３】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１７４】
また、本発明の実施の形態に係る、認識用撮像装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０１７５】
例えば、上記認識用撮像装置１００、１００Ａ及び１００Ｂに含まれる処理部のうち、撮像部１０１以外の機能を、ＣＰＵ等のプロセッサがプログラムを実行することにより実現できる。
【０１７６】
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【０１７７】
また、上記実施の形態１〜３に係る、認識用撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【０１７８】
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【０１７９】
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１８０】
例えば、図７に示す処理では、ステップＳ２０１及びＳ２２１の順序は任意の順序でよい。また、ステップＳ２３１及びＳ２３２の順序は任意の順序でよい。
【０１８１】
更に、本発明の主旨を逸脱しない限り、上記実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
【産業上の利用可能性】
【０１８２】
本発明は、認識用撮像装置及びその制御方法に適用できる。また、本発明は、認識用撮像装置を備える、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、及びセキュリティカメラ等のカメラに適用できる。
【符号の説明】
【０１８３】
１００、１００Ａ、１００Ｂ    認識用撮像装置
１０１    撮像部
１０２    露出制御部
１０３    合焦位置制御部
１０４    絞り制御部
１０５    顔認識部
１０６    顔追跡部
１０７    顔認識結果記憶部
１０８    移動速度算出部
１０９    面積算出部
１１０    入光量算出部
１１２    レンズ
１１３    レンズ駆動装置
１１４    絞り装置
１１５    シャッター装置
１１６    撮像素子
１１７    ＡＤ変換器
１２０    入力画像
１２１    顔認識結果
１２２    顔追跡結果
１２３    顔特徴情報
【図１】
0005400171.tif 000002
【図２】
0005400171.tif 000003
【図３】
0005400171.tif 000004
【図４】
0005400171.tif 000005
【図５】
0005400171.tif 000006
【図６】
0005400171.tif 000007
【図７】
0005400171.tif 000008
【図８】
0005400171.tif 000009
【図９】
0005400171.tif 000010
【図１０】
0005400171.tif 000011
【図１１】
0005400171.tif 000012
【図１２】
0005400171.tif 000013
【図１３】
0005400171.tif 000014
【図１４】
0005400171.tif 000015
【図１５】
0005400171.tif 000016