(57)【特許請求の範囲】
【請求項１】
時系列的に順次入力される画像から特定の被写体を認識する認識装置であって、
前記画像から被写体を検出する被写体検出手段と、
前記被写体検出手段によって検出された被写体が被認識対象として適しているか否かを判定する適正判定手段と、
前記適正判定手段による判定結果に応じて、前記被写体検出手段によって検出された被写体から被認識対象として用いる被写体を選定する選定手段と、
前記選定手段によって選定された被写体について前記特定の被写体であるか否かを認識する認識手段と、を有し、
前記選定手段は、前記順次入力される画像のうちの１つの画像において前記被写体検出手段によって複数の被写体が検出された場合、前記複数の被写体の中で、前記１つの画像よりも前に入力された画像のいずれにおいても選定されていない未選定の被写体から前記被認識対象として用いる被写体を選定することを特徴とする認識装置。
【請求項２】
前記選定手段は、前記複数の被写体の中に前記未選定の被写体がない場合は、前記被認識対象として選定されてから最も時間が経過している被写体を優先して前記被認識対象として用いる被写体として選定することを特徴とする請求項１に記載の認識装置。
【請求項３】
前記被写体検出手段は、被写体の検出の際、その信頼度、被写体の大きさ、および被写体の向きの少なくとも一つを示す検出データを出力しており、
前記適正判定手段は、前記検出データにおいて前記信頼度、前記大きさ、および前記向きの少なくとも一つが所定の基準に合致しないと前記被写体検出手段によって検出された被写体が被認識対象として不適であると判定することを特徴とする請求項１又は２に記載の認識装置。
【請求項４】
前記被写体検出手段によって検出された被写体からその特徴量を特徴データとして抽出する抽出手段を備え、
前記適正判定手段は、前記抽出手段により抽出された特徴データに応じて、前記被写体検出手段で検出された被写体が被認識対象として適しているか否かを判定することを特徴とする請求項１又は２に記載の認識装置。
【請求項５】
複数の被写体の画像又は当該画像から得られる被写体認識用情報と前記被写体の特徴を示す特徴データとが関連付けられて登録画像情報として登録された辞書手段と、
前記辞書手段に登録された前記登録画像情報と前記抽出手段によって抽出された特徴データとを照合する照合手段とを有し、
前記適正判定手段は、前記特徴照合手段による照合結果に応じて、前記被写体検出手段で検出された被写体が前記被認識対象として適しているか否かを判定することを特徴とする請求項４に記載の認識装置。
【請求項６】
前記抽出手段は前記被写体の正面に対する向きおよび被写体における表情の少なくとも一つを前記特徴データとして抽出することを特徴とする請求項４又は５に記載の認識装置。
【請求項７】
被写体を撮像して画像を得る撮像手段と、
請求項１〜６のいずれか１項に記載の認識装置と、
前記撮像手段によって撮像を行う際の撮像条件を、前記認識装置によって認識された前記特定の被写体に応じて制御する制御手段とを備えることを特徴とする撮像装置。
【請求項８】
時系列的に入力される画像を表示する表示手段と、
請求項１〜６のいずれか１項に記載の認識装置と、
前記表示手段に前記画像を表示する際の表示条件を、前記認識装置によって検出された前記特定の被写体に応じて制御する制御手段とを備えることを特徴とする表示装置。
【請求項９】
時系列的に順次入力される画像から特定の被写体を認識する認識装置の制御方法であって、
前記画像から被写体を検出する被写体検出ステップと、
前記被写体検出ステップで検出された被写体が被認識対象として適しているか否かを判定する適正判定ステップと、
前記適正判定ステップによる判定結果に応じて、前記被写体検出ステップで検出された被写体から被認識対象として用いる被写体を選定する選定ステップと、
前記選定ステップで選定された被写体について前記特定の被写体であるか否かを認識する認識ステップと、を有し、
前記選定ステップでは、前記順次入力される画像のうちの１つの画像において前記被写体検出ステップで複数の被写体が検出された場合、前記複数の被写体の中で、前記１つの画像よりも前に入力された画像のいずれにおいても選定されていない未選定の被写体から前記被認識対象として用いる被写体を選定することを特徴とする制御方法。
【請求項１０】
時系列的に順次入力される画像から特定の被写体を認識する認識装置で用いられる制御プログラムであって、
前記認識装置が備えるコンピュータに、
前記画像から被写体を検出する被写体検出ステップと、
前記被写体検出ステップで検出された被写体が被認識対象として適しているか否かを判定する適正判定ステップと、
前記適正判定ステップによる判定結果に応じて、前記被写体検出ステップで検出された被写体から被認識対象として用いる被写体を選定する選定ステップと、
前記選定ステップで選定された被写体について前記特定の被写体であるか否かを認識する認識ステップと、を実行させ、
前記選定ステップでは、前記順次入力される画像のうちの１つの画像において前記被写体検出ステップで複数の被写体が検出された場合、前記複数の被写体の中で、前記１つの画像よりも前に入力された画像のいずれにおいても選定されていない未選定の被写体から前記被認識対象として用いる被写体を選定することを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像における特定の被写体像を認識する認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置に関する。
【背景技術】
【０００２】
近年、撮像装置には、画像中の特定の被写体像を認識するための被写体認識機能が備えられたものがある。そして、被写体認識機能を備えていると、認識した被写体像に対して優先的にフォーカスおよび露出を制御することができる。
【０００３】
被写体認識機能を備えた撮像装置においては、まず、撮影の結果得られた画像データから特定の被写体領域が含まれる被写体画像領域を検出する。続いて、検出された被写体画像領域を被認識対象として識別するための特徴情報を抽出する。そして、抽出した特徴情報と予め辞書データとして登録された登録対象画像の特徴情報とを比較する。次に、当該比較によって得られた類似度に基づいて被認識対象がいずれの登録対象画像であるか又は該当する登録対象画像が存在しないかを判定する。
【０００４】
例えば、特定の被写体領域が人物の顔である際、顔領域の特徴情報を抽出し、当該顔領域に係る画像が誰であるかを判定して個人認識を行うようにしたものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１８７３５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮影の結果得られた画像データから被写体領域を検出する際、画像データに複数の被写体像が存在すると、被写体画像領域として複数の被写体領域が検出される。そして、被写体を認識するための特徴情報の比較においては、被写体領域の各々を被認識対象として設定して前述の比較が行われる。
【０００７】
このため、撮影の結果得られた画像データに複数の被写体像が存在する場合、一度に設定できる被認識対象の数に上限があるならば、複数の被写体領域から特定の被写体領域を被認識対象として選定する必要がある。
【０００８】
さらに、人物の顔を識別する個人認識を代表とする被写体認識における精度は、顔領域の表情および向き、そして、照明条件などの状態によって影響を受ける。このため、被認識対象の顔領域と辞書データの顔領域との状態が異なる場合には、個人認識の精度が低下してしまうことがある。つまり、被認識対象である顔領域の状態によっては正確に個人認識を行うことができない場合がある。
【０００９】
従って、本発明の目的は、検出された複数の被写体から、特定の被写体を被認識対象として効率よく選定して、精度よく被写体の認識を行うことのできる認識装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するため、本発明による認識装置は、時系列的に順次入力される画像から特定の被写体を認識する認識装置であって、前記画像から被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された被写体が被認識対象として適しているか否かを判定する適正判定手段と、前記適正判定手段による判定結果に応じて、前記被写体検出手段によって検出された被写体から被認識対象として用いる被写体を選定する選定手段と、前記選定手段によって選定された被写体について前記特定の被写体であるか否かを認識する認識手段と、を有し、前記選定手段は、前記順次入力される画像のうちの１つの画像において前記被写体検出手段によって複数の被写体が検出された場合、前記複数の被写体の中で、前記１つの画像よりも前に入力された画像のいずれにおいても選定されていない未選定の被写体から前記被認識対象として用いる被写体を選定することを特徴とする。 
【００１１】
本発明による撮像装置は、被写体を撮像して画像を得る撮像手段と、上記の認識装置と、前記撮像手段によって撮像を行う際の撮像条件を、前記認識装置によって認識された前記特定の被写体に応じて制御する制御手段とを備えることを特徴とする。
【００１２】
本発明による表示装置は、時系列的に入力される画像を表示する表示手段と、上記の認識装置と、前記表示手段に前記画像を表示する際の表示条件を、前記認識装置によって検出された前記特定の被写体に応じて制御する制御手段とを備えることを特徴とする。
【００１３】
本発明による制御方法は、時系列的に順次入力される画像から特定の被写体を認識する認識装置の制御方法であって、前記画像から被写体を検出する被写体検出ステップと、前記被写体検出ステップで検出された被写体が被認識対象として適しているか否かを判定する適正判定ステップと、前記適正判定ステップによる判定結果に応じて、前記被写体検出ステップで検出された被写体から被認識対象として用いる被写体を選定する選定ステップと、前記選定ステップで選定された被写体について前記特定の被写体であるか否かを認識する認識ステップと、を有し、前記選定ステップでは、前記順次入力される画像のうちの１つの画像において前記被写体検出ステップで複数の被写体が検出された場合、前記複数の被写体の中で、前記１つの画像よりも前に入力された画像のいずれにおいても選定されていない未選定の被写体から前記被認識対象として用いる被写体を選定することを特徴とする。
【００１４】
本発明による制御プログラムは、時系列的に順次入力される画像から特定の被写体を認識する認識装置で用いられる制御プログラムであって、前記認識装置が備えるコンピュータに、前記画像から被写体を検出する被写体検出ステップと、前記被写体検出ステップで検出された被写体が被認識対象として適しているか否かを判定する適正判定ステップと、前記適正判定ステップによる判定結果に応じて、前記被写体検出ステップで検出された被写体から被認識対象として用いる被写体を選定する選定ステップと、前記選定ステップで選定された被写体について前記特定の被写体であるか否かを認識する認識ステップと、を実行させ、前記選定ステップでは、前記順次入力される画像のうちの１つの画像において前記被写体検出ステップで複数の被写体が検出された場合、前記複数の被写体の中で、前記１つの画像よりも前に入力された画像のいずれにおいても選定されていない未選定の被写体から前記被認識対象として用いる被写体を選定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、検出された複数の被写体から、特定の被写体を被認識対象として効率よく選定して、精度よく被写体の認識を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態による認識装置を備えた撮像装置の一例についてその構成を示すブロック図である。
【図２】図１に示すカメラにおける被写体認識処理を説明するためのフローチャートである。
【図３】図１に示す被認識対象選定部における選定処理を説明するための画である。
【図４】本発明の第２の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【図５】本発明の第３の実施形態による撮像装置の一例についてその構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態による認識装置（以下画像認識装置とも呼ぶ）の一例について図面を参照した説明する。
【００１８】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像認識装置を備えた撮像装置１００の一例についてその構成を示すブロック図である。
【００１９】
撮像装置１００は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）である。カメラ１００は、撮影の結果得られた画像データから特定の被写体領域として、例えば、人物の顔領域を検出する。そして、撮像装置１００はこの顔領域に係る特徴情報を抽出して、当該顔領域が誰であるかを識別する個人認識を行う機能を有している。
【００２０】
カメラ１００は撮像レンズユニット１０１を有しており、撮像レンズユニット１０１を介して入射した光学像（被写体像）が撮像素子１０２（例えば、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサ）にて結像する。撮像素子１０２は光学像に応じた電気信号（アナログ信号）である映像信号を画素単位で出力する。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において、相関二重サンプリング（ＣＤＳ）などのアナログ信号処理が施される。
【００２１】
アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタル信号（デジタル映像信号）に変換される。このデジタル映像信号は処理対象の画像データとして撮影制御部１０５および画像処理部１０６に入力される。
【００２２】
撮影制御部１０５（制御手段）は、例えば、ＣＰＵ又はマイクロコントローラであり、カメラ１００全体の制御を司る。撮影制御部１０５は、内蔵ＲＯＭに記憶されたプログラムを内蔵ＲＡＭの作業領域に展開して実行し、カメラ１００の各部を制御する。
【００２３】
画像処理部１０６は、当該画像データについてガンマ補正およびホワイトバランス処理などの画像処理を施す。さらに、画像処理部１０６はこの画像処理に加えて、被写体検出部１０９および被写体認識部１１３からの出力に基づいて画像処理を行う機能を備えている。画像処理部１０６から出力された処理済み映像信号は表示部１０７に送られる。
【００２４】
表示部１０７は、例えば、ＬＣＤ又は有機ＥＬディスプレイなどの表示装置であり、処理済み映像信号に応じた画像を画面表示する。時系列的に連続撮影した画像を逐次表示部１０７に表示することによって、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。
【００２５】
また、画像処理部１０６は処理済み映像信号を記録媒体１０８（例えば、着脱可能なメモリカード）に記録する。なお、処理済み映像信号の記録先はカメラ１００に内蔵された内蔵メモリ又はカメラ１００に装着されたメモリ（ともに図示せず）であってもよい。さらには、記録先としてカメラ１００に通信可能に接続された外部装置（図示せず）を用いるようにしてもよい。
【００２６】
画像処理部１０６から出力された処理済み映像信号（処理対象の画像データ）は、被写体検出部１０９に供給される。被写体検出部１０９は画像データにおいて被写体像を検出して被写体像の数とその被写体領域を特定する。本実施形態における被写体検出部１０９が検出する被写体像は、人物の顔である。
【００２７】
被写体検出部１０９で用いられる検出手法として、例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を用いる手法又はニューラルネットに代表される学習アルゴリズムによって顔検出のための識別機能を構成する手法がある。また、顔検出においては、一般的に検出率向上のために複数の手法を組み合わせて行われる。具体的には、特開２００２−２５１３８０号公報に記載のウェーブレット変換および画像特徴量を用いて顔検出する手法がある。
【００２８】
被写体検出部１０９の検出によって得られた顔検出結果（顔検出データ）は撮影制御部１０５、被写体追跡部１１０、および適正判定部１１１に送られる。この顔検出データには、例えば、検出した顔の位置、その大きさ、正面に対する顔の傾き（顔の向き）、および検出結果の信頼度が含まれている。顔検出において、正面顔および横顔などの顔向きを検出する際には、被写体検出部１０９は検出すべき顔向きの数分の識別器を備えている。そして、被写体検出部１０９は顔領域の検出に用いた識別器を特定して、顔向きを示す顔向き情報を得る。
【００２９】
ところで、動画のような複数フレームを含む画像データにおいては、所定の周期のフレーム毎に被写体検出部１０９は被写体領域（顔領域）を検出することになる。あるいは、被写体検出部１０９は前の被写体領域の検出が完了次第、すぐに最新のフレームの画像データを用いて被写体領域を検出することになる。この場合、被写体のサイズや数によって被写体領域の検出に要する時間に差が生じるため、被写体領域の検出が行われる周期は必ずしも一定にはならない。
【００３０】
そして、被写体追跡部１１０は異なるフレームで検出されたそれぞれの顔領域を比較し、同一の被写体における顔領域を関連付けることで被写体像の追跡を行う。つまり、被写体追跡部１１０は１つのフレームで検出された顔領域が、前回の別のフレームで検出されたいずれの顔領域であるかを判定することで、被写体の追跡を行う。この際、被写体追跡部１１０は、１つのフレームで検出された複数の顔領域のそれぞれを、前回の別のフレームで検出された複数の顔領域のそれぞれと比較し、その大きさと位置が類似する２つの顔領域を同一の被写体像、すなわち同一人物の顔であると判定する。
【００３１】
このようにして、被写体追跡部１１０は顔検出データに応じて同一の被写体像（つまり、顔領域）を追跡して、その追跡結果を被認識対象選定部１１２に送る。
【００３２】
適正判定部１１１は、被写体検出部１０９によって検出された顔領域が被写体認識部１１３における被認識対象として適切であるか否かを判定する。例えば、適正判定部１１１は訂正判定の際に、それぞれの顔領域の顔検出データに含まれる検出結果の信頼度、顔領域の大きさ、および顔向きを用いる。
【００３３】
検出結果の信頼度が低い場合には、顔領域の中に顔を隠す遮蔽物が含まれている可能性があると考えられる。このため、検出結果の信頼度が所定の信頼度閾値よりも低い場合には、適正判定部１１１は当該顔領域が被認識対象として適切ではないと判定する。
【００３４】
また、顔領域の大きさが小さい場合には、被写体認識部１１３における被認識対象の画像として十分な解像度が得られないことがある。このため、顔領域の大きさが所定の大きさ閾値よりも小さい場合には、適正判定部１１１は当該顔領域が被認識対象として適切ではないと判定する。
【００３５】
さらに、横顔など顔領域の顔向きが正面向き（正面顔）から大きくずれている場合には、正面顔と比較して被写体認識部１１３において個人を識別するための十分な特徴データが得られないことがある。このため、正面顔の顔向きと顔領域における顔向きとの偏差が所定の偏差閾値よりも大きい場合には、適正判定部１１は当該顔領域が被認識対象として適切ではないと判定する。
【００３６】
このようにして、適正判定部１１１は顔検出データに応じて顔領域が被認識対象として適切であるか否かを判定して適性判定結果を被認識対象選定部１１２に送る。
【００３７】
被認識対象選定部１１２は、適正判定部１１１によって得られた適性判定結果と被写体追跡部１１０によって得られた追跡結果（つまり、顔領域）から、被写体認識部１１３で用いる顔領域を被認識対象として選定する。なお、追跡結果には過去フレームにおいて顔領域が、被認識対象として選定されたか否か、および、選定された場合はどのフレームで選定されたのかを示す選定情報が含まれている。
【００３８】
被認識対象として選定される顔領域の数は、１フレームにおいて最大１つであっても、複数であってもよい。例えば、一度に被認識対象として設定できる数よりも多くの顔領域が検出されたのであれば、被認識対象選定部１１２は適性判定結果が適切であるとする顔領域であって、かつ、その追跡結果において未選定の顔領域を優先して被認識対象として選定する。一方、被認識対象選定部１１２は追跡結果において未選定の顔領域が存在しない場合には、適性判定結果が適切であるとする顔領域であって、かつ、最後に被認識対象として選定されてから最も時間が経過している顔領域を優先して被認識対象として選定する。この時間の経過は、被認識対象として選定されたときの時刻の情報から求めてもよいし、被認識対象として選定されたときのフレームを起点として数えたフレーム数から求めてもよい。
【００３９】
また、適切な被認識対象が存在しない場合は、当然のことながら被認識対象選定部１１２は被認識対象の選定を行わないことになる。
【００４０】
被認識対象選定部１１２で選定された被認識対象である顔領域は被写体認識部１１３に送られる。被写体認識部１１３は被認識対象である顔領域からその特徴を示す特徴情報を抽出する。そして、被認識対象選定部１１２は特徴情報と予め辞書データ１１４に登録されている登録顔領域の登録特徴情報とを比較して、類似度を示す認識評価値を得る。
【００４１】
被写認識証部１１３は認識評価値に基づいて被認識対象である顔領域が、辞書データ１１４に登録された登録顔領域のいずれに該当するか否かを判定する。例えば、認識評価値が所定の認識閾値以上であると、被写体認識部１１３は、当該認識評価値が得られた登録顔領域が被認識対象である顔領域であると判定して、認識結果を撮影制御部１０５に送る。
【００４２】
辞書データ１１４には、複数の顔領域に係る画像データがその特徴情報（特徴量）に関連付けられて登録されている。辞書データ１１４に登録される画像データとして複数の顔領域を登録するようにしてもよく、さらには、同一の顔領域に係る画像データをその向きを変えて複数登録するようにしてもよい。
【００４３】
撮影制御部１０５は、デジタル映像信号に基づいて、撮像レンズユニット１０１に備えられた焦点制御機構および露出制御機構（ともに図示せず）を制御する。この際、撮影制御部１０５は被写体検出部１０９で検出された顔検出データおよび被写体認識部１１３の認識結果を用いて焦点制御機構および露出制御機構を制御する。つまり、カメラ１００では、撮像画像における特定の被写体領域（顔領域）を考慮して撮像条件を制御して撮影処理を行うことになる。なお、撮影制御部１０５は、撮像素子１０２における出力タイミングおよび読み出し画素の制御を行う。
【００４４】
図２は、図１に示すカメラ１００における被写体認識処理を説明するためのフローチャートである。
【００４５】
被写体認識処理が開始されると、画像処理部１０６はＡ／Ｄ変換部１０４からのデジタル映像信号を入力画像データとして読み込む（ステップＳ２０１）。そして、画像処理部１０６は処理済み映像信号（処理済み画像データ）を被写体検出部１０９に出力する。
【００４６】
続いて、被写体検出部１０９は、入力画像における被写体領域である顔領域を検出する（ステップＳ２０２）。そして、被写体検出部１０９は顔領域が検出されたか否かを判定する（ステップＳ２０３）。顔領域が検出されないと（ステップＳ２０３において、ＮＯ）、そのフレームの入力画像データに対する被写体追跡部１１０乃至被写体認識部１１３による処理は行われず、画像処理部１０６がステップＳ２０１の処理で別のフレームの入力画像データを読み込む。
【００４７】
顔領域が検出されると（ステップＳ２０３において、ＹＥＳ）、被写体検出部１０９は被写体追跡部１１０および適正判定部１１１に顔領域とともに顔検出データを出力する。なお、前述のように、顔検出データには、顔領域の数、およびその画像の位置、大きさ、顔向き、および検出結果の信頼度などが含まれている。
【００４８】
被写体追跡部１１０は、異なるフレーム間において同一の顔領域を判定して顔領域の追跡を行う（ステップＳ２０４）。顔領域の追跡に当たっては、被写体追跡部１１０は、前述のように、顔検出が行われた連続するフレーム間において顔検出データが示す顔領域の位置および大きさの類似度が所定の基準を満たすと、フレーム間において当該顔領域は同一であると判定することになる。
【００４９】
一方、顔検出が行われた連続するフレーム間において、顔検出データが示す顔領域の位置および大きさの類似度が所定の基準を満たす顔領域が存在しないと、被写体追跡部１１０は当該顔領域を新規に出現した顔領域であるとする。被写体追跡部１１０で、時系列的に連続するフレーム間における同一の顔領域を特定すれば、各顔領域において過去フレームにおける被認識対象として選定した選定情報を得ることができる。
【００５０】
続いて、被認識対象選定部１１２は、顔領域のうち被認識対象として未選定の顔領域を被認識対象候補として選定する。未選定の顔領域が存在しない場合には、被認識対象選定部１１２は最後に被認識対象として選定されてから最も時間が経過している顔領域を被認識対象候補として選定する（ステップＳ２０５）。
【００５１】
次に、被認識対象選定部１１２は、適正判定部１１１から送られた適正判定結果に応じて被認識対象候補が適正であるか否かを判定する（ステップＳ２０６）。被認識対象候補が適正でないと（ステップＳ２０６において、ＮＯ）、被認識対象選定部１１２は当該被認識対象候補を候補から除外する（ステップＳ２０７）。そして、被認識対象選定部１１２は、この被認識対象候補として選定された顔領域を除外した残りの顔領域に対してステップＳ２２５の処理を行う。
【００５２】
一方、被認識対象候補が適正であると（ステップＳ２０６において、ＹＥＳ）、被認識対象選定部１１２は当該被認識対象候補を正式に被認識対象として選定する（ステップＳ２０８）。次に、被写体認識部１１３は、被認識対象選定部１１２により選定された被認識対象である顔領域についてその特徴情報を抽出して、当該特徴情報と辞書データ１１４に登録されている登録画像（登録顔領域）の登録特徴情報とを比較して顔領域の認識を行う（ステップＳ２０９）。
【００５３】
認識処理が終了すると、被写体認識部１１３はその旨を画像処理部１０６に通知する。これによって、画像処理部１０６は、次フレームにおける被認識対象選定部１１２による選定処理のため被写体認識（顔認識）を行った顔領域について現在時刻、あるいは、フレーム数をメモリ（図示せず）に記憶する（ステップＳ２０９）。そして、画像処理部１０６はステップＳ２０１の処理を行う。
【００５４】
なお、現在時刻は撮影画像を入力画像データとして読み込んだ時刻であっても、被写体認識部１１３が認識処理を実施した時刻であってもよい。この際には、被写体認識部１１３は認識処理の時刻を画像処理部１０６に通知する。現在時刻の代わりに現在フレームを用いる場合も同様である。
【００５５】
図３は、図１に示す被認識対象選定部１１２における選定処理を説明するための画である。なお、ここでは、画像処理部１０６に第ｎのフレーム３０１〜第（ｎ＋３）のフレーム３０４（ｎは１以上の整数）の画像データが順次入力された場合について説明する。ここでは説明をわかりやすくするため、被写体検出部１０９が１フレーム毎に顔領域の検出を行うことができるものとしている。
【００５６】
図３において、第ｎ〜第（ｎ＋３）のフレーム３０１〜３０４の各々において、被写体検出部１０９は顔領域３１１、３１２、および３１３を検出し、被写体追跡部１１０は第ｎ〜第（ｎ＋３）のフレーム３０１〜３０４間において顔領域３１１、３１２、および３１３を同一の被写体像における顔であると特定しているものとする。
【００５７】
第ｎのフレーム３０１における顔領域３１２、第（ｎ＋１）のフレーム３０２における顔領域３１１、第（ｎ＋２）のフレーム３０３における顔領域３１２、そして、第（ｎ＋３）のフレーム３０４における顔領域３１３（実線枠で囲まれた顔領域）は、被認識対象選定部１１２によって被認識対象として選定された顔領域である。被写体認識部１１３は実線枠で囲まれた顔領域に対して被写体（つまり、個人）を認識するための認識処理を実行する。
【００５８】
なお、被認識対象選定部１１２は各フレームにおいて最大１つの顔領域を被認識対象として選定するものとする。また、ここでは、適正判定部１１１は、顔検出データとして得られる顔向きを適正判定に用いて、正面向きの顔領域（例えば、第ｎのフレーム３０１における顔領域３１２）を被認識対象として適していると判定する。一方、適正判定部１１１は横向きの顔（例えば、第ｎのフレーム３０１における顔領域３１１）を被認識対象として適していないと判定する。
【００５９】
第ｎのフレーム３０１において、検出された顔領域３１１、３１２、および３１３はいずれも被認識対象として未選定である。つまり、第ｎのフレーム３０１は最初のフレームであるため、顔領域３１１、３１２、および３１３は過去において選定されていない（選定情報が付加されていない）。よって、被認識対象選定部１１２は顔領域３１１、３１２、および３１３を被認識対象候補として選定する。
【００６０】
この際、顔領域３１１および３１３は横向きであるため、適正判定部１１１によって不適であると判定される結果、被認識対象選定部１１２は顔領域３１２のみを被認識対象として選定することになる。
【００６１】
第（ｎ＋１）のフレーム３０２において、検出された顔領域３１１および３１３は未だ被認識対象として未選定であるので、被認識対象選定部１１２は顔領域３１１および３１３を被認識対象候補として選定する。この際、顔領域３１３は横向きであるため、適正判定部１１１によって不適であると判定される結果、被認識対象選定部１１２は顔領域３１１を被認識対象として選定することになる。
【００６２】
第（ｎ＋１）のフレーム３０３において、検出された顔領域３１３は被認識対象として未選定であるので、被認識対象選定部１１２は顔領域３１３を被認識対象候補として選定する。この際、顔領域３１３は横向きであるため、適正判定部１１１によって不適であると判定される結果、被認識対象選定部１１２は顔領域３１３を被認識対象から除外する。
【００６３】
この場合、被認識対象選定部１１２は顔領域３１１および３１２について、被認識対象として選定された時刻が最も古い顔領域を被認識対象として選定することになる。つまり、顔領域３１１は第（ｎ＋１）のフレーム３０２において被認識対象として選定され、顔領域３１２は第ｎのフレーム３０１において被認識対象として選定されている。この結果、被認識対象選定部１１２は、第（ｎ＋２）のフレーム３０３においては被認識対象として顔領域３１２を選定することになる。
【００６４】
第（ｎ＋３）フレーム３０４において、検出された顔領域３１３は被認識対象として未選定であるので、被認識対象選定部１１２は顔領域３１３を被認識対象候補として選定する。この際、顔領域３１３は正面向きであるため、適正判定部１１１によって適正であると判定される結果、被認識対象選定部１１２は顔領域３１３を被認識対象として選定する。
【００６５】
なお、図３に示す例では、各フレームにおいて最大１つの顔領域を被認識対象として選定するものとしたが、１つのフレームにおいて２つ以上の顔領域を被認識対象として選定するようにしてもよい。また、適正判定部１１１によって全ての顔領域が不適と判定された場合には、被認識対象選定部１１２は被認識対象として選定される顔領域はなしとする。この場合、図２におけるステップＳ２０９からＳ２１０までの処理は行われないことになる。
【００６６】
また、各フレームにおいて最大ｍ個（ｍは１以上の整数）の被写体領域（例えば、顔領域）を被認識対象として選定する際、ｍ個を超える被認識対象候補が存在するとする。この際、ｍ個を超える被写体領域の全てが被認識対象として適していると判定されると、ｍ個を超える被認識対象候補からｍ個まで被認識対象を絞り込む必要がある。
【００６７】
この場合には、画像において被写体領域が検出された位置又は大きさなどから算出される評価値に基づいて被認識対象が決定される。つまり被認識対象選定部１１２は被認識対象として選定された被写体領域の数が所定の閾値を超えた際には、被写体領域の画像における位置および大きさの少なくとも一つに基づいて、被認識対象として選定された被写体領域の数を所定の閾値以下とすることになる。
【００６８】
このように、本発明の第１の実施形態では、被写体の認識において被認識対象を選定する際、被写体認識に用いることが適切でないと判定された被写体領域を被認識対象から除外するようにした。従って、被写体の認識における成功率を向上させることができるばかりでなく、効率よく認識処理を行うことができる。
【００６９】
［第２の実施形態］
次に、本発明の第２の実施形態による撮像装置の一例について説明する。
【００７０】
図４は、本発明の第２の実施形態による撮像装置４００の一例についてその構成を示すブロック図である。なお、図４において、図１に示すカメラ１００と同一の構成要素については同一の参照番号を付して説明を省略する。
【００７１】
図４において、カメラ４００はカメラ１００と比べてさらに器官特徴量抽出部４０１を備えている。器官特徴量抽出部４０１には、被写体検出部１０９で検出された顔領域を含む画像データが与えられる。器官特徴量抽出部４０１は当該画像データから器官の特徴量を抽出して器官特徴データとして出力する。
【００７２】
前述のように、ここでは、人物の顔領域を検出しているので、器官特徴量抽出部４０１は器官の特徴量として、顔領域における目の開閉度および顔の向きなどを抽出する。器官の特徴量を抽出する際には、器官特徴量抽出部４０１は画像データ、つまり、顔領域に対して顔の３次元モデルをフィッティングして、顔領域における器官の特徴点を抽出する。そして、器官特徴量抽出部４０１は抽出した器官の特徴点における幾何学的な関係に応じて目の開閉度および顔の向きなどの特徴量を器官特徴データとして出力する。
【００７３】
なお、上述の第１の実施形態では、被写体検出部１０９から出力される顔検出データには顔の向きを示す情報が含まれるとした。一方、第２の実施形態における器官特徴量抽出部４０１では、被写体検出部１０９で検出された顔領域の器官について詳細な特徴を抽出し、それらの器官の形状や相対位置から顔向きを判定している。例えば、顔が正面を向いているときと、斜めを向いているときとでは、鼻の形状が異なり、両目の中心位置と鼻や口の相対位置の関係に違いが生じる。このため、器官特徴量抽出部４０１で抽出される特徴量である顔向きは、被写体検出部１０９から出力される顔向きよりも精度が高い。
【００７４】
器官特徴データは適正判定部１１１に与えられ、適正判定部１１１は当該器官特徴データに基づいてその顔領域が被認識対象として適正であるか否かを判定する。例えば、器官特徴データにおいて目瞑り状態など顔領域における目の開閉度が小さい場合には、目の開閉度が大きい場合と比較して精度よく個人認識を行うことが難しい。このため、適正判定部１１１は、顔領域における目の開閉度が所定の開度閾値よりも小さいと、当該顔領域が被認識対象として不適であると判定する。
【００７５】
さらに、顔領域における顔向きが大きい場合には（つまり、正面に対して大きく横に顔を向けた状態では）、顔領域における顔向きが小さい場合と比較して、精度よく個人認識を行うことが難しい。このため、適正判定部１１１は顔領域における顔向きの大きさが所定の向き閾値よりも大きいと、当該顔領域が被認識対象として不適であると判定する。
【００７６】
このように、本発明の第２実施形態では、検出した被写体領域が被認識対象として適正であるか否かを判定する際、器官特徴データを用いるようにしたので、適正判定の精度を向上させることができる。このため、高い精度で被写体領域が被認識対象として適していないと判定して当該被写体領域を被認識対象から除外することができる結果、被写体（つまり、個人）認識の成功率を高めてしかも効率よく認識処理を行うことができる。
【００７７】
［第３の実施形態］
続いて、本発明の第３の実施形態による撮像装置の一例について説明する。
【００７８】
図５は、本発明の第３の実施形態による撮像装置５００の一例についてその構成を示すブロック図である。なお、図５において、図１および図４に示すカメラ１００および４００と同一の構成要素については同一の参照番号を付して説明を省略する。
【００７９】
図５において、カメラ５００はカメラ４００と比べてさらに特徴照合部５０１を備えている。特徴照合部５０１は、器官特徴量抽出部４０１から器官特徴データを受けるとともに、辞書データ１１４に登録された登録特徴情報（登録特徴データともいう）を受ける。そして、特徴照合部５０１は器官特徴データと登録特徴データとを照合して合致しているか否かを判定する。
【００８０】
なお、第３の実施形態では、辞書データ１１４には、顔領域の画像又は被写体認識用の画像特徴量（被写体認識用情報）と顔の器官特徴データとが互いに関連付けられて登録されている。以下の説明では、辞書データ１１４に登録された被写体認識用の画像特徴量および顔の器官特徴データ又は画像を総称して登録画像情報と呼ぶ。
【００８１】
適正判定部１１１は特徴照合部５０１における照合結果に応じて、検出された画像データ（つまり、顔領域）が被認識対象として適正であるか否かを判定する。特徴照合部５０１における照合結果が合致していることを示していると、適正判定部１１１は当該顔領域が被認識対象として適していると判定する。一方、特徴照合部５０１における照合結果が合致していないことを示していると、適正判定部１１１は当該顔領域が被認識対象として不適であると判定する。
【００８２】
つまり、個人認識は、顔領域における顔の表情および顔向きなどの顔の状態によって影響されるので、検出された顔領域の特徴量と辞書データ１１４に登録された特徴量とが異なる場合には、個人認識の精度が低下するので、特徴照合部５０１による照合結果が合致を示している場合にのみ、適正判定部１１１は当該顔領域を被認識対象として用いることを適とすることになる。
【００８３】
ここで、特徴照合部５０１における照合判定ついて説明する。例えば、辞書データ１１４に登録特徴データとして右横向きおよび正面向きを示す登録画像情報が登録されているものとする。いま、器官特徴量抽出部４０１が検出された顔領域から右横向きを示す器官特徴データを抽出したものとすると、特徴照合部５０１は登録画像情報と器官特徴データとを比較して合致すると判定することになる。よって、適正判定部１１１は、検出された顔領域が被認識対象として適していると判定する。
【００８４】
一方、器官特徴量抽出部４０１が検出された顔領域から左横向きを示す器官特徴データを抽出したものとすると、特徴照合部５０１は登録画像情報と器官特徴データとを比較して合致しないと判定することになる。よって、適正判定部１１１は、検出された顔領域が被認識対象として不適であると判定する。
【００８５】
このように、本発明の第３の実施形態では、検出した被写体領域が被認識対象として適正であるか否かを判定する際、辞書データに登録された登録画像情報と検出された被写体領域の状態（つまり、特徴量）との照合結果を用いるようにする。これによって、適正判定部１１１による適正判定の精度を向上させることができる。従って、高い精度で被写体領域が被認識対象として適していないと判定して、当該被写体領域を被認識対象から除外することができる結果、個人認識の成功率を高めてかつ効率よく認識処理を行うことができる。
【００８６】
なお、上述の第１〜第３の実施形態においては、被写体認識部１１３によって被認識対象として選定された被写体領域の特徴情報が辞書データ１１４に登録された登録特徴情報と一致すると判定された場合に、被写体追跡部１１０が当該判定結果を次のフレームに引き継ぐようにする。これによって、その被写体領域（つまり、顔領域）については次のフレーム以降において被写体認識部１１３による認識処理を必要とせず、特定の被写体領域とされる。つまり、当該被写体領域を被認識対象として選定する必要はなく、被認識対象選定部１１２は被写体認識部１１３によって特定の被写体領域であると認識された被写体領域を、被認識対象の選定から除外するようにしてもよい。
【００８７】
また、上述の第１〜第３の実施形態では、被写体領域として顔領域を検出して、個人を認識する場合について説明したが、顔領域の検出に限られず、例えば、人物、動物、および自動車など、目的とする被写体領域を抽出して特定するために被写体認識を行う際には、本発明を適用することができる。例えば、犬であることを検出して、その犬種や固体を識別する場合や、特定の種類の自動車を検出して、その車種を識別する場合などに適用することができる。
【００８８】
以上のように、本発明の実施の形態では、検出された複数の被写体領域から、特定の被写体領域を被認識対象として効率よく選定して、精度よく被写体の認識を行うことができる。
【００８９】
なお、上述の説明から明らかなように、図１に示す例においては、撮像レンズユニット１０１、撮像素子１０２、アナログ信号処理部１０３、およびＡ／Ｄ変換部１０４が撮像手段として機能する。
【００９０】
［他の実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。上述の実施の形態では撮像装置において被写体認識を行う場合について説明したが、画像認識装置を適用する機器は撮像装置に限定されない。例えば、外部機器や記録媒体などから逐次供給される画像（再生データ）を表示する表示装置に被写体認識を行う画像認識装置を適用してもよい。この表示装置では、再生データを被写体検出処理のデータとし、被写体認識が行われることとなる。この表示装置におけるマイクロコントローラなどの制御部は、被写体認識された被写体の情報（画像中の被写体の位置、大きさ、被写体ＩＤなど）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体の位置に枠や被写体ＩＤなどの被写体を示す情報の重畳表示や、被写体部分の輝度や色情報に応じた表示画像の輝度や色合いなどの制御を行う。
【００９１】
本発明は、上述した実施形態の機能を実現するコンピュータプログラム（制御プログラム）を、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該コンピュータプログラムを読み出して実行することになる。従って、本発明の機能処理をコンピュータで実現するために、このコンピュータにインストールされるコンピュータプログラム自体も本発明を実現するものである。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００９２】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）等がある。その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００９３】
また、本発明のプログラムを構成するコンピュータプログラムを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９４】
さらに、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。
【００９５】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが、実際の処理の一部又は全部を行うことによっても実現され得る。更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のＣＰＵなどが実際の処理の一部又は全部を行うことによっても実現される。
【符号の説明】
【００９６】
１０５  撮影制御部
１０６  画像処理部
１０９  被写体検出部
１１０  被写体追跡部
１１１  適正判定部
１１２  被認識対象選定部
１１３  被写体認識部
１１４  辞書データ
４０１  器官特徴量抽出部
５０１  特徴照合部
【図１】
0005963525.tif 000002
【図２】
0005963525.tif 000003
【図３】
0005963525.tif 000004
【図４】
0005963525.tif 000005
【図５】
0005963525.tif 000006