(57)【要約】【課題】認証精度向上の為に辞書データを適宜更新しつつ、辞書データの誤更新を抑制することが可能な画像処理装置を提供すること。【解決手段】入力画像から認証用データ辞書を参照して、被写体の認証処理を行う認証手段と、前記認証手段による認証結果に基づいて、前記認証用データ辞書を更新する辞書更新手段と、を有し、前記認証用データ辞書は、更新する条件の異なる第１の認証用データ辞書と第２の認証用データ辞書とを有する。【選択図】図１
2019008493.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から認証用データ辞書を参照して、被写体の認証処理を行う認証手段と、
前記認証手段による認証結果に基づいて、前記認証用データ辞書を更新する辞書更新手段と、
を有し、
前記認証用データ辞書は、更新する条件の異なる第１の認証用データ辞書と第２の認証用データ辞書とを有することを特徴とする画像処理装置。
【請求項２】
前記第１の認証用データ辞書は、保持している認証用データを保持し、前記第２の認証用データ辞書は、保持している認証用データを一時的に保持することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記辞書更新手段は、さらに前記第１の認証用データ辞書と前記第２の認証用データ辞書それぞれに設定されている辞書更新閾値とに基づいて、前記認証用データ辞書を更新することを特徴とし、前記第１の認証用データ辞書に設定されている前記辞書更新閾値は、前記第２の認証用データ辞書に設定されている前記辞書更新閾値よりも高い閾値が設定さ
れていることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に認証用登録データの更新タイミングに関する。
【背景技術】
【０００２】
従来、認証精度向上を目的として、登録されている顔情報（辞書データ）に基づいた認証処理実行中に認証に成功した顔の特徴量に変化があった場合、あるいは認証に適していると判定された場合、新たに得られた特徴量を用いて顔情報（辞書データ）を更新する技術が知られている（特許文献１、２）。
【０００３】
また、認証用辞書データに登録する程でない人物被写体に対して、一時的に特定の顔を認証したい場合などに、ユーザが指定した任意の顔の特徴量を辞書データに一時的に仮登録しておき、仮登録した辞書データに基づいて一時的に認証処理を行う方法等も考えられる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１６７６３２号公報
【特許文献２】特開２００７−２４９５８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、認証精度向上の為に特徴量に変化があった場合に、新たに得られた特徴量を用いて辞書データを更新或いは追加することは、異なる人物の顔情報を誤って登録するリスクも高くなり、結果として認証精度が下がってしまう場合がある。
【０００６】
特許文献１では、辞書データを更新する際、認証判定閾値よりも高い辞書データ更新用閾値を設定することで、辞書データを更新する敷居を高くしているが、辞書データの更新が行われにくくなる為、認証精度の向上という効果が得られにくくなる。
【０００７】
また、特許文献２では、認証に成功した顔画像が現在登録されている辞書データよりも認証に適していると判定された場合に、辞書データを更新する方法が開示されているが、辞書データを上書いて更新する為、認証用の辞書データ内のサンプル数は増えず、例えば被写体の表情の変化等で特徴量に変化のあった被写体の認証精度の向上は見込めない。
【０００８】
本発明の目的は、認証精度向上の為に辞書データを適宜更新しつつ、辞書データの誤更新を抑制することが可能な画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成する為、本発明に係る画像処理装置は、
入力画像から認証用データ辞書を参照して、被写体の認証処理を行う認証手段と、前記認証手段による認証結果に基づいて、前記認証用データ辞書を更新する辞書更新手段と、を有し、前記認証用データ辞書は、更新する条件の異なる第１の認証用データ辞書と第２の認証用データ辞書とを有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る画像処理装置によれば、認証精度向上の為に辞書データを適宜更新しつつ、辞書データの誤更新を抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの構成例を示すブロック図
【図２】（ａ）はユーザ辞書認証における被写体追尾処理の動作を表すイメージ図、（ｂ）はユーザ登録辞書を示すイメージ図
【図３】（ａ）は一時辞書認証における被写体追尾処理の動作を表すイメージ図、（ｂ）は一時登録辞書を示すイメージ図
【図４】本発明の実施形態に係るデジタルカメラの一連の処理を表すフローチャート
【図５】認証用辞書データ更新における更新判定閾値の一例を示す図
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して詳細に説明する。尚、以下では、撮像装置の一例としての、認証処理が可能なデジタルカメラに本発明を適用した例を説明する。しかし、本発明は認証処理機能を有する電子機器はもとより、認証処理に関する機能を有さない電子機器にも適用可能である。これらの電子機器には、携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータなどが含まれるが、これらは単なる例示である。
【００１３】
＜第１の実施形態＞
（デジタルカメラの構成）
図１は、本実施形態のデジタルカメラの機能構成例を示すブロック図である。
【００１４】
なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、実際には同じハードウェアが主体として実現されうる。
図１において、撮影レンズ１０１は、ズーム機構を有し、被写体からの入射光を撮像面上に結像する光学系を構成する。絞り及びシャッタ１０２は、ＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）処理部１０３からの指示に従って入射光の撮像素子１０６への入射光量と電荷蓄積時間を制御する。撮像素子１０６は、受光面に結像した光学像をＣＣＤ素子或いはＣＭＯＳ素子等の光電変換処理によって電気信号に変換してＡ／Ｄ変換部１０７へ出力する。
【００１５】
Ａ／Ｄ変換部１０７は、撮像素子１０６から出力された電気信号（アナログ信号）をデジタル信号に変換する。Ａ／Ｄ変換部１０７は、受信した電気信号からノイズを除去するＣＤＳ回路や、受信した電気信号をデジタル信号に変換する前に非線形増幅するための非線形増幅回路を含む。
【００１６】
ＡＥ処理部１０３は、システム制御部１１２からの指示に応じて絞り及びシャッタ１０２の動作を制御して、露出状態を変更する。
【００１７】
フォーカスレンズ１０４は、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）処理部１０５からの制御信号にしたがって、撮像素子１０６の撮像面上に焦点を合わせて光学像を結像させる。
【００１８】
画像処理部１０８は、Ａ／Ｄ変換部１０７から出力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理および色変換処理を行って、画像データを出力する。また、画像処理部１０８は、フォーマット変換部１０９を経由して画像記録部１１１からの画像データの読み込みおよび書き出しを行う。画像処理部１０８は、システム制御部１１２の指示に基づいて画像データを読み出して、顔検出処理及び認証処理を行う。
【００１９】
本実施形態における認証処理は、認証用辞書データを用いてマッチング処理を行う認証処理がある。また、画像処理部１０８は、システム制御部１１２の指示に基づいて認証処理に成功した際に、認証に使用した辞書データを更新する。
【００２０】
フォーマット変換部１０９は、画像データをＤＲＡＭ１１０に記憶するために、画像処理部１０８において生成された画像データのフォーマット変換を行う。ＤＲＡＭ１１０は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、あるいは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。
【００２１】
画像記録部１１１は、撮影画像（静止画、動画）を記録するメモリーカード等の記録媒体とそのインターフェースを有し、記録媒体および記録媒体にデータを読み書きするための回路を備えている。
【００２２】
システム制御部１１２は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラの全体的な動作制御を行う。１回の露光に対応した画像データを得るための各機能部の制御に加え、撮影条件の異なる複数回の露光に対応した画像データを取得するためのＡＥ処理部１０３の制御やストロボ１１６の光量を制御する。また、撮像素子１０６の有する複数の撮像駆動モードから使用するモードの制御を行う。ＶＲＡＭ１１３は画像表示用のメモリである。
【００２３】
表示部１１４は、例えば、ＬＣＤ等であり、画像の表示や操作補助のための表示、カメラ状態の表示を行う他、撮影時には撮影画面と焦点検出領域を表す指標などを表示する。
【００２４】
操作部１１５は、例えば、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ等を有する。ユーザは、操作部１１５を操作することによりデジタルカメラに各種の設定や指示を与える。  ストロボ１１６は、システム制御部１１２の指示により適切なタイミングと発光量で発光する。第１スイッチ（ＳＷ１）１１７は、ＡＥ処理やＡＦ処理等の撮影準備動作を行うためのスイッチであり、第２スイッチ（ＳＷ２）１１８は、第１スイッチ１１７の操作後に、システム制御部１１２に対して撮影開始指示を行うスイッチである。
【００２５】
（ユーザ辞書認証及び一時辞書認証）
本実施形態における、ユーザが予め登録している人物の顔情報を基に行う認証処理（以下、ユーザ辞書認証）と、登録されていない人物の顔情報を一時的に記憶しておき、記憶した顔情報を基に行う認証処理（以下、一時辞書認証）について、図２乃至図３を用いて説明する。
【００２６】
図２は本実施形態における、ユーザ辞書認証を用いた被写体追尾の動作を表す図である。
【００２７】
ユーザ辞書認証は、ユーザが予め認証用に顔情報を登録しておき（図２（ｂ））、画像処理部１０８によって検出された人物の顔に対して、予め登録されている顔情報を用いて認証処理を行い、認証信頼度の結果（図２（ｂ）：Ｒｅｌｉａｂｉｌｉｔｙ）から認証の成否を判定し、認証に成功した場合は、対象の人物顔に対して図２（ａ）の破線で示されているような枠表示を行う。
【００２８】
図３は、本実施形態における、一時辞書認証を用いた被写体追尾の動作を表す図である。
【００２９】
一時辞書認証は、画像処理部１０８によって検出された人物の顔に対してユーザが、例えばタッチパネル操作等で任意に指定した人物の顔（図３（ａ）：Ａ）がユーザ登録辞書にない時に、指定された人物の顔情報を一時的に仮登録しておき、仮登録された顔情報（図３（ｂ））を用いて認証処理を行い、認証信頼度の結果（図３（ｂ）：Ｒｅｌｉａｂｉｌｉｔｙ）から認証の成否を判定し、認証に成功した場合は、対象の人物顔に対して図３（ａ）の破線で示されているような枠表示を行う。
【００３０】
認証処理技術としては、様々な方法が知られており、本実施形態はパターンマッチングにより算出した信頼度を基に認証処理を行う公知の認証処理技術を用いることができるため、認証処理の具体的な方法についての説明は割愛する。
【００３１】
（辞書更新処理）
本実施形態におけるユーザ辞書認証及び一時辞書認証を用いた被写体追尾の一連の処理を、図４を用いて説明する。図４は、本実施形態に係るデジタルカメラにおいて認証信頼度を用いた被写体追尾中に辞書データの更新を行う際の一連の処理を表すフローチャートである。
【００３２】
図４のフローチャートに対応する処理は、システム制御部１１２が、例えばＲＯＭに記憶されている処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。本処理は、例えば主要人物被写体の追尾設定がなされている状態で、画像データから人物の顔が検出された場合に実施されて良い。あるいは、人物の顔が検出されている状態で、ユーザによる操作部１１５のボタン等の押下、または操作表示部１１４のタッチパネル操作等により、被写体追尾の指示がなされた場合に実施されても良い。
【００３３】
まず、Ｓ４０１において画像処理部１０８は、システム制御部１１２の指示に基づいて画像データを読み出し、読み出した画像データに対して顔検出処理を行う。顔検出処理技術としては様々な方法が知られており、本実施形態は公知の顔検出処理技術を用いることができる為、顔検出処理の具体的な方法については割愛する。画像処理部１０８は、顔検出処理の結果、画像データから人物の顔が検出されなかった場合は、処理をＳ４１７へ進め、人物の顔が検出された場合は、処理をＳ４０２へ進める。
【００３４】
Ｓ４０２において画像処理部１０８は、Ｓ４０１で検出された人物の顔画像に対して、予めユーザによって認証用に辞書登録されている顔情報（以下、ユーザ登録辞書）に基づいて認証処理を行う。画像処理部１０８は、ユーザ辞書認証処理を終えると、処理をＳ４０３へ進める。
【００３５】
Ｓ４０３において、画像処理部１０８は、Ｓ４０２で行ったユーザ辞書認証処理にて算出された認証信頼度が、図５に示す閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ１よりも高い場合は処理をＳ４０４へ進め、閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ１よりも低い場合は処理をＳ４０８へ進める。
【００３６】
Ｓ４０４において、画像処理部１０８は、Ｓ４０１で行った顔検出処理によって検出された人物の顔領域に図２（ａ）に示すような枠を表示する。画像処理部１０８は、人物の顔領域に枠の表示を終えると、処理をＳ４０５へ進める。
【００３７】
Ｓ４０５において画像処理部１０８は、Ｓ４０１で行った顔検出処理によって検出された人物の顔の特徴量とユーザ登録辞書に記憶されている顔の特徴量に所定以上の変化があった場合は、処理をＳ４０６へ進め、変化がない場合は処理をＳ４１７へ進める。
【００３８】
Ｓ４０６において画像処理部１０８は、Ｓ４０２で行ったユーザ辞書認証処理にて算出された認証信頼度が、図５に示す閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ２よりも高い場合は処理をＳ４０７へ進め、閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ２よりも低い場合は処理をＳ４１７へ進める。
【００３９】
Ｓ４０７において、画像処理部１０８は、Ｓ４０１で行った顔検出処理によって検出された人物の顔から新たに得られた特徴量をユーザ登録辞書内の今回対象となっている顔情報に追加する。画像処理部１０８は、ユーザ登録辞書の更新を終えると、処理をＳ４１７へ進める。
【００４０】
Ｓ４０８において画像処理部１０８は、Ｓ４０１で検出された人物の顔画像に対して、一時的に認証用に辞書登録されている顔情報（以下、一時登録辞書）に基づいて認証処理を行う。画像処理部１０８は、一時辞書認証処理を終えると処理をＳ４０９へ進める。
【００４１】
Ｓ４０９において画像処理部１０８は、Ｓ４０８で行った一時辞書認証にて算出された認証信頼度が、図５に示す閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ３よりも高い場合は処理をＳ４１０へ進め、閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ３よりも低い場合は処理をＳ４１４へ進める。
【００４２】
Ｓ４１０において画像処理部１０８は、Ｓ４０１で行った顔検出処理によって検出された人物の顔領域に図２（ａ）に示すような枠を表示する。画像処理部１０８は、人物の顔領域に枠の表示を終えると、処理をＳ４１１へ進める。
【００４３】
Ｓ４１１において画像処理部１０８は、Ｓ４０１で行った顔検出処理によって検出された人物の顔の特徴量と一時登録辞書に記憶されている顔の特徴量に所定以上の変化があった場合は、処理をＳ４１２へ進め、変化がない場合は処理をＳ４１７へ進める。
【００４４】
Ｓ４１２において画像処理部１０８は、Ｓ４０８で行った一時辞書認証処理にて算出された認証信頼度が、図５に示す閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ４よりも高い場合は処理をＳ４１３へ進め、閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ４よりも低い場合は処理をＳ４１７へ進める。尚、この時使用する閾値Ｔｈ＿Ｒｅｌｉａｂｌｅ４はＳ４０６で使用するＴｈ＿Ｒｅｌｉａｂｌｅ２よりも低い閾値を設定しておく。
【００４５】
Ｓ４１３において画像処理部１０８は、Ｓ４０１で行った顔検出処理によって検出された人物の顔から新たに得られた特徴量を一時登録辞書内の今回対象となっている顔情報に追加する。画像処理部１０８は、一時登録辞書の更新を終えると、処理をＳ４１７へ進める。
【００４６】
Ｓ４１４において画像処理部１０８は、ユーザによる操作部１１５のボタン等の押下、または操作表示部１１４のタッチパネル操作等によって任意に指定された顔の追尾が指示された場合は、処理をＳ４１５へ進め、追尾指示がない場合は、処理をＳ４１７へ進める。
【００４７】
Ｓ４１５において画像処理部１０８は、Ｓ４１４でユーザによって指定された顔領域に図２（ａ）に示すような枠を表示する。画像処理部１０８は、人物の顔領域に枠の表示を終えると、処理をＳ４１６へ進める。
【００４８】
Ｓ４１６において画像処理部１０８は、Ｓ４１４でユーザによって指定された人物の顔の特徴量を一時登録辞書に仮登録する。画像処理部１０８は、一時登録辞書への仮登録を終えると、処理をＳ４１７へ進める。
【００４９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５０】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００５１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００５２】
１１２  システム制御部
【図１】
2019008493.tif 000003
【図２】
2019008493.tif 000004
【図３】
2019008493.tif 000005
【図４】
2019008493.tif 000006
【図５】
2019008493.tif 000007