(57)【要約】【課題】顔候補一覧の最低画像数が一定値以上になるように候補顔を表示し、充分数の顔が登録された後は、顔認識機能本来の性能で顔検出できるようにする。【解決手段】複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成手段と、予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得手段と、前記顔画像リストに格納されている各顔特徴量と、前記顔辞書取得手段から取得した顔特徴量とを比較して類似度を算出する類似度算出手段と、前記顔画像リストに含まれている顔画像のうち、前記類似度算出手段により算出された類似度が所定値以上であるもの抽出する抽出手段とを有し、さらに、抽出手段により抽出される画像の数に応じて、前記抽出手段での抽出に用いる前記閾値を算出する閾値算出手段を設ける。【選択図】図１１
2014021846.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成手段と、
予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得手段と、
前記顔画像リストに格納されている各顔特徴量と、前記顔辞書取得手段から取得した顔特徴量とを比較して類似度を算出する類似度算出手段と、
前記顔画像リストに含まれている顔画像のうち、前記類似度算出手段により算出された類似度が所定値以上であるもの抽出する抽出手段とを有し、
さらに、抽出手段により抽出される画像の数に応じて、前記抽出手段での抽出に用いる閾値を算出する閾値算出手段
を有することを特徴とする顔認識装置。
【請求項２】
前記閾値算出手段は、顔画像リストに含まれる顔画像のうち、類似度が閾値以上になる顔画像の数が一定値未満である場合は、顔の数が一定値以上になるまで類似度の閾値を下げることを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記閾値算出手段は、類似度の閾値があらかじめ決められた下限値よりも小さくはしないことを特徴とする請求項１または２に記載の顔認識装置。
【請求項４】
前記閾値算出手段は、前記顔辞書に登録済み顔画像数に応じて、前記閾値算出手段で算出された閾値を補正する閾値補正手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の顔認識装置。
【請求項５】
さらに、前記抽出手段により抽出された画像を表示部に表示させる表示制御手段と、
前記表示部に表示されている画像のうちから、前記顔辞書に登録する顔画像を選択する選択手段とを有することを特徴とする請求項１乃至４のいずれか１項に記載の顔認識装置。
【請求項６】
複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成手段と、
予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得手段と、
顔画像リストに格納されている各々の顔特徴量と、前記顔辞書取得手段から取得した顔特徴量とを比較して類似度を算出する類似度算出手段と、
顔画像リストから検索対象となる顔画像数を取得する顔画像数取得手段と、
一覧表示エリアに表示可能な画像数を取得する表示枚数取得手段と、
前記顔画像数取得手段で取得した顔画像数と、表示枚数取得手段で取得した表示可能な画像数から閾値を算出する閾値算出手段と、
前記閾値算出手段で算出した閾値より大きな類似度を有する顔画像を抽出する顔画像抽出手段と、
を有することを特徴とする顔認識装置。
【請求項７】
前記閾値算出手段は、検索対象画像数に応じて、閾値算出手段で算出した閾値を補正する閾値補正手段を有することを特徴とする請求項６に記載の顔認識装置。
【請求項８】
さらに、前記抽出手段により抽出された画像を表示部に表示させる表示制御手段と、
前記表示部に表示されている画像のうちから、前記顔辞書に登録する顔画像を選択する選択手段とを有することを特徴とする請求項６または７に記載の顔認識装置。
【請求項９】
複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成工程と、
予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得工程と、
前記顔画像リストに格納されている各顔特徴量と、前記顔辞書取得工程から取得した顔特徴量とを比較して類似度を算出する類似度算出工程と、
前記顔画像リストに含まれている顔画像のうち、前記類似度算出工程において算出された類似度が所定値以上であるもの抽出する抽出工程とを有し、
さらに、抽出工程において抽出される画像の数に応じて、前記抽出工程での抽出に用いる閾値を算出する閾値算出工程
を有することを特徴とする顔認識方法。
【請求項１０】
複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成工程と、
予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得工程と、
顔画像リストに格納されている各々の顔特徴量と、前記顔辞書取得工程から取得した顔特徴量とを比較して類似度を算出する類似度算出工程と、
顔画像リストから検索対象となる顔画像数を取得する顔画像数取得工程と、
一覧表示エリアに表示可能な画像数を取得する表示枚数取得工程と、
前記顔画像数取得工程で取得した顔画像数と、表示枚数取得工程で取得した表示可能な画像数から閾値を算出する閾値算出工程と、
前記閾値算出工程で算出した閾値より大きな類似度を有する顔画像を抽出する顔画像抽出工程と、
を有することを特徴とする顔認識方法。
【請求項１１】
複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成工程と、
予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得工程と、
前記顔画像リストに格納されている各顔特徴量と、前記顔辞書取得工程から取得した顔特徴量とを比較して類似度を算出する類似度算出工程と、
前記顔画像リストに含まれている顔画像のうち、前記類似度算出工程において算出された類似度が所定値以上であるもの抽出する抽出工程とをコンピュータに実行させ、
さらに、抽出工程において抽出される画像の数に応じて、前記抽出工程での抽出に用いる閾値を算出する閾値算出工程をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成工程と、
予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得工程と、
顔画像リストに格納されている各々の顔特徴量と、前記顔辞書取得工程から取得した顔特徴量とを比較して類似度を算出する類似度算出工程と、
顔画像リストから検索対象となる顔画像数を取得する顔画像数取得工程と、
一覧表示エリアに表示可能な画像数を取得する表示枚数取得工程と、
前記顔画像数取得工程で取得した顔画像数と、表示枚数取得工程で取得した表示可能な画像数から閾値を算出する閾値算出工程と、
前記閾値算出工程で算出した閾値より大きな類似度を有する顔画像を抽出する顔画像抽出工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１３】
請求項１１または１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔認識装置及び顔認識方法に関し、特に、顔認識機能で被写体人物を判別するために用いて好適な技術に関する。
【背景技術】
【０００２】
画像ブラウザで、顔認識機能により自動的に人物ごとに画像を管理する機能が普及してきている。本人に似た顔の候補を一覧表示する際に、検索対象画像群に顔認識機能が苦手とする特徴を持った顔画像が多くなると、本人に似た顔画像が候補顔の一覧表示に出てこないため、閾値を下げることになる。
【０００３】
しかしながら、以降のユーザ操作により顔辞書に充分数の顔画像が登録されると、逆に顔認識精度が良くなりすぎて、候補顔が多数出てしまう問題点があった。このような問題点を解消するために、検索対象の状況に応じて閾値を変化させることで、効率的な物体検出を行う方法が提案されている（例えば特許文献１参照）。
【０００４】
また、顔認識において、一定割合で他人を本人と誤検出すると、検索対象画像枚数に比例して他人を本人と誤検出する枚数が増大することで、候補顔一覧表示エリアに全ての画像を表示しきれなくなることで視認性が下がる。また、ユーザが画像ブラウザ上で他人顔を他人と教える作業の手間がかかる。
【０００５】
このような問題点を解消するために、顔辞書と照合対象者との類似度を算出しておき、他人受入率、本人棄却率、エラー率のいずれかが一定になるような閾値調整パラメータをあらかじめ設定された閾値にかける。これを類似度と比較して本人かどうかを判定する方法が提示されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−１８２７９１号公報
【特許文献２】特開２００９−１６３５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の発明においては、上位から一定数の候補顔を検索結果に表示する場合、類似度が閾値以上である本人顔が一定数を超過して多数存在するケースでは、本人顔のうち一定数のものしか表示されないという問題点があった。
【０００８】
また、特許文献２に記載の発明においては、一定割合で他人を本人と誤検出すると、検索対象画像枚数に比例して他人を本人と誤検出する枚数が増大し、ユーザが画像ブラウザ上で他人顔を他人と数える作業の手間が増える。そのため、ユーザに顔認識精度が良くない印象を与えてしまう問題点があった。
本発明は前述の問題点に鑑み、候補顔一覧の最低顔画像数が一定値以上になるように候補顔を表示し、充分数の顔画像が登録された後は、顔認識機能本来の性能で顔検出できるようにすることを目的とする。
また、検索対象画像枚数に関わらず、候補顔一覧で他人を本人と誤検出する枚数を若干数程度に抑えることができるようにすることを第２の目的とする。
【課題を解決するための手段】
【０００９】
本発明の顔認識装置は、複数の画像に写っている人物を解析して得られた顔画像と顔特徴量とに基づき顔画像リストを生成するリスト生成手段と、予め記憶している顔辞書から特定の人物の顔特徴量を取得する顔辞書取得手段と、前記顔画像リストに格納されている各顔特徴量と、前記顔辞書取得手段から取得した顔特徴量とを比較して類似度を算出する類似度算出手段と、前記顔画像リストに含まれている顔画像のうち、前記類似度算出手段により算出された類似度が所定値以上であるもの抽出する抽出手段とを有し、さらに、抽出手段により抽出される画像の数に応じて、前記抽出手段での抽出に用いる前記閾値を算出する閾値算出手段を有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、どの様な特徴を持った検索対象画像群であっても、候補顔一覧の最低顔画像数が一定値以上になるように候補顔を表示し、充分数の顔画像が登録された後は、顔認識機能本来の性能で顔検出できるようにした。これにより、ユーザが本人顔を選択する手間を省略することができる。
また、検索対象画像枚数に関わらず、候補顔一覧で他人を本人と誤検出する枚数を若干数程度に抑えることができるようにしたので、候補顔一覧表示エリアに納まるように表示することができ、ユーザにとって他人顔を他人と教える作業の手間を軽減できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るパーソナルコンピュータの構成例を示すブロック図である。
【図２】本発明の実施形態に係る顔検索ダイアログを示す図である。
【図３】本発明の実施形態に係る顔辞書編集対象人物選択ダイアログを示す図である。
【図４】本発明の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）を示す図である。
【図５】本発明の実施形態に係る顔画像リストの構成を示す図である。
【図６】本発明の実施形態に係る顔辞書の構成を示す図である。
【図７】本発明の実施形態に係る顔辞書登録画像候補抽出処理のフローチャートである。
【図８】本発明の実施形態検索対象画像数と表示枚数から最適な閾値を算出する処理の詳細を説明するフローチャートである。
【図９】本発明の実施形態に係る検索対象画像数と表示枚数から最適な閾値を算出するのに使用されるテーブルの一例を示す図である。
【図１０】第１の実施形態に係る類似度と閾値から候補顔画像を表示する処理の詳細を説明するフローチャートである。
【図１１】本発明の実施形態に係る顔辞書登録枚数と候補顔数から閾値を算出する処理の詳細を説明するフローチャートである。
【図１２】第１の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本発明の実施形態を適用する前の動作例を示す図である。
【図１３】第１の実施形態に係る検索対象画像群とそれに対応する類似度の概要を示す図である。
【図１４】第１の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本発明の実施形態を適用した後の動作例を示す図である。
【図１５】第１の実施形態に係る顔辞書登録数上限まで登録したケースでの顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の動作例を示す図である。
【図１６】第２の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本発明の実施形態を適用する前の動作例を示す図である。
【図１７】第２の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本発明の実施形態を適用した後の動作例を示す図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
[本文書における言葉の定義]
最初に、本発明の実施形態における言葉の定義を以下のように定めることとする。
ハードディスク内の画像ファイルのサムネイル画像を一覧表示する機能を有するアプリケーションを「画像ブラウザ」と記す。
特定の画像に写っている人物の顔を解析して目鼻口や顔の形状の特徴をパラメータ化したものを「顔特徴量」と記す。
各々の画像に写っている各々の顔を、それぞれ顔番号と、顔特徴量と画像ファイル名などをデータベース化し、管理可能にしたデータベースファイルを「顔辞書」と記す。
二つの顔特徴量に対して、パラメータを比較する比較式を適用することでどれほど似ているかを表す指標が求まる。この指標を「類似度」と記す。
また、類似度や顔に関連するパラメータを使用して、本人か別人かを判断することを「顔認識」と記す。
【００１３】
本発明の実施形態の顔認識装置は、ハードディスク内の画像ファイルに写っている顔を認識して、人物ごとに顔を管理する機能を備えている。本発明の実施形態では、顔辞書に顔を登録する際に顔辞書に登録する候補顔一覧を表示することになるが、どの様な特徴を持った検索対象画像群であっても、候補顔一覧の最低画像数が一定値以上になるように候補顔を表示する。そして、充分数の顔が登録された後は、顔認識機能本来の性能で顔検出できる顔認識装置である。このような顔認識装置の説明を以下に行う。
【００１４】
［顔認識装置として動作する画像ブラウザ］
まず、本発明の実施形態の顔認識装置として動作するパーソナルコンピュータについて説明する。
図１は、本発明の実施形態にかかるパーソナルコンピュータの構成例を示すブロック図である。パーソナルコンピュータにおいて、所定の制御プログラムを実行することにより、以下に説明する顔認識処理を実現し、顔認識装置として機能する。
【００１５】
図１において、１０１はパーソナルコンピュータ全体の制御をつかさどるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。１０２はＣＰＵ１０１の動作処理手順（例えばパーソナルコンピュータの電源をＯＮにした時の処理や基本入出力処理などのプログラム）を記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）である。１０３はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＣＰＵ１０１のメインメモリとして機能する。ＲＡＭは１０３は、後述の処理を実現するための制御プログラムを含む各種処理を実行する際のワークエリアを提供する。
【００１６】
１０４はディスプレイであり、ＣＰＵ１０１の制御下で各種表示を行う。たとえば、画像ブラウザのアプリケーションで、サムネイルの一覧表示を行う。１０５はハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、画像ブラウザの制御プログラムを格納しているものである。また、画像ブラウザが管理する画像ファイルと顔辞書もハードディスク１０５内に格納するものとする。
【００１７】
１０６はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）であり、着脱可能な記録媒体を装着し、データを記録したり、記録されたデータを読み書きしたりすることを可能とする。１０７は画像ブラウザの各種操作を行うためのマウスやキーボードとしての入力装置である。１０８は記録媒体装着ユニット（メディアドライブ）であり、着脱可能な記録媒体を装着し、データを記録したり、記録されたデータを読み書きしたりすることを可能とする。１０９は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。
【００１８】
［顔認識装置のユーザインタフェース］
本発明の実施形態による顔認識装置として動作する画像ブラウザのユーザインタフェースについて、図２〜図４を用いて説明する。
一般的な画像ブラウザには、特定のフォルダの画像一覧表示機能の他に、撮影日時で管理する機能や、撮影場所で管理する機能があるが、本発明の実施形態では画像ブラウザが持つ機能のうち、顔認識機能に絞って説明する。
【００１９】
図２は、本発明の実施形態に係る顔検索ダイアログを示す図である。図３は、本発明の実施形態に係る顔辞書編集対象人物選択ダイアログを示す図である。図４は、本発明の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補画像一覧ダイアログ（Ｂ）を示す図である。
【００２０】
図２において、２０１はＣＰＵ１０１がパーソナルコンピュータのディスプレイ１０４に表示する顔検索ダイアログである。２０２は顔検索ダイアログの終了ボタンである。ユーザによって終了ボタン２０２が押下されると、ＣＰＵ１０１は画像ブラウザにおける顔検索ダイアログを終了する。２０３は人物名入力テキストボックスである。２０４は顔検索ダイアログにおける顔画像一覧表示エリアである。
【００２１】
人物名入力テキストボックス２０３に人物名が入力されて検索コマンドが実行されると、ＣＰＵ１０１は人物名入力テキストボックス２０３に入力された人物名を取得する。そして、ハードディスクの中の特定のフォルダ内からその人物が写っているとユーザによって確定された画像、またはＣＰＵ１０１がその人物に似ていると判定した画像をすべて顔画像一覧表示エリア２０４に並べて表示する。
【００２２】
表示例として、顔画像一覧表示エリア２０４に顔画像２０５、顔画像２０６、顔画像２０７、顔画像２０８を並べて表示する。２０９は辞書登録ボタンである。ユーザが辞書登録ボタン２０９を押下すると、ＣＰＵ１０１は、図３の顔辞書編集対象人物選択ダイアログ３０１を表示する。
【００２３】
図３において、３０２は顔辞書編集対象人物選択ダイアログ３０１の終了ボタンである。ユーザによって終了ボタン３０２が押下されると、ＣＰＵ１０１は顔辞書編集対象人物選択ダイアログ３０１を閉じて、顔検索ダイアログ２０１に遷移する。
【００２４】
３０３は顔辞書編集対象人物選択リストボックスである。辞書登録ボタン２０９が押されて、顔辞書編集対象人物選択ダイアログ３０１が表示された時点で、ＣＰＵ１０１は顔辞書から、既に顔辞書に登録されている全ての人物名のリストを取得して、顔辞書編集対象人物選択リストボックス３０３に表示する。ユーザがマウスを操作して、顔辞書編集対象人物選択リストボックス３０３に表示されている人物のうち、特定の人物を選択すると、ＣＰＵ１０１は選択された人物名を選択状態（図３では白黒反転表示）にする。
【００２５】
３０４は顔辞書編集対象人物選択ダイアログ３０１のＯＫボタンである。ユーザがＯＫボタン３０４を押下すると、ＣＰＵ１０１は顔辞書編集対象人物選択リストボックス３０３で選択状態である人物名を取得して、顔辞書編集対象人物選択ダイアログ３０１を閉じる。
【００２６】
そして、図４に示すように、ＣＰＵ１０１は取得した人物名に対応した顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を表示する。
４０２は終了ボタンであり、ユーザが終了ボタン４０２を押下すると、ＣＰＵ１０１は顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を閉じて、顔検索ダイアログ２０１に遷移する。
【００２７】
４０３は顔辞書ダイアログ４０１における顔辞書登録済画像一覧表示エリアで、ユーザが既に顔辞書に登録済の特定の人物の顔画像をＣＰＵ１０１が顔辞書から取得して一覧表示する領域である。表示例として、図４ではＣＰＵ１０１が顔辞書から取得した顔として顔画像４０４を表示する。
【００２８】
４０６は顔候補画像一覧表示エリアで、ユーザが指定した特定の人物に似ているとＣＰＵ１０１が判定した顔画像をＨＤＤ１０５から取得して一覧表示する領域である。表示例として、図４ではＣＰＵ１０１がＨＤＤ１０５から取得した顔候補画像として顔画像４０７、顔画像４０８、顔画像４０９が表示されている。
【００２９】
４１０は本人確定ボタンである。ユーザが顔画像４０７をＡさん本人であると判断した時に、本人確定ボタン４１０を押下する。ユーザの本人確定ボタン４１０の押下操作を受けて、ＣＰＵ１０１は顔画像４０７の顔を顔辞書編集対象人物選択ダイアログ３０１で選択した人物名として顔辞書に登録処理４１２を行う。
【００３０】
４１１は他人確定ボタンである。ユーザが顔画像４０７をＡさん本人ではないと判断した時に、他人確定ボタン４１１を押下する。ユーザの他人確定ボタン４１１の押下操作を受けて、ＣＰＵ１０１は顔画像４０７の顔を顔辞書編集対象人物選択ダイアログ３０１で選択した人物名の顔候補画像一覧表示エリア４０６から除外する。以後、ＣＰＵ１０１が一旦除外した顔画像を顔候補画像一覧表示エリア４０６に表示することはない。
【００３１】
［顔画像リストの構成］
図５は、本発明の実施形態に係る顔画像リストの構成を示す図である。
５０１は顔画像リストであり、ＨＤＤ１０５の特定のフォルダの全画像に写っているすべての顔と顔に関連した情報を保持するリストである。
５０２は顔ＩＤであり、ＨＤＤ１０５内の画像に写っている人物それぞれに割り当てられたユニークな番号である。
【００３２】
５０３はサムネイルとしての顔画像であり、顔ＩＤ５０２に対応したＨＤＤ１０５内の画像に写っている人物の顔部分の領域を特定の大きさ（図５では縦１２０ピクセル、横９６ピクセルの大きさ）に正規化したものである。顔画像５０３は、顔辞書ダイアログ４０１と顔候補画像一覧表示エリア４０６で顔画像を表示する際にＣＰＵ１０１が使用する。
【００３３】
５０４は顔特徴量であり、このデータはバイナリデータとして顔画像リスト５０１に格納されている。顔特徴量とは、特定のフォルダ内にある複数のターゲットとなる画像に写っている人物の顔をＣＰＵ１０１が解析して目鼻口や顔の形状をパラメータ化したバイナリデータである。５０５は顔ＩＤ５０２の顔を含むファイル名である。つまり、このファイル名の画像に顔ＩＤ５０２の顔が写っていることを意味する。
【００３４】
５０６は他人判定データであり、顔候補画像一覧表示エリア４０６の他人確定ボタン４１１にてユーザによって他人と判定され除外された人物名の情報を保持する。他人判定データ５０６に登録された他人判定データの人物名に対応する顔画像は顔辞書編集対象人物選択リストボックス３０３にて同じ人物名を指定して開かれた顔候補画像一覧表示エリア４０６に再表示されることはない。
【００３５】
顔画像リスト５０１内の情報は、ユーザが検索対象範囲フォルダとして、画像ブラウザに設定した特定のフォルダの情報に基づいて、あらかじめＣＰＵ１０１が特定のフォルダ内の全画像を解析して得られた顔画像と顔特徴量とに基づいて、顔画像リスト生成処理を行って作成した情報であるものとする。
【００３６】
［顔辞書の構成］
図６は、本発明の実施形態に係る顔辞書の構成例を示す図である。
図６において、６０１は顔辞書テーブルであり、ＣＰＵ１０１が顔の情報を管理するためにＨＤＤ１０５内に保持するテーブルである。６０２は人物名のカラムであり、ユーザが管理対象人物名を顔辞書に登録した際に、ＣＰＵ１０１が顔辞書テーブル６０１の人物名６０２のカラムに記録する。６０３は顔ＩＤのカラムであり、ユーザが管理対象の顔ＩＤ５０２を顔辞書に登録した際に、ＣＰＵ１０１が顔辞書テーブル６０１の顔ＩＤ６０３のカラムに記録する。
【００３７】
６０４は顔特徴量のカラムであり、ユーザが管理対象の顔ＩＤ５０２を顔辞書に登録した際に、ＣＰＵ１０１が顔ＩＤ５０２に紐づけられた顔特徴量を顔辞書テーブル６０１の顔特徴量６０４のカラムに記録する。
人物名６０２のカラムの中のひとつの人物名６０２は複数の顔ＩＤ５０２と顔特徴量５０４を紐づけてグループ化することができる。
【００３８】
図７は、本発明の実施形態に係る顔辞書登録画像候補抽出処理を説明するフローチャートである。このフローチャートの処理は、ユーザによって顔候補画像一覧ダイアログ４０５が開かれたことをトリガに、ＣＰＵ１０１がＲＯＭ１０２に記憶しているプログラムを実行することで開始される。
【００３９】
Ｓ７０１にて、ＣＰＵ１０１はあらかじめ作成された特定フォルダの顔画像リスト５０１をＨＤＤ１０５からメモリ（ＲＡＭ１０３）にコピーするリスト取得処理を行う。
Ｓ７０２にて、ＣＰＵ１０１は顔辞書編集対象人物選択リストボックス３０３で選択された人物名をもとに、ＨＤＤ１０５にある顔辞書テーブル６０１から検索対象となる人物名６０２とそれに関連づけられた顔識別子である顔ＩＤ６０３と顔特徴量６０４を取得する顔辞書取得処理を行う。
【００４０】
Ｓ７０３にて、ＣＰＵ１０１はＳ７０２にて取得した顔辞書テーブル６０１に既に登録済みの顔画像と同じ顔ＩＤ６０３を有する顔画像を顔画像リスト５０１から削除する。
Ｓ７０４にて、ＣＰＵ１０１は、Ｓ７０１にて取得した顔画像リスト５０１で他人判定データ５０６に、顔辞書編集対象人物選択リストボックス３０３で選択された人物名が含まれている顔ＩＤ５０２を有する顔画像を顔画像リスト５０１から削除する。
【００４１】
Ｓ７０５にて、ＣＰＵ１０１は、Ｓ７０２で取得した顔辞書の顔特徴量６０４と、Ｓ７０４で作成した顔画像リスト５０１で顔認識処理を行い、顔画像リスト５０１のそれぞれの顔に対応した類似度を算出する類似度算出処理を行う。
Ｓ７０６にて、ＣＰＵ１０１は検索対象画像数と表示枚数から最適な閾値を算出する閾値算出処理を行う。Ｓ７０６の処理の詳細は後述する。
Ｓ７０７にて、ＣＰＵ１０１はＳ７０５で求めた類似度とＳ７０６で求めた閾値から候補顔画像を表示部（ディスプレイ１０４）に表示する候補顔画像表示制御処理を行う。Ｓ７０７の候補顔画像表示制御処理の詳細は後述する。
【００４２】
図８は、本発明の実施形態に係る検索対象画像数と表示枚数から最適な閾値を算出する処理の詳細を説明するフローチャートである。図８のフローチャートは、Ｓ７０６の検索対象画像数と表示枚数から最適な閾値を算出する処理をさらに詳細に記述したものである。また、図９は、本発明の実施形態に係る検索対象画像数と表示枚数から最適な閾値を算出するのに使用されるテーブルの一例を示す図である。
【００４３】
Ｓ８０１にて、ＣＰＵ１０１は図９に示される検索対象画像数と表示枚数から最適な閾値を算出するテーブル９０１を取得する顔画像数取得処理を行う。
Ｓ８０２にて、ＣＰＵ１０１は検索対象画像数を取得する。これは、Ｓ７０４にて作成された顔画像リスト５０１から検索対象の画像数を取得する検索対象画像数取得処理である。
【００４４】
Ｓ８０３にて、ＣＰＵ１０１は顔候補画像一覧表示エリア４０６で表示可能な顔画像枚数を取得する表示枚数取得処理を行う。
Ｓ８０４にて、ＣＰＵ１０１は検索対象画像数と表示可能枚数をテーブル９０１に問い合わせて、結果のパラメータを取得する。例として、検索対象画像数が１００枚、表示可能枚数が５０枚であった場合、テーブル９０１より０．７０のパラメータが得られる。
Ｓ８０５にて、ＣＰＵ１０１はＳ８０４で取得したパラメータ（０．７０）を閾値にセットする。
【００４５】
図１０は、本発明の実施形態に係る類似度と閾値から候補顔画像を表示する処理の詳細を説明するフローチャートである。図１０のフローチャートはＳ７０７の類似度と閾値から候補顔画像を表示する顔画像表示処理をさらに詳細に記述したものである。
【００４６】
Ｓ１００１にて、ＣＰＵ１０１は変数ｎｕｍに０を代入する。
Ｓ１００２にて、ＣＰＵ１０１は変数ｎｕｍが顔画像リストのサイズより小さいか否かを判定し、変数ｎｕｍが顔画像リストのサイズより小さくないと判定した場合は、このフローチャートを終了する。また、変数ｎｕｍが顔画像リストのサイズより小さいと判定した場合は、Ｓ１００３へと処理を進める。
【００４７】
Ｓ１００３にて、ＣＰＵ１０１はユーザによる操作が行われたかどうかを検出する。
Ｓ１００４にて、ＣＰＵ１０１はユーザによる操作があったか否かを判定し、ユーザによる操作がなかったと判定した場合はＳ１００８へと処理を進める。また、ユーザによる操作があったと判定した場合はＳ１００５へと処理を進める。
【００４８】
Ｓ１００５にて、ＣＰＵ１０１は顔辞書登録枚数と候補顔数から閾値を算出する。Ｓ１００５の処理の詳細は後述する。
Ｓ１００６にて、ＣＰＵ１０１は顔候補画像一覧表示エリア４０６に表示されている顔画像を全てクリアする。
【００４９】
Ｓ１００７にて、ＣＰＵ１０１は変数ｎｕｍに０を代入する。
Ｓ１００８にて、ＣＰＵ１０１はｎｕｍ番目の顔画像の類似度が閾値以上か否かを判定し、ｎｕｍ番目の顔画像の類似度が閾値以上であると判定した場合はＳ１０１０へと処理を進める。また、ｎｕｍ番目の顔画像の類似度が閾値以上ではないと判定した場合はＳ１００９へと処理を進める。
【００５０】
Ｓ１００９にて、ＣＰＵ１０１はｎｕｍ番目の顔画像を表示エリアに追加表示した後、Ｓ１０１０へと処理を進める。
Ｓ１０１０にて、ＣＰＵ１０１は変数ｎｕｍの値をインクリメントした後、Ｓ１００２へと処理を進める。
【００５１】
図１１は、本発明の実施形態に係る顔辞書登録枚数と候補顔数から閾値を算出する処理の詳細を説明するフローチャートである。図１１のフローチャートは、図１０のフローチャートにおけるＳ１００５の顔辞書登録枚数と候補顔数から閾値を算出する処理をさらに詳細に記述したものである。
【００５２】
Ｓ１１０１にて、ＣＰＵ１０１は変数Ｘに閾値を代入する。
Ｓ１１０２にて、ＣＰＵ１０１は閾値増減分変数Δに０を代入する。
Ｓ１１０３にて、ＣＰＵ１０１は顔辞書登録済み顔画像数を取得する。
Ｓ１１０４にて、ＣＰＵ１０１はリストから類似度がＸ以上（所定値以上）の候補顔の数をカウントする。
【００５３】
Ｓ１１０５にて、ＣＰＵ１０１は候補顔の数が一定値以上であるか否かを判定し、候補顔の数が一定値以上であると判定した場合はＳ１１０６へと処理を進める。また、候補顔の数が一定値以上ではない（一定値未満）と判定した場合はＳ１１０７へと処理を進める。
Ｓ１１０６にて、ＣＰＵ１０１は閾値に変数Ｘの値を代入した後にこのフローチャートを終了する。
Ｓ１１０７にて、ＣＰＵ１０１は閾値増減分変数Δから、予め設定している上限５を減ずる閾値設定処理を行う。
【００５４】
Ｓ１１０８にて、ＣＰＵ１０１は顔辞書登録済み顔画像数が一定値以上であるか否かを判定し、顔画像数が一定数以上ではない（一定値未満）と判定した場合はＳ１１０９へと処理を進める。また、顔画像数が一定数以上であると判定した場合はＳ１１１０へと処理を進める。
Ｓ１１０９にて、ＣＰＵ１０１は閾値増減分変数Δに閾値補正係数を掛けたものに閾値を足したものを、変数Ｘに代入する閾値補正処理を行う。
【００５５】
閾値補正係数は以下の数式で表せるものとする。
閾値補正係数＝（顔辞書登録数の上限−顔辞書登録済み顔数）÷顔辞書登録数の上限
ここでは、顔辞書登録数の上限を５に設定しているが、上限は前述した５に限らず任意の値を設定できる。
Ｓ１１１０にて、ＣＰＵ１０１は変数Ｘに閾値を代入した後、Ｓ１１０４へと処理を進める。
以上、本発明の実施形態の顔認識装置について説明した。
【００５６】
これより以下、本発明の実施形態の顔認識装置を使用した場合のユーザインタフェースの動作例について説明する。
図１２は、本発明の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本発明の実施形態を適用する前の動作例を示す図である。
図１３は、本発明の実施形態に係る検索対象画像群とそれに対応する類似度の概要を示す図である。
図１４は、本発明の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本発明の実施形態を適用した後の動作例を示す図である。
図１５は、本発明の実施形態に係る顔辞書登録数上限まで登録したケースでの顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の動作例を示す図である。図１２、図１４、図１５の基本的なユーザインタフェースは、前述した図４と同様である。
【００５７】
図２において、ユーザが画像ブラウザの一機能である顔検索ダイアログ２０１を開き、人物名入力テキストボックス２０３に人物名として“Ａさん”と入力する。ＣＰＵ１０１はこの入力を検出すると、顔辞書から“Ａさん”と確定した顔画像と、ＨＤＤ１０５からＣＰＵ１０１が“Ａさん”に似ていると判定した顔画像を顔画像一覧表示エリア２０４に表示する。
【００５８】
ここで、ユーザが辞書登録ボタン２０９を押下し、さらに図３の顔辞書編集対象人物選択ダイアログ３０１にて、顔辞書編集対象人物選択リストボックス３０３で顔辞書を編集した人物名として“Ａさん”を選択して、ＯＫボタン３０４を押下する。ＯＫボタン３０４が押下されると、ＣＰＵ１０１は図１２の顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を表示する。
【００５９】
図１２で、顔候補画像一覧ダイアログ４０５が表示されたことをトリガに、ＣＰＵ１０１は顔辞書に登録済みの顔画像を顔辞書登録済画像一覧表示エリア４０３に表示する。同様に、ＣＰＵ１０１はＨＤＤ１０５にある顔画像のうち、顔認識機能で“Ａさん”に似ていると判定した顔画像を顔候補画像一覧表示エリア４０６に表示することになる。
【００６０】
しかし、ＨＤＤ１０５にある“Ａさん”の顔画像が顔認識機能が苦手とする顔画像ばかりであった場合、顔認識処理の結果、算出された類似度が低めに出てしまうことがある。顔認識機能が苦手とする顔画像としては、顔辞書に登録した本人顔と比較して表情が大きく異なる、顔の向きが異なるなどが挙げられる。
【００６１】
図１３では、顔認識処理の結果、類似度が高い順に“Ａさん”の顔画像を並べたものである。上にいけばいくほど類似度が高くなり、下にいけばいくほど類似度が低くなる。ここで、顔認識機能が“Ａさん”に似ていると判定する基準となる類似度の閾値に８０％を設定したとする。顔画像が顔認識機能が苦手とする顔画像ばかりであった場合、閾値８０％のライン１３０１より下に顔認識処理の結果として、“Ａさん”の顔画像１３０２、顔画像１３０３、顔画像１３０４、が位置することになる。
【００６２】
この結果、本来の顔認識機能が得意とする顔画像であった場合に、図１２の顔候補画像一覧表示エリア４０６に表示されるべきであった破線の矩形１２０１、破線の矩形１２０２の位置に顔画像が表示されないことになる。そこで、顔認識機能が“Ａさん”に似ていると判定する基準となる類似度の閾値を７２％のライン１３０７に下げることによって、図１４の顔候補画像一覧表示エリア４０６に少なくとも一定数以上の顔画像を表示することができるようになる。例として顔画像１４０１、顔画像１４０２、顔画像１４０３が表示されるようになる。このように、顔画像リストから類似度が閾値以上になる顔の数が一定値未満である場合は、顔の数が一定値以上になるまで類似との閾値を下げる閾値設定処理を行う。この際に、類似度の閾値があらかじめ決められた下限値よりも小さくはしないようにする。
【００６３】
また、図１５の顔辞書登録済画像一覧表示エリア４０３に、顔画像１５０１、顔画像１５０２、顔画像１５０３、顔画像１５０４、顔画像１５０５の５つの顔を登録すると、顔辞書に登録可能な本人顔が上限に達したことになる。このとき、顔認識機能が顔認識するのに充分な数の本人顔がそろっているので、顔認識機能本来の性能で顔認識できるようになる。
【００６４】
そのため、顔候補画像一覧表示エリア４０６に顔を最低でも一定数表示させるために、閾値を下げる必要がなくなる。例として、顔画像１５０６、顔画像１５０７、顔画像１５０８、顔画像１５０９、顔画像１５１０、顔画像１５１１、顔画像１５１２、顔画像１５１３が表示されるようになる。
以上、説明したとおり、本発明の実施形態の顔認識装置を用いれば、どのような特徴を持った検索対象画像群であっても、顔候補一覧の最低画像数が一定値以上になるように候補顔を表示し、充分数の顔が登録された後は、顔認識機能本来の性能で顔検出できる。
【００６５】
（第２の実施形態）
本実施形態の顔認識装置は、ハードディスク内の画像ファイルに写っている顔を認識して、人物ごとに顔を管理する機能を備えている。
本実施形態では、顔辞書に顔を登録する際に顔辞書に登録する候補顔一覧を表示する。そして、検索対象画像枚数に関わらず、候補顔一覧で他人を本人と誤検出する枚数を若干数程度に抑えることによって、候補顔一覧表示エリアに納まる様に表示できる顔認識装置の説明を行う。
【００６６】
以下、第２の実施形態の顔認識装置を使用した場合のユーザインタフェースの動作例について説明する。
図１６は、第２の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本実施形態を適用する前の動作例を示す図である。図１７は、第２の実施形態に係る顔辞書ダイアログ（Ａ）と、顔候補一覧ダイアログ（Ｂ）の本実施形態を適用した後の動作例を示す図である。図１６、図１７の基本的なユーザインタフェースは図４と同様である。
【００６７】
図２において、ユーザが画像ブラウザの一機能である顔検索ダイアログ２０１を開き、人物名入力テキストボックス２０３に人物名として“Ａさん”と入力する。ＣＰＵ１０１はこの入力を検出すると、顔辞書から“Ａさん”と確定した顔画像２０５と、ＨＤＤ１０５からＣＰＵ１０１が“Ａさん”に似ていると判定した顔画像２０６、顔画像２０７、顔画像２０８を顔画像一覧表示エリア２０４に表示する。
【００６８】
ここで、ユーザが辞書登録ボタン２０９を押下し、さらに図３の顔辞書編集対象人物選択ダイアログ３０１にて、顔辞書編集対象人物選択リストボックス３０３で顔辞書を編集した人物名として“Ａさん”を選択して、ＯＫボタン３０４を押下する。ＯＫボタン３０４を押下すると、ＣＰＵ１０１は図１６の顔辞書ダイアログ４０１と顔候補画像一覧ダイアログ４０５を表示する。
【００６９】
図１６で顔候補画像一覧ダイアログ４０５が表示されたことをトリガに、ＣＰＵ１０１は顔辞書に登録済みの顔画像を顔辞書登録済画像一覧表示エリア４０３に表示する。同様にＣＰＵ１０１はＨＤＤ１０５にある顔画像のうち、顔認識機能で“Ａさん”に似ていると判定した顔画像を顔候補画像一覧表示エリア４０６に表示する。
【００７０】
しかし、ＨＤＤ１０５に検索対象となる顔画像数が１００００枚に達するほど多数に存在し、かつ、顔認識機能が他人を本人と誤認識する確率が２％であった場合、顔認識機能の認識結果として、約２００人の顔を誤認識することになる。これらの２００人分の顔は、図１６の顔候補画像一覧表示エリア４０６に並べて表示される。
【００７１】
並べて表示された顔画像の一部は顔画像１６０１、顔画像１６０２、顔画像１６０３、顔画像１６０４、顔画像１６０５、顔画像１６０６、顔画像１６０７、顔画像１６０８、顔画像１６０９、顔画像１６１０、顔画像１６１１として表示される。画面に表示しきれなかった顔画像はユーザがスクロールバー１６１２を動かすことによって、画面外に隠れている顔画像を表示することになる。このため、ユーザが画像ブラウザ上で他人顔を他人と教える作業の手間がかかる。
【００７２】
そこで、顔認識機能が顔認識する際に、検索対象画像数と顔候補画像一覧表示エリア４０６に表示可能な画像数を取得し、これに応じて閾値補正を行うと、図１７の様に顔候補画像一覧表示エリア４０６に表示される顔画像の数を抑制して表示される。抑制して表示された顔画像は図１７の顔画像１７０１〜１７０６として表示される。
【００７３】
前述したように、第２の実施形態によれば、検索対象画像枚数に関わらず、候補顔一覧で他人を本人と誤検出する枚数を若干数程度に抑えることができる。これにより、候補顔一覧表示エリアに納まるように表示することができ、ユーザにとって他人顔を他人と教える作業の手間を軽減できる。
また、誤検出する他人顔を若干数程度に抑えることができるため、ユーザにとって顔認識の精度が良い印象を与えることができる。
【００７４】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００７５】
４０１  顔辞書ダイアログ、４０２  終了ボタン、４０３  顔辞書登録済画像一覧表示エリア、４０４  顔画像、４０５  顔候補画像一覧ダイアログ、４０６  顔候補画像一覧表示エリア、４０７  顔画像、４０８  顔画像、４０９  顔画像、４１０  本人確定ボタン、４１１  他人確定ボタン、４１２  登録処理
【図１】
2014021846.tif 000003
【図２】
2014021846.tif 000004
【図３】
2014021846.tif 000005
【図４】
2014021846.tif 000006
【図５】
2014021846.tif 000007
【図６】
2014021846.tif 000008
【図７】
2014021846.tif 000009
【図８】
2014021846.tif 000010
【図９】
2014021846.tif 000011
【図１０】
2014021846.tif 000012
【図１１】
2014021846.tif 000013
【図１２】
2014021846.tif 000014
【図１３】
2014021846.tif 000015
【図１４】
2014021846.tif 000016
【図１５】
2014021846.tif 000017
【図１６】
2014021846.tif 000018
【図１７】
2014021846.tif 000019