(57)【要約】      （修正有）【課題】顔画像の顔向きの多様性を的確に確保しつつ、顔画像を自動的に登録することができる画像認識システムを提供する。【解決手段】本発明に係る画像認識システムは、顔画像を顔認識データベースに登録する際に、顔認識データベースに登録されている顔向きの多様性がその顔画像によって確保されるか否かを容易に把握し、優先撮影条件を人物毎に特定し、カメラ群１６０が撮影した画像がこれを満たしているか否かを判定する。不足している顔向きの顔画像を補充して、その人物を認証するために用いる固有ＩＤと関連付けて、顔認識データベースに登録する。【選択図】図１
2013167986.tif 000002
【特許請求の範囲】
【請求項１】
人物を撮影する１以上のカメラと、
前記人物の固有ＩＤを前記人物の顔画像またはその特徴量と関連付けて格納する顔認識データベースと、
前記固有ＩＤを用いて前記人物を認証する人物認証部と、
前記人物の位置を特定する人物追跡部と、
前記人物追跡部が特定した前記人物の位置において前記人物の顔画像を撮影する前記カメラを特定する空間情報処理部と、
前記人物の顔画像またはその特徴量を前記顔認識データベースに登録する顔登録部と、
を備え、
前記顔登録部は、
前記空間情報処理部が特定した前記カメラより前記人物の顔画像を取得し、
取得した顔画像またはその特徴量と、前記人物認証部が前記人物を認証する際に用いた前記固有ＩＤとを関連付けて、前記顔認識データベースに登録する
ことを特徴とする画像認識システム。
【請求項２】
前記顔登録部は、
前記カメラが前記顔画像を撮影するときの撮影条件のうち、前記顔認識データベースに優先して登録すべき顔画像を指定する優先撮影条件を、前記人物ごとに特定し、
前記カメラが撮影した前記人物の顔画像が、前記人物に対応した前記優先撮影条件に合致する場合に、その顔画像を前記顔認識データベースに登録する
ことを特徴とする請求項１記載の画像認識システム。
【請求項３】
前記顔登録部は、
前記顔認識データベースに登録されている数が少ない顔向きの顔画像ほど優先して前記顔認識データベースに登録されるように、前記優先撮影条件を特定する
ことを特徴とする請求項２記載の画像認識システム。
【請求項４】
前記顔登録部は、
前記顔認識データベースに登録されている数が最も少ない顔向きの顔画像が最も優先して前記顔認識データベースに登録されるように、前記優先撮影条件を特定する
ことを特徴とする請求項３記載の画像認識システム。
【請求項５】
前記顔登録部は、
前記顔認識データベースに登録されている数が少ない顔向きの順に所定個数の顔向きの顔画像が優先して前記顔認識データベースに登録されるように、前記優先撮影条件を特定する
ことを特徴とする請求項３記載の画像認識システム。
【請求項６】
前記顔登録部は、
前記顔認識データベースに登録されている数が所定個数に満たない顔向きの顔画像が優先して前記顔認識データベースに登録されるように、前記優先撮影条件を特定する
ことを特徴とする請求項３記載の画像認識システム。
【請求項７】
前記顔登録部は、
所定期間内に前記顔認識データベースに登録された数が所定個数に満たない顔向きの顔画像が優先して前記顔認識データベースに登録されるように、前記優先撮影条件を特定する
ことを特徴とする請求項３記載の画像認識システム。
【請求項８】
前記カメラの位置と調整可能な撮影パラメータの数値範囲を格納する空間情報データベースを備え、
前記空間情報処理部は、
前記空間情報データベースが格納している前記カメラの位置および撮影パラメータを参照し、前記人物追跡部が特定した前記人物の位置において、前記撮影パラメータの調整により前記人物の顔画像を撮影することができる前記カメラを特定する
ことを特徴とする請求項１記載の画像認識システム。
【請求項９】
前記空間情報処理部は、
前記人物追跡部が特定した前記人物の位置において前記人物の顔画像を撮影するカメラとして特定した前記カメラが撮像している画像内に、前記人物追跡部が位置を特定した前記人物以外の人物が含まれている場合は、そのカメラ以外の前記カメラを、前記人物の顔画像を撮影する前記カメラとして改めて特定する
ことを特徴とする請求項１記載の画像認識システム。
【請求項１０】
前記顔登録部は、
前記空間情報処理部が特定した前記カメラより取得した前記人物の顔画像内に複数の顔画像が含まれている場合は、その顔画像を前記顔認識データベースに登録しない
ことを特徴とする請求項１記載の画像認識システム。
【請求項１１】
前記カメラは、
設置位置を移動することができる機能を備えており、
前記優先撮影条件を満たす位置に移動して前記人物の顔画像を撮影する
ことを特徴とする請求項２記載の画像認識システム。
【請求項１２】
前記カメラは、
音声認識機能と発話機能を備えており、
顔画像を撮影した前記人物に対して、個人確認のための質問を発話し、
前記質問に対して肯定する旨の返答音声を認識した場合は、撮影した当該人物の顔画像を前記顔認識データベースに登録する
ことを特徴とする請求項１１記載の画像認識システム。
【請求項１３】
前記カメラは、
音声認識機能と発話機能を備えており、
顔画像を撮影した前記人物に対して、顔画像を撮影してよいか確認するための質問を発話し、
前記質問に対して肯定する旨の返答音声を認識した場合は、撮影した当該人物の顔画像を前記顔認識データベースに登録する
ことを特徴とする請求項１１記載の画像認識システム。
【請求項１４】
前記顔認識データベースに登録されている顔画像またはその特徴量を用いて人物を特定する顔認識部を備えた
ことを特徴とする請求項１記載の画像認識システム。
【請求項１５】
人物を撮影する１以上のカメラから撮影画像を取得するステップ、
前記固有ＩＤを用いて前記人物を認証する人物認証ステップ、
前記人物の位置を特定する人物追跡ステップ、
前記人物追跡ステップで特定した前記人物の位置において前記人物の顔画像を撮影する前記カメラを特定する空間情報処理ステップ、
前記人物の固有ＩＤを前記人物の顔画像またはその特徴量と関連付けて格納する顔認識データベースに、前記人物の顔画像またはその特徴量を登録する顔登録ステップ、
を有し、
前記顔登録ステップでは、
前記空間情報処理ステップで特定した前記カメラより前記人物の顔画像を取得し、
取得した顔画像またはその特徴量と、前記人物認証ステップで前記人物を認証する際に用いた前記固有ＩＤとを関連付けて、前記顔認識データベースに登録する
ことを特徴とする画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を用いて人物を認識する画像認識システムに関する。
【背景技術】
【０００２】
顔を用いて個人を認識する顔認識においては、事前に個人の顔画像の特徴をデータベースに登録しておく必要がある。顔を認識するときには、データベースを参照して、認識対象である顔画像がどの人物の顔画像に該当するかを判定する。このとき、認識対象である顔画像の撮影条件と登録されている顔画像の撮影条件が異なる場合、認識精度が低下する可能性がある。特に顔向きの違いに関して認識精度が受ける影響が顕著であることが知られている。
【０００３】
下記特許文献１では、上記のような課題を解決するため、本人であることが確認された顔画像を、データベース内の顔向きの多様性を保持しながら自動的にデータベースに登録することを図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２３８１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１記載の発明では、登録する画像の顔向きは被写体に依拠するため、撮影する顔向きを制御することが難しい。また、新たにカメラを設置して顔認識を実施する場合には、新たなカメラで撮影されることの多い顔向きが必ずしも所望のものとは限らないので、先に顔画像データベースに登録されている顔画像が新たな顔画像によって不本意に書き換えられてしまう可能性がある。
【０００６】
本発明は、上記のような課題を解決するためになされたものであり、顔画像の顔向きの多様性を的確に確保しつつ、顔画像を自動的に登録することができる画像認識システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像認識システムは、人物の顔画像と、その人物を認証するために用いる固有ＩＤとを関連付けて、顔認識データベースに登録する。
【発明の効果】
【０００８】
本発明に係る画像認識システムは、顔画像と認証用のＩＤとを関連付けて顔認識データベースに登録するので、顔画像を顔認識データベースに登録する際に、顔認識データベースに登録されている顔向きの多様性がその顔画像によって確保されるか否かを容易に把握し、不足している顔向きがあれば補充することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係る画像認識システム１０００の構成図である。
【図２】顔認識用ＤＢ１４１の構成とデータ例を示す図である。
【図３】空間情報ＤＢ１５１の構成とデータ例を示す図である。
【図４】空間情報ＤＢ１５１が対象としている空間の上面図例である。
【図５】図４を模式的に示した図である。
【図６】画像認識システム１０００が新たな顔画像を顔認識用ＤＢ１４１に登録する処理を示すフローチャートである。
【図７】図４の人物認証用入力デバイス１１１の近傍を抜粋した斜視図である。
【図８】実施形態２に係る画像認識システム１０００の構成図である。
【図９】実施形態２における空間情報ＤＢ１５１の構成とデータ例を示す図である。
【図１０】実施形態２において空間情報ＤＢ１５１が対象としている空間の上面図例である。
【図１１】図１０を模式的に示した図である。
【図１２】図１１と同様の模式図に加えて、移動先予測部８１０が予測した人物４１０の移動先予測結果１２００を記載した図である。
【図１３】実施形態２に係る画像認識システム１０００が新たな顔画像を顔認識用ＤＢ１４１に登録する処理を示すフローチャートである。
【図１４】人物４１０の顔向きと優先撮影条件の関係を示す図である。
【図１５】移動先予測を短い間隔で繰り返すことにより、移動先予測結果１２００における人物４１０の顔向きを予測する手法を示す図である。
【発明を実施するための形態】
【００１０】
＜実施の形態１＞
図１は、本発明の実施形態１に係る画像認識システム１０００の構成図である。画像認識システム１０００は、人物認証部１１０、人物追跡部１２０、センサ群１３０、顔認識登録部１４０、空間情報処理部１５０、カメラ群１６０、制御部１７０を備える。これら機能部はネットワーク２００を介して接続されている。
【００１１】
人物認証部１１０は、人物認証用入力デバイス１１１から入力された固有ＩＤを、人物認証用データベース（ＤＢ）１１２に格納されている認証情報と照合することにより、当該人物を認証する。人物認証用入力デバイス１１１は、例えば暗証番号、ＩＣカードに埋め込まれた個人識別情報、生体情報などのような個人を識別する情報を、その人物の固有ＩＤとして取得するデバイスである。人物認証用ＤＢ１１２は、人物認証用入力デバイス１１１が取得する固有ＩＤに対応する認証情報を格納している。この認証情報は必ずしも固有ＩＤそのものでなくともよく、固有ＩＤを用いて当該人物を認証することができる情報であればよい。
【００１２】
人物追跡部１２０は、カメラ群１６０またはセンサ群１３０の実空間における設置座標や画角を用いて、カメラ群１６０が撮影した人物またはセンサ群１３０が検出した人物の実空間における位置を推定する。カメラ群１６０のみを用いて人物の位置を推定する場合は、センサ群１３０は必ずしも必要でない。カメラ群１６０が撮影した画像を用いて人物の位置を推定する場合は、Nakazawaらの方法（A. Nakazawa, H. Kato, and S. Inokuchi, “Human tracking using distributed vision systems,” Proc. in Fourteenth International Conference on Pattern Recognition, 1998, vol. 1, pp. 593-596）を用いることができる。距離を計測できるセンサ群１３０を併用する場合は、Ikemuraらの方法（S. Ikemura and H. Fujiyoshi, “Real-time human detection using relational depth similarity features,” in Proc. of Asian Conference on Computer Vision, Part IV, 2010, pp. 25-38.）を用いることができる。
【００１３】
センサ群１３０としては、例えばレーザレンジファインダ、赤外線方式の距離計測カメラ、位置測定用の無線などのように、距離を計測できるセンサを１以上用いることができる。カメラ群１６０としては、例えば天井や壁に設置された俯瞰カメラを１以上用いることができる。パン／チルト／ズームが調整可能なカメラや、魚眼カメラを用いることもできる。
【００１４】
カメラ群１６０のうち、人物追跡のために用いるカメラと顔認識のために用いるカメラはそれぞれ別個であってもよいし、一部または全部が共有であってもよい。例えば、顔認識のためには天井から俯瞰するカメラや壁面から水平に近い角度で撮影するカメラを使用し、人物追跡のためには天井から鉛直下方を撮影するカメラを使用する、といった使い分けをすると、顔認識および人物追跡のための処理が簡易化されて便宜である。
【００１５】
顔認識登録部１４０は、（ａ）カメラ群１６０が撮影したいずれかの顔画像を用いてその場所にいる人物が誰かを特定する処理、（ｂ）カメラ群１６０が新たに撮影した顔画像とその顔画像に対応した固有ＩＤを受け取り、撮影した顔画像（またはこれから算出した画像特徴量）、その顔画像の撮影条件、および固有ＩＤを関連付けて、顔認識用データベース（ＤＢ）１４１に格納する処理、（ｃ）顔認識用ＤＢ１４１に登録されている顔画像を用いて人物を認識する処理、を実施する。撮影条件については後述する。
【００１６】
顔認識用ＤＢ１４１は、カメラ群１６０が撮影した顔画像またはその特徴量、その顔画像に対応する固有ＩＤ、その顔画像の撮影条件を関連付けて格納する。以下の説明では、記載の簡易の観点から、顔画像の特徴量はあらかじめ算出して顔認識用ＤＢ１４１に格納しておくものとするが、これに限られるものではない。顔認識用ＤＢ１４１の詳細については後述の図２で改めて説明する。
【００１７】
空間情報処理部１５０は、カメラ群１６０のなかで、人物の顔画像を撮影するのに適したカメラを特定し、そのカメラに対して撮影指示を出力する。また、空間情報データベース（ＤＢ）１５１との間でデータを読み書きする。
【００１８】
空間情報ＤＢ１５１は、センサ群１３０およびカメラ群１６０の位置、パンチルト角などの制御パラメータ、人物追跡部１２０が特定した人物の位置、などを格納する。空間情報ＤＢ１５１の詳細については後述の図３で改めて説明する。
【００１９】
制御部１７０は、画像認識システム１０００が備える各機能部の動作を制御する。各機能部は制御部１７０と一体的に構成することもできる。
【００２０】
人物認証部１１０、人物追跡部１２０、顔認識登録部１４０、空間情報処理部１５０、制御部１７０は、これらの機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算装置とその動作を規定するソフトウェアを用いて構成することもできる。
【００２１】
人物認証用ＤＢ１１２、顔認識用ＤＢ１４１、空間情報ＤＢ１５１は、これらが格納するデータを保持するデータファイルとこれを記憶するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）などの記憶装置を用いて構成することができる。
【００２２】
図２は、顔認識用ＤＢ１４１の構成とデータ例を示す図である。顔認識用ＤＢ１４１は、データＩＤ１４１１、個人ＩＤ１４１２、画像特徴量１４１３、撮影条件１４１４を保持する。
【００２３】
データＩＤ１４１１は、顔認識用ＤＢ１４１が保持するレコードを識別するためのＩＤである。個人ＩＤ１４１２は、人物認証部１１０が人物を認証するために用いる、当該人物の固有ＩＤである。同じ人物について複数の顔向きの顔画像が登録される場合、本フィールドの値はそのレコード間で共通となる。撮影条件１４１４は、カメラ群１６０（のうちいずれかのカメラ）が顔画像を撮影したときの撮影条件を保持する。顔向きが顔認識の精度に大きく影響を及ぼすため、撮影条件１４１４は撮影時の顔向きを保持することとするが、顔認識の精度に影響するその他の条件、例えば撮影時の照度などを撮影条件１４１４とすることもできる。
【００２４】
画像特徴量１４１３は、顔画像の性質を数値列で表現したものである。顔画像に対してまず顔検知を実施し、顔の部分のみで画像特徴量を計算することにより、画像特徴量１４１３を計算することができる。
【００２５】
顔認識登録部１４０は、入力された顔画像から画像特徴量を算出し、画像特徴量１４１３と比較することにより、人物を認識する。つまり、類似した画像特徴量１４１３が見つかれば、それに関連付けられた個人ＩＤ１４１２を有する人物が、入力された顔画像に該当する人物だということになる。具体的な方法としては、Turkらの方法（M. A. Turk and A. P. Pentland, “Face recognition using eigenfaces”, in Proc. of  IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), 1991, pp. 586-591.）が知られている。この認識手法は、精度は指紋や指静脈といった他の生体認証と比較して劣るが、一般に設置される監視カメラの画像にも適用することができるため、利便性に優れる。
【００２６】
図３は、空間情報ＤＢ１５１の構成とデータ例を示す図である。空間情報ＤＢ１５１は、カメラ情報１５１１、センサ情報１５１２、人物情報１５１３、構造物情報１５１４、固定物体情報１５１５を保持する。
【００２７】
カメラ情報１５１１は、カメラ群１６０に含まれる各カメラの座標１５１１１、カメラが撮影している方向を示したパンチルト角１５１１２、画角１５１１３、パンチルト角の調整可能な範囲であるパンチルト角範囲１５１１４、画角の調整可能な範囲である画角範囲１５１１５を保持する。センサ情報１５１２は、センサの座標１５１２１、パンチルト角１５１２２を保持する。人物情報１５１３は、空間情報ＤＢ１５１が対象とする空間内に滞在している人物の個人ＩＤ１５１３１、人物追跡部１２０が追跡した結果得られる人物の座標１５１３２を保持する。構造物情報１５１４は、壁やパーティションといった構造物の占める空間を座標で表したものである。固定物体情報１５１５は、何らかの装置やデスクといった固定物体の占める空間を座標で表したものである。
【００２８】
図４は、空間情報ＤＢ１５１が対象としている空間の上面図例である。人物認証用入力デバイス１１１、センサ群１３０、カメラ群１６０、人物４１０、構造物である壁４２０、固定物体である壁４２０、パーティション４３１、デスク４３２、入室ゲート４３３が、それぞれ図４に示すように配置されていると仮定する。センサ群１３０とカメラ群１６０はそれぞれ複数存在しているが、説明の簡易のため同じ符号を付した。
【００２９】
図５は、図４を模式的に示した図である。図４に示す配置状況は、図５のような符号またはこれと同等の数値等のデータを用いて、デジタル情報として表現することができる。
【００３０】
図６は、画像認識システム１０００が新たな顔画像を顔認識用ＤＢ１４１に登録する処理を示すフローチャートである。本フローチャートの実行主体は制御部１７０であり、各機能部は制御部１７０の指示にしたがって処理を実行するものとする。以下、図６の各ステップについて説明する。なお図６において、説明の便宜上、図４で説明した配置関係を前提とする。
（図６：ステップＳ６００〜Ｓ６０１）
人物４１０が入室ゲート４３３を通過するとき、人物４１０は人物認証用入力デバイス１１１に個人ＩＤを入力し、制御部１７０がこれを受け取ると、本フローチャートが開始する（Ｓ６００）。人物認証部１１０は、その固有ＩＤを用いて人物認証を実施する（Ｓ６０１）。
（図６：ステップＳ６０２）
人物認証部１１０が人物認証に失敗した場合は本フローチャートを終了し、成功した場合はステップＳ６０３に進む。人物認証に失敗する場合の例として、そもそも人物４１０がその場所にいなかったり、その人物が誰であるかを特定できなかったりする場合が考えられる。
【００３１】
（図６：ステップＳ６０３）
顔認識登録部１４０は、優先撮影条件を決定する。優先撮影条件とは、撮影条件１４１４を用いて、データが不足しているために優先して撮影する必要のある顔向きを撮影するよう指定する撮影条件である。
（図６：ステップＳ６０３：補足その１）
個人ＩＤが０である人物に対して優先撮影条件を選択するには、まず顔認識用ＤＢ１４１から個人ＩＤ１４１２が０であるレコードを取り出し、当該人物について登録済みの顔画像の個数を顔向き毎に算出する。顔認識登録部１４０は、登録されている個数が少ない顔向きの顔画像が優先的に撮影されるように、優先撮影条件を決定する。優先撮影条件を選択する方法としては、例えば下記４つの方法が考えられる。
（図６：ステップＳ６０３：処理例）
（処理例１）数が最も少ない顔向きを最も優先して選択する方法
（処理例２）数の少ない顔向きの順に所定個数（Ｎ１個）を優先して選択する方法
（処理例３）所定個数（Ｎ２個）に満たない顔向きを優先して選択する方法
（処理例４）過去の所定期間内に撮影されたデータ数が、所定個数（Ｎ３個）に満たない顔向きを優先して選択する。
（図６：ステップＳ６０３：補足その２）
顔認識用ＤＢ１４１に登録されている顔向きごとの顔画像数を算出するとき、指定する顔向きは量子化しておく必要がある。その量子化の粗さは、顔向きに対する顔認識処理の安定性を基準に決めればよい。たとえば、水平方向±７．５度の顔向きの違いに対しては安定な顔認識処理を用いる場合は、水平方向に関しては１５度単位で顔向きを量子化すればよい。垂直方向についても同様である。
【００３２】
（図６：ステップＳ６０４）
ステップＳ６０３で優先撮影条件が決定された場合はステップＳ６０５へ進み、決定されなかった場合は当該人物について新たな顔画像を登録する必要はないので本フローチャートを終了する。
（図６：ステップＳ６０５）
人物追跡部１２０は、人物認証部１１０が認証した人物の位置を追跡する。人物認証部１１０が認識した人物が今どこにいるかを知るためには、人物追跡部１２０に対して当該人物の個人ＩＤを渡す必要がある。その方法については後述の図７で説明する。
【００３３】
（図６：ステップＳ６０６）
一般に、人物追跡については、追跡の確からしさを評価することができる。人物追跡部１２０は、算出した追跡結果の確からしさの値が所定閾値を越えるか否かを判定し、超えていない場合は本フローチャートを終了し、超えている場合はステップＳ６０７に進む。
（図６：ステップＳ６０７）
空間情報処理部１５０は、人物追跡部１２０が追跡している人物の個人ＩＤと位置座標を受け取り、空間情報ＤＢ１５１の対応するレコード上における個人ＩＤ１５１３１と座標１５１３２を、受け取った値で更新する。
【００３４】
（図６：ステップＳ６０８）
空間情報処理部１５０は、カメラ群１６０内のパンチルトおよび画角調整が可能な各カメラについて、人物の座標１５１３２、カメラの座標１５１１１、パンチルト角範囲１５１１４、画角範囲１５１１５に基づき、パンチルトと画角の調整によって該当人物を写すことができるか否かを判定する。
（図６：ステップＳ６０９）
空間情報処理部１５０は、顔画像を撮影したときに、該当人物の顔画像を問題なく撮影できるカメラを選択する。たとえば、あるカメラから見て、該当人物の前後に他の人物が立っている場合や、左右近傍に他の人物が立っている場合は、該当人物ではない顔画像を撮影してしまう可能性があるため、そのようなカメラは選択しない。
【００３５】
（図６：ステップＳ６１０）
該当人物の顔画像が撮影できるカメラがなければステップＳ６０３に戻って同様の処理を繰り返し、撮影できるカメラがあれば空間情報処理部１５０はそのカメラのパンチルトと画角を調整してステップＳ６１１へ進む。
（図６：ステップＳ６１１）
空間情報処理部１５０は、ステップＳ６０８〜Ｓ６１０で特定したカメラに、当該人物の画像を撮影させる。顔認識登録部１４０は、空間情報ＤＢ１５１が保持している当該人物の座標１５１３２を用いて、撮像画像内で該当人物が写っている領域に対して顔検知を実行し、当該人物の顔画像を切り出す。
【００３６】
（図６：ステップＳ６１２）
顔認識登録部１４０は、顔画像が正常に撮影できたか否かを判定する。たとえば撮像画像内に顔を２つ検知した場合は異常であると判定する。顔画像を正常に撮影できた場合はステップＳ６１３へ進み、できなかった場合はステップＳ６０３に戻って同様の処理を繰り返す。
（図６：ステップＳ６１２：補足）
ステップＳ６０９において、撮影対象人物の周辺に他の人物が存在しているか否かを確認しているが、これは人物追跡のためのカメラを用いて実施される。撮影用カメラの画角やパンチルトの値は、人物追跡のためのカメラの画角やパンチルトとは異なる場合があるので、本ステップにおいて実際の撮影画像を改めてチェックすることとした。
【００３７】
（図６：ステップＳ６１３）
顔認識登録部１４０は、ステップＳ６１１で取得した顔画像が撮影条件に合致するか否かを判定する。合致していればステップＳ６１４へ進み、合致していなければステップＳ６０３に戻って同様の処理を繰り返す。
（図６：ステップＳ６１３：補足）
顔画像が撮影条件に合致しているか否かを判定するためには、当該顔画像の顔向きを推定する必要がある。取得した顔画像の顔向きは、Shimizuらの方法（I. Shimizu, Z. Zhang, S. Akamatsu, and K. Deguchi, “Head pose determination from one image using a generic model”, in Proc. 3rd IEEE Int. Conf. on Automatic Face and Gesture Recognition, 2002, pp. 100-105.）を用いて、推定することができる。
（図６：ステップＳ６１４）
顔認識登録部１４０は、画像特徴量１４１３を算出し、顔認識用ＤＢ１４１に、個人ＩＤ１４１２、画像特徴量１４１３、撮影条件１４１４（ステップＳ６１３で推定した顔向き）とともに登録する。
【００３８】
図７は、図４の人物認証用入力デバイス１１１の近傍を抜粋した斜視図である。少なくとも１つのカメラ１６０およびセンサ１３０は、人物認証用入力デバイス１１１によって認証される人物を撮影できる位置、向き、画角に設定する。
【００３９】
人物がゲート４３３を通過するとき、人物認証部１１０は人物認証用入力デバイス１１１から入力された個人ＩＤを用いて人物認証を実施する。制御部１７０は、人物認証部１１０から認証した人物の個人ＩＤを取得し、人物追跡部１２０に通知する。人物追跡部１２０は、その個人ＩＤと対応付けて、カメラ１６０またはカメラ１６０とセンサ１３０を用いて、人物追跡を開始する。
【００４０】
＜実施の形態１：まとめ＞
以上のように、本実施形態１に係る画像認識システム１０００は、顔画像（またはその特徴量）と、人物固有の個人ＩＤとを関連付けて、顔認識ＤＢ１４１に格納する。これにより、個人ＩＤをキーにして、多様な顔画像が顔認識ＤＢ１４１に登録されているか否かを容易に把握することができる。
【００４１】
また、本実施形態１に係る画像認識システム１０００は、優先撮影条件を人物毎に特定し、カメラ群１６０が撮影した画像がこれを満たしているか否かを判定する。これにより不足している顔向きの顔画像を的確に補充し、顔認識の精度を向上させることができる。
【００４２】
＜実施の形態２＞
本発明の実施形態２では、カメラ群１６０のうちいずれか少なくとも１つが、例えばロボットのような設置位置を移動できる移動カメラとして構成されている例を説明する。移動カメラは、撮影対象人物の近傍まで移動して顔画像を撮影することができるので、不足している顔画像を補充するための有効な手段となり得る。ただし、人物と移動カメラの位置関係が多様に変化するので、顔向きの不整合に関する問題が顕著に表れる。
【００４３】
そこで本実施形態２でも、実施形態１と同様に、人物認証部１１０が人物を認証する際に使用する個人ＩＤを用いて人物を追跡し、当該人物に関して不足している顔向きを優先的に撮影する。
【００４４】
図８は、本実施形態２に係る画像認識システム１０００の構成図である。本実施形態２に係る画像認識システム１０００は、実施形態１で説明した構成に加えて、新たに移動先予測部８１０、移動カメラ群８２０を備える。
【００４５】
移動先予測部８１０は、後述の図９で説明する人物の動線情報１５１３３を解析し、当該人物の移動先を予測する。動線予測を実現する技術としては、淺原らの方法（淺原彰規  他，”混合マルコフモデルに基づく歩行者動線解析方式”，情報処理学会論文誌，ｖｏｌ．５２， ｎｏ．１，ｐｐ．１８７−１９６，Ｊａｎ．２０１１）が知られている。移動カメラ群８２０は、たとえばカメラを搭載した移動ロボットである。
【００４６】
移動先予測部８１０は、その機能を実現する回路デバイスなどのハードウェアを用いて構成することもできるし、ＣＰＵなどの演算装置とその動作を規定するソフトウェアを用いて構成することもできる。
【００４７】
図９は、本実施形態２における空間情報ＤＢ１５１の構成とデータ例を示す図である。本実施形態２における空間情報ＤＢ１５１は、実施形態１で説明した構成に加えて、一連の座標として表される人物の動線情報１５１３３、移動カメラ情報１５１６を新たに格納する。
【００４８】
動線情報１５１３３は、人物追跡部１２０が人物４１０の移動軌跡を追跡した結果を空間情報処理部１５０が受け取り、空間情報ＤＢ１５１に格納することによって生成することができる。
【００４９】
移動カメラ情報１５１６は、移動カメラの座標１５１６１、移動カメラが撮影している方向を示すパンチルト角１５１６２、画角１５１６３、チルト角についての調整可能な範囲であるチルト角範囲１５１６４、画角の調整範囲である画角範囲１５１６５、高さの調整範囲である高さ範囲１５１６６を保持する。
【００５０】
図１０は、本実施形態２において空間情報ＤＢ１５１が対象としている空間の上面図例である。図４に加えて、新たに移動カメラ８２０の配置例が追加されている。
【００５１】
図１１は、図１０を模式的に示した図である。図１１では、人物４１０の動線情報１５１３３を追記した。
【００５２】
図１２は、図１１と同様の模式図に加えて、移動先予測部８１０が予測した人物４１０の移動先予測結果１２００を記載した図である。移動カメラ８２０は、人物４１０の顔画像を所望の顔向きで撮影するため、移動先予測結果１２００の近傍である移動先１２１０まで移動する。移動カメラ８２０の具体的な動作手順は次の図１３で説明する。
【００５３】
図１３は、本実施形態２に係る画像認識システム１０００が新たな顔画像を顔認識用ＤＢ１４１に登録する処理を示すフローチャートである。実施形態１で説明した図６に加えて、ステップＳ６０９とＳ６１０の間に新たにステップＳ１３００〜Ｓ１３０４が追加されている。これらステップにおいて各機能部の動作を制御するのは制御部１７０である。以下、図１３で新たに追加された各ステップを中心に説明する。なお図１３において、説明の便宜上、図１０〜図１２で説明した配置関係を前提とする。
（図１３：ステップＳ１３００）
移動先予測部８１０は、人物４１０の移動先を予測する。図１２の例では、図９、図１１に示した動線情報１５１３３を用いて人物４１０の移動先を予測し、移動先予測結果１２００が得られたとする。なお、人物４１０の移動先を予測するためには、事前に動線情報１５１３３を多数収集し、予測モデルのパラメータを推定しておく必要がある。さらに、長期にわたって動線情報１５１３３を収集できるのであれば、個人毎にパラメータを最適化した予測モデルを用いて移動先を予測することもできる。
【００５４】
（図１３：ステップＳ１３０１）
空間情報処理部１５０は、人物４１０の移動先近傍に移動カメラ８２０を移動させるように、移動カメラ８２０の移動先１２１０を決定する。具体的には、各移動カメラ８２０に対して、そこから最も早く到着することができる移動先予測結果１２００の近傍を移動先１２１０として指定すればよい。
（図１３：ステップＳ１３０１：補足）
人物４１０の現在位置から移動先予測結果１２００までの移動軌跡と、移動カメラ８２０の現在位置から移動先１２１０までの移動軌跡とを比較して、移動カメラ８２０の移動が間に合わない場合も考えられるが、少なくとも人物４１０に接近できることが期待できるため、この場合でも移動先予測結果１２００の近傍を移動先として指定するほうが望ましい。なお、空間情報処理部１５０が移動先１２１０を決定する際には、優先撮影条件を考慮する。詳細は後述の図１４〜図１５で説明する。
【００５５】
（図１３：ステップＳ１３０２）
空間情報処理部１５０は、移動先１２１０に向かって移動するように、移動カメラ８２０に対して移動指示を出す。なお、移動先１２１０の値が前回のループで指定した移動先１２１０とは異なる場合もあるが、その場合は新たな移動先１２１０に向かって移動するように、移動指示を出す。
（図１３：ステップＳ１３０３）
移動カメラ８２０がスピーカやマイクのような発話機能と音声認識機能を備えている場合、つまり対話ロボットである場合は、音声で対話することも考えられる。対話で確認すべき項目としては、人物４１０が本当に本人であるかどうかの確認、撮影可否確認などを挙げることができる。
（図１３：ステップＳ１３０３：本人確認の例）
人物追跡部１２０は、個人ＩＤを用いて人物４１０を追跡しているので、人物４１０の氏名等の個人情報をその個人ＩＤと関連付けて別途データベース上に保持しておけば、人物４１０の本人確認を実施することができる。この場合、例えば空間情報処理部１５０がその個人情報を取得し、移動カメラ８２０に対して、その個人情報を用いて本人確認を実施するように指示する。移動カメラ８２０は、例えばその個人情報のうち人物４１０の氏名を用いて、「こんにちは、○○さんですか」などと音声質問し、本人確認を実施することができる。さらに移動カメラ８２０は、音声質問に対する回答を音声認識し、肯定する旨の返答であるか否かを確認することができる。肯定する旨の典型的な回答音声の例は、あらかじめ移動カメラ８２０上に保持しておくなどすればよい。撮影可否確認についても同様である。
【００５６】
（図１３：ステップＳ１３０３：撮影可否確認の例）
撮影可否を確認する場合、空間情報処理部１５０は、移動カメラ８２０に対し撮影可否を確認するように指示する。あるいは、移動カメラ８２０が自主的に撮影可否を確認するようにしてもよい。移動カメラ８２０は、例えば「撮影してもかまいませんか」などと音声質問する。さらに移動カメラ８２０は、音声質問に対する回答を音声認識し、肯定する旨の返答であるか否かを確認することができる。本人確認を実施した後に撮影可否を確認するようにしてもよい。
（図１３：ステップＳ１３０３：発話機能の例）
移動カメラ８２０が音声質問を発するためには、スピーカやマイクなどの音声出力デバイスに加えて、音声信号を音声出力デバイスに引き渡す必要がある。音声信号は、あらかじめ録音しておいた音声でもよいし、音声合成などによって動的に生成した擬似音声でもよい。
【００５７】
（図１３：ステップＳ１３０４）
ステップＳ１３０３において本人確認または撮影可否確認をした結果、否定する旨の返答を得た場合は、その時点で該当人物に関して本フローチャートを終了する。肯定する旨の返答を得た場合は、ステップＳ６１０〜Ｓ６１４と同様の処理を実施する。ただしこれらステップにおいて撮影を実施するのは移動カメラ８２０である点が、実施形態１とは異なる。
（図１３：ステップＳ１３０４：補足）
ステップＳ１３０３において否定する旨の返答を得た場合、移動カメラ８２０による撮影はできないものの、実施形態１と同様にカメラ群１６０による撮影をこれに代えて実施してもよい。この場合は、本ステップの後にステップＳ６１０〜Ｓ６１４を実施形態１と同様に実施する。
【００５８】
図１４は、人物４１０の顔向きと優先撮影条件の関係を示す図である。移動先予測結果１２００において予測される人物４１０の顔向きを用いると、優先撮影条件を満たすための移動カメラ８２０の位置を算出することができる。図１４において、角度１４００は、予測された人物４１０の顔向きと、移動カメラ８２０の光軸を上面図に投影した直線との間の角度を示す。この角度が優先撮影条件と合致するような位置を移動先１２１０として移動カメラ８２０を移動させ、なおかつ移動カメラ８２０の向きも移動先予測結果１２００に対して向くように調整する。
【００５９】
移動カメラ８２０がカメラの高さを変更できる機能を有する場合は、垂直方向の優先撮影条件も満たすように、高さも調整することが望ましい。そうでない場合は、垂直方向の優先撮影条件をなるべく満たすように、人物４１０との間の距離を調整すればよい。
【００６０】
空間情報処理部１５０は、移動カメラ８２０がすでに移動先１２１０に所定距離まで（たとえば５０ｃｍ以内）接近している場合であっても、優先撮影条件を満たすような相対位置をとり続けるように、移動指示を出す。
【００６１】
図１５は、移動先予測を短い間隔で繰り返すことにより、移動先予測結果１２００における人物４１０の顔向きを予測する手法を示す図である。人物４１０の顔向きは、もっとも単純には、人物４１０の現在の位置から移動先予測結果１２００までをつないだ直線を顔向きとして利用することができる。さらに正確に推定するならば、図１５に示すように、移動先予測をより細かい刻み幅で実施し、Ｍ個先の予測結果を用いるという方法が考えられる。そして、Ｍ個の予測結果の近似曲線（たとえば二次曲線）を算出し、移動先予測結果１２００における人物４１０の顔向きは曲線の接線方向であると仮定することにより、顔向きを予測できる。
【００６２】
＜実施の形態２：まとめ＞
以上のように、本実施形態２に係る画像認識システム１０００は、移動カメラ８２０が人物４１０の移動先として予測される位置の近傍まで移動し、人物４１０の顔画像を撮影する。これにより、カメラ群１６０のみでは顔画像の顔向きの多様性が確保しづらい場合でも、より確実に多様な顔向きの顔画像を収集することができる。
【００６３】
また、本実施形態２に係る画像認識システム１０００において、移動カメラ８２０は、本人確認のための音声質問を発することができる。これにより、人物追跡部１２０の追跡精度を補完することができる。
【００６４】
また、本実施形態２に係る画像認識システム１０００において、移動カメラ８２０は、撮影可否確認のための音声質問を発することができる。これにより、被写体のプライバシーに配慮することができる。
【符号の説明】
【００６５】
１１０：人物認証部、１１１：人物認証用入力デバイス、１１２：人物認証用データベース（ＤＢ）、１２０：人物追跡部、１３０：センサ群、１４０：顔認識登録部、１４１：顔認識用データベース（ＤＢ）、１５０：空間情報処理部、１５１：空間情報データベース（ＤＢ）、１６０：カメラ群、１７０：制御部、２００：ネットワーク、４１０：人物、８１０:移動先予測部、８２０：移動カメラ群、１０００：画像認識システム、１２００：移動先予測結果、１２１０：移動先。
【図１】
2013167986.tif 000003
【図２】
2013167986.tif 000004
【図３】
2013167986.tif 000005
【図４】
2013167986.tif 000006
【図５】
2013167986.tif 000007
【図６】
2013167986.tif 000008
【図７】
2013167986.tif 000009
【図８】
2013167986.tif 000010
【図９】
2013167986.tif 000011
【図１０】
2013167986.tif 000012
【図１１】
2013167986.tif 000013
【図１２】
2013167986.tif 000014
【図１３】
2013167986.tif 000015
【図１４】
2013167986.tif 000016
【図１５】
2013167986.tif 000017