(57)【要約】【課題】処理に必要なデータ量、演算量の増加を抑えつつ、高精度に人物認識を行うことを目的とする。【解決手段】登録対象の人物を示す新規画像に対応付けて、予め定められた種類の共通特徴量を記憶手段に登録する第１の登録手段と、新規画像と記憶手段に既に記憶されている登録画像の共通特徴量の類似度を算出する算出手段と、類似度が第１の閾値以上である場合に、新規画像及び登録画像それぞれに対応付けて、共通特徴量と種類の異なる個別特徴量を記憶手段に登録する第２の登録手段とを有する。【選択図】図１
2015179423.tif 000002
【特許請求の範囲】
【請求項１】
登録対象の人物を示す新規画像に対応付けて、予め定められた種類の共通特徴量を記憶手段に登録する第１の登録手段と、
前記新規画像と前記記憶手段に既に記憶されている登録画像の前記共通特徴量の類似度を算出する算出手段と、
前記類似度が第１の閾値以上である場合に、前記新規画像及び前記登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量を前記記憶手段に登録する第２の登録手段と
を有する人物登録装置。
【請求項２】
前記類似度が第１の閾値以上である場合に、前記新規画像及び前記登録画像の前記個別特徴量の類似度が第２の閾値未満となる個別特徴量の種類を特定する特定手段をさらに有し、
前記第２の登録手段は、前記特定手段により特定された前記種類の前記個別特徴量を登録する請求項１に記載の人物登録装置。
【請求項３】
前記特定手段により特定された前記種類を表示する表示手段と、
前記表示手段により表示された前記種類に対し、登録対象の種類の指定を受け付ける受付手段と
をさらに有し、
前記第２の登録手段は、指定された前記種類の前記個別特徴量を前記記憶手段に登録する請求項２に記載の人物登録装置。
【請求項４】
前記表示手段は、複数の前記種類が特定された場合には、特定された複数の種類を表示する請求項３に記載の人物登録装置。
【請求項５】
前記表示手段は、前記新規画像と複数の登録画像それぞれとの間で、前記第１の閾値以上の前記類似度が算出され、複数の登録画像それぞれに対し、前記種類が特定された場合には、複数の登録画像それぞれに対する前記種類を表示する請求項３又は４に記載の人物登録装置。
【請求項６】
前記表示手段は、異なる登録画像に共通する前記種類が特定された場合には、共通する前記種類を、他の前記種類と異なる表示態様で表示する請求項５に記載の人物登録装置。
【請求項７】
前記表示手段は、共通する前記種類が複数特定された場合には、前記種類が共通する前記登録画像の数が最も多い前記種類を、他の前記種類と異なる表示態様で表示する請求項６に記載の人物登録装置。
【請求項８】
既に登録されている登録人物を示す複数の登録画像それぞれに対応付けて、予め定められた種類の共通特徴量を記憶し、前記登録画像のうち、前記共通特徴量の類似度が第１の閾値以上となる２以上の登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量をさらに記憶する記憶手段に記憶されている前記登録画像と、人物認識の対象となる認識画像の前記共通特徴量の類似度を算出する第１の算出手段と、
前記登録画像と前記認識画像の個別特徴量の類似度を算出する第２の算出手段と、
前記共通特徴量の類似度と、前記個別特徴量の類似度と、に基づいて、前記認識画像の人物が前記登録画像に対応する登録人物か否かを認識する人物認識手段と
を有する人物認識装置。
【請求項９】
前記人物認識手段は、前記共通特徴量の類似度が第１の閾値以上である場合に、前記個別特徴量の類似度に基づいて、認識対象の人物が、前記登録画像に対応する登録人物か否かを認識する請求項８に記載の人物認識装置。
【請求項１０】
前記人物認識手段は、前記共通特徴量の類似度が第１の閾値以上であり、かつ前記個別特徴量の類似度が第２の閾値以上である場合に、前記認識画像の人物が前記登録画像に対応する登録人物であると判断する請求項９に記載の人物認識装置。
【請求項１１】
前記人物認識手段は、前記共通特徴量の類似度が前記第１の閾値以上であり、かつ前記個別特徴量の類似度が第２の閾値未満である場合に、前記認識画像の人物は前記登録画像に対応する登録人物ではないと判断することを特徴とする請求項１０に記載の人物認識装置。
【請求項１２】
前記記憶手段は、前記個別特徴量に対応付けて、前記個別特徴量により区別可能な、前記個別特徴量に対応付けられている前記登録画像と異なる、他の登録画像を類似画像としてさらに記憶し、
前記人物認識手段は、前記共通特徴量の類似度が前記第１の閾値以上であり、前記個別特徴量の類似度が第２の閾値未満であり、かつ前記登録画像に前記類似画像が対応付けられている場合に、前記認識画像と前記類似画像の前記個別特徴量の類似度に基づいて、前記認識画像の人物が前記類似画像に対応する登録人物であるか否かを認識する請求項１１に記載の人物認識装置。
【請求項１３】
登録対象の人物を示す新規画像に対応付けて、前記共通特徴量を記憶手段に登録する第１の登録手段と、
前記新規画像と前記登録画像の前記共通特徴量の類似度を算出する第３の算出手段と、
第３の算出手段により算出された前記類似度が第１の閾値以上である場合に、前記新規画像及び前記登録画像それぞれに対応付けて、前記個別特徴量を前記記憶手段に登録する第２の登録手段と
をさらに有する請求項１０乃至１２何れか１項に記載の人物認識装置。
【請求項１４】
１画像内に含まれる２以上の前記認識画像と、同一の前記登録画像の前記共通特徴量の類似度が第１の閾値以上である場合に、未登録の人物の登録を促す登録通知を出力する出力手段をさらに有する請求項１３に記載の人物認識装置。
【請求項１５】
前記出力手段は、前記２以上の前記認識画像と前記同一の前記登録画像の前記共通特徴量の類似度が第１の閾値以上であり、かつ前記２以上の前記認識画像と前記同一の前記登録画像の前記個別特徴量の類似度が第２の閾値以上となる場合に、未登録の人物の登録を促す登録通知を出力する請求項１４に記載の人物認識装置。
【請求項１６】
人物登録装置が実行する人物登録方法であって、
登録対象の人物を示す新規画像に対応付けて、予め定められた種類の共通特徴量を記憶手段に登録する第１の登録ステップと、
前記新規画像と前記記憶手段に既に記憶されている登録画像の前記共通特徴量の類似度を算出する算出ステップと、
前記類似度が第１の閾値以上である場合に、前記新規画像及び前記登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量を前記記憶手段に登録する第２の登録ステップと
を含む人物登録方法。
【請求項１７】
人物認識装置が実行する人物認識方法であって、
既に登録されている登録人物を示す複数の登録画像それぞれに対応付けて、予め定められた種類の共通特徴量を記憶し、前記登録画像のうち、前記共通特徴量の類似度が第１の閾値以上となる２以上の登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量をさらに記憶する記憶手段に記憶されている前記登録画像と、人物認識の対象となる認識画像の前記共通特徴量の類似度を算出する第１の算出ステップと、
前記登録画像と前記認識画像の個別特徴量の類似度を算出する第２の算出ステップと、
前記共通特徴量の類似度と、前記個別特徴量の類似度と、に基づいて、前記認識画像の人物が前記登録画像に対応する登録人物か否かを認識する人物認識ステップと
を含む人物認識方法。
【請求項１８】
コンピュータを、
登録対象の人物を示す新規画像に対応付けて、予め定められた種類の共通特徴量を記憶手段に登録する第１の登録手段と、
前記新規画像と前記記憶手段に既に記憶されている登録画像の前記共通特徴量の類似度を算出する算出手段と、
前記類似度が第１の閾値以上である場合に、前記新規画像及び前記登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量を前記記憶手段に登録する第２の登録手段と
して機能させるためのプログラム。
【請求項１９】
コンピュータを、
既に登録されている登録人物を示す複数の登録画像それぞれに対応付けて、予め定められた種類の共通特徴量を記憶し、前記登録画像のうち、前記共通特徴量の類似度が第１の閾値以上となる２以上の登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量をさらに記憶する記憶手段に記憶されている前記登録画像と、人物認識の対象となる認識画像の前記共通特徴量の類似度を算出する第１の算出手段と、
前記登録画像と前記認識画像の個別特徴量の類似度を算出する第２の算出手段と、
前記共通特徴量の類似度と、前記個別特徴量の類似度と、に基づいて、前記認識画像の人物が前記登録画像に対応する登録人物か否かを認識する人物認識手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物登録装置、人物認識装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ソフトウェアにより、人物画像中の人物が誰であるかを特定する人物認識装置が知られている。このような人物認識装置は、認識対象の画像から顔部分を特定し、顔部分の特徴量と、辞書データに登録されている登録人物の特徴量とを比較することにより、認識対象の画像に含まれる人物が登録人物か否かを判断する。なお、辞書データには、登録人物の顔画像データや、顔画像データから算出した特徴量等、登録人物に関する情報が登録されている。
人物認識においては、誤認識が問題となるが、これに対し、特許文献１には、新規に登録する人物の特徴量が既に登録されている人物の特徴量に類似する場合に、新規に登録する人物の照合閾値を上げる（厳しくする）技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０６３１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、人物認識に利用される特徴量は、目、鼻、口等、人物間の違いが出やすい部位から算出される場合が多く、各部の特徴量を比較する際の照合閾値を厳しく定める程、また算出対象の部位の数を増やす程、高精度に人物を認識することができる。
しかしながら、人物間の特徴量の差異が小さい場合には、特許文献１のように照合閾値を厳しくするのには限界があり、必ずしも精度を向上できるとは限らない。また部位の数を増やした場合には、辞書データのデータ量が増大し、また処理量も増え演算に時間がかかるという問題があった。
【０００５】
本発明はこのような問題点に鑑みなされたもので、処理に必要なデータ量、演算量の増加を抑えつつ、高精度に人物認識を行うことを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、人物登録装置であって、登録対象の人物を示す新規画像に対応付けて、予め定められた種類の共通特徴量を記憶手段に登録する第１の登録手段と、前記新規画像と前記記憶手段に既に記憶されている登録画像の前記共通特徴量の類似度を算出する算出手段と、前記類似度が第１の閾値以上である場合に、前記新規画像及び前記登録画像それぞれに対応付けて、前記共通特徴量と種類の異なる個別特徴量を前記記憶手段に登録する第２の登録手段とを有する。
【発明の効果】
【０００７】
本発明によれば、処理に必要なデータ量、演算量の増加を抑えつつ、高精度に人物認識を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置を示す図である。
【図２】二次記憶装置のデータ構成を示す図である。
【図３】人物登録処理を示すフローチャートである。
【図４】登録画面を示す図である。
【図５】個別特徴量選択画面を示す図である。
【図６】人物登録処理を説明するための図である。
【図７】登録画面を示す図である。
【図８】代表選択画面を示す図である。
【図９】人物認識処理を示すフローチャートである。
【図１０】認識対象の画像の一例を示す図である。
【図１１】登録通知処理を示すフローチャートである。
【図１２】登録通知画面を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
図１は、本実施形態にかかる情報処理装置を示す図である。情報処理装置１００は、人物認識装置及び人物登録装置の一例である。情報処理装置１００は、登録されている人物（以下登録人物と称する）の辞書データを記憶しており、辞書データとの比較により、画像中の人物に対し、人物が誰であるかを特定する人物認識を行う。情報処理装置１００はさらに、随時新規人物の辞書データを登録することができる。ここで、辞書データは、人物の顔画像や、顔画像の特徴量等の情報を含む。辞書データについては、後に詳述する。
情報処理装置１００は、図１に示すように、表示部１０１と、操作部１０２と、ＣＰＵ１０３と、一次記憶装置１０４と、二次記憶装置１０５と、通信装置１０６とを有している。表示部１０１は、画像の表示、対話的な操作のための文字表示等を行う。表示部１０１は、辞書データの登録時には、登録された内容、ユーザにより入力された内容等を表示する。表示部１０１は、具体的には、例えば、ＬＣＤ等のディスプレイ装置である。また表示部１０１は情報処理装置１００が備える必要はなく、情報処理装置１００は表示部１０１の表示を制御する表示制御機能を有していればよい。この場合、情報処理装置１００は、外部の表示装置に各種情報を表示する。操作部１０２は、ユーザの操作を受け付ける。操作部１０２は、キーボードやマウス等である。操作部１０２は、例えば、ユーザが辞書データに人物名を入力する際に利用される。
【００１０】
ＣＰＵ１０３は、入力された信号やプログラムに従って、各種の演算や、情報処理装置１００を構成する各部分の制御を行う。一次記憶装置１０４は、一時的なデータを記憶し、ＣＰＵ１０３の作業用に利用される。二次記憶装置１０５は、情報処理装置１００を制御するためのプログラムや各種の設定情報等を記憶する。
なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０３が二次記憶装置１０５等に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１１】
通信装置１０６は、外部装置と接続し、制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えば、ＰＴＰ（Ｐｉｃｔｕｒｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）やＭＴＰ（Ｍｅｄｉａ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）が用いられる。なお、通信装置１０６は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブル等の有線接続により通信を行ってもよい。通信装置１０６はまた、無線ＬＡＮ等の無線接続により通信を行ってもよい。通信装置１０６はまた、外部装置と直接接続してもよいし、サーバやインターネット等のネットワークを介して外部装置と接続してもよい。
なお、本実施形態においては、人物認識装置及び人物登録装置の一例として情報処理装置を例に説明するが、これに限定されるものではなく、他の例としては、デジタルカメラなどの撮像装置であってもよい。
【００１２】
図２は、二次記憶装置１０５のデータの構成を示す図である。二次記憶装置１０５の記憶領域２００には、画像管理アプリケーション２０１と、画像テーブル２０２と、辞書テーブル２０３とが記憶されている。画像管理アプリケーション２０１は、画像管理に関する処理を実行するアプリケーションである。画像テーブル２０２には、人物を被写体とする複数の画像が記憶されている。
辞書テーブル２０３には、複数の辞書データが記憶されている。各辞書データは、登録名と、登録画像と、共通特徴量と、個別特徴量とを含んでいる。辞書データはさらに、個別特徴量に対応付けて、類似人物名を含んでいる。登録名は、登録人物の氏名である。登録名は、各辞書データを識別する識別情報としても利用される。なお、他の例としては、辞書データは、登録名と別に、辞書データを識別する識別情報を含んでいてもよい。登録画像は、登録人物の顔画像である。登録画像は、画像全体、又は画像から抽出された部分画像である。特徴量は、顔画像の特徴量であり、目、鼻、口等各部位の特徴量、肌の色、髪の色、眼鏡の有無等の特徴量が挙げられる。本実施形態の情報処理装置１００は、特徴量の種類に応じて、特徴量を共通特徴量と個別特徴量とに大別して管理する。
【００１３】
共通特徴量は、予め定められた特徴量であり、すべての登録人物の辞書データに登録されている。共通特徴量は、例えば、目、鼻、口など顔の中の部位の領域から算出される特徴量の組み合わせである。なお、共通特徴量に含まれる特徴量の組み合わせや種類は、多数の人物を精度よく認識することができるようなものであることが好ましいが、共通特徴量の種類は、実施形態に限定されるものではない。
個別特徴量は、共通特徴量として定められている種類以外の特徴量である。個別特徴量は、例えば、ほくろや傷の位置、肌や髪の色等、多数の人物それぞれを区別して認識するには不向きであるが、特定の人物を他の人物と区別するのに有効な特徴量である。個別特徴量は、２以上の登録人物の共通特徴量が類似する場合に、類似する登録人物それぞれを異なる人物として区別するために用いられる特徴量である。すなわち、個別特徴量は、類似する登録人物間で区別可能な程度に特徴量が異なるような種類のものであることが好ましいが、具体的な個別特徴量の種類は、実施形態に限定されるものではない。
【００１４】
類似人物名は、類似人物の登録名である。ここで、類似人物とは、辞書データの登録名により識別される登録人物に類似する人物である。具体的には、類似人物は、共通特徴量において登録人物と区別して認識するのが困難な人物、すなわち、その共通特徴量と登録人物の共通特徴量の類似度が閾値以下となるような、他の登録人物である。なお、辞書テーブル２０３には、類似人物を登録人物とする辞書データも登録されている。以下、類似人物（登録人物）の辞書データに登録されている登録画像を、類似画像と称することとする。このように、登録画像には、類似人物名を介して類似画像が対応付けられている。
なお、登録画像の共通特徴量のみにより、登録人物を一意に認識可能な場合には、この登録人物の辞書データに個別特徴量及び類似画像は含まれない。一方、共通特徴量が類似する登録人物が複数存在する場合には、１人の登録人物の辞書データには、各類似人物と自身を区別して認識するための複数の個別特徴量が含まれる。
【００１５】
図３は、情報処理装置１００による、人物登録処理を示すフローチャートである。人物登録処理において、情報処理装置１００は、ユーザからの指示に従い、新規人物の辞書データを登録する。Ｓ３０１において、ＣＰＵ１０３は、ユーザにより入力された登録指示を受け付ける。登録指示を受け付けると、ＣＰＵ１０３は、登録対象となる画像から人物画像を切り出す。ＣＰＵ１０３は、具体的には、予め定められたルールに従い、人物画像を切り出す。なお、他の例としては、ＣＰＵ１０３は、表示部１０１に登録対象となる画像を表示し、人物画像の領域の指定を受け付け、指定に従って、人物画像を切り出してもよい。
人物画像が切り出されると、ＣＰＵ１０３は、図４に示す登録画面４００を表示部１０１に表示する。登録画面４００には、切り出された画像、すなわち登録対象となる新規画像４０１が表示されている。登録画面４００には、また登録名入力欄４０２と、登録ボタン４０３及びキャンセルボタン４０４が表示されている。ユーザが登録名入力欄４０２に登録名を入力し、登録ボタン４０３を選択すると、ＣＰＵ１０３は、新規登録を受け付ける。一方、ユーザによりキャンセルボタン４０４が選択された場合には、ＣＰＵ１０３は、人物登録処理を終了する。
【００１６】
図３に戻り、Ｓ３０２において、ＣＰＵ１０３は、新規画像の共通特徴量を算出する。次に、Ｓ３０３において、ＣＰＵ１０３は、辞書テーブル２０３から１つの辞書データを選択し、この辞書データに含まれる登録画像を選択する。そして、ＣＰＵ１０３は、選択中の登録画像と、新規画像の共通特徴量の類似度を算出する。なお、類似度を算出する処理には、既知の技術を用いることができる。ここで、Ｓ３０３の処理は、算出処理の一例である。
次に、Ｓ３０４において、ＣＰＵ１０３は、共通特徴量の類似度と閾値とを比較する。ここで、閾値は、予め二次記憶装置１０５に設定されているものとする。ＣＰＵ１０３は、共通特徴量の類似度が閾値以上である場合、すなわち新規画像が登録画像と共通特徴量において類似する場合には（Ｓ３０４でＹｅｓ）、処理をＳ３０５へ進める。Ｓ３０５において、ＣＰＵ１０３は、選択中の登録画像の人物名を表示リストに追加する。ここで、表示リストは、一次記憶装置１０４に記憶されている。以下、表示リストに存在する登録名により特定される登録人物及び登録画像を、それぞれ新規人物の類似人物及び類似画像と称することとする。
【００１７】
ＣＰＵ１０３は、Ｓ３０４において、共通特徴量の類似度が閾値未満である場合には（Ｓ３０４でＮｏ）、辞書テーブル２０３において、未選択の登録画像の有無を確認する。ＣＰＵ１０３は、未選択の登録画像が存在する場合には、未選択の登録画像を選択し、選択した登録画像に対し、Ｓ３０３〜Ｓ３０５の処理を繰り返す。ＣＰＵ１０３は、すべての登録画像に対し、Ｓ３０３〜Ｓ３０５の処理を完了した場合には、Ｓ３０３〜Ｓ３０５のループ処理を終了し、処理をＳ３０８へ進める。
Ｓ３０６において、ＣＰＵ１０３は、新規画像の辞書データを新たに登録する。具体的には、ＣＰＵ１０３は、登録対象の人物の辞書データを新規に作成する。そして、ＣＰＵ１０３は、作成した辞書データの登録名、登録画像にそれぞれ、登録名入力欄４０２に入力された登録名及び新規画像を登録する。さらに、ＣＰＵ１０３は、辞書データの共通特徴量に、Ｓ３０２において算出した新規画像の共通特徴量を登録する。ここで、Ｓ３０６の処理は、登録処理の一例である。なお、この時点において、個別特徴量及び類似画像の登録は行われていない。
【００１８】
次に、Ｓ３０７において、ＣＰＵ１０３は、表示リスト内に登録名が存在するか否かを確認する。ＣＰＵ１０３は、登録名が存在する場合には（Ｓ３０７でＹｅｓ）、処理をＳ３０９へ進める。ＣＰＵ１０３は、登録名が存在しない場合には（Ｓ３０７でＮｏ）、人物登録処理を終了する。
なお、表示リストに登録名が存在しない場合とは、共通特徴量において区別できない登録人物、すなわち新規人物に類似する類似人物が存在しない場合である。この場合には、ＣＰＵ１０３は、個別特徴量を登録することなく、人物登録処理を終了する。このように、類似人物が存在しない場合には、新規人物の辞書データには、個別特徴量は記憶されない。共通特徴量のみにより、新規人物の認識を行うことができるためである。
【００１９】
一方、表示リストに登録名が存在する場合とは、共通特徴量において新規人物と区別して認識することが困難な登録人物、すなわち類似人物が存在する場合である。この場合には、Ｓ３０８以降の処理において、新規人物と、類似人物とを区別して認識するために用いる個別特徴量を登録する。
Ｓ３０８において、ＣＰＵ１０３は、新規人物と、類似人物とを区別可能な個別特徴量の種類を特定する。具体的には、ＣＰＵ１０３は、新規画像と類似画像の個別特徴量の類似度が閾値未満となるような個別特徴量の種類を特定する。ここで、閾値は予め設定されているものとする。なお、Ｓ３０８において参照される閾値は、Ｓ３０４において参照される閾値と同一の値であってもよく、また異なる値であってもよい。
例えば、新規人物の頬にのみ傷がある場合には、頬の個別特徴量において、閾値未満の類似度が算出されるので、ＣＰＵ１０３は、頬の部位を個別特徴量の種類として特定する。
【００２０】
さらに、ＣＰＵ１０３は、表示リストに複数の登録名が記憶されている場合、すなわち複数の類似人物が存在する場合には、各類似人物と新規人物とを区別可能な個別特徴量の種類をそれぞれ特定する。そして、ＣＰＵ１０３は、特定した個別特徴量の種類を表示部１０１に表示する。図５は、Ｓ３０８において表示される、個別特徴量選択画面を示す図である。個別特徴量選択画面５００の新規画像表示欄５１０には、新規画像５３０が表示されている。また、類似画像表示欄５２０には、新規画像に類似する類似画像が表示されている。さらに、新規画像と類似画像それぞれにおいて、特定された個別特徴量の種類を示す枠が表示されている。
例えば、新規画像５３０と類似画像５４０において、頬の傷の有無に対応し、頬の個別特徴量において、閾値未満の類似度が算出され、頬の部位が個別特徴量の種類として特定されたとする。この場合、新規画像５３０と類似画像５４０の頬にそれぞれ枠５３１，５４１が表示される。なお、枠５３１，５４１は、それぞれ個別特徴量の種類を示すものである。さらに、新規画像５３０と類似画像５４０においては、髪の色が異なっており、頭部が個別特徴量の種類として特定され、これに対応し、枠５３２，５４２が表示されている。
【００２１】
同様に、類似画像５５０においては、新規画像５３０と間で、頬の傷の有無及び口元のほくろの有無が異なっており、これに対応し、枠５５１，５５２が表示されている。また、新規画像５３０においても、口元に対応する枠５３３が表示されている。他の類似画像５６０，５７０においても、同様に、個別特徴量の種類を示す枠５６１，５７１，５７２が表示されている。
【００２２】
新規画像５３０において特定された個別特徴量の種類のうち、複数の類似画像に共通する個別特徴量の種類が特定される場合がある。例えば、図５に示す例においては、頬の部位の個別特徴量の種類が、複数の類似画像に共通して特定されている。このように、共通する個別特徴量の種類が特定された場合、ＣＰＵ１０３は、共通する個別特徴量の種類を、他の個別特徴量の種類と異なる表示態様で強調表示する。具体的には、ＣＰＵ１０３は、共通する個別特徴量の種類に対応する枠を二重線、それ以外を一重線で示す。ＣＰＵ１０３は、さらに共通する個別特徴量の種類が複数特定された場合には、このうち、共通する類似画像の数が最も多い個別特徴量の種類を示す枠のみを二重線で表示する。
図５に示す例においては、枠５３１〜５３３のうち、枠５３１で示す頬の部位において、新規画像５３０をすべての類似画像５４０〜５７０と区別して認識することができ、区別可能な類似人物の数が最多となる。このため、ＣＰＵ１０３は、枠５３１を二重線で表示する。
なお、共通する個別特徴量の種類を強調表示するための具体的な表示態様は、実施形態に限定されるものではない。他の例としては、ＣＰＵ１０３は、強調表示する枠を、他の枠と異なる色、異なる形で表示してもよい。ここで、Ｓ３０８の処理は、個別特徴量の種類を特定する特定処理、種類を表示する表示処理の一例である。
【００２３】
ユーザは、個別特徴量選択画面５００において、新規画像の個別特徴量の種類を指定することができる。図５に示す例においては、枠５３１，５３２，５３３で示す３つの個別特徴量の種類を指定することができる。ユーザにより、個別特徴量の種類が指定されると、図３のＳ３０９において、ＣＰＵ１０３は、個別特徴量の種類の指定を受け付ける。ここで、Ｓ３０９の処理は、受付処理の一例である。
次に、Ｓ３１０において、ＣＰＵ１０３は、指定された個別特徴量の種類における個別特徴量の値を、新規画像と、指定された個別特徴量により区別可能な類似画像それぞれの辞書データの個別特徴量に登録する。ＣＰＵ１０３は、Ｓ３０９及びＳ３１０の処理を、表示リストに含まれるすべての類似画像に対する個別特徴量が登録されるまで繰り返す。
【００２４】
次に、図６を参照しつつ、登録名「○○太郎」の新規人物の辞書データを登録する場合を例に、人物登録処理について具体的に説明する。図６の上段には、登録前の辞書テーブル６００を示している。図６の中段には、Ｓ３０６の処理後の辞書テーブル６１０を示している。辞書テーブル６１０においては、登録名「○○太郎」の辞書データが新たに作成され、辞書データに、登録名、登録画像、共通特徴量が登録されている。
図６の下段には、人物登録処理後の辞書テーブル６２０を示している。辞書テーブル６２０は、図５に示す個別特徴量選択画面５００において、個別特徴量の種類として頭部、すなわち枠５３２が選択された場合に対応している。枠５３２で示される頭部の個別特徴量において、新規画像５３０と類似画像５４０，５７０に対応する塘路器人物を区別して認識することが可能となる。
【００２５】
これに対応し、ＣＰＵ１０３は、辞書テーブル６２０に示すように、辞書テーブル６１０の新規人物「○○太郎」の辞書データに、頭部の個別特徴量と、類似画像５４０に対応する類似人物名「○○二郎」を追加登録する。ＣＰＵ１０３はさらに、「○○二郎」の辞書データに、頭部の個別特徴量と、新規画像に対応する類似人物名「○○太郎」を追加登録する。
さらに、ＣＰＵ１０３は、「○○太郎」の辞書データに、頭部の個別特徴量と、類似画像５７０に対応する類似人物名「○○五郎」を追加登録する。そして、ＣＰＵ１０３は、「○○五郎」の辞書データに、頭部の個別特徴量と、新規画像に対応する類似人物名「○○太郎」を追加登録する。このように、「○○太郎」の辞書データには、２つの個別特徴量が登録される。
【００２６】
このとき、ＣＰＵ１０３は、図７に示すように、登録された個別特徴量により、新規画像と区別して認識可能となった類似画像を、残りの類似画像と異なる表示態様で表示する。ＣＰＵ１０３は、例えば、新規画像と区別して認識可能となった類似画像のみをグレーアウトして表示してもよい。なお、このとき、ＣＰＵ１０３は、残りの類似画像と新規画像とを区別可能な枠以外の枠は削除される。図７に示す例においては、図５に示した新規画像５３０の枠５３２は削除されている。
【００２７】
以上のように、情報処理装置１００は、辞書データの登録時、新規人物と登録人物とを共通特徴量のみで区別して認識できない場合にのみ、これら人物を区別して認識可能な個別特徴量を登録する。これにより、人物認識の精度を向上させることができる。また、情報処理装置１００は、共通特徴量のみで区別可能な場合には、個別特徴量の登録を行わないので、すべての登録人物に対し、多数の特徴量を登録する場合に比べて、データ量の増加を抑えることができる。
さらに情報処理装置１００は、個別特徴量の種類を特定し、ユーザからの指定に応じて個別特徴量の登録を行う。このため、例えば、登録対象となる新規画像が、普段被らない帽子をかぶった画像であった、顔の前を虫が飛んでいた、など人物本来の特徴と異なる特徴を示す特徴量が登録されるのを防ぐことができる。
【００２８】
なお、人物登録処理において、情報処理装置１００は、個別特徴量を表示し、ユーザからの選択を受け付ける処理を行わなくともよい。この場合、情報処理装置１００は、個別特徴量を特定し、特定した個別特徴量を辞書データに登録すればよい。
【００２９】
また、他の例としては、辞書データは、１人の登録人物に対し、複数の登録画像を含んでもよい。この場合、辞書データには、複数の登録画像のうちいずれが代表画像かを示す代表識別情報がさらに含まれているものとする。ここで、代表画像は、共通特徴量や個別特徴量を算出する際に利用される画像である。すなわち、代表画像が指定され、複数の登録画像を含む辞書データにおいては、共通特徴量及び個別特徴量には、代表画像において算出された共通特徴量及び個別特徴量が記憶されている。
図８は、代表選択画面８００を示す図である。ＣＰＵ１０３は、代表選択画面８００を表示部１０１に表示し、ユーザから代表画像の指定を受け付ける。代表選択画面８００には、登録画像表示欄８０１と、登録ボタン８０２とが表示されている。登録画像表示欄８０１には、１人の人物に対して登録された複数の登録画像が表示されている。
【００３０】
代表選択画面８００において、ユーザが代表画像として登録すべき登録画像を選択した上で、登録ボタン８０２を選択すると、ＣＰＵ１０３は、代表画像の指定を受け付ける。ＣＰＵ１０３は、代表画像の指定を受け付けると、辞書データに格納されている複数の登録画像のうちいずれが代表画像であるかを示す代表識別情報を辞書データに登録する。
また、他の例としては、辞書データが複数の登録画像を含む場合において、辞書データは、登録されているすべての共通特徴量及び個別特徴量を記憶してもよい。この場合、ＣＰＵ１０３は、共通特徴量又は個別特徴量の類似度を算出する際には、共通特徴量又
は個別特徴量の平均値等を利用することとしてもよい。
【００３１】
図９は、情報処理装置１００による、人物認識処理を示すフローチャートである。人物認識処理は、認識対象の画像から人物領域を切り出し、人物認識により特定された人物の登録名を表示する処理である。人物認識処理においては、例えば図１０に示すように、認識対象の画像１０００から顔画像１００１，１００２が切り出され、人物認識により人物の登録名が特定されると、１００３に示すように、登録名が表示される。
図９のＳ９０１において、ＣＰＵ１０３は、人物認識の対象となる画像から人物領域を切り出す。なお、ＣＰＵ１０３は、認識対象の画像中に複数の人物が含まれる場合には、人物の数だけ、人物領域を切り出す。以下、人物領域を認識対象の画像として、認識画像と称することとする。ＣＰＵ１０３はさらに、認識画像の共通特徴量を算出する。
【００３２】
次に、Ｓ９０２において、ＣＰＵ１０３は、辞書テーブル２０３から１つの辞書データを選択し、選択した辞書データに含まれる登録画像を選択する。そして、ＣＰＵ１０３は、認識画像と、選択中の登録画像の共通特徴量の類似度を算出する。ここで、Ｓ９０２の処理は、算出処理の一例である。次に、Ｓ９０３において、ＣＰＵ１０３は、共通特徴量の類似度と閾値とを比較する。Ｓ９０３において利用される閾値は、予め二次記憶装置１０５に設定されているものとする。なお、Ｓ９０３において利用される閾値は、図３のＳ３０４において参照される閾値と異なる値でもよく、同一の値でもよい。
ＣＰＵ１０３は、共通特徴量の類似度が閾値以上である場合には（Ｓ９０３でＹｅｓ）、処理をＳ９０４へ進める。ＣＰＵ１０３は、共通特徴量の類似度が閾値未満の場合には（Ｓ９０３でＮｏ）、辞書テーブル２０３に記憶されているすべての辞書データを選択したか否かを確認する。ＣＰＵ１０３は、未選択の辞書データが存在する場合には、処理をＳ９０２へ進め、Ｓ９０２において、辞書テーブル２０３から、未選択の辞書データを再度選択し、選択した辞書データに含まれる登録画像を選択し、Ｓ９０２，Ｓ９０３のループ処理を継続する。ＣＰＵ１０３は、すべての辞書データを選択済みの場合には、ループ処理を終了し、さらに人物認識処理を終了する。
【００３３】
Ｓ９０４において、ＣＰＵ１０３は、辞書データにおいて、選択中の登録画像に個別特徴量が対応付けられているか否かを確認する。ＣＰＵ１０３は、選択中の登録画像に個別特徴量が対応付けられている場合には（Ｓ９０４でＹｅｓ）、処理をＳ９０７へ進める。ＣＰＵ１０３は、選択中の登録画像に個別特徴量が対応付けられていない場合には（Ｓ９０４でＮｏ）、処理をＳ９０５へ進める。
Ｓ９０５において、ＣＰＵ１０３は、認識画像の人物は、選択中の登録画像に対応する登録人物であると特定する。次に、Ｓ９０６において、ＣＰＵ１０３は、選択中の登録画像に対応付けられている登録名を認識画像の人物の人物名として、図１０の１００３に示すように、認識対象の画像中、人物領域近傍に表示し、人物認識処理を終了する。
選択中の登録画像の辞書データに個別特徴量が存在しないということは、共通特徴量で区別して認識することが困難な、類似する人物は存在しないということである。したがって、情報処理装置１００は、このように、共通類似度が閾値以上であり、かつ個別特徴量が記憶されていない場合には、個別特徴量を参照することなく、認識画像の人物は、選択中の登録画像の人物であると特定することができる。
【００３４】
一方で、選択中の登録画像の辞書データに個別特徴量が存在するということは、辞書テーブル２０３に、選択中の登録画像に類似する登録画像が存在するということである。この場合、情報処理装置１００は、Ｓ９０７以降の処理により、認識画像の人物が類似する複数の登録人物のうちいずれの人物かを区別して認識する。
Ｓ９０７において、ＣＰＵ１０３は、選択中の登録画像の個別特徴量に対応する、認識画像の個別特徴量を算出する。そして、ＣＰＵ１０３は、認識画像と選択中の登録画像の個別特徴量の類似度を算出する。次に、Ｓ９０８において、ＣＰＵ１０３は、類似度と閾値とを比較する。ここで、類似度は、予め二次記憶装置１０５に設定されているものとする。なお、Ｓ９０８において利用される閾値は、他の処理において利用される閾値と異なる値でもよく、同一の値でもよい。
【００３５】
ＣＰＵ１０３は、個別特徴量の類似度が閾値以上である場合には（Ｓ９０８でＹｅｓ）、処理をＳ９０５へ進める。すなわち、ＣＰＵ１０３は、個別特徴量の類似度が閾値以上である場合には、認識画像の人物は、選択中の登録画像に対応する登録人物であると特定する。ＣＰＵ１０３は、個別特徴量の類似度が閾値未満である場合には（Ｓ９０８でＮｏ）、処理をＳ９０９へ進める。
Ｓ９０９において、ＣＰＵ１０３は、選択中の登録画像の個別特徴量に対応付けられている類似画像を１つ選択する。そして、ＣＰＵ１０３は、認識画像の個別特徴量と選択中の類似画像の辞書データに記憶されている個別特徴量の類似度を算出する。次に、Ｓ９１０において、ＣＰＵ１０３は、個別特徴量の類似度と閾値とを比較する。ここで、閾値は、予め二次記憶装置１０５に設定されているものとする。なお、Ｓ９１０において利用される閾値は、他の処理において利用される閾値と異なる値でもよく、同一の値でもよい。ＣＰＵ１０３は、個別特徴量の類似度が閾値以上である場合には（Ｓ９１０でＹｅｓ）、処理をＳ９１１へ進める。Ｓ９１１において、ＣＰＵ１０３は、認識画像の人物は、選択中の類似画像に対応する登録人物であると特定し、処理をＳ９０６へ進める。ここで、Ｓ９０５，Ｓ９１１の処理は、登録人物か否かを認識する認識処理の一例である。
【００３６】
ＣＰＵ１０３は、個別特徴量の類似度が閾値未満である場合には（Ｓ９１０でＮｏ）、個別特徴量に対応付けられているすべての類似画像を選択済みか否かを確認する。ＣＰＵ１０３は、未選択の類似画像が存在する場合には、処理をＳ９０９へ進め、未選択の類似画像を選択し、Ｓ９０９，Ｓ９１０のループ処理を継続する。ＣＰＵ１０３は、すべての類似画像を選択済みの場合には、ループ処理を終了し、さらに人物認識処理を終了する。
ＣＰＵ１０３は、認識画像の人物の人物を特定することなく人物認識処理を終了した場合には、認識画像の人物の辞書データの登録を促す情報を表示部１０１に表示してもよい。
【００３７】
次に、「○○二郎」を被写体とする認識画像を処理対象とし、図６の辞書テーブル６２０を参照する場合を例に、人物認識処理について具体的に説明する。この場合、Ｓ９０２，Ｓ９０３のループ処理において、ＣＰＵ１０３は、「○○太郎」、「○○一郎」、「○○二郎」を順に選択する。そして、ＣＰＵ１０３は、「○○太郎」との間で、共通特徴量が閾値以上であると判断し（Ｓ９０３でＹｅｓ）、処理をＳ９０４へ進める。この場合、Ｓ９０２，Ｓ９０３のループ処理を抜けたため、「○○一郎」、「○○二郎」の選択、共通特徴量の比較は行わない。
そして、Ｓ９０４において、ＣＰＵ１０３は、「○○太郎」の辞書データに個別特徴量が記憶されているので（Ｓ９０４でＹｅｓ）、処理をＳ９０７へ進める。Ｓ９０７において、ＣＰＵ１０３は、認識画像と「○○太郎」の個別特徴量の類似度を算出する。そして、Ｓ９０８において、ＣＰＵ１０３は、個別特徴量の類似度と閾値とを比較する。この例においては、類似度は閾値未満となり、ＣＰＵ１０３は、処理をＳ９０９へ進める。
【００３８】
ＣＰＵ１０３は、「○○太郎」の辞書データから、類似人物の登録名「○○二郎」を取得し、「○○二郎」の辞書データを特定する。そして、ＣＰＵ１０３は、「○○二郎」の辞書データの個別特徴量と認識画像の個別特徴量の類似度を算出し、閾値と比較する。この例においては、類似度が閾値以上となり、ＣＰＵ１０３は、認識画像の人物は、「○○二郎」であると特定する。
以上のように、本実施形態にかかる情報処理装置１００は、初めに共通特徴量を利用した人物認識を行い、共通特徴量が類似する人物が複数登録されている場合にのみ、個別特徴量を利用した人物認識を行う。これにより、短い時間で、高精度に人物認識を行うことができる。
【００３９】
（第２の実施形態）
第２の実施形態にかかる情報処理装置１００は、人物認識処理の対象となる画像が、図１０に示すように、兄弟や双子等似た人物を含む場合において、そのうち１人の辞書データが登録済みである場合に、未登録の人物の辞書データの登録を促す。
人物認識の対象となる画像に似ている人物が被写体として含まれる場合において、それぞれの辞書データが登録されていれば、情報処理装置１００は、２人の人物それぞれを区別して認識することができる。しかし、一方の人物の辞書データしか登録されていない場合もある。この場合、情報処理装置１００は、２人の人物それぞれを、登録された人物と誤認識してしまう。そこで、本実施形態にかかる情報処理装置１００は、上述のように、未登録の人物の辞書データの登録を促すことにより、人物認識の精度向上を図る。
【００４０】
図１１は、登録通知処理を示すフローチャートである。なお、登録通知処理は、人物認識処理（図９）の人物領域切り出し処理（Ｓ９０１）において、複数の人物領域が切り出された場合に、人物認識処理と独立して実行される。Ｓ１１０１において、ＣＰＵ１０３は、辞書テーブル２０３から１つの辞書データを選択し、選択した辞書データに含まれる登録画像を選択する。そして、ＣＰＵ１０３は、認識対象の１画像に含まれる２以上の認識画像それぞれと選択中の登録画像の共通特徴量の類似度を算出する。
次に、Ｓ１１０２において、ＣＰＵ１０３は、共通特徴量の類似度と閾値とを比較する。Ｓ１１０２において利用される閾値は、予め二次記憶装置１０５に設定されているものとする。なお、Ｓ１１０２において利用される閾値は、他の処理において参照される閾値と異なる値でもよく、同一の値でもよい。
【００４１】
ＣＰＵ１０３は、１画像から得られた複数の認識画像において、共通特徴量の類似度が閾値以上となる認識画像が複数存在する場合には（Ｓ１１０２でＹｅｓ）、処理をＳ１１０３へ進める。ＣＰＵ１０３は、１画像から得られた複数の認識画像において、共通特徴量の類似度が閾値以上となる認識画像が複数存在しない場合には、辞書テーブル２０３のすべての辞書データを選択済みか否かを確認する。そして、ＣＰＵ１０３は、すべての辞書データを選択済みの場合には、登録通知処理を終了する。なお、Ｓ１１０５へ進むことなく、すべての辞書データを選択することとなるのは、１画像から得られた複数の認識画像に対応する人物のいずれの辞書データも登録されていない場合である。このように、いずれの辞書データも登録されていない場合には、ＣＰＵ１０３は、登録通知処理を終了することとする。
一方、ＣＰＵ１０３は、未選択の辞書データが存在する場合には、未選択の辞書データを選択し、Ｓ１１０１以降のループ処理を継続する。ここで、類似度が閾値以上となる認識画像が複数存在しない場合とは、共通特徴量の類似度が閾値以上となる認識画像が存在しない場合と、類似度が閾値以上となる認識画像が１つ存在する場合である。
【００４２】
Ｓ１１０３において、ＣＰＵ１０３は、辞書データにおいて、選択中の登録画像に個別特徴量が対応付けられているか否かを確認する。ＣＰＵ１０３は、選択中の登録画像に個別特徴量が対応付けられている場合には（Ｓ１１０３でＹｅｓ）、処理をＳ１１０４へ進める。ＣＰＵ１０３は、選択中の登録画像に個別特徴量が対応付けられていない場合には（Ｓ１１０３でＮｏ）、処理をＳ１１０５へ進める。Ｓ１１０４において、ＣＰＵ１０３は、共通特徴量が閾値以上となった複数の認識画像それぞれと、選択中の登録画像の個別特徴量の類似度を算出し、閾値と比較する。Ｓ１１０４において利用される閾値は、予め二次記憶装置１０５に設定されているものとする。なお、Ｓ１１０４において利用される閾値は、他の処理において参照される閾値と異なる値でもよく、同一の値でもよい。
ＣＰＵ１０３は、選択中の登録画像との個別特徴量の類似度が閾値以上となる認識画像が複数存在する場合には（Ｓ１１０４でＹｅｓ）、処理をＳ１１０５へ進める。ＣＰＵ１０３は、選択中の登録画像との個別特徴量の類似度が閾値以上となる認識画像が複数存在しない場合には（Ｓ１１０４でＹｅｓ）、辞書テーブル２０３のすべての辞書データを選択済みか否かを確認する。そして、ＣＰＵ１０３は、選択済みであれば、登録通知処理を終了し、未選択の辞書データが存在する場合には、辞書データを選択し、Ｓ１１０１以降の処理を継続する。
【００４３】
Ｓ１１０３でＮｏ、Ｓ１１０４でＹｅｓと判断されるとは、認識画像中に未登録の人物が存在する場合である。そこで、この場合には、Ｓ１１０５において、ＣＰＵ１０３は、未登録の人物の登録を促す登録通知画面を表示部１０１に表示する。図１２は、登録通知画面１２００を示す図である。登録通知画面１２００には、登録を促す内容が表示される。ここで、登録通知画面１２００は、登録通知の一例である。Ｓ１１０５の処理は、登録通知を表示部１０１に出力する出力処理の一例である。
登録通知画面１２００には、登録を促す内容の他、認識対象の画像から得られた複数の認識画像、すなわち顔画像１２０１，１２０２が表示される。ユーザは、登録通知画面１２００において、未登録の人物の顔画像を選択し、登録名を入力することができる。ユーザによる登録通知画面１２００への入力が行われると、ＣＰＵ１０３は、Ｓ１１０６以降の処理により、登録通知画面１２００に入力された内容に従い、未登録人物の辞書データを生成し、これを辞書テーブル２０３に追加登録する。
【００４４】
すなわち、Ｓ１１０６において、ＣＰＵ１０３は、ユーザにより選択された認識画像を、登録対象の新規画像とし、新規画像と、選択中の登録画像とを区別可能な個別特徴量の種類を特定し、表示する。なお、Ｓ１１０６の処理は、人物登録処理（図３）に示すＳ３０８の処理と同様である。
次に、Ｓ１１０７において、ＣＰＵ１０３は、新規人物の辞書データを新規に作成し、作成した辞書データの登録名、登録画像にそれぞれ登録通知画面１２００において入力された登録名、選択された人物画像を登録する。さらに、ＣＰＵ１０３は、辞書データの共通特徴量に、新規画像の共通特徴量を登録する。次に、Ｓ１１０８において、ＣＰＵ１０３は、ユーザにより指定された個別特徴量の種類における個別特徴量の値を、新規画像及び選択中の登録画像それぞれの辞書データの個別特徴量に登録し、登録通知処理を終了する。
【００４５】
以上のように、第２の実施形態にかかる情報処理装置１００は、１画像内に似た人物が含まれているために人物を特定できない場合に、未登録の人物を含むと判断し、未登録の人物の登録を促す。これにより、情報処理装置１００は、認識精度の向上を図ることができる。
なお、第２の実施形態にかかる情報処理装置１００のこれ以外の構成及び処理は、第１の実施形態にかかる情報処理装置１００の構成及び処理と同様である。
【００４６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４７】
以上、上述した各実施形態によれば、処理に必要なデータ量、演算量の増加を抑えつつ、高精度に人物認識を行うことができる。
【００４８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００４９】
１００  情報処理装置、１０１  表示部、１０２  操作部、１０３  ＣＰＵ
【図１】
2015179423.tif 000003
【図２】
2015179423.tif 000004
【図３】
2015179423.tif 000005
【図４】
2015179423.tif 000006
【図５】
2015179423.tif 000007
【図６】
2015179423.tif 000008
【図７】
2015179423.tif 000009
【図８】
2015179423.tif 000010
【図９】
2015179423.tif 000011
【図１０】
2015179423.tif 000012
【図１１】
2015179423.tif 000013
【図１２】
2015179423.tif 000014