(57)【特許請求の範囲】
【請求項１】
画像を撮像する撮像装置と、特定人物検知サーバと、人物情報を記憶するデータベースと、監視端末とを備えた特定人物検知システムにおいて、
前記データベースは、特定人物リストと不特定人物リストを有して、該特定人物リストにおいては画像データ、画像特徴量あるいはそのいずれかの記録場所と人物ＩＤを対応付けて記憶し、
前記特定人物検知サーバは、前記撮像装置により撮像された画像を所定の時間間隔で繰り返し取得して、取得した画像から抽出した画像特徴量を用い該特定人物リストから類似検索を行い、前記取得した画像の人物を特定するための信頼度を算出し、算出された信頼度が閾値以上であれば前記監視端末に通報するとともに、該信頼度が所定の条件を満たす場合、前記取得した画像の画像データを、対応する人物ＩＤとともに特定人物リストに登録し、該所定の条件を満たさない場合、該画像データを、仮の人物ＩＤ及び該信頼度とともに前記不特定人物リストに登録することによって前記データベースをリアルタイムに更新し、
前記監視端末は、検索対象とする画像を撮影した撮像装置を指定する検索条件画面部位と、前記仮の人物ＩＤを指定して不特定人物リストを検索するための検索実行画面部位と、検索された画像を表示する結果表示画面部位と、追加登録する人物が特定人物リストにおけるどの人物であるかを指定する確定情報指定部位と、を有する追加登録画面をディスプレイモニタに出力し、該検索条件及び該検索実行画面部位へのユーザによる入力に基づいて、前記結果表示画面部位に前記特定人物リストに追加登録する候補顔を表示し、前記結果表示画面部位においてユーザにより指定された候補顔を、確定情報指定部位において指定された人物として、特定人物リストに追加登録することを特徴とする特定人物検知システム。
【請求項２】
請求項１記載の特定人物検知システムにおいて、
前記監視端末は、前記特定人物検知サーバの類似する画像の検索によって自動検知した特定人物の顔画像を、システム運用中に順次追加登録することによって、画像の変化を招く顔の角度、照明位置、化粧、顔の経年変化、眼鏡等の装飾具、等の条件的制約を緩和し、特定人物を検知することを特徴とする特定人物検知システム。
【請求項３】
請求項２記載の特定人物検知システムにおいて、前記監視端末は、
ファイル読込手段を有し、
前記ファイル読込手段は、
不特定人物リストの内、確定するデータの検索条件をユーザが指定する検索条件指定手段と、
ユーザがデータの検索方法を選択する検索方法選択手段と、
前記検索方法選択手段によって選択されたデータの検索方法が画像検索であれば、検索キー画像の取得方法を選択する検索キー画像取得方法選択手段と、
前記特定人物リストから検索キー画像を選択する場合と、ユーザが保持する画像から検索キー画像を選択する場合とを判定するキー画像選択判定手段と、
前記特定人物リストから検索キー画像を選択する場合には、これまでに人物が特定されている前記特定人物リストから人物を選択する人物選択手段と、
前記人物選択手段で指定した人物の画像を選択する第１の人物画像選択手段と、
ユーザの画像検索ボタンの押下を検知することで、画像検索要求を生成し、前記特定人物検知サーバに画像検索要求を送信する画像検索要求送信手段と、
前記特定人物検知サーバの画像検索の結果が返信されたことによって表示された画像から、付加する人物情報を選択する人物情報選択手段と、
前記人物情報選択手段において選択した人物の画像を選択する第２の人物画像選択手段と、
ユーザの各画像のボタンの押下を検知することで、画像毎の確定要求を生成し、前記特定人検知サーバに確定要求を送信する確定要求送信手段と、
ユーザが参照可能な画像を選択する参照可能画像選択手段と、
ユーザが前記不特定人物リストから確定させたい人物を選択する確定人物選択手段と、
ユーザの通常検索ボタンの押下を検知することで、通常検索要求を生成し、前記特定人物検知サーバに通常検索要求を送信する通常検索要求送信手段と、を具備することを特徴とする特定人物検知システム。
【請求項４】
画像を撮像する撮像装置と、特定人物検知サーバと、人物情報を記憶するデータベースと、監視端末とを備えた特定人物検知システムの特定人物検知方法において、
前記データベースは、特定人物リストと不特定人物リストを有して、該特定人物リストにおいては人物ＩＤと画像データ、画像特徴量あるいはそのいずれかの記録場所とを対応付けて記憶し、
前記特定人物検知サーバは、前記撮像装置により撮像された画像を所定の時間間隔で繰り返し取得して、取得した画像から抽出した画像特徴量を用い該特定人物リストから類似検索を行い、前記取得した画像の人物を特定するための信頼度を算出し、算出された信頼度が閾値以上であれば前記監視端末に通報するとともに、該信頼度が所定の条件を満たす場合、前記取得した画像の画像データを、対応する人物ＩＤとともに特定人物リストに登録し、該所定の条件を満たさない場合、該画像データを、仮の人物ＩＤ及び該信頼度とともに前記不特定人物リストに登録することによって前記データベースをリアルタイムに更新し、
前記監視端末は、検索対象とする画像を撮影した撮像装置を指定する検索条件画面部位と、前記仮の人物ＩＤを指定して不特定人物リストを検索するための検索実行画面部位と、検索された画像を表示する結果表示画面部位と、追加登録する人物が特定人物リストにおけるどの人物であるかを指定する確定情報指定部位と、を有する追加登録画面をディスプレイモニタに出力し、該検索条件及び該検索実行画面部位へのユーザによる入力に基づいて、前記結果表示画面部位に前記特定人物リストに追加登録する候補顔を表示し、前記結果表示画面部位においてユーザにより指定された候補顔を、確定情報指定部位において指定された人物として、特定人物リストに追加登録することを特徴とする特定人物検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データベースに蓄積された画像データを検索する画像検索システムに関わり、特に、顔画像から特定の人物を検索するシステムに関する。
【背景技術】
【０００２】
近年、犯罪事件発生数の増加や発生した犯罪事件の凶悪化が進み、犯罪抑止効果としての監視カメラ等の撮像装置による映像監視システムのニーズが高まっている。また、監視カメラ等の撮像装置が汎用性を得たことにより、撮像装置を多地点に設置し、多地点で取得した映像を扱う監視カメラシステムが普及している。このような監視カメラシステムは、繁華街、空港、港湾、発電所など、いろいろなところで運用されている。
また一方で、撮像装置が安価で、設置が容易となってきたことから、設置される地点数が多くなっている。この反面、多地点の映像を同時に監視する監視システムの運用業務は、ユーザにとって、これまで以上に負担となっている。そこで、監視業務の負担軽減を目的に、監視カメラで撮像された人物に対して、画像処理により、人物の特定を自動的に行う特定人物検知や、監視カメラで撮像された録画映像内から特定の人物を検索する画像検索技術などが開発されている。
【０００３】
ここで、図９を参照して、従来の人物検知システムの装置と処理部の構成を説明する。図９は、従来の人物検知システムの構成を示すブロック図である。９００はネットワーク、９０１−１〜９０１−ｎは撮像装置、９０２は監視端末、９０３は特定人物検知サーバである。また、監視端末９０２において、９２１は画像表示部、９２２は検知表示部である。さらに特定人物検知サーバ９０３において、９３１は事前登録部、９３２は特定人物検知部である。ここで、ｎは自然数である。
特定人物検知システムは、撮像装置９０１−１〜９０１−ｎと監視端末９０２と特定人物検知サーバ９０３がネットワーク９００にて接続されて構成されている。
なお、撮像装置９０１−１〜９０１−ｎは、ネットワークカメラ等の撮像装置である。また、監視端末９０２は、液晶ディスプレイやＣＲＴ等のディスプレイモニタ、キーボードやマウス等のユーザ入力部などを備える、ＰＣ（パーソナル・コンピュータ）等の装置である。さらに、ネットワーク９００は、各装置を相互に接続しデータ通信を行う専用線、イントラネット、インターネット、無線ＬＡＮ（ローカル・エリア・ネットワーク）等の通信網である。
【０００４】
図９において、撮像装置９０１−１〜９０１−ｎは、撮像した画像に対してデジタル変換処理を行い、変換された画像データをネットワーク９００を介して監視端末９０２や特定人物検知サーバ９０３へ出力する。
【０００５】
監視端末９０２は、画像表示部９２１と検知表示部９２２から構成され、撮像装置９０１−１〜９０１−ｎからネットワーク９００を介して入力された画像の表示や、特定人物検知サーバ９０３からネットワーク９００を介して入力された検知信号によるメッセージ等を表示するユーザインタフェースを提供する。
画像表示部９２１は、撮像装置９０１−１、９０１−ｎからネットワーク９００を介して入力された画像を処理し、監視端末９０２の図示しないディスプレイモニタの表示画面上に出力表示する。
検知表示部９２２は、特定人物検知サーバ９０３からネットワーク９００を介して入力された検知信号を、特定人物が検知されたことを示すメッセージをディスプレイモニタの表示画面上に表示する。また検知表示部９２２は、特定人物が検知されたことを示す警報音を、図示していないスピーカ等で出力し、ユーザに通報する。
【０００６】
特定人物検知サーバ９０３は、事前登録部９３１と特定人物検知部９３２から構成され、ＣＰＵ（セントラル・プロセッシング・ユニット：中央処理装置）やＭＰＵ（マイクロ・プロセッシング・ユニット：マイコン）などの制御部や演算部と、ＲＡＭ（ランダム・アクセス・メモリ）やフラッシュメモリ等の内部メモリと、ＨＤＤ（ハード・ディスク・ドライブ）等の記憶媒体を備える、コンピュータ等の装置である。
事前登録部９３１は、特定したい人物の顔画像を事前に登録処理する。この顔画像は、事前に準備した照合対象画像である顔画像で、これを事前登録部９３１に入力する。入力は、ファイル指定する方法、撮像装置９０１−１〜９０１−ｎを経由する方法、デジタルカメラやスキャナ装置から入力する方法等がある。
【０００７】
事前登録部９３１は、入力された当該顔画像から、画像特徴量を抽出し、特定人物リストに登録する処理を行う。画像特徴量は、例えば、画像の色分布やエッジパターンの構図分布等、またはそれらの組み合わせである。特定人物リストは、例えば、データベースであり、画像特徴量の他に人物に関する名前や所属等の情報も登録可能とする。特定人物リストは、ＨＤＤ等の記憶媒体（図示しない）に格納される。
特定人物検知部９３２は、撮像装置９０１−１〜９０１−ｎからネットワーク９００を介して入力された画像中に、任意の人物の存在を探し出し、さらにその人物が、上述の特定したい人物であるかどうかを判断する処理を実行する。
撮像された画像から特徴量を抽出し、特徴量があらかじめ定めた所定の条件と合致した場合に、合致した画像を表示する技術が、例えば、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−１７１２９６号公報
【特許文献２】特開２００７−１９００７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の顔画像を用いて個人識別を行う特定人物検知システムは、その適用先がドアやゲートの開閉を制御する入退制御等であったため、顔を撮像する際に、撮像角度や画像解像度、照明環境等について、有利な条件のもとで実施することができた。
例えば、特許文献２は、遊技場等の店舗の定められた場所において撮像した顔画像を撮像した場所毎に比較し、不正者の候補を出力する技術について開示しており、顔を撮像する際の撮像角度、画像解像度、照明環境等について、有利な条件のもとで実施可能である。
しかしながら、この特定人物検知システムは、ドアやゲートが設置できないような場所には適用することができず、また、任意のタイミングで顔を撮像した場合に、撮像角度や画像解像度、照明環境等の条件により人物特定の識別精度が十分得られないという問題があった。
【００１０】
図１０は、撮像された顔の角度による検知精度の違いの一例を表したグラフである。縦軸は、顔画像の検知精度を示し、横軸は、人物Ａの顔の向きを示す。即ち、横軸は、人物Ａの正面向きの画像１０１３を中央値とし、正面から左右に顔が向く程中央から離れることを示す（（顔画像１０１３→顔画像１０１２→顔画像１０１１→顔画像１０１０）または（顔画像１０１３→顔画像１０１４→顔画像１０１５→顔画像１０１６））。
人物Ａが、予め正面向きの画像で登録されている場合において、それらに近い角度で撮像された人物Ａの画像は、検知精度が高く、角度の違いが大きくなるに従い、一般的に検知精度が下がる傾向にある。従って、正面向きの画像だけ（あるいは、１つの向きの画像だけ）ではなく、他の向きの画像も登録しておけば、検知精度が向上する。このことは、撮像角度だけではなく、画像解像度、照明環境等、他の条件についてもいえる。しかし、これら多くの条件ごとに顔画像をあらかじめ用意するとすれば、それらの組み合わせは級数的に増大し、かつ画像データの収集にも時間がかかり、事前の登録に多大な時間を要する。
【００１１】
本発明は、上記の問題に鑑み、システムの運用中に、特定人物検知の精度向上させることができる特定人物検知システムを提供することにある。
また、システム運用前に大量の照合対象画像を準備する必要がなく、システムの導入が容易な特定人物検知システムを提供することにある。
【課題を解決するための手段】
【００１２】
上記の課題を達成するために、本発明の特定人物検知システムは、画像を撮像する撮像装置と、撮像された画像を受信して画像特徴量を抽出し、リアルタイムに不特定人物の画像特徴量および仮の人物情報およびその信頼度を記憶する更新型の特定人物検知サーバと事後に画像検索が可能な画像検索対応の監視端末がネットワークを介して接続されている。更新型の特定人物検知サーバにて、更新される不特定人物リストをもとに、システム運用中に特定人物リストへ人物情報を追加する。
【００１３】
即ち、本発明の特定人物検知システムは、画像を撮像する撮像装置と、特定人物検知サーバ、人物情報を記憶するデータベース、監視端末を備えた特定人物検知システムにおいて、前記データベースは、特定人物リストと不特定人物リストを有し、前記特定人物検知サーバは、前記撮像装置により撮像された画像を取得して、取得した画像から抽出した画像特徴量を用い、前記取得した画像の人物を特定するための信頼度を算出し、算出された信頼度に基づいて前記取得した画像の画像データを前記不特定人物リストに記憶することによって前記データベースを更新し、前記撮像装置により撮像された画像、若しくは、前記監視端末からの要求に応じて前記不特定人物リストの人物情報を前記特定人物リストに追加登録するものである。
【００１４】
また上記発明の特定人物検知システムにおいて、さらに、前記監視端末は、追加登録画面をディスプレイモニタに出力し、前記ディスプレイモニタに表示された前記追加登録画面の検索条件の画面部位および不特定人物リストを検索する画面部位を有し、ユーザが入力する前記検索条件の画面部位および前記不特定人物リストを検索する画面部位の条件に基づいて、前記追加登録画面に前記特定人物リストに追加登録する候補顔を表示し、ユーザの指示に基づいて、追加登録することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、特定人物検知システムの運用中に、自動または、従来よりも容易に特定人物リストのそれぞれの人物の画像データを増やすことができる。これにより、特定人物の検知精度を向上させることができる。
また、従来よりも容易に特定人物リストを増やすことができることにより、システム運用前に大量の照合対象画像を準備する必要がなくなり、システムの導入が容易になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の特定人物検知システムの一実施例の構成を示すブロック図である。
【図２】本発明の特定人物検知システムの一実施例での各装置間における、通信シーケンスの一実施例を示す図である。
【図３】本発明の特定人物検知システムの一実施例のリアルタイム登録処理を説明するためのフローチャート図である。
【図４】本発明の不特定人物検知システムの一実施例の追加登録の指示がなされた場合の処理を説明するためのフローチャートである。
【図５】本発明の特定人物検知システムにおいて、特定人物検知サーバに対して、追加登録を指示する場合の監視端末のディスプレイモニタの表示画面の一実施例を示す図である。
【図６】本発明の特定人物検知システムにおける確定動作手順の一実施例を説明するためのフローチャートである。
【図７】本発明の特定人物検知システムにおける特定人物検知サーバの特定人物リストおよび不特定人物リストの一実施例を説明するための図である。
【図８】本発明の実施の形態に係る特定人物検知システムにおける、画像特徴量の距離空間を概念的に表した図である。
【図９】従来の実施の形態に係る特定人物検知システムの構成図である。
【図１０】撮像された顔の角度による検知精度の違いの一例を表したグラフである。
【発明を実施するための形態】
【００１７】
従来例の図１０で説明したように、事前登録時に想定される人物の顔画像を収集することは、人物検知の精度を向上させることには効果があるが、きわめて多大な時間を要する。そこで、本発明では、人物の様々な角度の画像を、システム運用中に追加することで、検知精度の向上を行う。これは、顔の角度にのみについてでなく、顔画像の変化を招く、照明位置、化粧、顔の経年変化、眼鏡等の装飾具による顔画像の違いによっても同様なことが言える。このような様々な要因による顔画像を予め事前に予測することは、困難である。そのため、運用中に顔画像を順次追加、登録することでより正確に人物の検知が可能とする。
即ち、本発明は、画像処理により特定の人物を自動検知する機能を有し、特定人物検知精度の向上する。
以下、本発明を一実施例を図１〜図８によって説明する。なお、各図の説明において、従来の技術を説明した図９と図１０を含め、同一の機能を有する構成要素には同一の参照番号を付し、重複を避けるため説明を省略する。
【００１８】
図１は、本発明の特定人物検知システムの一実施例の構成を示すブロック図である。１０２は監視端末、１０３は特定人物検知サーバである。また、監視端末１０２において、従来の画像表示部９２１と検知表示部９２２に加え、１２１は検索要求生成部、１２２は追加登録操作部である。さらに特定人物検知サーバ１０３において、従来の事前登録部９３１とは事前登録部と特定人物検知部９３２に加え、１３１はリアルタイム登録部、１３２は画像検索部である。
【００１９】
監視端末１０２は、画像表示部９２１、検知表示部９２２、検索要求生成部１２１、および追加登録操作部１２２から構成され、撮像装置９０１−１〜９０１−ｎからネットワーク９００を介して入力された画像の表示や、特定人物検知サーバ９０３からネットワーク９００を介して入力された検知信号によるメッセージ等を表示するユーザインタフェースを提供する。なお、監視端末１０２は、監視端末９０２と同様に、液晶ディスプレイやＣＲＴ等のディスプレイモニタ、キーボードやマウス等でＧＵＩ（グラフィカル・ユーザ・インタフェース）操作するためのユーザ入力部などを備える、ＰＣ（パーソナル・コンピュータ）等の装置である。
特定人物検知サーバ１０３は、事前登録部９３１、特定人物検知部９３２、リアルタイム登録部１３１、および画像検索部１３２から構成され、ＣＰＵ（セントラル・プロセッシング・ユニット：中央処理装置）やＭＰＵ（マイクロ・プロセッシング・ユニット：マイコン）などの制御部や演算部と、ＲＡＭ（ランダム・アクセス・メモリ）やフラッシュメモリ等の内部メモリと、ＨＤＤ（ハード・ディスク・ドライブ）等の記憶媒体を備える、コンピュータ等の装置である。
【００２０】
図１において、監視端末１０２は、画像検索対応監視端末であり、特定人物検知サーバ１０３は、更新型の特定人物検知サーバである。本発明の特定人物検知サーバ１０３は、従来の特定人物検知サーバ９０３と同様に、ＣＰＵやＭＰＵなどの制御部や演算部と、ＲＡＭやフラッシュメモリ等の内部メモリと、ＨＤＤ等の記憶媒体を備える、コンピュータ等の装置である。
【００２１】
特定人物検知サーバ１０３のリアルタイム登録部１３１は、撮像装置９０１−１〜９０１−ｎからネットワーク９００を介して入力された画像中から見つけ出された１個もしくは複数個の任意の人物に対し、その人物を不特定人物リスト、若しくは特定人物リストに登録する処理を実行する。この処理は、リアルタイムに実施される。
不特定人物リストは、特定人物リストと同様に、例えば、データベースである。不特定人物リストは、ＨＤＤ等の記憶媒体（図示しない）に格納される。不特定人物リストには、特定人物リストのデータと同じデータに加え、例えば、画像類似度から算出する信頼度を登録人物毎に登録する。信頼度は、例えば、特定人物検知処理において、算出される画像類似度を参照して、最も高い値の画像類似度を用いれば良い。また、ＨＤＤ等の記憶媒体は、特定人物検知サーバ１０３に直接接続されても良く、ネットワーク９００を介して接続されても良い。
【００２２】
特定人物検知サーバ１０３の画像検索部１３２は、任意の人物の画像を用いて、不特定人物リストを対象に、主に、類似する画像を検索する処理を実行する。不特定人物リストから、検索キー画像で指定された人物の画像検索を行う。なお本書では、以降、探し出したい人物の画像、つまり、検索のキーとなる画像を検索キー画像と呼ぶ。
画像検索部１３２は、具体的には、検索キー画像から抽出した画像特徴量と不特定人物リストの画像特徴量との比較によって画像類似度を算出し、算出した画像類似度が所定の閾値以上の人物リストの画像を抽出する。
該当人物の検索キー画像は、リアルタイム登録部１３１に入力された画像、つまり、特定人物リストまたは、不特定人物リストに含まれる画像や、後述する監視端末１０２の追加登録操作部１２２で指定される画像などである。また、検索キー画像は、画像そのものではなく、その画像から抽出した画像特徴量でも良い。本実施例では、画像と特定人物リストの画像特徴量とを検索キー画像として利用する。
また、画像検索部１３２は、類似する画像を検索する機能の提供だけでなく、撮像時刻範囲や撮像カメラ、人物情報等のみの条件によって、不特定人物リストから該当するデータ、つまり、人物の画像を検索する処理機能も含む。
【００２３】
監視端末１０２の検索要求生成部１２１は、不特定人物リストから該当人物の類似画像を検索するため、更新型特定人物検知サーバに送信する画像検索要求信号を生成する。具体的には、監視端末１０２のユーザ入力部であるキーボードやマウスなどを操作して、ユーザによって指定された少なくとも検索キー画像または画像特徴量のいずれか、および、後述する図５の画面部位５１１で指定される検索条件、をもとに検索要求信号を生成する。
検索要求信号に含まれ、ユーザに指定された検索キー画像は、特定人物検知サーバの画像検索部において、画像特徴量が抽出される。また、検索キー画像として、画像特徴量そのものを指定しても良い。
【００２４】
監視端末１０２の追加登録操作部１２２は、不特定人物リストからユーザの判断で、または自動的に、確定された人物情報が付加されたデータを特定人物リストへ追加する。追加登録操作部１２２の処理によって、不特定人物リストから特定人物リストに追加するべきデータを選び出す作業が画像検索によって効率良く、かつ、短時間で可能となる。
画像検索は、画像検索対応の監視端末１０２の検索要求生成部１２１および更新型の特定人物検知サーバの画像検索部１３２によって実行される。
具体的には、画像検索によって得られた画像毎の信頼度で、所定の閾値以上であり、類似性が高く明らかに該当人物の画像と判断できる画像については、不特定人物リストから特定人物リストへ自動的に追加する。また、信頼度が閾値未満の画像に対しては、ユーザが判断するように構成する。
【００２５】
図１の実施例に、さらに、上記図１の実施例には示さなかったが、システム構成に録画装置を加えても良い。
例えば、ネットワーク９００に録画装置を接続し、撮像装置９０１−１〜９０１−ｎからネットワーク９００を介して入力された画像を録画装置に常時記憶する。
さらに、特定人物リストおよび不特定人物リスト等のデータベースを、ＨＤＤ等の記憶媒体ではなく、録画装置に記憶するようにしても良い。
監視端末１０２および特定人物検知サーバ１０３は、ネットワーク９００を介して録画装置に接続し、録画装置から画像データを読み込む。録画装置を備えた本実施例は、ネットワーク９００を介して直接撮像装置９０１−１〜９０１−ｎからの画像を取得する替わりに、録画装置を介して特定人物検知のための画像および付加情報（撮像装置のＩＤ、撮像年月日、等）を取得する。その他の動作は、図１の実施例と同じであるので、説明を省略する。
【００２６】
次に、本発明の特定人物検知システムを構成する各装置および各処理部の処理の流れの一実施例について、以下、説明する。
【００２７】
図２は、図１に示した本発明の特定人物検知システムの一実施例での各装置間における、通信シーケンスの一実施例を示す図である。
時間軸２１１は、撮像装置９０１−１から９０１−ｎにおける時系列方向を示す軸で、図２上部から下部に向けて時間が進むことを示している。同様に、時間軸２１３は、更新型の特定人物検知サーバ１０３における時間軸を示し、時間軸２１２は、画像検索対応の監視端末１０２における時間軸を示す。また、矢印の方向に通信がなされる。
【００２８】
通信２０１および通信２０２は、撮像装置９０１−１が撮像した画像を、特定人物検知サーバ１０３に伝送する通信（画像配信）処理を示す。
通信２０３は、特定人物検知サーバ１０３が検知した内容を、監視端末１０２に伝送する通信（発報）処理を示す。
通信２０４は、監視端末１０２にて、ユーザ操作により指示された内容を、特定人物検知サーバ１０３に伝送する通信（追加登録）処理を示す。
通信２０５は、特定人物検知サーバ１０３にて追加登録した結果を、監視端末１０２に伝送する通信処理を示す。
イベント２０６は、特定人物検知サーバ１０３が、特定人物を検知したことを示す。また、イベント２０７は、特定人物検知サーバ３０３が、リアルタイム登録したことを示す。
【００２９】
通信２０１、２０２は、任意の所定間隔にて、常時繰り返して実施される。通信２０１〜２０３と通信２０４〜２０５は、同期関係であっても良いが、非同期関係にあっても良い。
【００３０】
図３によって、本発明の不特定人物検知システムの一実施例における、特定人物検知サーバ１０３におけるリアルタイム登録処理の一実施例を説明する。図３は、特定人物検知サーバ１０３にて常時、繰り返し実施される処理動作の一実施例を示すフローチャートである。なお、図３の処理のほとんどは、特定人物検知部９３２が制御および実行する。このため、特定人物検知部９３２が制御する処理若しくは実行する処理には、特に処理装置名を記載しない。
【００３１】
図３において、ステップＳ３０１では、画像データ着信待機を行う。撮像装置９０１−１〜９０１−ｎのいずれかからの画像データの着信を検知するとステップＳ３０２の処理に進む。
ステップＳ３０２では、通信２０１や２０２によって送信された着信が検知された撮像装置９０１−１〜９０１−ｎのいずれかの画像を受信する。図３には記載しないが、画像がデータ圧縮されていた場合には、データ伸張処理を行う。
【００３２】
ステップＳ３０３では、受信した画像に対して顔検出を行う。また、同時に検出した顔の数を検出顔数として一時記憶し、顔カウンタＣｔを初期化する。顔カウンタＣｔは、複数の人物が同一画像から検出された場合に、人物毎に以降のステップの処理を実施するために用いる。
顔検出の処理は、例えば、背景画像との差分により動体検出を行い、さらにその動体領域の形状等にて顔判定をする方法や、眼、鼻、口等の主要構成要素の配置や、額と眼の濃淡差等の顔の特性を使って画像内探索を行う方法、等の周知の画像認識技術により行う。本発明では、いずれの方法であっても良い。
ステップＳ３０４では、前のステップＳ３０３で顔が１つ以上検出された（Ｃｔ＞０）場合には、ステップＳ３０５に処理を進め、検出されなかった場合には、ステップＳ３０１に処理を戻す。
【００３３】
ステップＳ３０５では、前のステップＳ３０３で検出した顔に対して画像特徴量抽出処理を行う。画像特徴量とは、画像認識技術を用いて算出される画像の傾向を示す値である。画像特徴量には、例えば、画像の色分布やエッジパターンの構図分布、眼、鼻、口等の主要構成要素の配置、それらの組合せ等を用いる。本発明では上記のいずれを使用しても良い。
ステップＳ３０６では、前のステップＳ３０５で抽出した画像特徴量を、特定人物リストに事前登録されている各人物の画像特徴量と比較する。そして、特定人物リストの中で最も近い特徴量を有する顔（候補顔）を探し出す。この特徴量の近さは、一般に画像類似度と呼ばれ、画像同士の近さ、いわゆる類似性を示す数値であり、画像特徴量の多次元空間における両特徴量間のスカラー量にて算出する。その算出方法の詳細については、例えば、「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３−Ｐ１０１）のような論文を参照することができる。
【００３４】
ステップＳ３０７では、ステップＳ３０６で探し出した候補顔の画像類似度が、特定人物であるかどうかを判断（特定人物検知）する。この判断は、ステップＳ３０６で算出した画像類似度が予め与えた閾値以上であるか否かで行う。また、ステップＳ３０６で算出した画像類似度等を用いて特定人物検知の信頼度を算出する。信頼度が閾値以上であった場合には、特定人物を検知したとしてステップＳ３０８に処理を進め、それ以外の場合には、特定人物を検知しなかったとしてステップＳ３０９に処理を進める。
ステップＳ３０８では、特定人物検知を監視端末１０２へ通信４０３として送信する。通報完了後、ステップＳ３０９へ処理を進める。
ステップＳ３０９では、ステップＳ３０５で抽出した画像特徴量と、ステップＳ３０６で探し出した候補顔の情報とその信頼度を、リアルタイム登録部１３１に出力する。
【００３５】
ステップＳ３１０では、リアルタイム登録部１３１に検知結果を出力する。リアルタイム登録部１３１は、入力された候補顔の信頼度を評価し、予め与えた閾値以上であるかどうかを判定する。閾値以上であった場合には、候補顔を特定人物リストに登録するためステップＳ３１１に処理を進め、それ以外の場合には、不特定人物リストに登録するためステップＳ３１２に処理を進める。
ステップＳ３１１では、リアルタイム登録部は、画像特徴量を特定人物リストに追加登録する。また同時に、候補顔の情報、すなわち、名前や所属等の人物に関わる情報も併せて特定人物リストに追加登録する。登録完了後、顔カウンタＣｔをカウントアップし、ステップＳ３１３に処理を進める。
ステップＳ３１２では、リアルタイム登録部は、画像特徴量を不特定人物リストに追加登録する。また同時に、候補顔の情報、すなわち、名前や所属等の人物に関わる情報と、候補顔との信頼度も併せて不特定人物リストに追加登録する。登録完了後、顔カウンタＣｔをカウントアップし、ステップＳ３１３に処理を進める。
【００３６】
ステップＳ３１３では、特定人物検知部９３２は、顔カウンタＣｔとステップＳ３０３にて一時記憶した検出顔数を比較する。顔カウンタＣｔが検出顔数未満の場合には、ステップＳ３０５に処理を進め、それ以外の場合、即ち、同一画像から検出されたすべての顔を処理し終えた場合には、ステップＳ３０１に処理を戻す。
【００３７】
図４によって、本発明の不特定人物検知システムの一実施例における、監視端末から特定人物検知サーバに対して、追加登録の指示がなされた場合の特定人物検知サーバの処理の一実施例を説明する。図４は、本発明の不特定人物検知システムの特定人物検知サーバ１０３に対して、追加登録の指示がなされた場合の特定人物検知サーバ３０３における処理の流れを示すフローチャートである。なお、図４の処理のほとんどは画像検索部１３２が制御および実行する。このため、画像検索部１３２が実行する処理の場合には、特に処理装置名を記載しない。
【００３８】
図４において、ステップＳ４０１では、指示データ着信待機を行う。着信を検知するとステップＳ４０２の処理に進む。
ステップＳ４０２では、、通信２０４にて送られてきた監視端末３０２からの指示を受信する（図２参照）。
ステップＳ４０３では、ステップＳ４０２で受信した指示内容を解析する。指示内容が検索要求である場合は、ステップＳ４０４に処理を進め、確定要求であった場合は、ステップＳ４０９に処理を進める。
ステップＳ４０４では、ステップＳ４０２で受信した指示内容の検索方法を判定する。検索方法が、例えば、撮像時刻範囲や撮像時刻、候補顔の人物情報等の条件によって行われる通常検索要求であった場合にはステップＳ４０５に処理を進め、画像または、画像特徴量の条件によって行われる画像検索の要求であった場合にはステップＳ４０６に処理を進める。
【００３９】
ステップＳ４０５では、ステップＳ４０２で受信した通常検索要求の条件によって不特定人物リストから追加登録の判断をユーザに仰ぐデータを検索する。この検索は、不特定人物リストのデータ毎に条件と合致するか逐次的に処理し、画像を探し出す処理である。
ステップＳ４０６では、ステップＳ４０２で受信した画像検索要求の条件によって不特定人物リストから追加登録の判断を仰ぐデータを画像検索する。この検索は、例えば、条件に含まれる画像から抽出した画像特徴量と不特定人物リストのデータ毎の画像特徴量を比較し、算出した画像類似度を元に類似性の高い画像を探し出す処理である。
ステップＳ４０７では、ステップＳ４０５またはステップＳ４０６において選択された、不特定人物リストの対象のデータを抽出する。その後、ステップＳ４０８に処理を進める。
【００４０】
ステップＳ４０８では、ステップＳ４０７で抽出したデータを、監視端末１０２へ通信２０５として送信する。その後、ステップＳ４０１に処理を戻す。
ステップＳ４０９では、確定要求に含まれる、不特定人物リストの該当の画像に対して、人物情報および画像特徴量、撮像時刻等を特定人物リストへ追加する。その後、ステップＳ４０１に処理を戻す。
【００４１】
本発明の特定人物検知システムの一実施例における追加登録を指示する場合の操作を、図５のユーザインターフェースを用いて説明する。図５は、本発明の特定人物検知システムにおける特定人物検知サーバ１０３に対して、ユーザがＧＵＩ操作等の操作によって、追加登録を指示する際の監視端末１０２のディスプレイモニタの表示画面の一実施例を示す図である。
５００は、監視端末１０２のディスプレイモニタの画面上に表示される追加登録画面である。この追加登録画面５００内に、以降で説明する画面部位それぞれが表示される。ただし、検索された画像を表示する画面部位５０３は、検索条件（画面部位５１１）が入力され、かつ、画面部位５０１の未確定データ画像検索の画面部位５２４が選択操作、または画面部位５０２の未確定データ通常検索の画面部位５２４が選択操作された後に表示され、これらの操作の都度更新される。
【００４２】
５１１は、不特定人物リストに対する検索条件を指定する画面部位である。５１２、５１３は、不特定人物リストに対する検索条件の、特に撮像されたカメラを指定する画面部位である。
５１４、５１５は、不特定人物リストに対する検索条件の、特に撮像時刻を指定する画面部位である。画面部位５１４の右側の同じ行には、検索する撮像時刻の先頭時刻指定入力欄があり、この欄に表示される年月日および時刻を変更することによって検索開始時刻が変更可能である。同様に、画面部位５１５の右側の同じ行には、検索する撮像時刻の末尾時刻指定入力欄があり、この欄に表示される年月日および時刻を変更することによって検索終了時刻が変更可能である。
画面部位５１２〜５１５の左には、当該画面部位を選択するためのチェックボックスがある。
【００４３】
５１６は、不特定人物リストに対する検索条件の、信頼度を指定する画面部位である。
画面部位５１６の左には、当該画面部位を選択するためのチェックボックスがある。例えば、信頼度“高”を８０％、信頼度“中”を５０％、信頼度“低”を３０％とした場合に、“高”がチェックされている場合には、信頼度８０％以上のすべての画像を検索し、“中”がチェックされている場合には、信頼度５０％以上８０％未満の画像を検索し、“低”がチェックされている場合には、信頼度３０％以上５０％未満の画像を検索する。また、“高”と“中”とがチェックされている場合には、信頼度５０％以上のすべての画像を検索し、“中”と“低”とがチェックされている場合には、信頼度３０％以上８０％未満の画像を検索し、“高”、“中”、“低”すべてがチェックされている場合には、信頼度３０％以上のすべての画像を検索する。
また、画面部位５１６の左がチェックボックスではなく、ラジオボタンである場合には、信頼度“高”を８０％、信頼度“中”を５０％、信頼度“低”を３０％とした場合に、“高”がチェックされている場合には、信頼度８０％以上のすべての画像を検索し、“中”がチェックされている場合には、信頼度５０％以上のすべての画像を検索し、“低”がチェックされている場合には、信頼度３０％以上のすべての画像を検索する。
【００４４】
次に、画面部位５０１において、５１７は、特定人物リストを人物情報で分類し、表示する画面部位である。５１８は、分類された人物をユーザが選択する画面部位である。画面部位５１８には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
また、５１９は、特定人物リストにおいて保持され、画面部位５１８で選択された人物の画像を１つ表示する画面部位である。５２０は、画面部位５１９で指定された人物の画像を他の画像へ切り替える画面部位である。左右のボタン図形のいずれかを選択押下することによって切り替える。
５２１は、不特定人物リストに対して、画像検索を実施するためのボタン図形の画面部位である。
なお５７１は、参照する画像をどこから読み込むかを選択するための画面部位である。例えば、ＨＤＤ等の記憶媒体から読み込む場合や、ＵＳＢ接続等により外部記憶媒体またはリムーバル記憶媒体から読み込む場合等、選択可能である。
以上述べたように、図５において、画面部位５１１によって検索条件を決め、画像検索のための画面部位５０１を使用して検索し、画面部位５１９に表示された画像を、ユーザが特定人物として確定することによって、画像検索による未確定データの特定人物リストへの追加操作ができる。
【００４５】
さて、画面部位５０２において、５２２は、不特定人物リストを人物情報で分類し、表示する画面部位である。また５２３は、分類された人物をユーザが選択する画面部位である。画面部位５２３には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
５２４は、不特定人物リストに対して、通常検索を実施するためのボタン図形の画面部位である。
５５０は、画像５３１〜５４０を所定の人物であると確定する時に、特定人物リストのどの人物の画像データであるかを、確定情報として選択する画面部位である。
なお、画面部位５５０には、人物すべてを一度に表示できない時には、スライダの画面部位が付属している。
【００４６】
図５において、画面部位５１１によって検索条件を決め、通常検索のための画面部位５０２を使用して検索する。このユーザ操作によって、画面部位５０３が表示される。若しくは、すでに図５において、画面部位５０３が表示されている場合には、画面部位５０３が更新される。画面部位５０３には、画像すべてを一度に表示できない時には、スライダの画面部位が付属している。
【００４７】
次に、画面部位５０３の画面部位５３１〜５４０の画像のいずれかをユーザが確認し、当該画像に関連する（本実施例では、画像の下側に）確定ボタン５５１〜５６０を選択することによって、ユーザが特定人物として確定することによって、画像検索による未確定データの特定人物リストへの追加操作ができる。
画面部位５５０でユーザが必要な人物を選択してから、確定ボタンの画面部位５５１〜５６０のいずれかを選択することによって、関連する画面部位５３１〜５４０の画像のいずれかのデータを、特定人物リストの当該人物の画像データとして追加登録することができる。また例えば、１つの画面部位５３１の画像に複数の人物が撮像されている（図示しない）場合には、マウス等でどちらかの人物を指定して画面部位５５０で人物を変更することによって、容易に特定人物リストに追加することができる。
【００４８】
図６によって、本発明の特定人物検知システムにおける、監視端末１０２から特定人物検知サーバ１０３に対して追加登録を行う場合の、監視端末の具体的な操作手順をさらに説明する（図１〜図５参照）。図６は、本発明の特定人物検知システムにおける確定動作手順の一実施例を説明するためのフローチャートで、画像検索対応の監視端末１０２から更新型の特定人物検知サーバ１０３に対して、追加登録を指示する際、ユーザによる画像検索対応監視端末３０２のインターフェース操作を説明している。図６のフローチャートでは、ユーザ操作による動作であり、図５の追加登録画面５００での画面部位や画像ＧＵＩ操作等の操作が主体である。即ち、以下の処理ステップは、ユーザの動作（操作）である。
【００４９】
ステップＳ６０１では、画面部位５１１にて、ユーザは、不特定人物リストの内、ユーザが確定するデータの検索条件を指定する。例えば、画面部位５１２のチェックボックスを選択すると、検索時においてカメラ１のデータを検索対象とする。逆に画面部位５１２のチェックボックスが選択されていなければ、カメラ１のデータを検索対象外とする。その後、ユーザは、ステップＳ６０２に移る。
ステップＳ６０２では、ユーザは、検索方法を選択する。ユーザが画像検索を望む場合は、ステップＳ６０３に進む。または、通常検索を望む場合は、ステップＳ６０８に進む。
【００５０】
ステップＳ６０３では、ユーザは、画像検索における検索キー画像の取得方法を選択する。既に人物が特定されている画像、つまり、特定人物リストから検索キー画像を選択する場合は、ステップＳ６０４に進む。または、ユーザが保持する画像、つまり、ＵＳＢメモリ等の外部接続の記憶媒体に保存されている画像等から検索キー画像を選択する場合は、ステップＳ６０５に進む。
ステップＳ６０４では、画面部位５１７にて、これまでに人物が特定されている特定人物リストから人物を選択する。その後、ユーザは、ステップＳ６０６に進む。
ステップＳ６０６では、ユーザは、特定人物リストのステップＳ６０４で指定した人物の画像を選択する。ステップＳ６０４で指定された人物の画像が複数ある場合は、ユーザは、画面部位５２０を用いて、その１つを選択する。その後、ユーザは、ステップＳ６０７に進む。
ステップ６０７では、ユーザは、画面部位５２１である画像検索ボタンを押下する。監視端末１０２は、このボタン押下を検知することで、画像検索要求を生成し、特定人物検知サーバ１０３に画像検索要求を送信する。ここで、特定人物検知サーバ１０３における画像検索部１３２において、画像検索がなされ、監視端末１０２に結果が返信される。その結果、図５の画面部位５３１〜５４０の画像が表示される。その後、ユーザは、ステップＳ６１０に進む。
【００５１】
ステップＳ６１０では、ユーザは、付加する人物情報を画面部位５５０にて選択する。図５においては、人物Ａが選択されており、後述する確定処理において、各画像には人物情報として「Ａ」が付加される。その後、ユーザは、ステップＳ６１１に進む。
ステップＳ６１１では、ユーザは、ステップＳ６１０において、選択した人物の画像をユーザの判断にて選択する。ユーザは、ステップＳ６１０において選択した人物であれば、自身の判断によって各画像のボタン図形の画面部位５５１〜５６０それぞれを押下する。監視端末１０２は、ボタン図形の押下を検知することで、画像毎の確定要求を生成し、特定人検知サーバ１０３に確定要求を送信する。
ステップＳ６０５では、ユーザは、監視端末１０２が参照可能な画像を選択する。例えば、監視端末１０２に接続されたＵＳＢ接続等により外部記憶媒体またはリムーバル記憶媒体から画像を選択する。その後、ユーザは、ステップＳ６０７に進む。
【００５２】
ステップＳ６０８では、ユーザは、不特定人物リストから確定させたい人物を画面部位５２３を用いて選択する。図５においては、人物「Ａ」が選択されており、不特定人物リストから画面部位５１１で指定された条件で人物「Ａ」のデータが後述する通常検索にて、抽出される。その後、ユーザは、ステップＳ６０９に進む。
ステップＳ６０９では、ユーザは、通常検索ボタンの画面部位５２４を押下する。監視端末１０２は、ボタンの押下を検知することで、通常検索要求を生成し、特定人物検知サーバ１０３に通常検索要求を送信する。ここで、特定人物検知サーバ１０３における画像検索部１３２において、検索がなされ、監視端末１０２に結果が返信される。その結果の例を表したのが、画面部位５３１〜５４０である。その後、ユーザは、ステップＳ６１０に進む。
【００５３】
次に、本発明の特定人物検知システムにおける特定人物リストおよび不特定人物リストの一実施例を図７に示す。図７は、本発明の特定人物検知システムにおける特定人物検知サーバの特定人物リストおよび不特定人物リストの一実施例を説明するための図である。図７（ａ）は、特定人物リスト、図７（ｂ）は、不特定人物リストである。
項目７１１、７２１は、登録ＩＤを表し、リスト毎に固有の値がデータ毎に割り振られている。項目７１２、７１３、７２２、７２３は、画像が撮像された時刻やカメラの情報である。項目７１４、７２４は、該当画像から抽出された画像特徴量が記憶された場所を示すＨＤＤ等の記憶媒体のアドレスである。項目７１６、７２７は、画像が記憶された場所を示すＨＤＤ等の記憶媒体のアドレスである。
【００５４】
図７（ａ）の特定人物リストにおいて、特定人物リストの項目７１５は、画像毎に付与された人物情報であり、例えば人物の名前や識別番号である。
図７（ｂ）の不特定人物リストにおいて、項目７２５は、特定人物検知処理により付与された人物情報であり、システムが自動で仮に付与した、例えば、人物の名前や識別番号である。また項目７２６は、項目７２５に付与された人物情報の信頼度である。
図７（ｂ）の項目７２５の人物情報において、特定人物リストにない人物がグレイな人物として、“人物Ｗ”と表示されている。
なお、図７（ａ）、（ｂ）のリストは、ユーザの操作に応じて、監視端末１０２のディスプレイモニタの表示画面として出力することも可能であり、その場合には、グレイな人物の欄を強調する色表示等のデコレーション表示が可能である。同様に、信頼度の値を、信頼度“高”、信頼度“中”、信頼度“低”の設定値で色分け表示するようにしても良い。
【００５５】
上記記載の特定人物検知システムＸの動作を、特定人物リストないしは不特定人物リストに登録されている情報を画像特徴量の関係を示す図８によって説明する。図８は、画像特徴量の距離空間での特定人物検知や画像検索における画像特徴量間の関係を概念的に表した図である。
ここで、同一人物の顔画像から抽出した画像特徴量８１１から８１３が特定人物検知用として特定人物リストに登録されているとする。ここで、例えば、新たに撮像装置で撮像された人物の顔画像の画像特徴量８１４，８１７を得たとする。その場合に、画像特徴量８１３と８１４の距離（差）が予め設定した距離の閾値より近ければ（閾値未満であれば）、画像特徴量８１４の画像は、所定の人物と特定し、当該特定人物リストに新たに追加登録することができる。または、画像検索によって得られた、類似する画像の画像特徴量８１７をユーザの判断によって新たに特定人物リストに追加登録することができる。
その後、画像特徴量８１４と距離が近い別の画像特徴量８１５や８１６が特定人物検知の対象画像となった場合に、画像特徴量８１５や８１６、８１８を該当人物と判断することができる。
【００５６】
即ち、従来の特定人物検知システムでは、撮像角度、画像解像度、照明環境等の条件により、特定人物リストに記憶する画像特徴量の差が大きくなり、本来同一であるはずの人物を別々の人物として判断していた。しかし、本発明の特定人物検知システムによれば、システム運用中に、リアルタイムに、画像特徴量の距離に応じて自動的に判断するか、あるいはユーザの判断によって、特定人物リストまたは不特定人物リストに、まとめて登録することができる。この結果、人物特定検知の精度を飛躍的に向上させることができる。
さらには、人物特定検知精度が向上したことにより、撮像角度、画像解像度、照明環境等の条件的制約が大幅に緩和され、ドアやゲートを設置できないような場所でも特定人物検知システムを使用することが可能となり、特定人物検知システムの適用範囲を広げることができる。
【００５７】
なお、上記実施の形態の構成および動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
また、説明の簡略化のため、上記図１の実施例では、システムを構成する装置は、各１台で説明した。しかし、これらはネットワークに対し、複数台の接続が可能である。
また同様に、上記実施例においては、事前登録部９３１と特定人物検知部９３２、リアルタイム登録部１３１、画像検索部１３２を、更新型の特定人物検知サーバ１０３に一体に備える構成としたが、一部の処理部を別個の装置に備える構成としても良い。
また同様に、上記実施例においては、画像表示部９２１と検知表示部９２２、検索操作部１２１、追加登録操作部１２２を、画像検索対応の監視端末１０２に一体に備える構成としたが、一部の処理部を別個の装置に備える構成としても良い。
また同様に、上記実施例においては、特定人物リストと不特定人物リストを別個の構成として示したが、これらを統合した構成として、一元管理するようにしても良い。
【符号の説明】
【００５８】
１０２：監視端末、  １０３：特定人物検知サーバ、  １２１：検索要求生成部、  １２２：追加登録操作部、  １３１：リアルタイム登録部、  １３２：画像検索部、  ５００：追加登録画面、  ５０２、５０３、５１１〜５２４、５３１〜５４０、５５０〜５６０：画面部位、  ９００：ネットワーク、  ９０１−１〜９０１−ｎ：撮像装置、  ９０２：監視端末、  ９０３：特定人物検知サーバである。  ９２１：画像表示部、  ９２２：検知表示部、  ９３１：事前登録部、  ９３２：特定人物検知部。
【図１】
0005730518.tif 000002
【図２】
0005730518.tif 000003
【図３】
0005730518.tif 000004
【図４】
0005730518.tif 000005
【図５】
0005730518.tif 000006
【図６】
0005730518.tif 000007
【図７】
0005730518.tif 000008
【図８】
0005730518.tif 000009
【図９】
0005730518.tif 000010
【図１０】
0005730518.tif 000011