(57)【要約】【課題】人物のプライバシーを侵害せずに、当該人物の行動を分析する。【解決手段】撮影装置は、撮影した映像に写っている人物の特徴を表す数値を特徴量データとして抽出して暗号化する。そして、撮影装置は、暗号化された特徴量データと所定の関連情報と当該撮影装置に固有に付与された撮影装置識別子とを照合装置へ送信する。照合装置は、暗号化済み特徴量データと関連情報と撮影装置識別子とを特徴量データベースに格納し、任意の時点にて暗号化したまま特徴量データのマッチングを行い、該マッチングに基づいてユニークな人物ごとに人物識別子を払い出す。そして、照合装置は、人物識別子ごとの関連情報と撮影装置識別子との組を含む行動データベースを作成する。【選択図】図１
2011014059.tif 000002
【特許請求の範囲】
【請求項１】
映像を撮影する撮影装置と、前記撮影装置で撮影された人物を特定する照合装置とを有して成る行動分析システムにおいて、
前記撮影装置は、前記映像から該映像に写り込んだ人物の特徴を表す数値を特徴量データとして抽出し、該特徴量データを暗号化し、該暗号化された特徴量データと前記人物の行動に付随する所定の関連情報と当該撮影装置を固有に識別するための撮影装置識別子とを前記照合装置へ送信し、
前記照合装置は、前記撮影装置から送信されてきた暗号化済み特徴量データおよび関連情報と撮影装置識別子を受信し、当該照合装置が有する特徴量データベースに格納し、任意の時点で、暗号化したまま前記特徴量データのマッチングを行い、該マッチングに基づいてユニークな前記人物ごとに当該人物を固有に識別するための人物識別子を払い出し、該人物識別子ごとにまとまった関連情報と撮影装置識別子の組のリストを持つ行動データベースを作成または追記・更新することを特徴とする行動分析システム。
【請求項２】
請求項１に記載の行動分析システムにおいて、
前記撮影装置は、前記映像として、静止画を所定の時間間隔で撮影し、該静止画から前記特徴量データを抽出することを特徴とする行動分析システム。
【請求項３】
請求項１または２に記載の行動分析システムにおいて、
前記撮影装置は、前記映像から前記特徴量データを抽出した場合、該特徴量データに付随する人物が当該撮影装置の撮影範囲外から該撮影範囲内に入った時刻であるフレームイン時刻と、該撮影範囲内に存在している人物が前記撮影範囲から外れた時刻であるフレームアウト時刻とを該映像から抽出し、該フレームイン時刻と該フレームアウト時刻とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析システム。
【請求項４】
請求項３に記載の行動分析システムにおいて、
前記撮影装置は、前記フレームイン時刻と前記フレームアウト時刻との少なくとも一方を前記映像から抽出して前記関連情報として前記照合装置へ送信することを特徴とする行動分析システム。
【請求項５】
請求項３に記載の行動分析システムにおいて、
前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームイン時刻における前記位置と前記フレームアウト時刻における前記位置とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析システム。
【請求項６】
請求項４に記載の行動分析システムにおいて、
前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームイン時刻における前記位置とその直後における前記位置とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析システム。
【請求項７】
請求項４に記載の行動分析システムにおいて、
前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームアウト時刻における前記位置とその直前における前記位置とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析システム。
【請求項８】
映像を撮影する撮影装置と、前記撮影装置で撮影された人物を特定する照合装置とを有して成る行動分析システムにおける行動分析方法であって、
前記撮影装置が、前記映像から該映像に写り込んだ人物の特徴を表す数値を特徴量データとして抽出する特徴量抽出処理と、
前記撮影装置が、該特徴量データを暗号化する処理と、
前記撮影装置が、該暗号化された特徴量データと前記人物の行動に付随する所定の関連情報と当該撮影装置を固有に識別するための撮影装置識別子とを前記照合装置へ送信する送信処理と、
前記照合装置が、前記撮影装置から送信されてきた暗号化済み特徴量データおよび関連情報と撮影装置識別子を受信し、当該照合装置が有する特徴量データベースに格納する処理と、
前記照合装置が、任意の時点で、暗号化したまま前記特徴量データのマッチングを行う処理と、
前記照合装置が、前記マッチングに基づいてユニークな前記人物ごとに当該人物を固有に識別するための人物識別子を払い出す処理と、
前記照合装置が、前記人物識別子ごとにまとまった関連情報と撮影装置識別子の組のリストを持つ行動データベースを作成または追記・更新する処理とを有することを特徴とする行動分析方法。
【請求項９】
請求項８に記載の行動分析方法において、
前記撮影装置が、前記映像として、静止画を所定の時間間隔で撮影する処理を有し、
前記特徴量抽出処理では、前記静止画から前記特徴量データを抽出することを特徴とする行動分析方法。
【請求項１０】
請求項８または９に記載の行動分析方法において、
前記撮影装置が、前記映像から前記特徴量データを抽出した場合、該特徴量データに付随する人物が当該撮影装置の撮影範囲外から該撮影範囲内に入った時刻であるフレームイン時刻を該映像から抽出する処理と、
前記撮影装置が、前記撮影範囲内に存在している人物が前記撮影範囲から外れた時刻であるフレームアウト時刻を前記映像から抽出する処理とを有し、
前記送信処理では、前記フレームイン時刻と前記フレームアウト時刻とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析方法。
【請求項１１】
請求項１０に記載の行動分析方法において、
前記送信処理では、前記フレームイン時刻と前記フレームアウト時刻との少なくとも一方を前記映像から抽出して前記関連情報として前記照合装置へ送信することを特徴とする行動分析方法。
【請求項１２】
請求項１０に記載の行動分析方法において、
前記撮影装置が、前記フレームイン時刻における前記映像内の前記人物が写り込んでいる位置を算出する処理と、
前記撮影装置が、前記フレームアウト時刻における前記映像内の前記人物が写り込んでいる位置を算出する処理とを有し、
前記送信処理では、前記フレームイン時刻における前記位置と、前記フレームアウト時刻における前記位置とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析方法。
【請求項１３】
請求項１１に記載の行動分析方法において、
前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームイン時刻における前記位置とその直後における前記位置とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析方法。
【請求項１４】
請求項１１に記載の行動分析方法において、
前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームアウト時刻における前記位置とその直前における前記位置とを前記関連情報として前記照合装置へ送信することを特徴とする行動分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動分析システムおよび行動分析方法に関する。
【背景技術】
【０００２】
近年、ビデオカメラで撮影した映像に基づいて当該映像に写っている人物の特徴を表す数値を特徴量データとして抽出する技術が考えられている。このような特徴量データを複数生成しておき、それらを比較することで、ビデオカメラで撮影した人物が特定の人物であるかどうかを判断できる（例えば、特許文献１参照。）。
【０００３】
なお、特許文献１に開示された技術においては、人物を認証する際の基準となる特徴量データを抽出するために人物をあらかじめ撮影し、撮影した映像から抽出した特徴量データを管理会社の管理サーバへあらかじめ記憶しておく。そして、大学や病院などの任意の施設内の扉に定点設置されたビデオカメラで撮影した人物の映像を管理サーバへ送信する。すると、管理サーバは、送信されてきた映像から抽出した特徴量データと、あらかじめ記憶している特徴量データとを比較する。この比較の結果、これらの特徴量データが一致した場合、扉を解錠する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−０９８８１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
人物を撮影した場合、撮影目的を損なわない範囲内で、その人物のプライバシーに十分な注意を払うことが必要となる。特許文献１に開示された技術の例では、管理会社は、最低限、施設の訪問者に対する入場管理だけを行うことができればよい。
【０００６】
しかし、この技術においては、管理会社に所属する者（例えば、管理サーバの管理者）は、管理サーバにあらかじめ記憶されている特徴量データや、ビデオカメラで撮影されて管理サーバへ送信されてきた映像を見ることができてしまう。
【０００７】
そのため、撮影目的を損なわない範囲内で、ビデオカメラで撮影された人物のプライバシーを十分保護することができないという問題点がある。
【０００８】
本発明は、上述した課題を解決する行動分析システムおよび行動分析方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の行動分析システムは、映像を撮影する撮影装置と、前記撮影装置で撮影された人物を特定する照合装置とを有して成る行動分析システムにおいて、前記撮影装置は、前記映像から該映像に写り込んだ人物の特徴を表す数値を特徴量データとして抽出し、該特徴量データを暗号化し、該暗号化された特徴量データと前記人物の行動に付随する所定の関連情報と当該撮影装置を固有に識別するための撮影装置識別子とを前記照合装置へ送信し、前記照合装置は、前記撮影装置から送信されてきた暗号化済み特徴量データおよび関連情報と撮影装置識別子を受信し、当該照合装置が有する特徴量データベースに格納し、任意の時点で、暗号化したまま前記特徴量データのマッチングを行い、該マッチングに基づいてユニークな前記人物ごとに当該人物を固有に識別するための人物識別子を払い出し、該人物識別子ごとにまとまった関連情報と撮影装置識別子の組のリストを持つ行動データベースを作成または追記・更新することを特徴とする。
【００１０】
また、本発明の行動分析システムにおいては、前記撮影装置は、前記映像として、静止画を所定の時間間隔で撮影し、該静止画から前記特徴量データを抽出してもよい。
【００１１】
また、本発明の行動分析システムにおいては、前記撮影装置は、前記映像から前記特徴量データを抽出した場合、該特徴量データに付随する人物が当該撮影装置の撮影範囲外から該撮影範囲内に入った時刻であるフレームイン時刻と、該撮影範囲内に存在している人物が前記撮影範囲から外れた時刻であるフレームアウト時刻とを該映像から抽出し、該フレームイン時刻と該フレームアウト時刻とを前記関連情報として前記照合装置へ送信してもよい。
【００１２】
また、本発明の行動分析システムにおいては、前記撮影装置は、前記フレームイン時刻と前記フレームアウト時刻との少なくとも一方を前記映像から抽出して前記関連情報として前記照合装置へ送信してもよい。
【００１３】
また、本発明の行動分析システムにおいては、前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームイン時刻における前記位置と前記フレームアウト時刻における前記位置とを前記関連情報として前記照合装置へ送信してもよい。
【００１４】
また、本発明の行動分析システムにおいては、前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームイン時刻における前記位置とその直後における前記位置とを前記関連情報として前記照合装置へ送信してもよい。
【００１５】
また、本発明の行動分析システムにおいては、前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームアウト時刻における前記位置とその直前における前記位置とを前記関連情報として前記照合装置へ送信してもよい。
【００１６】
上記課題を解決するために、本発明の行動分析方法は、映像を撮影する撮影装置と、前記撮影装置で撮影された人物を特定する照合装置とを有して成る行動分析システムにおける行動分析方法であって、前記撮影装置が、前記映像から該映像に写り込んだ人物の特徴を表す数値を特徴量データとして抽出する特徴量抽出処理と、前記撮影装置が、該特徴量データを暗号化する処理と、前記撮影装置が、該暗号化された特徴量データと前記人物の行動に付随する所定の関連情報と当該撮影装置を固有に識別するための撮影装置識別子とを前記照合装置へ送信する送信処理と、前記照合装置が、前記撮影装置から送信されてきた暗号化済み特徴量データおよび関連情報と撮影装置識別子を受信し、当該照合装置が有する特徴量データベースに格納する処理と、前記照合装置が、任意の時点で、暗号化したまま前記特徴量データのマッチングを行う処理と、前記照合装置が、前記マッチングに基づいてユニークな前記人物ごとに当該人物を固有に識別するための人物識別子を払い出す処理と、前記照合装置が、前記人物識別子ごとにまとまった関連情報と撮影装置識別子の組のリストを持つ行動データベースを作成または追記・更新する処理とを有することを特徴とする。
【００１７】
また、本発明の行動分析方法においては、前記撮影装置が、前記映像として、静止画を所定の時間間隔で撮影する処理を有し、前記特徴量抽出処理では、前記静止画から前記特徴量データを抽出してもよい。
【００１８】
また、本発明の行動分析方法においては、前記撮影装置が、前記映像から前記特徴量データを抽出した場合、該特徴量データに付随する人物が当該撮影装置の撮影範囲外から該撮影範囲内に入った時刻であるフレームイン時刻を該映像から抽出する処理と、前記撮影装置が、前記撮影範囲内に存在している人物が前記撮影範囲から外れた時刻であるフレームアウト時刻を前記映像から抽出する処理とを有し、前記送信処理では、前記フレームイン時刻と前記フレームアウト時刻とを前記関連情報として前記照合装置へ送信してもよい。
【００１９】
また、本発明の行動分析方法においては、前記送信処理では、前記フレームイン時刻と前記フレームアウト時刻との少なくとも一方を前記映像から抽出して前記関連情報として前記照合装置へ送信してもよい。
【００２０】
また、本発明の行動分析方法においては、前記撮影装置が、前記フレームイン時刻における前記映像内の前記人物が写り込んでいる位置を算出する処理と、前記撮影装置が、前記フレームアウト時刻における前記映像内の前記人物が写り込んでいる位置を算出する処理とを有し、前記送信処理では、前記フレームイン時刻における前記位置と、前記フレームアウト時刻における前記位置とを前記関連情報として前記照合装置へ送信してもよい。
【００２１】
また、本発明の行動分析方法においては、前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームイン時刻における前記位置とその直後における前記位置とを前記関連情報として前記照合装置へ送信してもよい。
【００２２】
また、本発明の行動分析方法においては、前記撮影装置は、前記映像内の前記人物が写り込んでいる位置を算出し、前記フレームアウト時刻における前記位置とその直前における前記位置とを前記関連情報として前記照合装置へ送信してもよい。
【発明の効果】
【００２３】
本発明によれば、人物のプライバシーを侵害することなく当該人物の行動を分析することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に従った行動分析システムの構成を示す図である。
【図２】図１に示した撮影装置の構成を示す図である。
【図３】図１に示した照合装置の構成を示す図である。
【図４】特徴量データベースのデータ構造の一例を示す図である。
【図５】行動データベースのデータ構造の一例を示す図である。
【図６】撮影装置が、撮影した映像から抽出した特徴量データを暗号化して照合装置へ送信するときの動作を示すフローチャートである。
【図７】照合装置が、撮影装置から送信されてきた暗号化済み特徴量データを受信した後の動作を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態に従った行動分析システム（行動分析方法を含む）を説明する。
【００２６】
まず、本行動分析システムの全体構成を説明する。
【００２７】
図１に示すように、この行動分析システムには、複数の撮影装置１−１〜１−２と、照合装置２と、行動データベース２３１と、単一または複数の分析装置３とが設けられている。撮影装置１−１、１−２と照合装置２と行動データベース２３１と分析装置３とのそれぞれは、通信機能を有する。この例では、撮影装置１−１、１−２のそれぞれと照合装置２とが通信可能に接続されるとともに、照合装置２と行動データベース２３１、行動データベース２３１と分析装置３とが通信可能に接続されている。
【００２８】
なお、本行動分析システムが具備する撮影装置の台数や設置場所は任意でよい。例えば、複数の出入口が設けられた任意の場所において、各出入口に撮影装置を１台ずつ設置してもよい。
【００２９】
また、撮影装置１−１、１−２のそれぞれには、当該撮影装置を固有に識別するための「撮影装置識別子」が付与されている。本実施形態では、撮影装置１−１に付与されている撮影装置識別子がＩＤ１−１であり、撮影装置１−２に付与されている撮影装置識別子がＩＤ１−２である場合を例に挙げて説明する。
【００３０】
また、撮影装置１−１、１−２のそれぞれは、撮影した映像に基づいて、その映像に写っている人物の特徴を表す数値を「特徴量データ」として抽出する。各撮影装置１−１、１−２が撮影する映像は動画と静止画とのどちらであってもよいが、本実施形態では、各撮影装置１−１、１−２が映像として動画を撮影する場合を例に挙げて説明する。
【００３１】
なお、「特徴量データ」の例としては、撮影装置１−１、１−２で撮影した人物の顔の輪郭を示す数値、目、鼻、口などの任意の構成要素の所定方向の大きさ、目、鼻、口などの各構成要素間の距離などが挙げられる。
【００３２】
さらに、撮影装置１−１、１−２のそれぞれは、抽出した特徴量データを暗号化する。ここで、本実施形態の暗号化アルゴリズムは、準同型暗号など、暗号化したまま演算を行うことが可能なものを用いることとする。
【００３３】
また、撮影装置１−１、１−２のそれぞれは、撮影した映像から、当該撮影装置が撮影した人物の行動に付随する所定の情報である「関連情報」を抽出する。
【００３４】
この関連情報は、撮影装置１−１、１−２が撮影した人物の行動や属性を示す情報であれば任意の情報でよい。本実施形態では、関連情報が、「フレームイン時刻」と「フレームアウト時刻」とである場合を例に挙げて説明する。
【００３５】
なお、ここでいう「フレームイン時刻」とは、ある人物が撮影装置１−１、１−２の撮影範囲外から撮影範囲内に入った時刻のことを指す。
【００３６】
また、「フレームアウト時刻」とは、当該撮影範囲内に存在する人物が撮影範囲から外れた時刻のことを指す。
【００３７】
そして、撮影装置１−１、１−２のそれぞれは、「暗号化済み特徴量データ」である暗号化された特徴量データと、撮影装置識別子と、関連情報とを照合装置２へ送信する。
【００３８】
照合装置２は、図３を用いて説明する「特徴量データベース２３」を有している。
【００３９】
照合装置２は、撮影装置１−１、１−２から送信されてきた「暗号化された特徴量データ」と撮影装置識別子および関連情報（この例では、フレームイン時刻、フレームアウト時刻）を対応付けて特徴量データベース２３へ記憶する。
【００４０】
また、照合装置２は、ある程度特徴量データベース２３にデータが蓄積された時点などを含む「任意の時点」で、特徴量データベース２３中の任意のデータセットと他のデータセットの間で、暗号化された特徴量データのマッチングをそれぞれ暗号化したまま実施してもよい。
【００４１】
ここで、「任意の時点」の例としては、特徴量データベース２３に記憶されているデータ量が所定の基準データ量と同じになった時点や、撮影装置１−１〜１−２から送信されてきた新たな暗号化済み特徴量データを受信部２１が受信した時点などが挙げられる。
【００４２】
そして、マッチしたデータセットには、共通の人物識別子を払い出し（つまり、同一の人物識別子の割当）、行動データベース２３１に対して一つの人物識別子によって紐付けられた撮影装置識別子と関連情報の単一または複数の組を追記する処理を、マッチしないデータセットが存在する限り、対象データセットを変えて繰り返す。
【００４３】
撮影装置１−１、１−２からデータ（暗号化済み特徴量データと関連情報と撮影装置識別子）が送信されてきた時点で、そのデータセットと特徴量データベース２３中のデータセットの間で暗号化したままのマッチングを行い、一人分のデータセット集合を行動データベースに追記することとしてもよい。
【００４４】
人物識別子の払い出しについては、マッチングの度に新しく払い出してもよいし、以前の払い出し結果（つまり、以前に割り当てた人物識別子）を特徴量データベース２３中の各データセットで格納しておき、それを再利用することとしてもよい。
【００４５】
なお、本実施形態において、照合装置２が、特徴量データベース２３中の複数のデータ、あるいは撮影装置１−１、１−２から送信されてきた「暗号化された特徴量データ」と特徴量データベース２３に格納されているデータ集合とでマッチングを行う方法としては、暗号化されている数値または数値化した文字列に対する論理計算を、当該数値を暗号化したままの状態で実行することが可能な秘匿回路計算が一例として挙げられる。
【００４６】
分析装置３は、照合装置２が行動データベース２３１へアクセス可能であり、その行動データベース２３１から関連情報（この例では、フレームイン時刻、フレームアウト時刻）と撮影装置識別子との対応付を読出す。
【００４７】
そして、分析装置３は、読出した関連情報と撮影装置識別子とに基づいて、撮影装置１−１、１−２のうちのある人物を撮影した撮影装置や、その人物が当該撮影装置の前に現れた時刻や立ち去った時刻、その人物が当該撮影装置を通り過ぎたときの速度などの分析処理を実行する。
【００４８】
以下、撮影装置１−１〜１−２の構成について、図２を参照して説明する。なお、撮影装置１−１〜１−２は互いに同じ構成を有するため、以下では、撮影装置１−１を例に挙げて説明する。
【００４９】
図２に示すように、撮影装置１−１には、撮影部１１と、特徴量抽出部１２と、暗号化部１３と、関連情報抽出部１４と、送信部１５とが設けられている。
【００５０】
撮影部１１は、人物を含む任意の被写体が写り込んだ映像を撮影するとともに、その映像の撮影時刻を当該映像に付与する。そして、撮影部１１は、撮影時刻が付与された映像を特徴量抽出部１２へ出力する。なお、撮影部１１の一例としては、一般的なビデオカメラなどが有する撮影機構が挙げられる。
【００５１】
特徴量抽出部１２は、撮影部１１から出力されてきた映像に写り込んだ人物を識別する。なお、映像に写り込んだ人物を識別する方法は任意でよい。
【００５２】
例えば、特徴量抽出部１２は、撮影部１１から出力されてきた映像内の輝度変化に基づいて人物を示すエッジを検出することで、当該人物を識別してもよい。なお、エッジの検出に用いるフィルタは、例えば、ソーベルフィルタなどの任意のフィルタでよい。
【００５３】
また、例えば、特徴量抽出部１２は、撮影部１１から出力されてきた映像のうちから人物の候補を示すパターンを検出するパターンマッチングにより、当該映像に写り込んだ人物を識別してもよい。
【００５４】
特徴量抽出部１２は、採用した人物識別の方法に依存したタイミングで映像から、識別した人物の特徴を表す数値を特徴量データとして抽出し、その特徴量データを暗号化部１３へ出力する。
【００５５】
暗号化部１３は、特徴量抽出部１２から出力されてきた特徴量データを暗号化する。そして、暗号化部１３は、暗号化した特徴量データを送信部１５へ出力する。
【００５６】
なお、本実施形態では、照合装置２は、それぞれ暗号化された複数の特徴量データを暗号化された状態のままで比較する。そのため、暗号化部１３は、暗号化されたままの状態で照合装置２が比較できる形式に特徴量データを暗号化可能な方法であれば、任意の方法を用いてよい。
【００５７】
例えば、暗号化部１３は、文献Ａに開示されているように、Paillier暗号を用いて、二進数表記した桁ごとに特徴量データを暗号化する方法を用いてもよい（文献Ａ：Berry Schoenmakers、Pim Tuyls、 「Practical Two-Party Computation Based on the Conditional Gate,」、Proc. of ASIACRYPT 2004, pp.119-136, Spring-Verlag, 2004.）。
【００５８】
関連情報抽出部１４は、撮影部１１から出力されてきた映像に写り込んだ人物を識別した場合、その人物が当該撮影装置１−１の撮影範囲外から該撮影範囲内に入ってきたかどうかを判別する。
【００５９】
この判別の結果、その人物が撮影装置１−１の撮影範囲外から当該撮影範囲内に入ってきたと判別した場合、その時刻をフレームイン時刻として抽出する。
【００６０】
一方、関連情報抽出部１４は、人物が撮影装置１−１の撮影範囲外から当該撮影範囲内に入ってきていないと判別した場合、この撮影範囲内に存在している人物が撮影範囲から外れたかどうかを判別する。
【００６１】
この判別の結果、撮影範囲内に存在している人物が撮影範囲から外れたと判別した場合、その時刻をフレームアウト時刻として抽出する。
【００６２】
ところで、撮影範囲に人物が入っているかどうかの判定タイミングや特徴量データ・関連情報抽出のタイミングは、必ずしもリアルタイムである必要はなく、録画データに対して解析を行っても構わない。
【００６３】
そして、関連情報抽出部１４は、抽出したフレームイン時刻およびフレームアウト時刻を、関連情報として送信部１５へ出力する。
【００６４】
送信部１５は、関連情報抽出部１４から出力されてきた関連情報と、暗号化部１３から出力されてきた暗号化済み特徴量データとを、撮影装置１−１を固有に識別するための撮影装置識別子（この例では、ＩＤ１−１）とともに照合装置２へ送信する。
【００６５】
つぎに、照合装置２の構成について、図３を参照して説明する。
【００６６】
図３に示すように、照合装置２には、受信部２１と、照合部２２と、特徴量データベース２３とが設けられている。
【００６７】
受信部２１は、撮影装置１−１、１−２からそれぞれ送信されてきた、ある人物の暗号化された特徴量データと、その人物の行動に付随する所定の関連情報（この例では、フレームイン時刻、フレームアウト時刻）と、撮影装置識別子とを照合部２２へ出力する。
【００６８】
照合部２２は、受信部２１から出力されてきた暗号化済み特徴量データと関連情報および撮影装置識別子を一つのデータセットとして、特徴量データベース２３に格納する。
【００６９】
また、特徴量データベース２３に十分な量のデータセットが格納されたときなど任意のタイミングで、照合部２２は、特徴量データベース２３に格納されたデータセットの名寄せを、暗号化された特徴量データをキーとして、暗号化したまま行い、人物単位で人物識別子を払い出し（つまり、人物識別子の割当）、人物識別子と、暗号化された特徴量データを除くデータセット（関連情報と撮影装置識別子）の集合を行動データベース２３１に追記する。
【００７０】
なお、この名寄せ（マッチング）は、対象となる特徴量データのそれぞれが暗号化された状態のままで行われる。
【００７１】
例えば、照合部２２は、文献Ｂに開示されているように、二進数で表記した上で桁ごとに暗号化された数値に対する任意の論理演算を、当該数値を利用者が認識可能な形式に変換することなく実行できる秘匿回路計算を行うことにより、暗号化したままの名寄せが可能となる（文献Ｂ：G.Yamamoto, K.Chida, A.Nasciment, K.Suzuki, and S.Uchiyama, Efficient, non-optimistic secure circuit evaluation based on the ElGamal encryption, WISA 2005, Lecture Notes in Computer Science, pp.328-343, Spring-Verlag, 2005.）。
【００７２】
図４に示すように、特徴量データベース２３は、照合部２２によって書き込まれた暗号化済み特徴量データと関連情報と撮影装置識別子とを対応付けて格納する。
【００７３】
また、図５に示すように、行動データベース２３１は、照合部２２によって書き込まれた人物識別子と、関連情報と撮影装置識別子の複数の組とを対応付けて格納する。
【００７４】
分析装置３が直接、特徴量データベース２３と通信できず、行動データベース２３１とのみ通信できるようにした理由は、特徴量データは暗号化されているとはいえ、撮影装置１−１、１−２で撮影された人物の特徴を特定することが可能な情報を含むため、この人物に付随する個人情報が撮影目的以外の目的で、分析者などに不要に漏洩してしまうことを回避する観点からである。
【００７５】
但し、特殊な例として、照合装置２が分析装置３を兼ねる場合は、撮影装置１−１の所有者の許諾を得ることを前提として、直接、特徴量データベース２３を参照して、分析を行っても構わない。
【００７６】
つぎに、上記構成を有する行動分析システムの動作を説明する。
【００７７】
まず、撮影装置１−１、１−２が、撮影した映像から抽出した特徴量データを暗号化して照合装置２へ送信する動作について、図６を参照して説明する。なお、撮影装置１−１〜１−２は互いに同じ動作を行うため、以下では、撮影装置１−１を例に挙げて説明する。
【００７８】
まず、図６に示すステップ４１にて、撮影装置１−１が有する撮影部１１は、人物を含む任意の被写体が写り込んだ映像を撮影する。また、撮影部１１は、その映像の撮影時刻を当該映像に付与する。
【００７９】
すると、ステップ４２にて、関連情報抽出部１４は、ある人物が当該撮影装置１−１の撮影範囲外からこの撮影範囲内に入ってきたかどうかを判別する。
【００８０】
この判別の結果、その人物が撮影装置１−１の撮影範囲外から当該撮影範囲内に入ってきたと判別した場合、ステップ４３として、その撮影時刻をフレームイン時刻として抽出する。
【００８１】
また、ステップ４４にて、特徴量抽出部１２は、撮影部１１から出力されてきた映像に写り込んだ人物を任意のタイミングで識別し、ステップ４５にて、識別した人物の特徴を表す数値を特徴量データとして抽出し、その特徴量データを暗号化部１３へ出力する。
【００８２】
ステップ４６にて、暗号化部１３は特徴量データの暗号化を行い、暗号化された特徴量データを送信部１５へ出力する。
【００８３】
なお、暗号化部１３は、例えば、上述した文献Bに開示されているように、秘匿回路計算用の暗号を用いて、これらの特徴量データを暗号化する。
【００８４】
ターゲットとなる人物が当該撮影範囲内に入ってきていなければ、ステップ４２を繰り返す。
【００８５】
次に、ステップ４７にて、関連情報抽出部１４は、撮影範囲内に存在している人物が撮影範囲から外れたかどうかを判別する。
【００８６】
この判別の結果、撮影範囲内に存在している人物が撮影範囲から外れたと判別した場合、ステップ４８にてその撮影時刻をフレームアウト時刻として抽出する。そして、関連情報抽出部１４は、抽出したフレームイン時刻およびフレームアウト時刻を、関連情報として送信部１５へ出力する。
【００８７】
すると、ステップ４９にて、送信部１５は、関連情報抽出部１４から出力されてきた関連情報と、暗号化部１３から暗号化された特徴量データとを、当該撮影装置１−１を固有に識別するための撮影装置識別子（この例では、ＩＤ１−１）とともに照合装置２へ送信する。
【００８８】
以上で、撮影装置１−１が、撮影した映像から抽出した特徴量データを暗号化して照合装置２へ送信する一連の動作が終了する。
【００８９】
つぎに、照合装置２が、撮影装置１−１、１−２から送信されてきた暗号化済み特徴量データと関連情報および撮影装置識別装置を受信した後の動作について、図７を参照して説明する。
【００９０】
まず、照合装置２が有する受信部２１は、撮影装置１−１、１−２からそれぞれ送信されてきた、ある人物の暗号化された特徴量データと、その人物の行動に付随する所定の関連情報（この例では、フレームイン時刻、フレームアウト時刻）と、撮影装置識別子とを照合部２２へ出力する。
【００９１】
すると、図７に示すステップ５１にて、照合部２２は、受信部２１から出力されてきた暗号化済み特徴量データと、関連情報および撮影装置識別子とを関連付けて、特徴量データベース２３に格納する。
【００９２】
ステップ５１の処理を１回以上の任意の回数繰り返した後、「任意の時点」にて、照合部２２は、ステップ５２として、特徴量データベース２３中の任意の一つのデータセットを対象とし、暗号化された特徴量データをキーとして、他のデータセット集合とのマッチングを、暗号化したまま実施する。
【００９３】
この結果、ステップ５３として、マッチングしたデータセット集合に対して、行動データベース２３１にて人物を識別するための、人物識別子を照合部２２が払い出す。
【００９４】
そして、ステップ５４として、その人物識別子とマッチングしたデータセット集合から暗号化した特徴量データを除いたものを行動データベースに追記する。
【００９５】
ステップ５５として、過去に対象としたデータセットおよびそれとマッチングしたデータセットを除くデータセット集合が残っていれば、その残りを対象として、ステップ５２〜５４を繰り返す。
【００９６】
特徴量データベース２３中のすべてのデータセットについて名寄せが完了した段階で、照合装置２は、処理を終了する。
【００９７】
なお、分析装置３は、当該分析装置３がアクセス可能な行動データベース２３１を参照し、人物が移動した軌跡である動線などの分析処理を実行する。
【００９８】
以上で、照合装置２が、撮影装置１−１、１−２から送信されてきた暗号化済み特徴量データと関連情報および撮影装置識別装置を受信した後の一連の動作が終了する。
【００９９】
以上説明したように、本発明によれば、複数のビデオカメラにより人物を撮影し、その人物がどのカメラの前にいつ現れいつ去ったのかといった動線分析を行うにあたり、映像の状態ではなく、他の人物の特徴と数値で比較することのできる特徴量データに変換した上で暗号化を行い、暗号化されたまま特徴量データを用いて名寄せした後に分析を行える。
【０１００】
これにより、人物のプライバシーを侵害することなく当該人物の行動を分析することが可能となる。
【０１０１】
具体的には、複数の撮影装置１−１、１−２でそれぞれ撮影された同一人物の映像を収集する名寄せなどによる当該人物のプライバシーの侵害や、撮影された人物に付随する個人情報の漏洩を回避することが可能となる。
【０１０２】
なお、複数の出入口が設けられた任意の場所（例えば、展示会場）において、出入口のそれぞれに撮影装置を設置しておくことにより、撮影された人物の個人情報を保護しつつ、その場所を訪れた人物がどの入口から入りどの出口から出たのかを特定したり、当該場所に滞在していた時間を特定したりすることが可能となる。
【０１０３】
なお、本発明の要旨を逸脱しない範囲で各種の変形が可能である。
【０１０４】
撮影装置１−１、１−２には、映像として動画を撮影するビデオカメラに限らず、映像として静止画を撮影するスチルカメラを用いてもよい。この場合、撮影装置１−１、１−２が具備する撮影部１１は、所定の時間間隔で静止画を撮影して特徴量抽出部１２へ出力する。そして、特徴量抽出部１２は、所定の時間間隔で出力されてきた静止画に基づいて、その静止画に写り込んだ人物の特徴量を算出すればよい。
【０１０５】
関連情報抽出部１４は、フレームイン時刻とフレームアウト時刻との両方ではなく、フレームイン時刻とフレームアウト時刻とのどちらか一方だけを抽出するようにしてもよい。
【０１０６】
また、関連情報抽出部１４は、映像に写り込んだ人物の位置を算出するように構成してもよい。そして、関連情報抽出部１４は、フレームイン時刻における映像に写り込んだ人物の位置と、フレームアウト時刻における映像に写り込んだ当該人物の位置とを、関連情報のうちの１情報として照合装置２へ送信する。そして、照合装置２が有する特徴量データベース２３は、フレームイン時刻やフレームアウト時刻とともに軌跡を対応付けて格納する。
【０１０７】
また、撮影装置１−１、１−２は、映像内の人物が写り込んでいる位置を算出し、フレームイン時刻における位置とその直後における位置とを関連情報として照合装置２へ送信してもよい。
【０１０８】
また、撮影装置１−１、１−２は、映像内の人物が写り込んでいる位置を算出し、フレームアウト時刻における位置とその直前における位置とを関連情報として照合装置２へ送信してもよい。
【０１０９】
また、関連情報抽出部１４は、撮影された人物が行った行動を推測するように構成されていてもよい。
【０１１０】
また、関連情報抽出部１４は、映像データから、また、撮影装置１−１、１−２がマイクを備えている場合はそのマイクに入力された人物の音声データから、あるいは各種センサデータから、既存技術を用いて、人物が有する性別や年齢などの属性情報を推測し、それら推測した属性情報を関連情報として、送信部１５経由で、照合装置２へ送信してもよい。この場合、照合装置２は、フレームイン時刻やフレームアウト時刻とともにこれら推測した属性情報を対応付けて特徴量データベース２３に格納する。そして、分析装置３は、行動データベース２３１に格納されている推測した属性情報を用いて、その他関連情報と対応付けて各種分析を行う。
【０１１１】
さらに、本発明においては、複数の人物が自由にフレームインやフレームアウトする状況で、それぞれの人物を識別して追跡する技術として既存の技術を利用することを想定しているが、場合によっては、定期的に、あるいはフレームインの直後やフレームアウトの直前など特別な契機において、撮影装置１−１、１−２が、特徴量データを複数回抽出するという実施形態も考えられる。
【０１１２】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明の要旨を逸脱しない範囲で当業者が理解し得る各種の変形が可能である。
【符号の説明】
【０１１３】
１−１、１−２  撮影装置
１１  撮影部
１２  特徴量抽出部
１３  暗号化部
１４  関連情報抽出部
１５  送信部
２  照合装置
２１  受信部
２２  照合部
２３  特徴量データベース
２３１  行動データベース
３  分析装置
【図１】
2011014059.tif 000003
【図２】
2011014059.tif 000004
【図３】
2011014059.tif 000005
【図４】
2011014059.tif 000006
【図５】
2011014059.tif 000007
【図６】
2011014059.tif 000008
【図７】
2011014059.tif 000009