(57)【特許請求の範囲】
【請求項１】
コンピュータに、
カメラで撮影した画像データを取得し、
対象物が有するセンサからセンサデータを取得し、
前記対象物に対する前記センサの取付位置を推定し、
推定した取付位置と、取得した前記画像データ及び前記センサデータとに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する
処理を実行させる、コンピュータプログラム。
【請求項２】
複数の対象物をカメラで撮影した画像データを取得し、
複数の対象物が有する複数のセンサから複数のセンサデータを取得し、
取得した前記画像データ及び複数の前記センサデータに基づいて、複数の前記対象物を撮影した画像データと複数の前記センサとの対応を特定する、
請求項１に記載のコンピュータプログラム。
【請求項３】
前記カメラが時系列的に撮影した前記画像データを取得し、
前記センサから時系列的な前記センサデータを取得し、
取得した時系列的な前記画像データ及び前記センサデータに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する、
請求項１又は請求項２に記載のコンピュータプログラム。
【請求項４】
前記画像データに含まれる前記対象物の特徴量を算出し、
前記特徴量の変化のピークが発生するタイミングを取得し、
前記センサデータの変化のピークが発生するタイミングを取得し、
前記特徴量に係るタイミングと、前記センサデータに係るタイミングとに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する、
請求項３に記載のコンピュータプログラム。
【請求項５】
前記画像データ及び前記センサデータを入力として受け付け、前記対象物を撮影した画像データ及び前記センサの対応の特定結果を出力するよう学習がなされた学習済モデルを用いて、
取得した前記画像データ及び前記センサデータを前記学習済モデルへ入力し、
前記学習済モデルが出力する特定結果を取得する、
請求項１から請求項３までのいずれか１つに記載のコンピュータプログラム。
【請求項６】
取得した前記画像データと、当該画像データに含まれる対象物及び前記センサの対応とをデータベースに対応付けて記憶する、
請求項１から請求項５までのいずれか１つに記載のコンピュータプログラム。
【請求項７】
前記カメラの撮影範囲内に存在する前記センサを推定し、
推定した前記センサと、前記カメラの撮影範囲内の前記対象物を撮影した画像データとの対応を特定する、
請求項１から請求項６までのいずれか１つに記載のコンピュータプログラム。
【請求項８】
撮影範囲が異なる複数のカメラから前記画像データを取得し、
取得した複数の画像データに基づいて、前記センサとの対応を特定した画像データに撮影された前記対象物の移動を判定する、
請求項１から請求項７までのいずれか１つに記載のコンピュータプログラム。
【請求項９】
前記センサデータに基づいて前記対象物を撮影した画像データ及び前記センサの対応を特定できない場合に、前記画像データと、前記対象物について予め登録された情報とに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する、
請求項１から請求項８までのいずれか１つに記載のコンピュータプログラム。
【請求項１０】
カメラで撮影した画像データを取得し、
対象物が有するセンサからセンサデータを取得し、
前記対象物に対する前記センサの取付位置を推定し、
推定した取付位置と、取得した前記画像データ及び前記センサデータとに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する
対象物特定方法。
【請求項１１】
前記対象物を撮影した画像データ及び前記センサの対応の特定結果に応じて、所定の前記センサを前記対象物が有しているか否かを判定し、
判定結果に基づいて、前記対象物の認証を行う、
請求項１０に記載の対象物特定方法。
【請求項１２】
前記対象物は生物であり、
前記対象物を撮影した画像データ及び前記センサの対応の特定結果に基づいて、前記対象物の生体認証を行う、
請求項１０又は請求項１１に記載の対象物特定方法。
【請求項１３】
カメラで撮影した画像データを取得する画像データ取得部と、
対象物が有するセンサからセンサデータを取得するセンサデータ取得部と、
前記対象物に対する前記センサの取付位置を推定する推定部と、
前記推定部が推定した取付位置、前記画像データ取得部が取得した前記画像データ及び前記センサデータ取得部が取得した前記センサデータに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する特定部と
を備える、対象物特定装置。
【請求項１４】
カメラと、
対象物に備えられるセンサと、
前記カメラで撮影した画像データを取得する画像データ取得部、前記センサからセンサデータを取得するセンサデータ取得部、前記対象物に対する前記センサの取付位置を推定する推定部、並びに、前記推定部が推定した取付位置、前記画像データ取得部が取得した前記画像データ及び前記センサデータ取得部が取得した前記センサデータに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する特定部を有する対象物特定装置と
を備える、対象物特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物をカメラで撮影した画像データを特定するコンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システムに関する。
【背景技術】
【０００２】
カメラで撮影した画像データを基に人物の認証を行う技術が広く利用され始めている。例えば顔認証のシステムでは、予め記憶した顔画像又はその特徴量と、カメラで撮影した人物の顔又はその特徴量とを比較することによって、人物の認証が行われる。
【０００３】
特許文献１においては、人物の顔を撮影すると共にこの人物の静脈を撮影し、顔認証及び静脈認証を併用して認証を行う認証システムが記載されている。この認証システムは、顔認証で認証に成功した人物に対応する静脈認証登録データを用いて静脈認証を行うことによって、静脈認証の処理時間を減少させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１９−１２８８８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の顔認証の技術では、認証対象となる人物の顔画像又はその特徴量が予めデータベース等に登録されていなければ、この人物の認証を行うことができない。これは特許文献１に記載の認証システムも同様である。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、対象物をカメラで撮影した画像データと、対象物が有するセンサとの対応関係を特定するコンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システムを提供することにある。
【課題を解決するための手段】
【０００７】
一実施形態に係るコンピュータプログラムは、コンピュータに、カメラで撮影した画像データを取得し、対象物が有するセンサからセンサデータを取得し、前記対象物に対する前記センサの取付位置を推定し、推定した取付位置と、取得した前記画像データ及び前記センサデータとに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する処理を実行させる。
【発明の効果】
【０００８】
一実施形態による場合は、対象物をカメラで撮影した画像データと、対象物が有するセンサとの対応関係を特定することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施の形態に係る対象物特定システムの概要を説明するための模式図である。
【図２】本実施の形態に係る対象物特定システムのデータ送受信の概要を説明するための模式図である。
【図３】本実施の形態に係るサーバ装置の構成を示すブロック図である。
【図４】特定情報ＤＢの一構成例を示す模式図である。
【図５】本実施の形態に係るユーザ端末装置の構成を示すブロック図である。
【図６】サーバ装置が行う画像データからの特徴量の算出処理を説明するための模式図である。
【図７】サーバ装置が取得するセンサデータの一例を示す模式図である。
【図８】サーバ装置による特定方法を説明するための模式図である。
【図９】本実施の形態に係るサーバ装置が行う特定処理の手順の一例を示すフローチャートである。
【図１０】本実施の形態に係るサーバ装置が行う特定処理の手順の一例を示すフローチャートである。
【図１１】本実施の形態に係るサーバ装置が行う認証処理の手順の一例を示すフローチャートである。
【図１２】本実施の形態に係るサーバ装置が行う顔認証を併用した特定処理の手順の一例を示すフローチャートである。
【図１３】実施の形態２に係るサーバ装置の構成を示すブロック図である。
【図１４】実施の形態２に係るサーバ装置が備える学習モデルの一構成例を示す模式図である。
【図１５】実施の形態２に係るサーバ装置が行う特定処理の手順の一例を示すフローチャートである。
【図１６】実施の形態２に係るサーバ装置が行う特定処理の手順の一例を示すフローチャートである。
【図１７】実施の形態２の変形例に係る対象物特定システムが行う特定処理の概要を説明するための模式図である。
【図１８】実施の形態２の変形例に係るサーバ装置が行う特定処理の手順の一例を示すフローチャートである。
【図１９】実施の形態３に係る対象物特定システムが行う特定処理の概要を説明するための模式図である。
【図２０】実施の形態３に係る対象物特定システムが行う特定処理の概要を説明するための模式図である。
【図２１】実施の形態３の変形例１に係る対象物特定システムのデータ送受信の概要を説明するための模式図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態に係る対象物特定システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【００１１】
＜システム概要＞
図１は、本実施の形態に係る対象物特定システムの概要を説明するための模式図である。本実施の形態に係る対象物特定システムは、カメラ２から得られる画像データから人物（ユーザ）を撮影した画像データと、各人物が所持しているユーザ端末装置１との対応関係を特定する処理を行うシステムである。カメラ２は、例えば建物内の部屋又は廊下等に設置されてもよく、また例えば建物外の道路又は庭等に設置されてもよい。対象物特定システムには、複数のカメラ２が含まれ得る。なお本実施の形態においては、複数のカメラ２を区別する必要がある場合には、カメラ２Ａ，２Ｂのように、異なる符号を付して説明する。
【００１２】
また本実施の形態においては、各ユーザが少なくとも１つのユーザ端末装置１を所持している。図１においては、ユーザ端末装置１をスマートフォンとして図示しているが、ユーザ端末装置１はスマートフォンに限らない。ユーザ端末装置１は、例えばウェアラブルデバイスであってよく、また例えばウェアラブルデバイス及びスマートフォンのセットであってもよい。またユーザ端末装置１は、例えばキーホルダ型又はカード型等の装置であってよく、また例えば埋め込み型のタグ等の装置であってもよく、これら以外の装置であってもよい。本実施の形態においてユーザ端末装置１は、少なくともユーザの移動又は活動等を検知するセンサを備えている。ユーザ端末装置１が備えるセンサは、例えば加速度、角速度又は地磁気を検知するセンサが採用され得る。また本実施の形態においてセンサには、ＧＰＳ（Global Positioning System）の信号を受信して位置を特定する機能部を含み得る。
【００１３】
またユーザ端末装置１は、センサの検知結果であるセンサデータを、特定処理を行う遠隔のサーバ装置等へ送信する無線通信機能を有していることが好ましい。ただし、カメラ２に撮影された人物の画像データとユーザ端末装置１との対応の特定をリアルタイムで行う必要がない場合、ユーザ端末装置１はセンサデータを記憶する機能を備え、事後的に有線接続又は記録媒体等を介してセンサデータの授受を行う構成であってよい。
【００１４】
なお本実施の形態においては、ユーザ端末装置１を区別する必要がある場合には、例えばユーザＡのユーザ端末装置１Ａ、ユーザＢのユーザ端末装置１Ｂ、ユーザＣのユーザ端末装置１Ｃ及びユーザＤのユーザ端末装置１Ｄのように、異なる符号を付して説明する。図１に示す例では、カメラ２Ａにて撮像された人物が、ユーザ端末装置１装置Ａを所持するユーザＡであることが特定されている。またカメラ２Ｂにて撮像された３人の人物が、ユーザ端末装置１Ｂを所持するユーザＢ、ユーザ端末装置１Ｃを所持するユーザＣ及びユーザ端末装置１Ｄを所持するユーザＤであることが特定されている。
【００１５】
図２は、本実施の形態に係る対象物特定システムのデータ送受信の概要を説明するための模式図である。本実施の形態に係る対象物特定システムでは、サーバ装置３が特定処理を行う。各カメラ２が撮影した画像データと、ユーザが所持するユーザ端末装置１のセンサが検知したセンサデータとは、有線又は無線のネットワークを介して、サーバ装置３へ送信される。カメラ２は、例えば１秒間に数回〜数十回の周期で撮影を行い、撮影した画像データをサーバ装置３へ送信する。カメラ２から送信される画像データには、カメラ２を識別するカメラＩＤが付される。同様に、ユーザ端末装置１は、例えば１秒間に数回〜数十回の周期でセンサによるユーザの移動又は活動等を検知し、検知結果であるセンサデータをサーバ装置３へ送信する。ユーザ端末装置１から送信されるセンサデータには、ユーザを識別するユーザＩＤ又はユーザ端末装置１を識別する端末ＩＤ等が付される。
【００１６】
本実施の形態に係るサーバ装置３は、カメラ２が送信する時系列的な複数の画像データに基づき、ユーザの移動又は活動等に伴う時系列的な変位を算出する。またサーバ装置３は、ユーザが所持するユーザ端末装置１が送信する時系列的な複数のセンサデータを受信する。ユーザの移動又は活動に伴う変位と、このユーザが所持するユーザ端末装置１のセンサデータの変化とには関係がある。そこで本実施の形態に係るサーバ装置３は、カメラ２の画像データに基づくユーザの変位と、ユーザ端末装置１のセンサデータの変化との関係に基づいて、ユーザとユーザ端末装置１との対応を特定する。
【００１７】
これにより例えば、建物等の入口に設置されたカメラ２が撮影した画像データに基づき、建物へ入ろうとしている人物が、所定のユーザ端末装置１を所持しているか否かをサーバ装置３が判断することができる。所定のユーザ端末装置１は、例えばユーザＩＤ又は端末ＩＤ等がサーバ装置３に予め登録されたユーザ端末装置１、センサデータの取得及びサーバ装置３への送信を行うためのアプリケーションプログラムがインストールされたユーザ端末装置１である。サーバ装置３は、カメラ２に撮影された人物が、ユーザ端末装置１を所持していない人物である場合に、この人物が不正な侵入者である可能性があると判断することができる。本実施の形態に係る対象物特定システムでは、カメラ２に撮影された人物が所定のユーザ端末装置１を所持しているか否かを判断することができ、これを人物の認証等に利用することができる。サーバ装置３は、所定のユーザ端末装置１を所持している人物を正規のユーザと認証し、ユーザ端末装置１を所持していない人物を不審者と判断することができる。
【００１８】
なお本実施の形態においては、特定の対象物を人間（ユーザ、人物）とするが、対象物はこれに限らない。対象物は、例えば犬又は猫等の動物であってよい。この場合、動物には例えば首輪等にセンサを搭載したキーホルダ型の端末装置が取り付けられ、サーバ装置３はカメラ２にて撮影された動物と端末装置との対応を特定する。また対象物が人間である場合、人間が自転車、車いす又はバイク等の乗り物に乗っていてもよい。また対象物は、人間又は犬等の動物（生物）に限らず、自動車又はバイク等の移動体であってもよい。この場合、移動体に搭載されたナビゲーション装置等の装置が、ユーザ端末装置１の役割を果たし得る。
【００１９】
＜装置構成＞
図３は、本実施の形態に係るサーバ装置３の構成を示すブロック図である。本実施の形態に係るサーバ装置３は、処理部３１、記憶部（ストレージ）３２及び通信部（トランシーバ）３３等を備えて構成されている。なお本実施の形態においては、１つのサーバ装置３にて処理が行われるものとして説明を行うが、複数のサーバ装置３が分散して処理を行ってもよい。
【００２０】
処理部３１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の演算処理装置、ＲＯＭ（Read Only Memory）、及び、ＲＡＭ（Random Access Memory）等を用いて構成されている。処理部３１は、記憶部３２に記憶されたサーバプログラム３２ａを読み出して実行することにより、カメラ２が撮像したユーザの画像データとユーザ端末装置１との対応の特定に関する種々の処理を行う。
【００２１】
記憶部３２は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部３２は、処理部３１が実行する各種のプログラム、及び、処理部３１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部３２は、処理部３１が実行するサーバプログラム３２ａを記憶している。また記憶部３２には、カメラ２に撮影されたユーザとユーザ端末装置１との対応の特定結果である特定情報を記憶する特定情報ＤＢ（データベース）３２ｂ、及び、カメラ２にて撮影された画像を記憶する画像記憶部３２ｃが設けられている。
【００２２】
本実施の形態においてサーバプログラム３２ａは、メモリカード又は光ディスク等の記録媒体９９に記録された態様で提供され、サーバ装置３は記録媒体９９からサーバプログラム３２ａを読み出して記憶部３２に記憶する。ただし、サーバプログラム３２ａは、例えばサーバ装置３の製造段階において記憶部３２に書き込まれてもよい。また例えばサーバプログラム３２ａは、遠隔の他のサーバ装置等が配信するものをサーバ装置３が通信にて取得してもよい。例えばサーバプログラム３２ａは、記録媒体９９に記録されたものを書込装置が読み出してサーバ装置３の記憶部３２に書き込んでもよい。サーバプログラム３２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体９９に記録された態様で提供されてもよい。
【００２３】
特定情報ＤＢ３２ｂは、カメラ２にて撮像されたユーザの画像データとユーザ端末装置１との対応の特定結果の情報である。特定情報ＤＢ３２ｂには、カメラ２にて撮像された画像データ、特定されたユーザのユーザＩＤ又は端末ＩＤ等の識別情報、及び、画像データ中のユーザの位置等の情報が対応付けて記憶される。特定情報ＤＢ３２ｂの構成については後述する。
【００２４】
画像記憶部３２ｃは、カメラ２にて撮影された画像データを記憶する。上述のように、ユーザを撮影した画像データ及びユーザ端末の対応の特定結果に関する情報は、特定情報ＤＢ３２ｂに記憶される。ただし、カメラ２が撮影した画像データの実体は画像記憶部３２ｃに記憶され、この画像データのファイル名又は記憶場所のアドレス等の情報が特定情報ＤＢ３２ｂに記憶される。本実施の形態においては、画像記憶部３２ｃをサーバ装置３が備えるものとするが、これに限るものではなく、サーバ装置３とは異なる記憶装置が画像を記憶する構成であってもよい。
【００２５】
通信部３３は、インターネット、無線ＬＡＮ（Local Area Network）及び携帯電話通信網等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部３３は、ネットワークＮを介して、カメラ２及びユーザ端末装置１との間で通信を行う。通信部３３は、処理部３１から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部３１へ与える。
【００２６】
なお記憶部３２は、サーバ装置３に接続された外部記憶装置であってよい。またサーバ装置３は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置３は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
【００２７】
また本実施の形態に係るサーバ装置３の処理部３１には、記憶部３２に記憶されたサーバプログラム３２ａを処理部３１が読み出して実行することにより、画像データ取得部３１ａ、センサデータ取得部３１ｂ及び特定部３１ｃ等がソフトウェア的な機能部として実現される。なおこれらの機能部は、カメラ２に撮影されたユーザとユーザ端末装置１との対応を特定する処理に関する機能部であり、これ以外の機能部については図示及び説明を省略する。
【００２８】
画像データ取得部３１ａは、通信部３３にてカメラ２との間で通信を行うことにより、カメラ２が撮影した画像データを取得する処理を行う。画像データ取得部３１ａは、カメラ２が送信する画像データを通信部３３にて受信することにより取得し、取得した画像データを記憶部３２の画像記憶部３２ｃに記憶して蓄積する。
【００２９】
センサデータ取得部３１ｂは、通信部３３にてユーザ端末装置１との間で通信を行うことにより、ユーザ端末装置１のセンサの検知結果であるセンサデータを取得する処理を行う。センサデータ取得部３１ｂは、ユーザ端末装置１が送信するセンサデータを通信部３３にて受信することにより取得し、取得したセンサデータを記憶部３２に記憶する。なお記憶部３２に記憶されたセンサデータは、ユーザ及びユーザ端末装置１の対応の特定処理に用いられた後は、記憶部３２から消去されてよい。
【００３０】
特定部３１ｃは、画像データ取得部３１ａが取得したカメラ２の画像データと、センサデータ取得部３１ｂが取得したユーザ端末装置１のセンサデータとに基づいて、ユーザを撮影した画像データとユーザ端末装置１との対応を特定する処理を行う。詳細は後述するが、特定部３１ｃは、カメラ２に撮影されたユーザの移動又は活動等に伴う変位と、このユーザが所持するユーザ端末装置１のセンサデータの変化との関係に基づいて、ユーザを撮影した画像データ及びユーザ端末装置１の対応を特定する。特定部３１ｃは、特定した対応に関する情報を、記憶部３２の特定情報ＤＢ３２ｂに記憶して蓄積する。
【００３１】
図４は、特定情報ＤＢ３２ｂの一構成例を示す模式図である。特定情報ＤＢ３２ｂは、例えば「画像データ」と、一又は複数の「特定情報」とが対応付けられたデータベースである。「特定情報」には、「端末ＩＤ」及び「座標情報」等の情報が含まれる。図４に示す例では、「画像データ」に対して２つの「特定情報」が対応付けられているが、「特定情報」は「画像データ」から特定されたユーザの数だけ存在し得る。
【００３２】
「画像データ」は、カメラ２にて撮影された画像のデジタルデータである。本実施の形態において、画像データの実体は記憶部３２の画像記憶部３２ｃに記憶され、特定情報ＤＢ３２ｂの「画像データ」には実体である画像データのファイル名又はファイルの格納場所（アドレス）等の情報が記憶される。ただし、特定情報ＤＢ３２ｂに画像データの実体が格納されてもよい。画像データは、例えばカメラ２から取得したデータを動画像として保存する場合、ＭＰＥＧ（Moving Picture Experts Group）、ＡＶＩ（Audio Video Interleave）又はＦＬＶ（Flash Video）等のファイル形式が採用され得る。また画像データは、静止画像として保存する場合、ＰＮＧ（Portable Network Graphics）、ＧＩＦ（Graphics Interchange Format）又はＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式が採用され得る。ただしこれらのファイル形式は一例であって、画像データはどのような形式で保存されてもよい。
【００３３】
「特定情報」は、カメラ２の画像データに対して特定されたユーザ端末装置１に関する情報である。特定情報ＤＢ３２ｂには、特定された１つのユーザ端末装置１に対して１つの「特定情報」が記憶される。
【００３４】
「特定情報」に含まれる「端末ＩＤ」は、特定されたユーザ端末装置１に対して付されたＩＤである。本実施の形態においては、ユーザ端末装置１が送信するセンサデータには端末ＩＤが付されており、特定に用いられたセンサデータに付された端末ＩＤが特定情報ＤＢ３２ｂに記憶される。なおサーバ装置３は、ユーザ端末装置１の端末ＩＤとこれを所持するユーザのユーザＩＤとが予め紐付けられている場合、端末ＩＤに基づいてユーザＩＤを特定することができ、ユーザ端末装置１を所有するユーザを特定することができる。特定情報ＤＢ３２ｂの「特定情報」には、「端末ＩＤ」に代えて又は「端末ＩＤ」と共に、ユーザに対して付された「ユーザＩＤ」が記憶されてもよい。
【００３５】
「特定情報」に含まれる「座標情報」は、画像データにおいてユーザが撮影された範囲を示す座標である。本例では、画像データ中のユーザの撮影範囲が矩形であるものとし、この矩形の体格位置に存在する２つの頂点の座標が、例えば（座標Ｘ１，座標Ｙ１）−（座標Ｘ２，座標Ｙ２）のように示されている。
【００３６】
図５は、本実施の形態に係るユーザ端末装置１の構成を示すブロック図である。本実施の形態に係るユーザ端末装置１は、処理部１１、記憶部（ストレージ）１２、センサ１３、通信部（トランシーバ）１４、表示部（ディスプレイ）１５、操作部１６及びＧＰＳ受信部１７等を備えて構成されている。
【００３７】
処理部１１は、ＣＰＵ又はＭＰＵ等の演算処理装置、ＲＯＭ、及び、ＲＡＭ等を用いて構成されている。処理部１１は、記憶部１２に記憶されたプログラム１２ａを読み出して実行することにより、センサ１３の検知結果の取得及び送信等に係る種々の処理を行う。
【００３８】
記憶部１２は、例えばフラッシュメモリなどの不揮発性のメモリ素子を用いて構成されている。記憶部１２は、処理部１１が実行する各種のプログラム、及び、処理部１１の処理に必要な各種のデータを記憶する。本実施の形態において記憶部１２は、処理部１１が実行するプログラム１２ａと、ユーザ端末装置１に対して付された端末ＩＤ１２ｂとを記憶している。
【００３９】
本実施の形態においてプログラム１２ａは遠隔のサーバ装置等により配信され、これをユーザ端末装置１が通信にて取得し、記憶部１２に記憶する。ただしプログラム１２ａは、例えばユーザ端末装置１の製造段階において記憶部１２に書き込まれてもよい。例えばプログラム１２ａは、メモリカード又は光ディスク等の記録媒体に記録されたプログラム１２ａをユーザ端末装置１が読み出して記憶部１２に記憶してもよい。例えばプログラム１２ａは、記録媒体に記録されたものを書込装置が読み出してユーザ端末装置１の記憶部１２に書き込んでもよい。プログラム１２ａは、ネットワークを介した配信の態様で提供されてもよく、記録媒体に記録された態様で提供されてもよい。
【００４０】
端末ＩＤ１２ｂは、ユーザ端末装置１を一意に識別する識別子であり、例えばユーザ端末装置１の製造段階等において決定され、記憶部１２に記憶される。端末ＩＤ１２ｂは、例えばユーザ端末装置１の製造番号等の情報であってよく、また例えば本実施の形態に係る対象物特定システムについて専用のＩＤであってもよい。
【００４１】
センサ１３は、例えば加速度センサ、角速度センサ（ジャイロセンサ）又は地磁気センサ等のセンサである。本実施の形態においては、これらのセンサのうちの１つを特定処理に用いるものとするが、ユーザ端末装置１には複数のセンサが搭載されていてよく、特定処理に複数種類のセンサが用いられてもよい。センサ１３は、検知した加速度又は角速度等の物理量に応じた電気信号、又は、この電気信号をデジタルデータ化したものを処理部１１へ出力する。本実施の形態において、センサ１３が出力する電気信号又はデジタルデータをセンサデータという。
【００４２】
通信部１４は、公衆の携帯電話通信網及びインターネット等を含むネットワークＮを介して、種々の装置との間で通信を行う。本実施の形態において通信部１４は、ネットワークＮを介してサーバ装置３との通信を行う。通信部１４は、処理部１１から与えられたデータをサーバ装置３へ送信すると共に、サーバ装置３から受信したデータを処理部１１へ与える。
【００４３】
表示部１５は、液晶ディスプレイ等を用いて構成されており、処理部１１の処理に基づいて種々の画像及び文字等を表示する。
【００４４】
操作部１６は、例えば機械式のボタン又は表示部１５の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付け、受け付けた操作を処理部１１へ通知する。
【００４５】
ＧＰＳ受信部１７は、ＧＰＳの人工衛星から送信される電波を受信し、受信した電波に含まれる情報を処理部１１へ与える。処理部１１は、ＧＰＳ受信部１７から与えられた情報に基づいて、ユーザ端末装置１の位置（例えば緯度及び経度）を特定する処理を行うことができる。
【００４６】
また本実施の形態に係るユーザ端末装置１は、記憶部１２に記憶されたプログラム１２ａを処理部１１が読み出して実行することにより、センサデータ送信部１１ａ等がソフトウェア的な機能部として処理部１１に実現される。センサデータ送信部１１ａは、センサ１３が出力するセンサデータを取得し、取得したセンサデータをサーバ装置３へ送信する処理を行う。このときにセンサデータ送信部１１ａは、記憶部１２に記憶された端末ＩＤ１２ｂと、センサデータを取得した日時等の情報とを付して、センサデータをサーバ装置３へ送信する。センサ１３は、常に又は所定周期で繰り返してセンサデータを出力している。例えばセンサデータ送信部１１ａは、センサ１３からセンサデータを取得する都度、取得したセンサデータをサーバ装置３へ送信してもよい。また例えばセンサデータ送信部１１ａは、センサ１３から取得したセンサデータを記憶部１２に記憶し、記憶した一又は複数のセンサデータを所定の周期でサーバ装置３へ送信してもよい。
【００４７】
なお、本実施の形態に係る対象物特定システムが備えるカメラ２の構成を示すブロック図の図示は省略する。カメラ２は、例えばＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子の出力信号に対して所定の画像処理を施して画像データを生成する画像処理ＩＣ（Integrated Circuit）と、有線又は無線の通信を行う通信部とを備えて構成される。カメラ２は、１秒間に数回〜数十回の周期で撮影を行い、撮影により得られた画像データをサーバ装置３へ送信する。このときにカメラ２は、自身に付されたカメラＩＤ及び撮影日時等の情報を画像データに付してサーバ装置３へ送信する。
【００４８】
＜ユーザ及びユーザ端末装置の対応の特定処理＞
本実施の形態に係るサーバ装置３は、カメラ２から取得した画像データ中に撮影されたユーザと、ユーザが所持するユーザ端末装置１との対応を特定する処理を行う。この特定処理においてサーバ装置３は、カメラ２からの画像データを受信し、受信した画像データからユーザが撮影された領域を抽出し、この画像領域からユーザの特徴量を算出する。サーバ装置３は、カメラ２から送信される画像データを順次受信し、画像データから特徴量を順次算出することによって、画像データ中のユーザの特徴量の時系列的な変化を算出する。これによりサーバ装置３は、画像データ中のユーザの移動又は活動等に伴う変位を算出することができる。サーバ装置３が算出する特徴量は、例えばユーザの骨格の角度、頭頂から足先までの高さ（長さ）、又は、足の接地タイミング等が採用され得るが、これに限るものではない。
【００４９】
図６は、サーバ装置３が行う画像データからの特徴量の算出処理を説明するための模式図である。図６の左側に示す例では、サーバ装置３がカメラ２から取得した画像データ１０１に３人の人物が撮影されている。サーバ装置３は、取得した画像データから人物が撮影された領域を抽出する処理を行う。なお、画像データから人物の撮影領域を抽出する処理は、既存の技術であるため、詳細な説明を省略する。図６には、サーバ装置３により抽出された３つの領域１０２〜１０４が矩形枠として示されている。
【００５０】
サーバ装置３は、抽出した各領域について、この領域に撮影された人物の特徴を示す特徴量の算出を行う。ここでは、例えば撮影された人物の頭頂から足先までの高さをサーバ装置３が特徴量として算出する。サーバ装置３は、カメラ２によって時系列的に撮影された複数の画像データについて同様の領域抽出及び特徴量算出を繰り返し行い、画像データ中の人物の特徴量の変化を取得する。図６の右側には、３人の人物についてそれぞれ算出された特徴量の変化がグラフとして示されている。
【００５１】
また、サーバ装置３は、ユーザ端末装置１から送信されるセンサデータを受信する。図７は、サーバ装置３が取得するセンサデータの一例を示す模式図である。なお図７には、図６に示した画像データに撮影されていた３人の人物が所持するユーザ端末装置１からサーバ装置３がそれぞれ取得した３つのセンサデータを、３つのグラフとして上下に並べて示してある。各グラフは、横軸を時刻ｔとし、縦軸をセンサの出力値としている。図７に示された３つのセンサデータは、上から順に、ユーザ端末装置１ａから取得したセンサデータ、ユーザ端末装置１ｂから取得したセンサデータ、ユーザ端末装置１ｃから取得したセンサデータとする。
【００５２】
図８は、サーバ装置３による特定方法を説明するための模式図である。図８は、図７に示したユーザ端末装置１ａから取得したセンサデータのグラフと、図６に示した領域１０２から抽出した特徴量のグラフとを上下に並べて示したものである。サーバ装置３は、ユーザ端末装置１ａから取得したセンサデータの変化と、カメラ２の画像データから抽出した特徴量の変化との相関関係に基づいて、画像データ中の人物とユーザ端末装置１との対応を特定する。サーバ装置３は、例えばセンサデータ及び特徴量の変化においてピークが発生するタイミングを比較する。図８に示す例では、両タイミングが破線で示すタイミングで一致している。サーバ装置３は、両タイミングが一致又は近似する場合に、この特徴量の算出元となった領域１０２内に撮影された人物が、このセンサデータの送信元のユーザ端末装置１ａを所持するユーザであると特定することができる。
【００５３】
なお本例においては、センサデータの変化と特徴量の変化とについて、ピークが発生するタイミングを比較することでユーザ端末装置１の対応を特定しているが、特定の方法はピークの発生タイミングを比較する方法に限らない。例えば、センサデータ及び特徴量の変化率、変化の周期又は周波数等を比較してもよく、これら以外の変化の特性を比較してもよい。
【００５４】
また本例においては、センサデータの変化と特徴量の変化との相関関係に基づいてユーザ端末装置１を特定する処理を行っているが、特定の方法は相関関係に基づく方法に限らない。ユーザ端末装置１に搭載されるセンサの種別等によっては、画像データから抽出した特徴量の変化とセンサデータの変化とに相関関係がない場合もあり得る。このような場合には、センサの特徴又はこのセンサが出力するセンサデータの特徴等に適した特定方法が採用され得る。
【００５５】
図９及び図１０は、本実施の形態に係るサーバ装置３が行う特定処理の手順の一例を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１の画像データ取得部３１ａは、カメラ２から送信される画像データを通信部３３にて受信することで、画像データの取得を行う（ステップＳ１）。画像データ取得部３１ａは、カメラ２から取得した画像データを記憶部３２の画像記憶部３２ｃに記憶する（ステップＳ２）。
【００５６】
次いで、処理部３１の特定部３１ｃは、画像データ取得部３１ａが取得した画像データから、人物が撮影された領域を抽出する処理を行う（ステップＳ３）。特定部３１ｃは、抽出した画像領域から、この領域に撮影された人物の特徴を示す特徴量を算出する（ステップＳ４）。特定部３１ｃは、算出した特徴量を記憶部３２又はＲＡＭ等に記憶する（ステップＳ５）。
【００５７】
また処理部３１のセンサデータ取得部３１ｂは、ユーザ端末装置１から送信されるセンサデータを通信部３３にて受信することで、センサデータの取得を行う（ステップＳ６）。センサデータ取得部３１ｂは、ユーザ端末装置１から取得したセンサデータを記憶部３２又はＲＡＭ等に記憶する（ステップＳ７）。
【００５８】
処理部３１は、ステップＳ１〜Ｓ７の処理により、ユーザ及びユーザ端末装置１の対応を特定するのに十分な量の情報が蓄積されたか否かを判定する（ステップＳ８）。十分な情報が蓄積されていない場合（Ｓ８：ＮＯ）、処理部３１は、ステップＳ１へ処理を戻し、画像データ及びセンサデータの取得を繰り返して行う。
【００５９】
十分な情報が蓄積された場合（Ｓ８：ＹＥＳ）、処理部３１の特定部３１ｃは、カメラ２の画像データに撮影された１人の人物を対象人物とし、この対象人物について蓄積された時系列的な複数の特徴量を記憶部３２又はＲＡＭから取得する（ステップＳ９）。特定部３１ｃは、取得した特徴量に基づいて、時系列的な特徴量の変化のピークが発生するタイミングを取得する（ステップＳ１０）。
【００６０】
同様に、特定部３１ｃは、１つのユーザ端末装置１を対象端末とし、この対象端末について蓄積された時系列的な複数のセンサデータを記憶部３２又はＲＡＭから取得する（ステップＳ１１）。特定部３１ｃは、取得したセンサデータに基づいて、時系列的なセンサデータのピークが発生するタイミングを取得する（ステップＳ１２）。
【００６１】
特定部３１ｃは、ステップＳ１０にて取得した特徴量のピークのタイミングと、ステップＳ１２にて取得したセンサデータのピークのタイミングとを比較し、両タイミングが一致するか否かを判定する（ステップＳ１３）。なおステップＳ１３にて判定するタイミングの一致には、所定の誤差等が許容され得る。両タイミングが一致する場合（Ｓ１３：ＹＥＳ）、特定部３１ｃは、対象とした人物と対象としたユーザ端末装置１とが対応するものであることを特定し（ステップＳ１４）、この特定結果を記憶部３２の特定情報ＤＢ３２ｂに記憶して（ステップＳ１５）、ステップＳ１８へ処理を進める。
【００６２】
両タイミングが一致しない場合（Ｓ１３：ＮＯ）、特定部３１ｃは、センサデータが蓄積された全てのユーザ端末装置１について、ピークのタイミングの比較を終了したか否かを判定する（ステップＳ１６）。全てのユーザ端末装置１について比較を終了していない場合（Ｓ１６：ＮＯ）、特定部３１ｃは、ステップＳ１１へ処理を戻し、別のユーザ端末装置１を対象端末としてピークのタイミングの比較を繰り返し行う。
【００６３】
全てのユーザ端末装置１について比較を終了した場合（Ｓ１６：ＹＥＳ）、特定部３１ｃは、対象とした人物について、対応するユーザ端末装置１が存在しないと判定する（ステップＳ１７）。
【００６４】
特定部３１ｃは、カメラ２の画像データに撮影された全ての人物について、ユーザ端末装置１との対応の特定処理を終了したか否かを判定する（ステップＳ１８）。全ての人物について処理を終了していない場合（Ｓ１８：ＮＯ）、特定部３１ｃは、ステップＳ９へ処理を戻し、画像データに撮影された別の人物について同様の処理を行う。全ての人物について処理を終了した場合（Ｓ１８：ＹＥＳ）、特定部３１ｃは、ユーザ及びユーザ端末装置１の対応を特定する処理を終了する。
【００６５】
＜その他の処理＞
（１）顔認証処理の併用１
本実施の形態に係る対象物特定システムが行う特定処理と、既存の顔認証処理とを併用してもよい。例えばサーバ装置３は、カメラ２の画像データとユーザ端末装置１との対応を特定したユーザについて、更に顔認証処理を行ってもよい。サーバ装置３は、認証対象となるユーザの顔画像又はその特徴量等を集めた顔認証のための情報をデータベースに記憶している。サーバ装置３は、上述の特定処理により特定されたユーザ端末装置１を所有するユーザに対応する顔認証のための情報をデータベースから取得し、カメラ２により撮影されたユーザの顔画像から抽出した特徴量との比較を行う。これによりサーバ装置３は、カメラ２に撮影されたユーザが、予め顔認証の情報が登録されているユーザであるか否かを判定することができる。なお、顔認証の処理は既存の技術であるため、詳細な説明は省略する。また対象物特定システムは、顔認証以外の生体認証を併用してもよい。
【００６６】
カメラ２の画像データ及びユーザ端末装置１のセンサデータに基づいて画像データ及びユーザ端末装置１の対応を予め特定しておくことによって、サーバ装置３は、データベースに予め登録された多数の顔認証用の情報の中から、特定されたユーザ端末装置１を所有するユーザに関する情報のみを取得して顔認証を行えばよい。このため、サーバ装置３による顔認証処理の処理負荷及び処理時間等を低減することができる。また、他人のユーザ端末装置１を利用した成りすましを検知することができる。
【００６７】
図１１は、本実施の形態に係るサーバ装置３が行う認証処理の手順の一例を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１は、カメラ２から取得した画像データと、ユーザ端末装置１から取得したセンサデータとに基づいて、画像データに撮影された人物とユーザ端末装置１との対応を特定する特定処理を行う（ステップＳ３１）。なおステップＳ３１にて行う処理の詳細は、図９及び図１０のフローチャートにて図示したものであるため、本図では処理の詳細の図示を省略する。
【００６８】
処理部３１は、ステップＳ３１の特定処理の結果に基づいて、画像データに撮影された人物とユーザ端末装置１との対応が特定できたか否かを判定する（ステップＳ３２）。対応が特定できない場合（Ｓ３２：ＮＯ）、処理部３１は、画像データに撮影された人物が不審者であると判断し（ステップＳ３８）、処理を終了する。
【００６９】
対応が特定できた場合（Ｓ３２：ＹＥＳ）、処理部３１は、特定したユーザについて登録された顔認証用情報をデータベースから取得する（ステップＳ３３）。なおサーバ装置３は、顔認証の対象となるユーザについて、ユーザＩＤ又は端末ＩＤ等の識別情報と、顔画像又は顔の特徴量等の顔認証用情報とをデータベースに対応付けて記憶している。処理部３１は、カメラ２の撮影した画像データからこのユーザの顔に相当する領域を顔画像として抽出する（ステップＳ３４）。
【００７０】
処理部３１は、ステップＳ３３にて取得した顔認証用情報とステップＳ３４にて抽出したユーザの顔画像とを用いて、顔認証処理を行う（ステップＳ３５）。処理部３１は、顔認証処理の結果が認証成功であるか否かを判定する（ステップＳ３６）。なお認証成功は、画像データから抽出されたユーザの顔が、予め登録された顔認証用情報にて示されるユーザの顔と一致する場合である。
【００７１】
認証処理の結果が認証成功である場合（Ｓ３６：ＹＥＳ）、処理部３１は、特定された人物を正規のユーザと判断し（ステップＳ３７）、処理を終了する。認証失敗である場合（Ｓ３６：ＮＯ）、画像データに撮影された人物が不審者であると判断し（ステップＳ３８）、処理を終了する。
【００７２】
（２）顔認証処理の併用２
カメラ２の画像データ及びユーザ端末装置１のセンサデータに基づくユーザを撮影した画像データ及びユーザ端末装置１の対応は、例えばユーザが静止状態である場合に特定が困難である。そこでサーバ装置３は、カメラ２の画像データに含まれる人物が静止状態又は変位が少ない状態であり、センサデータを用いた特定処理が困難であると判断した場合、この人物に対して顔認証処理を行うことによって、カメラ２に撮影された人物を特定してもよい。
【００７３】
図１２は、本実施の形態に係るサーバ装置３が行う顔認証を併用した特定処理の手順の一例を示すフローチャートである。本実施の形態に係るサーバ装置３の処理部３１は、カメラ２から取得した画像データ及びユーザ端末装置１から取得したセンサデータに基づいて、画像データに撮影された人物とユーザ端末装置１との対応を特定することが困難であるか否かを判定する（ステップＳ５１）。処理部３１は、例えば取得した画像データの特徴量の変化又はセンサデータの変化が少ない場合等に、特定が困難であると判定することができる。
【００７４】
特定が困難ではない場合（Ｓ５１：ＮＯ）、処理部３１は、図９及び図１０に示した通常の特定処理を行って（ステップＳ５２）、処理を終了する。
【００７５】
特定が困難である場合（Ｓ５１：ＹＥＳ）、処理部３１は、カメラ２から取得した画像データから人物の顔画像を抽出する（ステップＳ５３）。また処理部３１は、データベースに予め登録された１つの顔認証用情報を取得する（ステップＳ５４）。取得した顔認証用情報を用いて、処理部３１は、カメラ２から取得した画像データに撮影された人物について、顔認証処理を行う（ステップＳ５５）。
【００７６】
処理部３１は、顔認証処理の結果が認証成功であるか否かを判定する（ステップＳ５６）。認証成功である場合（Ｓ５６：ＹＥＳ）、処理部３１は、画像データに撮影された人物を、認証成功した顔認証用情報に対応付けられたユーザと特定し（ステップＳ５７）、処理を終了する。
【００７７】
認証失敗である場合（Ｓ５６：ＮＯ）、処理部３１は、データベースに予め登録された全ての顔認証用情報について顔認証処理を終了したか否かを判定する（ステップＳ５８）。全ての顔認証情報について顔認証処理を終了していない場合（Ｓ５８：ＮＯ）、処理部３１は、ステップＳ５４へ処理を戻し、別の顔認証用情報を用いて顔認証処理を行う。
【００７８】
全ての顔認証情報について顔認証処理を終了した場合（Ｓ５８：ＹＥＳ）、処理部３１は、画像データに撮影された人物を不審者であると判断し（ステップＳ５９）、処理を終了する。
【００７９】
（３）複数のカメラによる人物の追跡
例えば屋外の道路に沿って又は建物の廊下に沿って、複数のカメラ２を所定間隔で設置してもよい。サーバ装置３は、これら複数のカメラ２から得られた画像データに対してそれぞれ個別に上述の特定処理を行い、各カメラにて撮影されたユーザを特定する。これら個別の特定結果に基づいて、サーバ装置３は、例えば特定のユーザによる第１のカメラ２ａの撮影範囲から第２のカメラ２ｂの撮影範囲への移動を追跡することができる。サーバ装置３は、例えば特定のユーザについて、特定がなされたカメラ２のカメラＩＤ及び特定時刻等の情報をデータベースに記憶して蓄積する。
【００８０】
またサーバ装置３は、複数のカメラ２の画像データからユーザの移動を追跡することによって、移動していたユーザが静止状態となってセンサデータに基づく特定が困難化した場合であっても、これまでのユーザの移動履歴に基づいてカメラ２に撮影されているユーザを推定することができる。
【００８１】
＜まとめ＞
本実施の形態に係るサーバ装置３は、特定の対象物となるユーザをカメラ２で撮影した画像データを取得すると共に、ユーザが所持するユーザ端末装置１のセンサの検知結果であるセンサデータを取得する。サーバ装置３は、時系列的に取得した複数の画像データに基づいて、画像データに撮影されたユーザの移動又は活動等に伴う変位を示す特徴量の変化を取得する。サーバ装置３は、この特徴量の時系列的な変化と、センサデータの時系列的な変化とに基づいて、カメラ２に撮影されたユーザとユーザ端末装置１との対応を特定する。
【００８２】
これにより本実施の形態に係る対象物特定システムでは、特定対象となる人物に関する顔画像又は特徴量等をサーバ装置３が予め記憶しておくことなく、カメラ２にて撮影されたユーザと、このユーザが所持するユーザ端末装置１との対応を特定することができる。
【００８３】
＜実施の形態２＞
実施の形態２に係る対象物特定システムは、人工知能を用いてユーザとユーザ端末装置１との対応を特定する処理を行う。図１３は、実施の形態２に係るサーバ装置３の構成を示すブロック図である。実施の形態２に係るサーバ装置３は、カメラ２の画像データとユーザ端末装置１のセンサデータに基づいて、画像データに撮影されたユーザとユーザ端末装置１との対応を特定するよう予め学習された学習モデル２００を記憶部３２に記憶している。
【００８４】
図１４は、実施の形態２に係るサーバ装置３が備える学習モデルの一構成例を示す模式図である。サーバ装置３が備える学習モデル２００は、サーバ装置３の人工知能の機能を実現するためのものであり、予め機械学習、深層学習又は強化学習等の学習処理がなされた学習モデルである。学習モデルは、入力値に対して所定の演算を行い、演算結果を出力するものであり、記憶部３２にはこの演算を規定する関数の係数及び閾値等のデータが学習モデル２００として記憶される。
【００８５】
実施の形態２に係る学習モデル２００は、複数のニューロンが相互に結合したニューラルネットワークの構造を有する。既存の技術であるため詳しい説明は省略するが、ニューロンは複数の入力に対して演算を行い、演算結果として１つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数及び閾値等の情報を有している。ニューラルネットワークの学習モデル２００は、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。深層学習及び強化学習等の学習処理は、予め与えられた多数の学習用データを用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。実施の形態２に係る学習モデル２００は、ニューラルネットワークの学習モデルに対して教師データを用いた深層学習がなされた学習済のモデルであり、例えば勾配降下法、確率的勾配降下法又は誤差逆伝播法等の手法により学習がなされる。
【００８６】
実施の形態２に係る学習モデル２００には、カメラ２の撮像した画像データと、ユーザ端末装置１のセンサの検知結果であるセンサデータとの時系列的な情報が入力層に入力される。ただし画像データは、人物が撮影された領域を抽出したものであり、１人分の画像領域のデータである。また画像データは、複数の静止画像を時系列的に並べたものであってよく、動画像のデータであってよい。センサデータは、１つのユーザ端末装置１についてのセンサデータである。画像データ及びセンサデータは、例えば数秒〜数十秒程度の時間分のものが時系列的に入力される。学習モデル２００は、入力された画像データに撮影された人物が所持するユーザ端末装置１が、入力されたセンサデータを検知したユーザ端末装置１である可能性を示す確率情報を特定結果として出力する。なお、時系列的な情報が入力される学習モデル２００には、例えばＲＮＮ（Recurrent Neural Network）のモデルを採用することができる。また学習モデル２００は、入力された画像データから特徴量を抽出するための畳み込み層及びプーリング層等を備えたＣＮＮ（Convolution Neural Network）のモデルを採用することができる。
【００８７】
ただし、学習モデル２００の入力情報及び出力情報は上記のものに限らない。例えば学習モデル２００は、人物の撮影された領域を抽出した画像データではなく、カメラ２が撮影した画像データを入力情報として受け付けてもよく、この場合に学習モデル２００は入力された画像データから人物の領域を抽出する処理を自身で行う。また学習モデル２００に画像データを入力するのではなく、画像データから算出された特徴量を入力してもよい。また学習モデル２００は、複数のユーザ端末装置１のセンサデータを入力情報として受け付けてもよい。この場合に学習モデル２００は、各ユーザ端末装置１について確率情報を出力してもよく、最も確率が高いユーザ端末装置１がいずれであるかを特定結果として出力してもよい。
【００８８】
実施の形態２に係るサーバ装置３は、カメラ２から取得した画像データから人物の撮影領域を抽出した画像データと、ユーザ端末装置１から取得したセンサデータとを、記憶部３２に記憶した学習モデル２００へ入力する。学習モデル２００は、時系列的な画像データ及びセンサデータの入力に応じて、入力された画像データに撮影された人物が、入力されたセンサデータに係るユーザ端末装置１を所持している確率の情報を特定結果として出力する。サーバ装置３は、学習モデル２００が出力する特定結果を取得する。
【００８９】
サーバ装置３は、複数のユーザ端末装置１からセンサデータを取得している場合、各ユーザ端末装置１について学習モデル２００を用いた特定処理を行い、学習モデル２００が出力する確率が最も高いユーザ端末装置１を、画像データの人物が所持するユーザ端末装置１と特定する。またカメラ２から取得した画像データに複数の人物が撮影されている場合、サーバ装置３は、各人物について同様の処理を行い、各人物とユーザ端末装置１との対応を特定する。サーバ装置３は、特定結果を記憶部３２の特定情報ＤＢ３２ｂに記憶して蓄積する。
【００９０】
また、実施の形態２に係る学習モデル２００は、サーバ装置３又は他の装置により予め深層学習がなされた学習済のモデルである。例えばサーバ装置３は、人物が撮影された画像データと、ユーザ端末装置１のセンサが出力するセンサデータと、この両データが対応関係にあるか否かを示す特定結果とが対応付けられた教師データを用いて深層学習を行う。学習処理に用いられる教師データは、本システムの設計者等が行ってもよく、サーバ装置３等の装置が行ってもよい。またサーバ装置３は、予め作成された教師データを使用してもよく、サーバ装置３が蓄積した情報に基づいて自ら作成した教師データを使用してもよい。少なくとも最初の学習処理においては予め作成された教師データが用いられる。例えば教師データは、従来の監視カメラ等を利用したセキュリティシステムにより収集された情報、又は、本システムもしくは類似のシステムにおいてなされた実証実験等により得られた情報等に基づいて作成され得る。
【００９１】
２回目以降の学習処理（再学習処理）においては、サーバ装置３が収集して蓄積した情報に基づいて教師データが生成されてもよい。実施の形態２に係るサーバ装置３は、記憶部３２の特定情報ＤＢ３２ｂに特定結果に関する情報を記憶して蓄積している。サーバ装置３は、特定情報ＤＢ３２ｂに蓄積された情報を基に、学習用の教師データを生成してもよい。ただしこの場合、特定情報ＤＢ３２ｂには、図４に示した情報に加えて、特定に用いたセンサデータが記憶されていることが好ましい。サーバ装置３は、所定期間（１日、１週間又は１ヶ月等）が経過する毎に、蓄積した情報に基づいて生成した教師データを用いて学習モデル２００の再学習を行うことができる。
【００９２】
図１５及び図１６は、実施の形態２に係るサーバ装置３が行う特定処理の手順の一例を示すフローチャートである。実施の形態２に係るサーバ装置３の処理部３１の画像データ取得部３１ａは、カメラ２から送信される画像データを通信部３３にて受信することで、画像データの取得を行う（ステップＳ７１）。画像データ取得部３１ａは、カメラ２から取得した画像データを記憶部３２の画像記憶部３２ｃに記憶する（ステップＳ７２）。
【００９３】
次いで、処理部３１の特定部３１ｃは、画像データ取得部３１ａが取得した画像データから、人物が撮影された領域を抽出する処理を行う（ステップＳ７３）。特定部３１ｃは、抽出した領域の画像データを記憶部３２又はＲＡＭ等に記憶する（ステップＳ７４）。
【００９４】
また処理部３１のセンサデータ取得部３１ｂは、ユーザ端末装置１から送信されるセンサデータを通信部３３にて受信することで、センサデータの取得を行う（ステップＳ７５）。センサデータ取得部３１ｂは、ユーザ端末装置１から取得したセンサデータを記憶部３２又はＲＡＭ等に記憶する（ステップＳ７６）。
【００９５】
処理部３１は、ステップＳ７１〜Ｓ７６の処理により、ユーザ及びユーザ端末装置１の対応を特定するのに十分な量の情報が蓄積されたか否かを判定する（ステップＳ７７）。十分な情報が蓄積されていない場合（Ｓ７７：ＮＯ）、処理部３１は、ステップＳ７１へ処理を戻し、画像データ及びセンサデータの取得を繰り返して行う。
【００９６】
十分な情報が蓄積された場合（Ｓ７７：ＹＥＳ）、処理部３１の特定部３１ｃは、カメラ２の画像データに撮影された１人の人物を対象人物とし、この対象人物について蓄積された時系列的な領域の画像データを記憶部３２又はＲＡＭから取得する（ステップＳ７８）。同様に、特定部３１ｃは、１つのユーザ端末装置１を対象端末とし、この対象端末について蓄積された時系列的な複数のセンサデータを記憶部３２又はＲＡＭから取得する（ステップＳ７９）。なお画像データ及びセンサデータには、取得された日時等の情報が付されており、特定部３１ｃは、日時が一致する画像データ及びセンサデータの組をステップＳ７８及びＳ７９にて取得する。
【００９７】
特定部３１ｃは、ステップＳ７８にて取得した対象人物の領域の画像データと、ステップＳ７９にて取得したセンサデータとを含む入力情報を、記憶部３２に記憶された学習モデル２００へ入力する（ステップＳ８０）。特定部３１ｃは、この入力に対する学習モデル２００の出力情報を取得する（ステップＳ８１）。
【００９８】
特定部３１ｃは、センサデータが蓄積された全てのユーザ端末装置１について、学習モデル２００による特定が行われたか否かを判定する（ステップＳ８２）。全てのユーザ端末装置１について学習モデル２００による特定を終了していない場合（Ｓ８２：ＮＯ）、特定部３１ｃは、ステップＳ７９へ処理を戻し、別のユーザ端末装置１を対象端末として同様の処理を繰り返し行う。
【００９９】
全てのユーザ端末装置１について学習モデル２００を用いた特定を終了した場合（Ｓ８２：ＹＥＳ）、特定部３１ｃは、各ユーザ端末装置１についての特定結果を比較し、学習モデル２００が出力した確率が最も高いユーザ端末装置１を、この対象人物が所持するユーザ端末装置１であると特定する（ステップＳ８３）。特定部３１ｃは、この特定結果を記憶部３２の特定情報ＤＢ３２ｂに記憶する（ステップＳ８４）。
【０１００】
特定部３１ｃは、カメラ２の画像データに撮影された全ての人物について、ユーザ端末装置１との対応の特定処理を終了したか否かを判定する（ステップＳ８５）。全ての人物について処理を終了していない場合（Ｓ８５：ＮＯ）、特定部３１ｃは、ステップＳ７８へ処理を戻し、画像データに撮影された別の人物について同様の処理を行う。全ての人物について処理を終了した場合（Ｓ８５：ＹＥＳ）、特定部３１ｃは、ユーザ及びユーザ端末装置１の対応を特定する処理を終了する。
【０１０１】
以上の構成の実施の形態２に係る対象物特定システムでは、予め学習された学習モデル２００をサーバ装置３が備える。サーバ装置３は、カメラ２から取得した画像データ及びユーザ端末装置１から取得したセンサデータに基づく入力情報を学習モデル２００へ入力し、学習モデル２００の出力情報を取得することで、カメラ２にて撮影されたユーザと、このユーザが所持するユーザ端末装置１との対応を特定することができる。
【０１０２】
（変形例）
図１７は、実施の形態２の変形例に係る対象物特定システムが行う特定処理の概要を説明するための模式図である。変形例に係る対象物特定システムのサーバ装置３は、ユーザ端末装置１から取得したセンサデータを基に、このユーザ端末装置１がユーザの身体のいずれの場所に所持、把持、取付又は装着等されているかを推定する位置推定部２０１と、画像データ及びセンサデータからユーザ及びユーザ端末装置１の対応を特定するための複数の学習モデル２００ａ，２００ｂ，２００ｃ…とを備える。
【０１０３】
位置推定部２０１は、センサを搭載したユーザ端末装置１が例えば人体の腕、胸、脚等のいずれの位置に取り付けられているかを推定する処理を行う。位置推定部２０１は、時系列的なセンサデータを入力とし、推定した取付位置に関する情報を出力する。位置推定部２０１による取付位置の推定は、どのような方法で行われてもよい。
【０１０４】
例えば、位置推定部２０１は、予め深層学習等がなされた学習モデルを用いて実現され得る。位置推定の学習モデルは、センサデータを入力情報とし、取付位置を出力情報とする教師データを用いて予め学習がなされる。サーバ装置３は、位置推定の学習モデルを記憶部３２に記憶しておき、ユーザ端末装置１から取得したセンサデータを位置推定の学習モデルへ入力し、学習モデルの出力を取得することで、ユーザ端末装置１の取付位置を推定することができる。
【０１０５】
また例えば、位置推定部２０１は、ユーザ端末装置１から取得したセンサデータと、予め定められた判定基準との比較により、取付位置の推定を行ってもよい。位置推定部２０１は、センサデータの最大値、最小値又は変化の周期等と、判定基準として定められた閾値との比較により、位置推定を行うことができる。また位置推定部２０１は、時系列的なセンサデータをフーリエ変換等により周波数領域のデータに変換し、変換により得られた周波数特性に基づいて位置を推定してもよい。
【０１０６】
サーバ装置３は、ユーザ端末装置１の取付位置に応じた複数の学習モデル２００ａ，２００ｂ，２００ｃ…を備えている。本例では、取付位置に応じて腕用の学習モデル２００ａ、胸用の学習モデル２００ｂ、脚用の学習モデル２００ｃ、…をサーバ装置３が備えている。サーバ装置３は、位置推定部２０１の推定結果に基づいて、複数の学習モデル２００ａ，２００ｂ，２００ｃ…からいずれか１つを選択し、選択した１つ学習モデル２００ａ，２００ｂ，２００ｃ…に画像データ及びセンサデータを入力して、ユーザ及びユーザ端末装置１の対応を特定する。
【０１０７】
各学習モデル２００ａ，２００ｂ，２００ｃ…は、各取付位置に取り付けられたユーザ端末装置１のセンサにて検知されたセンサデータを用いて予め深層学習等がなされる。これにより、各学習モデル２００ａ，２００ｂ，２００ｃ…は、ユーザ端末装置１の取付位置に特化して、より精度のよい特定を行うことが可能となる。
【０１０８】
図１８は、実施の形態２の変形例に係るサーバ装置３が行う特定処理の手順の一例を示すフローチャートである。実施の形態２の変形例に係るサーバ装置３の位置推定部２０１は、特定処理に用いるセンサデータを取得する（ステップＳ９１）。位置推定部２０１は、取得したセンサデータを例えば位置推定の学習モデルへ入力してその出力を取得することにより、センサデータの送信元となるユーザ端末装置１の取付位置を推定する処理を行う（ステップＳ９２）。
【０１０９】
サーバ装置３の処理部３１の特定部３１ｃは、記憶部３２に記憶した複数の学習モデル２００ａ，２００ｂ，２００ｃ…の中から、位置推定部２０１の推定した取付位置に応じた１つの学習モデル２００を読み出す（ステップＳ９３）。特定部３１ｃは、ステップＳ９３にて読み出した１つの学習モデル２００を用いて、図１５及び図１６に示した特定処理を行い（ステップＳ９４）、処理を終了する。
【０１１０】
実施の形態２に係る対象物特定システムのその他の構成は、実施の形態１に係る対象物特定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【０１１１】
＜実施の形態３＞
図１９及び図２０は、実施の形態３に係る対象物特定システムが行う特定処理の概要を説明するための模式図である。実施の形態３に係る対象物特定システムでは、カメラ２の近傍にビーコン装置５が設置される。実施の形態３に係る対象物特定システムは、ビーコン装置５が送信する情報に基づいて、カメラ２の撮影範囲内に存在するユーザ端末装置１を推定する。なお本実施の形態においては、複数のビーコン装置５を区別する必要がある場合には、ビーコン装置５Ａ，５Ｂのように、異なる符号を付して説明する。
【０１１２】
ビーコン装置５は、例えばBluetooth（登録商標）の通信規格に基づいて、一定の周期で無線信号（ビーコン信号）を送信する。ただしビーコン装置５は、Bluetooth以外の通信規格に基づいて無線信号の送信を行ってもよい。なお、ビーコン装置５を別に設けるのではなく、カメラ２がビーコン信号を送信する機能を有していてもよい。
【０１１３】
ビーコン装置５が送信するビーコン信号の到達範囲は、例えば数メートル〜数十メートル程度である。実施の形態３においては、ビーコン装置５が送信するビーコン信号の到達範囲は、カメラ２の撮影範囲と同じ程度の広さか、又は、カメラ２の撮影範囲より広い範囲とされることが好ましい。ビーコン装置５が送信したビーコン信号は、このビーコン信号の到達範囲内に存在するユーザ端末装置１にて受信される。
【０１１４】
図１９に示す例では、ユーザ端末装置１Ｂ，１Ｃ，１Ｄはビーコン装置５が送信するビーコン信号を受信するが、ユーザ端末装置１Ａはビーコン信号を受信しない。また図２０に示す例では、ユーザ端末装置１Ａはビーコン装置５Ａが送信するビーコン信号を受信し、ユーザ端末装置１Ｂ，１Ｃはビーコン装置５Ｂが送信するビーコン信号を受信する。
【０１１５】
またビーコン装置５が送信するビーコン信号には、ビーコン装置５に対して一意的に割り当てられたビーコンＩＤが含まれている。ビーコン信号を受信したユーザ端末装置１は、ビーコン信号に含まれるビーコンＩＤを取得する。ユーザ端末装置１は、センサデータをサーバ装置３へ送信する際に、ビーコン信号をセンサデータに付して送信する。
【０１１６】
実施の形態３に係るサーバ装置３は、ユーザ端末装置１から送信されるセンサデータを受信し、受信したセンサデータに付されたビーコンＩＤを取得する。サーバ装置３は、例えばカメラ２に対して一意的に付されるカメラＩＤと、このカメラ２の近傍に設置されたビーコン装置５のビーコンＩＤとが対応付けられたテーブルを記憶部３２に記憶している。サーバ装置３は、カメラ２から取得した画像データとユーザ端末装置１から取得したセンサデータとに基づいて、ユーザ及びユーザ端末装置１の対応を特定する処理を行う際に、テーブルにて対応付けられたカメラＩＤ及びビーコンＩＤに関する画像データ及びセンサデータに処理対象のデータとして特定処理を行う。これによりサーバ装置３は、カメラ２の撮影範囲内に存在するユーザ端末装置１がいずれであるかをビーコンＩＤに基づいて推定することができ、特定処理の対象とするユーザ端末装置１を限定することができる。
【０１１７】
これにより実施の形態３に係る対象物特定システムでは、複数のカメラ２から取得した複数の画像データと、複数のユーザ端末装置１から取得した複数のセンサデータとに基づいてサーバ装置３が特定処理を行う場合であっても、扱うデータを限定することができるため、サーバ装置３の処理負荷を低減することができる。
【０１１８】
実施の形態３に係る対象物特定システムでは、ビーコン装置５が送信するビーコン信号をユーザ端末装置１が受信する。ただし対象物特定システムは、以下の変形例に示すように、ユーザ端末装置１が送信するビーコン信号をビーコン装置５が受信する構成であってもよい。
【０１１９】
（変形例１）
図２１は、実施の形態３の変形例１に係る対象物特定システムのデータ送受信の概要を説明するための模式図である。実施の形態３の変形例１に係る対象物特定システムでは、カメラ２が撮影した画像データは、有線又は無線のネットワークを介して、サーバ装置３へ送信される。
【０１２０】
実施の形態３の変形例１に係るユーザ端末装置１は、サーバ装置３へのセンサデータの送信を行わない。変形例１に係るユーザ端末装置１は、例えばBluetoothの通信規格に基づいて、一定の周期で無線信号（ビーコン信号）を送信する。ユーザ端末装置１が送信するビーコン信号には、ユーザＩＤ又は端末ＩＤ等の識別情報と、センサ１３の検知結果であるセンサデータとが含まれる。ユーザ端末装置１が送信するビーコン信号の到達範囲は、例えば数メートル〜数十メートル程度である。このビーコン信号は、到達範囲内に存在するビーコン装置５にて受信される。
【０１２１】
実施の形態３の変形例１に係るビーコン装置５は、ビーコン信号の送信を行うのではなく、ビーコン信号の受信を行う装置である。変形例１に係るビーコン装置５は、有線又は無線の通信によりサーバ装置３との通信を行うことができる。ビーコン装置５は、所定のカメラ２に対応付けて設置される。ビーコン装置５がビーコン信号を受信する範囲は、対応するカメラ２の撮影範囲と同じ程度の広さか、又は、カメラ２の撮影範囲より広い範囲とされることが好ましい。
【０１２２】
変形例１に係るビーコン装置５は、ユーザ端末装置１が送信するビーコン信号を受信した場合、ビーコン信号に含まれるユーザＩＤ又は端末ＩＤ等の識別情報とセンサデータとを取得する。ビーコン装置５は、取得した識別情報及びセンサデータ等に対して、自身のビーコンＩＤを付したものをサーバ装置３へ送信する。
【０１２３】
実施の形態３の変形例１に係るサーバ装置３は、カメラ２から取得した画像データと、ビーコン装置５から取得したビーコンＩＤ及びセンサデータ等とを用いて、カメラ２の画像データに撮影された人物とユーザ端末装置１との対応を特定する処理を行う。
【０１２４】
（変形例２）
カメラ２の撮影範囲内に存在するユーザ端末装置１を推定する方法は、ビーコン信号を利用する方法に限らない。実施の形態３の変形例２に係る対象物特定システムでは、ユーザ端末装置１が、ＧＰＳ受信部１７にて受信したＧＰＳ信号に基づく自身の位置情報を、センサデータと共にサーバ装置３へ送信する。
【０１２５】
例えばサーバ装置３は、カメラ２が設置されている場所の位置情報を記憶したデータベースを備えている。サーバ装置３は、カメラ２の設置場所の位置情報と、ユーザ端末装置１から取得した位置情報とを比較することによって、カメラ２の撮影範囲内に存在するユーザ端末装置１を推定することができる。
【０１２６】
（変形例３）
実施の形態３の変形例２に係る対象物特定システムでは、例えばイベントの会場又は特定の建物等への入退場を管理する入退場管理システムとの連携により、この会場又は建物等に設置された一又は複数のカメラ２の撮影範囲内に存在するユーザ端末装置１を推定する。
【０１２７】
入退場管理システムは、例えば会場又は建物等の出入口にて、この会場又は建物等へ入退場するユーザのユーザ端末装置１の端末ＩＤを取得し、入退場の履歴を記憶する。例えば出入口に設置された入退場管理システムの無線通信装置がユーザ端末装置１との間で無線通信を行い、入退場するユーザ端末装置１の端末ＩＤを取得する。ただし入退場管理システムは、入退場するユーザのユーザＩＤを取得し、データベース等を参照してユーザＩＤに紐付けられた端末ＩＤを取得してもよい。
【０１２８】
実施の形態３の変形例２に係る対象物特定システムでは、会場又は建物等の内部に存在するユーザ端末装置１の端末ＩＤをサーバ装置３が入退場管理システムから取得する。サーバ装置３は、この会場又は建物等に設置されたカメラ２の撮影範囲内に存在するユーザ端末装置１が、入退場管理システムから取得した端末ＩＤが付されたユーザ端末装置１であると推定することができる。
【０１２９】
なお実施の形態３及びその変形例１〜３に係る対象物特定システムでは、カメラ２及びユーザ端末装置１が一対一の関係となるように推定がなされる必要はない。例えばサーバ装置３は、数台のカメラ２の撮像範囲内のいずれかに存在するユーザ端末装置１を推定してもよい。
【０１３０】
実施の形態３に係る対象物特定システムのその他の構成は、実施の形態１に係る対象物特定システムと同様であるため、同様の箇所には同じ符号を付し、詳細な説明を省略する。
【０１３１】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３２】
１、１Ａ〜１Ｄ  ユーザ端末装置
２、２Ａ，２Ｂ  カメラ
３  サーバ装置
５、５Ａ，５Ｂ  ビーコン装置
１１  処理部
１１ａ  センサデータ送信部
１２  記憶部
１２ａ  プログラム
１２ｂ  端末ＩＤ
１３  センサ
１４  通信部
１５  表示部
１６  操作部
１７  ＧＰＳ受信部
３１  処理部
３１ａ  画像データ取得部
３１ｂ  センサデータ取得部
３１ｃ  特定部
３２  記憶部
３２ａ  サーバプログラム
３２ｂ  特定情報ＤＢ
３３  通信部
９９  記録媒体
２００  学習モデル
２０１  位置推定部
【要約】
【課題】対象物をカメラで撮影した画像データと、対象物が有するセンサとの対応関係を特定することができるコンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システムを提供する。
【解決手段】本実施の形態に係る対象物特定システムは、カメラと、対象物に備えられるセンサと、前記カメラで撮影した画像データを取得する画像データ取得部、前記センサからセンサデータを取得するセンサデータ取得部、並びに、前記画像データ取得部が取得した前記画像データ及び前記センサデータ取得部が取得した前記センサデータに基づいて、前記対象物を撮影した画像データ及び前記センサの対応を特定する特定部を有する対象物特定装置とを備える。
【選択図】図１【図１】
0006757009.tif 000002
【図２】
0006757009.tif 000003
【図３】
0006757009.tif 000004
【図４】
0006757009.tif 000005
【図５】
0006757009.tif 000006
【図６】
0006757009.tif 000007
【図７】
0006757009.tif 000008
【図８】
0006757009.tif 000009
【図９】
0006757009.tif 000010
【図１０】
0006757009.tif 000011
【図１１】
0006757009.tif 000012
【図１２】
0006757009.tif 000013
【図１３】
0006757009.tif 000014
【図１４】
0006757009.tif 000015
【図１５】
0006757009.tif 000016
【図１６】
0006757009.tif 000017
【図１７】
0006757009.tif 000018
【図１８】
0006757009.tif 000019
【図１９】
0006757009.tif 000020
【図２０】
0006757009.tif 000021
【図２１】
0006757009.tif 000022