(57)【要約】【課題】センサで取得された映像に含まれる人物の数が２以上の場合においても、操作対象物を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができるようにする。【解決手段】操作対象物１と、操作対象物１を操作可能な領域の映像を取得するセンサ２と、操作対象物１を操作した人物の映像と人物の識別子とを紐付ける人物識別装置３とを備え、人物識別装置３が、操作対象物１が操作されたこと、及び／又は、操作対象物１の被操作位置を検出する対象物操作検出手段４と、操作対象物１が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から操作対象物１を操作している１の人物を特定する人物特定手段５と、を備える。【選択図】図１
2011003138.tif 000002
【特許請求の範囲】
【請求項１】
操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサと、前記操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別装置とを備え、
前記人物識別装置が、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手段と、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備えることを特徴とする人物識別システム。
【請求項２】
前記人物識別装置が、
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手段と、
前記センサの映像取得領域から、前記操作対象物の被操作位置を基準とした一部の領域を抽出する第二の領域抽出手段と、を備え、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定する請求項１記載の人物識別システム。
【請求項３】
前記人物識別装置が、
前記第二の領域に含まれる人物毎に、前記操作対象物の被操作位置を頂点として各人物が含まれる扇領域を抽出し、前記扇領域から人物を除いた三角領域の面積の小ささ、及び／又は、前記扇領域における操作直前の動きベクトルの大きさ、を操作確度として算出する操作確度算出手段を備え、
前記人物特定手段が、
前記第二の領域に含まれる人物の数が２以上の場合に、各人物の前記操作確度にもとづいて、前記操作対象物を操作している１の人物を特定する請求項２記載の人物識別システム。
【請求項４】
前記センサが、
前記操作対象物を操作可能な領域を上方から撮影し、
前記操作対象物が、
タッチパネル付きのディスプレイであり、前記設置位置がタッチパネル領域に対応する線として指定され、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定し、前記第二の領域に含まれる人物の数が２以上の場合に、各人物の前記操作確度にもとづいて、前記操作対象物を操作している１の人物を特定する請求項３記載の人物識別システム。
【請求項５】
前記センサが、
前記操作対象物を操作可能な領域を上方から撮影し、
前記操作対象物が、
ＩＤカード読取装置であり、前記設置位置がＩＤカード読取位置に対応する点として指定され、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、各人物の前記操作確度にもとづいて、前記操作対象物を操作している１の人物を特定する請求項３記載の人物識別システム。
【請求項６】
操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサと、前記操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別装置とを用い、
前記人物識別装置に、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手順と、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手順と、を実行させることを特徴とする人物識別方法。
【請求項７】
前記人物識別装置に、
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手順と、
前記センサの映像取得領域から、前記操作対象物の被操作位置を基準とした一部の領域を抽出する第二の領域抽出手順と、を実行させ、
前記人物特定手段に、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定させる請求項６記載の人物識別方法。
【請求項８】
操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサとに接続され、前記操作対象物を操作した人物の映像と人物の識別子とを紐付けるにあたり、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手段と、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備えることを特徴とする人物識別装置。
【請求項９】
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手段と、
前記センサの映像取得領域から、前記操作対象物の被操作位置を基準とした一部の領域を抽出する第二の領域抽出手段と、を備え、
前記人物特定手段が、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出し、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定する請求項８記載の人物識別装置。
【請求項１０】
操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサとに接続され、前記操作対象物を操作した人物の映像と人物の識別子とを紐付けるコンピュータを動作させるにあたり、
前記コンピュータを、
前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手段、
前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段、として機能させることを特徴とする人物識別プログラム。
【請求項１１】
前記コンピュータを、
前記センサの映像取得領域から、前記操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出手段、
前記センサの映像取得領域から、前記操作対象物の被操作位置を基準とした一部の領域を抽出する第二の領域抽出手段、として機能させ、
前記人物特定手段に、
前記操作対象物が操作されたとき、前記第一の領域に含まれる人物の数を検出させ、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定させ、前記人物の数が２以上の場合に、前記第二の領域に含まれる人物の数を検出させ、その数が１の場合に、その人物が前記操作対象物を操作している１の人物であると特定させる請求項１０記載の人物識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムに関する。
【背景技術】
【０００２】
一般に、操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別システムが知られている（例えば、特許文献１、２参照）。
例えば、特許文献１に示される人物識別システム（人物追跡装置）は、図１３に示すように、ＩＤ読取装置１０１と、人物を撮影するセンサ１０２と、人物の特徴情報を抽出する特徴情報抽出手段１０３と、人物の識別情報を取得する識別情報取得手段１０４と、識別情報と特徴情報を関連付ける特徴学習手段１０５とから構成されている。
【０００３】
このような構成を有する人物識別システムは、以下のように動作する。
まず、システムの利用者がＩＤ読取装置１０１にＩＤカードを近づけると、ＩＤ読取装置１０１によってＩＤが読み取られ、これが識別情報取得手段１０４によって取得される。
同時に、センサ１０２によって所定の範囲の映像が取得され、特徴情報抽出手段１０３によって特徴量が抽出される。
このとき、センサ１０２により取得された映像には１人の人物が撮影されていることを前提として、ＩＤ読取装置１０１を操作した人物を特定している。
【０００４】
次いで、特徴学習手段１０５によってＩＤと撮影された人物の特徴量の結びつけを行い、センサ１０２で取得された人物の映像とＩＤの紐付けを行う。
この紐付けを行うことにより、ある領域内を移動する人物の映像が誰であるかを特定することができ、その領域へ入退している人物を特定することが可能になる。
【０００５】
また、このような人物識別技術は、例えば、特許文献３に示されるように、人物同士がある領域で出会い、会話のきっかけを提供するシステムに適用することが考えられる。
具体的には、ディスプレイの前に来た人物は、ＩＤ読取装置にＩＤカードをタッチして、ディスプレイに自分の属性情報を表示させる。このとき、上述のような人物特定技術によってタッチした人物を特定し、その人物がその領域を出た際にはディスプレイに表示したその人物の属性情報を消去することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９９７４２号公報
【特許文献２】特開２００９−００９３９７号公報
【特許文献３】特開２００１−１９５４３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の人物識別システムでは、センサによって取得される映像に含まれる人物の数が１であることを前提としており、図１４に示すようにセンサで取得された映像に含まれる人物の数が２以上の場合には、操作対象物（特許文献１ではＩＤ読取装置）をどの人物が操作したかがわからず、結果的にそれぞれの人物を特定することができないという問題があった。
【０００８】
本発明の目的は、上述した課題である、センサで取得された映像に含まれる人物の数が２以上の場合においても、操作対象物を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができるという課題を解決する人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムの提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため本発明の人物識別システムは、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサと、前記操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別装置とを備え、前記人物識別装置が、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手段と、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備える構成としてある。
【００１０】
また、本発明の人物識別方法は、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサと、前記操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別装置とを用い、前記人物識別装置に、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手順と、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手順と、を実行させる方法としてある。
【００１１】
また、本発明の人物識別装置は、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサとに接続され、前記操作対象物を操作した人物の映像と人物の識別子とを紐付けるにあたり、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手段と、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段と、を備える構成としてある。
【００１２】
また、本発明の人物識別プログラムは、操作対象物と、前記操作対象物を操作可能な領域の映像を取得するセンサとに接続され、前記操作対象物を操作した人物の映像と人物の識別子とを紐付けるコンピュータを動作させるにあたり、前記コンピュータを、前記操作対象物が操作されたこと、及び／又は、前記操作対象物の被操作位置を検出する対象物操作検出手段、前記操作対象物が操作されたとき、前記映像に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が前記操作対象物を操作している人物であると特定し、前記人物の数が２以上の場合に、２以上の人物から前記操作対象物を操作している１の人物を特定する人物特定手段、として機能させる構成としてある。
【発明の効果】
【００１３】
本発明によれば、センサで取得された映像に含まれる人物の数が２以上の場合においても、操作対象物を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第一実施形態に係る人物識別システムの概略構成を示すブロック図である。
【図２】本発明の第一実施形態に係る人物識別システムの具体的な構成を示すブロック図である。
【図３】本発明の第一実施形態に係る人物識別システムの動作手順を示すフローチャートである。
【図４】本発明の第一実施形態に係る人物識別システムの変形例を示すブロック図である。
【図５】本発明の第一実施形態に係る人物識別システムの変形例の動作手順を示すフローチャートである。
【図６】本発明の第一実施形態に係る人物識別システムの利用状況を示す説明図である。
【図７】本発明の第一実施形態に係る人物識別システムの別の利用状況を示す説明図である。
【図８】本発明の第二実施形態に係る人物識別システムの具体的な構成を示すブロック図である。
【図９】本発明の第二実施形態に係る人物識別システムの動作手順を示すフローチャートである。
【図１０】本発明の第二実施形態に係る人物識別システムの利用状況を示す説明図である。
【図１１】本発明の第二実施形態に係る人物識別システムの操作確度算出方法を示す説明図である。
【図１２】本発明の第二実施形態に係る人物識別システムの変形例を示すブロック図である。
【図１３】参考例に係る人物識別システムの構成を示すブロック図である。
【図１４】参考例に係る人物識別システムにおいて課題が発生する状況を示す説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明に係る人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムの実施形態について、図面を参照して説明する。
なお、以下に示す本発明の人物識別システム及び人物識別装置で実行される処理動作（人物識別方法）は、プログラム（ソフトウェア）の命令によりコンピュータで実行される処理，手段，機能によって実現される。
プログラムは、コンピュータの各構成要素に指令を送り、以下に示すような本発明の所定の処理、例えば、操作対象物が操作されたことや操作対象物の被操作位置を検出する対象物操作検出処理、操作対象物が操作されたときに、映像に含まれる人物の数を検出して人物を特定する人物特定処理、センサの映像取得領域から、操作対象物の設置位置を基準とした一部の領域を抽出する第一の領域抽出処理、センサの映像取得領域から、操作対象物の被操作位置を基準とした一部の領域を抽出する第二の領域抽出処理等の各処理・手順を行わせる。
【００１６】
このように、本発明における各処理や手段は、プログラムとコンピュータとが協働した具体的手段によって実現される。
なお、プログラムの全部又は一部は、例えば、磁気ディスク，光ディスク，半導体メモリ，その他任意のコンピュータで読取り可能な記録媒体により提供され、記録媒体から読み出されたプログラムがコンピュータにインストールされて実行される。また、プログラムは、記録媒体を介さず、通信回線を通じて直接にコンピュータにロードし実行することもできる。
【００１７】
［第一実施形態］
図１は、本発明の第一実施形態に係る人物識別システムの概略構成を示すブロック図である。
この図に示すように、本発明の第一実施形態に係る人物識別システムは、操作対象物１と、操作対象物１を操作可能な領域の映像を取得するセンサ２と、操作対象物１を操作した人物の映像と人物の識別子とを紐付ける人物識別装置３とを備えている。
【００１８】
人物識別装置３は、操作対象物１が操作されたこと、及び／又は、操作対象物１の被操作位置を検出する対象物操作検出手段４と、操作対象物１が操作されたとき、映像に含まれる人物の数を検出し、人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、人物の数が２以上の場合に、２以上の人物から操作対象物１を操作している１の人物を特定する人物特定手段５とを備えている。
このような構成により、センサ２で取得された映像に含まれる人物の数が２以上の場合においても、操作対象物１を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができる。
【００１９】
つぎに、本発明の第一実施形態に係る人物識別システムの具体的な構成について、図２を参照して説明する。
図２は、本発明の第一実施形態に係る人物識別システムの具体的な構成を示すブロック図である。
この図に示すように、本発明の第一実施形態に係る人物識別システムの人物識別装置３は、上述した対象物操作検出手段４及び人物特定手段５（図１参照）を備えるとともに、人物検出手段６と、人物追跡手段７と、対象物指定手段８と、第一の領域抽出手段９と、第二の領域抽出手段１０と、個人識別情報取得手段１１と、個人識別情報格納手段１２、個人特定手段１３の各手段を備えている。
【００２０】
人物検出手段６は、センサ２が取得した映像から人物を検出する手段である。
人物追跡手段７は、人物検出手段６が検出した人物を追跡する手段である。
対象物指定手段８は、センサ２の映像取得領域において操作対象物１の設置位置を指定する手段である。
第一の領域抽出手段９は、センサ２の映像取得領域から、操作対象物１の設置位置を基準とした第一の操作可能領域（第一の領域）を抽出する手段である。
第二の領域抽出手段１０は、センサ２の映像取得領域から、操作対象物１の被操作位置を基準とした第二の操作可能領域（第二の領域）を抽出する手段である。
【００２１】
個人識別情報取得手段１１は、特定した人物の個人識別情報を取得する手段である。
個人識別情報格納手段１２は、個人識別の参照データとなる個人識別情報を予め格納する手段である。
個人特定手段１３は、個人識別情報取得手段１１が取得した個人識別情報と、個人識別情報格納手段１２に格納された個人識別情報との類似度にもとづいて、特定した人物が誰であるかを特定する手段である。
【００２２】
以下、上記のような各手段を備えて構成される本実施形態に係る人物識別システムの具体的な処理・動作について、図３を参照して説明する。
図３は、本発明の第一実施形態に係る人物識別システムの動作手順を示すフローチャートである。
この図に示すように、本実施形態に係る人物識別システムの導入時においては、まず、センサ２の取得映像と対象物指定手段８により、センサ映像取得領域内における操作対象物１の設置位置が指定される（図３のステップＳＴ１）。
また、操作対象物１の設置位置が指定されると、第一の領域抽出手段９により、センサ２の映像取得領域から、操作対象物１の設置位置を基準とした第一の操作可能領域が抽出される（図３のステップＳＴ２）。
さらに、所定の個人識別情報が、個人識別情報格納手段１２に格納される（図３のステップＳＴ３）。
【００２３】
以上の導入時の設定・動作が完了すると、人物識別システムは定常動作状態になる。
この状態でセンサ２の映像取得領域に人が入った場合は、センサ映像取得領域内の人物が人物検出手段６によって検出される（図３のステップＳＴ４）。そして、センサ映像取得領域内の人物の移動が人物追跡手段７によって追跡される（図３のステップＳＴ５）。
つぎに、操作対象物１が操作されたか否か、また、操作された場合にはその操作対象物１の被操作位置が、対象物操作検出手段４によって検出される（図３のステップＳＴ６）。
操作対象物１の操作が検出された場合は、人物特定手段５により第一の操作可能領域内に存在する人物の数が判定される（図３のステップＳＴ７）。
【００２４】
第一の操作可能領域内に存在する人物が１人と判定された場合には、センサ映像から個人識別情報取得手段１１によって個人識別情報が取得され（図３のステップＳＴ８）、個人特定手段１３によって個人識別情報格納手段１２に格納された個人識別情報との類似度が算出される（図３のステップＳＴ９）。
これによって、操作対象物１を操作した人物が誰かが特定され、特定された人物の映像とその人物の識別子とが紐付けられる（図３のステップＳＴ１０）。
【００２５】
また、第一の操作可能領域内に２人以上の人が存在すると判定された場合は、後述する対象物指定方法が「線」であることが確認された後（図３のステップＳＴ１１）、第二の領域抽出手段１０によって、操作対象物１の被操作位置を基準とした第二の操作可能領域が抽出される（図３のステップＳＴ１２）。
次いで、人物特定手段５により、第二の操作可能領域内に存在する人物の数が判定される（図３のステップＳＴ１３）。
【００２６】
第二の操作可能領域内に存在する人物が１人と判定された場合は、センサ映像から個人識別情報取得手段１１により個人識別情報が取得されるとともに（図３のステップＳＴ８）、個人特定手段１３によって個人識別情報格納手段１２に格納された個人識別情報との類似度が算出され（図３のステップＳＴ９）、操作対象物１を操作した人物が誰かが特定させる。
そして、特定された操作対象物１を操作した人物の映像と個人識別子とが紐付ける（図３のステップＳＴ１０）。
また、第二の操作可能領域内に２人以上の人が存在すると判定された場合には、エラー情報を出力する（図３のステップＳＴ１４）。
【００２７】
なお、上述したセンサ２は、単一のセンサに限定されるものではなく、センサ映像取得領域を広く取る場合には、複数のセンサにより構成してもよい。
また、操作対象物１が個人情報取得する機能を備える場合は、センサ映像から個人識別情報を取得するのではなく、図４に示すように、操作対象物１の操作を通して、個人識別情報取得手段１４及び個人識別情報格納手段１５から個人識別情報を取得し（図５のステップＳＴ１５）、個人特定手段１６によって操作対象物１を操作した個人を特定し、操作した人物の映像と人物の識別子とを紐付けることができる（図５のステップＳＴ１６）。
なお、図５において、第一、第二の操作可能領域内の人物の数を判定して人物を特定する動作については上述した通りである。
【００２８】
つぎに、本発明の第一実施形態に係る人物識別システムの具体的な利用形態について、図６及び図７を参照してする。
図６は、本実施形態に係る人物識別システムの利用状況を示す説明図である。
この図に示す利用形態では、操作対象物１としてタッチパネル付きのディスプレイ、センサ２としてカメラを考える。操作対象物１がカメラ画像に含まれるように、天井、壁、または操作対象物１から伸びるステーにカメラを取り付ける。カメラからの画像は図６に示すように、操作対象物１であるタッチパネル付きディスプレイを含む一点鎖線で囲まれた領域である。
【００２９】
本システム導入時に、図６に示すようなカメラからの画像を表示したコンピュータ上で、マウス等の一般的に使用されているユーザインタフェースを用いて、操作対象物１の設置位置を指定する。
ここでは、タッチパネル付きディスプレイは、人が手を伸ばして操作する最大距離（約１ｍ）に比べて無視できないサイズの操作対象物１であるため、操作対象物１の設置位置をタッチパネル領域に対応する線として指定する（図３のステップＳＴ１）。
【００３０】
指定された線から操作可能距離の範囲（図６で破線部分）を第一の操作可能領域として抽出する（図３のステップＳＴ２）。
更に、本システムを利用する人の個人識別情報を予め取得し、個人識別情報格納手段１２により保持する（図３のステップＳＴ３）。
この状態で、本システムは定常動作状態となり、画像取得領域内の人物を検出する（図３のステップＳＴ４）。
人物の検出方法は、例えば、背景差分法を用いて、リファレンスとなる人物がいない場合の背景画像と、人物が存在する場合の画像の差分を取り、差分として人物が存在する場合に追加された各ピクセルを階層化クラスタリングアルゴリズムなどの手法を用いて、近いピクセル同士を結合してグループ化する。各グループの面積がある範囲内のものを人物と判定する方法がある。
【００３１】
例えば、人物Ａと人物Ｂを検出し、検出した人物を追跡したら（図３のステップＳＴ５）、人物Ａと人物Ｂの位置関係が図６に示すようになり、そのとき、人物Ｂがタッチパネル付きディスプレイを操作したとする（図３のステップＳＴ６）。
このとき、第一の操作可能領域内には人物Ｂしか存在しないことが人物Ｂの位置座標と第一の操作可能領域の関係から分かる（図３のステップＳＴ７）。そして、上部カメラからの画像により取得可能な髪型や服の色などの個人識別情報を取得し（図３のステップＳＴ８）、予め登録していた個人識別情報との類似度によりタッチパネル付きディスプレイを操作した人物Ｂを特定し、人物Ｂの映像と人物Ｂの識別子を紐付ける（図３のステップＳＴ９、ＳＴ１０）。
【００３２】
また、第一の操作可能領域内に人物Ｂと人物Ｃが存在する場合は、人物Ｂ、人物Ｃの位置座標と第一の操作可能領域の関係から、第一の操作可能領域内に２人の人物が存在することが分かる。
このとき、タッチパネル付きディスプレイにタッチした水平方向の位置座標をタッチパネルの出力から取得する。そして、操作対象物１として指定した線の長さとタッチパネルの水平方向の解像度の比から、指定した線上におけるタッチした被操作位置を算出し、その被操作位置を中心とした第二の操作可能領域を抽出する（図３のステップＳＴ１２）。
【００３３】
第二の操作可能領域内には人物Ｂしか存在しないことが人物Ｂの位置座標と第二の操作可能領域の関係から分かる（図３のステップＳＴ１３）。そして、上部カメラからの画像により取得可能な髪型や服の色などの個人識別情報を取得し（図３のステップＳＴ８）、予め登録していた個人識別情報との類似度によりタッチパネル付きディスプレイを操作した人物Ｂを特定し、人物Ｂの映像と人物Ｂの識別子を紐付ける（図３のステップＳＴ９、ＳＴ１０）。
なお、第二の操作可能領域内に複数の人物が存在する場合には、エラー情報をタッチパネル付きディスプレイ上に表示する（図３のステップＳＴ１４）。
【００３４】
図７は、本発明の第一実施形態に係る人物識別システムの別の利用状況を示す説明図である。
この図に示す利用形態では、操作対象物１としてＩＤカードリーダ、センサ２としてカメラを考える。前述の利用形態と同様に、操作対象物１がカメラ画像に含まれるように天井、壁、または操作対象物から伸びるステーにカメラを取り付ける。カメラからの画像は、図７に示すように操作対象物１であるＩＤカードリーダを含む一点鎖線で囲まれた領域である。
【００３５】
本システム導入時に、図７に示すようなカメラからの画像を表示したコンピュータ上で、マウス等の一般的に使用されているユーザインタフェースを用いて、操作対象物１の位置を指定する。ここで、ＩＤカードリーダは、人が手を伸ばして操作する最大距離（約１m）に比べて無視できるサイズの操作対象物１であるため、操作対象物１の設置位置は点で指定する（図５のステップＳＴ１）。
指定された点から操作可能距離の範囲（図７で破線部分）を第一の操作可能領域として抽出する（図５のステップＳＴ２）。
【００３６】
つぎに、前述の利用形態と同様に、第一の操作可能領域に存在するのは人物Ｂであることを検出し（図５のステップＳＴ７）、ＩＤカードリーダの読取結果から人物Ｂを特定し、人物Ｂの映像と人物Ｂの識別子を紐付ける（図５のステップＳＴ１５、１６）。
なお、操作対象物１の指定方法を判定し（図５のステップＳＴ１１）、操作対象物が点で指定されている場合には、第一の操作可能領域と第二の操作可能領域が同一となるので、第一の操作可能領域内に複数人が存在する場合には、第二の操作可能領域の抽出や判定処理をスキップし、ＩＤカードリーダから警告音を出力する（図６のステップＳＴ１４）。
【００３７】
以上のように構成された本実施形態によれば、操作対象物１と、操作対象物１を操作可能な領域の映像を取得するセンサ２と、操作対象物１を操作した人物の映像と人物の識別子とを紐付ける人物識別装置３とを備え、人物識別装置３が、操作対象物１が操作されたこと、及び／又は、操作対象物１の被操作位置を検出する対象物操作検出手段４と、操作対象物１が操作されたとき、映像に含まれる人物の数を検出し、人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、人物の数が２以上の場合に、２以上の人物から操作対象物１を操作している１の人物を特定する人物特定手段５とを備えるので、センサ２で取得された映像に含まれる人物の数が２以上の場合においても、操作対象物１を操作している１の人物を特定し、特定した人物の映像と人物の識別子とを紐付けることができる。
【００３８】
また、人物識別装置３は、センサ２の映像取得領域から、操作対象物１の設置位置を基準とした第一の操作可能領域を抽出する第一の領域抽出手段９と、センサ２の映像取得領域から、操作対象物１の被操作位置を基準とした第二の操作可能領域を抽出する第二の領域抽出手段１０とを備え、人物特定手段５が、操作対象物１が操作されたとき、第一の操作可能領域に含まれる人物の数を検出し、人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、人物の数が２以上の場合に、第二の操作可能領域に含まれる人物の数を検出し、その数が１の場合に、その人物が操作対象物１を操作している１の人物であると特定することができる。
これにより、操作対象物１の設置位置を基準とした第一の操作可能領域に複数の人物が存在する状況でも、操作対象物１の被操作位置を基準として、操作対象物１を操作している１の人物を正確に特定することができるようになる。
【００３９】
［第二実施形態］
つぎに、本発明の第二実施形態に係る人物識別システムについて、図８〜図１２を参照して説明する。
図８は、本発明の第二実施形態に係る人物識別システムの具体的な構成を示すブロック図である。
この図に示すように、本発明の第二実施形態に係る人物識別システムは、上述した第一実施形態における人物検出システムの構成に加えて、操作確度算出手段１７を備える点が第一実施形態と相違している。
【００４０】
操作確度算出手段１７は、第二の操作可能領域に含まれる人物毎に、操作対象物１の被操作位置を頂点として各人物が含まれる扇領域を抽出し、この扇領域から人物を除いた三角領域の面積の小ささ、及び／又は、扇領域における操作直前の動きベクトルの大きさ、を操作確度として算出する。
これにより、人物特定手段５は、第二の操作可能領域に含まれる人物の数が２以上の場合であっても、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することが可能になる。
【００４１】
つぎに、本発明の第二実施形態に係る人物識別システムにおける具体的な処理・動作について、図８及び図９を参照して説明する。
図９は、本発明の第二実施形態に係る人物識別システムの動作手順を示すフローチャートである。
なお、操作対象物１の設置位置の指定（図９のステップＳＴ１）から、第一の操作可能領域内の人物の数を検出（図９のステップＳＴ７）までの動作、さらに、第一、第二の操作可能領域内の人物が１人の場合の動作は、第一実施形態と同様の動作であるため、説明は省略する。
【００４２】
操作確度算出手段１７は、第二の操作可能領域内（設置位置の指定が点の場合は第一の操作可能領域内）の人物が２人以上の場合、センサ２の取得映像を分析することによって、第二の操作可能領域内の人物毎に、操作対象物１を操作した可能性の大きさを示す操作確度を算出する（図９のステップＳＴ１７）。
つぎに、個々の人物の操作確度を比較し、操作確度の高い人物を、操作対象物１を操作した１の人物として特定する（図９のステップＳＴ１８）。
なお、操作対象物１を操作した人物を特定した後の個人を特定する動作については、第一実施形態と同様である。
【００４３】
つぎに、本発明の第二実施形態に係る人物識別システムの具体的な利用形態について、図１０及び図１１を参照して説明する。
図１０は、本発明の第二実施形態に係る人物識別システムの利用状況を示す説明図、図１１は、本発明の第二実施形態に係る人物識別システムの操作確度算出方法を示す説明図である。
【００４４】
図１０に示す利用形態では、操作対象物１としてタッチパネル付きディスプレイ、センサ２としてカメラを考える。操作対象物１がカメラ画像に含まれるように天井、壁、または操作対象物１から伸びるステーにカメラを取り付ける。カメラからの画像は図１０に示すように操作対象物１であるタッチパネル付きディスプレイを含む一点鎖線で囲まれた領域である。
なお、操作対象物１の指定（図９のステップＳＴ１）、第一の操作可能領域の抽出（図９のステップＳＴ２）、人物検出（図９のステップＳＴ４）、人物の追跡（図９のステップＳＴ５）、第二の操作可能領域の抽出（図９のステップＳＴ１２）については、第一実施形態の利用形態と同様である。
【００４５】
人物Ｂと人物Ｄの位置関係が図１０に示すようになり、そのとき、人物Ｂがタッチパネル付きディスプレイを操作したとする（図９のステップＳＴ６）。
このとき、第二の操作可能領域内には人物Ｂ、人物Ｄが存在することが、人物Ｂ、人物Ｄの位置座標と第二の操作可能領域の関係から分かる（図９のステップＳＴ１３）。
【００４６】
この場合、人物Ｂ、人物Ｄについて、それぞれの操作確度を算出する（図９のステップＳＴ１７）。操作確度は、例えば、背景差分法により人物が存在しない状況でのカメラ画像と、人物が存在する場合のカメラ画像との差分から、差分ピクセルを算出する。
つぎに、図１１に示すようなタッチパネル付きディスプレイにタッチした位置を頂点とする人物Ｂを含む扇領域から人物Ｂの部分を除いた三角領域と、人物Ｄを含む扇領域から人物Ｄの部分を除いた三角領域とのそれぞれに含まれる差分ピクセルの数（＝面積）を算出する。そして、それぞれの三角領域に含まれる差分ピクセルの数（＝面積の小ささ）を操作確度とする。
【００４７】
なお、操作確度の算出については、オプティカルフロー推定により、タッチパネル付きディスプレイへのタッチを検出したときに、タッチ直前のタッチ位置を中心とする動きベクトルを検出するとともに、タッチした位置を頂点として各人物を含む扇領域内の動きベクトルの大きさを操作確度として算出しても良い。
【００４８】
そして、人物Ｂ、人物Ｄのそれぞれの操作確度を比較し、操作確度が高い方がタッチパネル付きディスプレイを操作していると判定する（図９のステップＳＴ１８）。
なお、個人識別情報の取得（図９のステップＳＴ８）、識別情報の類似度算出（図９のステップＳＴ９）、個人の特定（図９のステップＳＴ１０）については、第一実施形態の利用形態と同様である。
また、操作対象物１が個人情報取得する機能を備える場合は、センサ映像から個人識別情報を取得するのではなく、図１２に示すように、操作対象物１の操作を通して、個人識別情報取得手段１４及び個人識別情報格納手段１５から個人識別情報を取得し、個人特定手段１６によって操作対象物１を操作した個人を特定し、操作した人物の映像と人物の識別子とを紐付けることができる。
【００４９】
以上のように構成された第二実施形態によれば、人物識別装置３が、第二の操作可能領域に含まれる人物毎に、操作対象物１の被操作位置を頂点として各人物が含まれる扇領域を抽出し、扇領域から人物を除いた三角領域の面積の小ささ、及び／又は、扇領域における操作直前の動きベクトルの大きさ、を操作確度として算出する操作確度算出手段１７を備え、人物特定手段５が、第二の操作可能領域に含まれる人物の数が２以上の場合に、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することができる。
これにより、第二の操作可能領域に含まれる人物の数が２以上の場合であっても、操作対象物１を操作している１の人物を特定することが可能になる。
【００５０】
例えば、センサ２が、操作対象物１を操作可能な領域を上方から撮影し、操作対象物１が、タッチパネル付きのディスプレイであり、設置位置がタッチパネル領域に対応する線として指定される場合に、人物特定手段５は、操作対象物１が操作されたとき、第一の操作可能領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、前記人物の数が２以上の場合に、第二の操作可能領域に含まれる人物の数を検出し、その数が１の場合に、その人物が操作対象物１を操作している１の人物であると特定し、第二の操作可能領域に含まれる人物の数が２以上の場合に、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することが可能になる。
【００５１】
また、センサ２が、操作対象物１を操作可能な領域を上方から撮影し、操作対象物１が、ＩＤカード読取装置であり、設置位置がＩＤカード読取位置に対応する点として指定される場合に、人物特定手段５は、操作対象物１が操作されたとき、第一の操作可能領域に含まれる人物の数を検出し、前記人物の数が１の場合に、その人物が操作対象物１を操作している人物であると特定し、前記人物の数が２以上の場合に、各人物の操作確度にもとづいて、操作対象物１を操作している１の人物を特定することが可能になる。
そして、操作対象物１の設置位置が点で指定される場合は、第一及び第二の操作可能領域が同じになるので、上記のように第二の操作可能領域の抽出や、第二の操作可能領域内の人数判定をスキップすることにより、処理負担の軽減や処理速度の向上を図ることができる。
【００５２】
以上、本発明の人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムについて、実施形態を示して説明したが、本発明は、上述した実施形態にのみ限定されるものではなく、特許請求の範囲内で種々の変更が可能であることは言うまでもない。
【産業上の利用可能性】
【００５３】
本発明は、操作対象物を操作した人物の映像と人物の識別子とを紐付ける人物識別システム、人物識別方法、人物識別装置及び人物識別プログラムとして利用することができる。また、これらを含む人物検出システム、人物追跡システムなどでも利用することができる。
【符号の説明】
【００５４】
１  操作対象物
２  センサ
３  人物識別装置
４  対象物操作検出手段
５  人物特定手段
６  人物検出手段
７  人物追跡手段
８  対象物指定手段
９  第一の領域抽出手段
１０  第二の領域抽出手段
１１  個人識別情報取得手段
１２  個人識別情報格納手段
１３  個人特定手段
１４  個人識別情報取得手段
１５  個人識別情報格納手段
１６  個人特定手段
１７  操作確度算出手段
【図１】
2011003138.tif 000003
【図２】
2011003138.tif 000004
【図３】
2011003138.tif 000005
【図４】
2011003138.tif 000006
【図５】
2011003138.tif 000007
【図６】
2011003138.tif 000008
【図７】
2011003138.tif 000009
【図８】
2011003138.tif 000010
【図９】
2011003138.tif 000011
【図１０】
2011003138.tif 000012
【図１１】
2011003138.tif 000013
【図１２】
2011003138.tif 000014
【図１３】
2011003138.tif 000015
【図１４】
2011003138.tif 000016