(57)【要約】【課題】距離画像センサから得られる対象者の距離画像に基づいて、対象者が特定の個人である可能性を精度良く判定すること。【解決手段】対象者認識方法は、コンピュータにより実行される方法であり、対象者の距離情報を画素値とする第１距離画像から得られる該対象者の身体部位の位置データに基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出し、前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定することを含む。【選択図】図３
2018089161.tif 000002
【特許請求の範囲】
【請求項１】
対象者の距離情報を画素値とする第１距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出し、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定することを含む、コンピュータにより実行される対象者認識方法。
【請求項２】
前記体格情報は、前記第１距離画像とは異なる第２距離画像であって、前記特定の個人の距離情報を画素値とする第２距離画像に基づいて生成される、請求項１に記載の対象者認識方法。
【請求項３】
前記第１距離及び前記第２距離は、それぞれ、前記第１距離画像上における第１の身体部位の座標と、前記第１距離画像上における別の第２の身体部位の座標とに基づいて算出され、
前記第１距離を算出する場合、前記第１の身体部位は、頭部であり、前記第２の身体部位は、足首又は足首よりも先の部位である、請求項１又は２に記載の対象者認識方法。
【請求項４】
前記第２距離は、座高に対応し、
前記第２距離を算出する場合、前記第１の身体部位は、頭部であり、前記第２の身体部位は、股部である、請求項３に記載の対象者認識方法。
【請求項５】
前記第２距離は、肩幅に対応し、
前記第２距離を算出する場合、前記第１の身体部位は、左の肩部であり、前記第２の身体部位は、右の肩部である、請求項３に記載の対象者認識方法。
【請求項６】
対象者の距離情報を画素値とする距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出する算出部と、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定する判定部とを含む、対象者認識装置。
【請求項７】
対象者の距離情報を画素値とする距離画像を生成する距離画像センサと、
対象者認識装置とを含み、
前記対象者認識装置は、
前記距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出する算出部と、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定する判定部とを含む、対象者認識システム。
【請求項８】
対象者の距離情報を画素値とする距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出し、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定する、
処理をコンピュータに実行させる対象者認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、対象者認識方法、対象者認識装置、対象者認識システム、及び対象者認識プログラムに関する。
【背景技術】
【０００２】
対象者以外を誤認識することを抑止するために、距離画像における所定の特徴と、個人の実際の身長や、胸囲、腹囲等を表す個人情報とに基づいて、所定の動作を実施する対象者の動作情報を特定する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2015-61577号公報
【特許文献２】特開2003-162720号公報
【特許文献３】特開2010-233737号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術では、距離画像センサから得られる対象者の距離画像に基づいて、対象者が特定の個人である可能性を精度良く判定することが難しい。対象者が同じであっても、距離画像センサと対象者との間の距離に応じて、距離画像に基づいて算出できる対象者の身長等の長さ情報は変動する。従って、上記のような個人情報を用いるだけでは、距離画像の対象者が特定の個人である可能性を精度良く判定することが難しい。
【０００５】
そこで、１つの側面では、本発明は、距離画像センサから得られる対象者の距離画像に基づいて、対象者が特定の個人である可能性を精度良く判定することを目的とする。
【課題を解決するための手段】
【０００６】
１つの側面では、対象者の距離情報を画素値とする第１距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出し、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定することを含む、コンピュータにより実行される対象者認識方法が提供される。
【発明の効果】
【０００７】
１つの側面では、本発明によれば、距離画像センサから得られる対象者の距離画像に基づいて、対象者が特定の個人である可能性を精度良く判定することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施例１による対象者認識システムの概略構成を模式的に示す図である。
【図２】対象者認識装置のハードウェア構成の一例を示す図である。
【図３】対象者認識装置の機能の一例を示すブロック図である。
【図４】身体の各部位の分け方の一例を示す図である。
【図５】距離画像における注目点とオフセット点のイメージ図である。
【図６】画素毎に決定木を用いて身体部位を識別する方法の説明図である。
【図７】機械学習の概要を示す説明図である。
【図８】非関節部位の重心位置のイメージ図である。
【図９】関節部位等の重心位置のイメージ図である。
【図１０】骨格の認識結果のイメージ図である。
【図１１】重心位置の算出方法の一例の説明図である。
【図１２】体格情報の一例を示す説明図である。
【図１３】体格の異なる人物の骨格認識結果を示す図である。
【図１４】実施例１による対象者認識装置により実行される処理の一例を示すフローチャートである。
【図１５】実施例２による対象者認識装置の機能の一例を示すブロック図である。
【図１６】ロボットの一例を示す図である。
【図１７】実施例２による対象者認識装置により実行される処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００１０】
［実施例１］
図１は、実施例１による対象者認識システム１の概略構成を模式的に示す図である。図１には、説明用に、対象者Ｓが示されている。
【００１１】
対象者認識システム１は、距離画像センサ２１と、対象者認識装置１００とを含む。
【００１２】
距離画像センサ２１は、対象者Ｓの距離画像を取得する。例えば、距離画像センサ２１は、３次元画像センサであり、空間全体のセンシングを行って距離を計測し、デジタル画像のように画素毎に距離情報を持つ距離画像を取得する。距離情報の取得方式は任意である。例えば、距離情報の取得方式は、特定のパターンを対象に投影してそれをイメージセンサで読み取り、投影パターンの幾何学的な歪みから三角測量の方式により距離を取得するアクティブステレオ方式であってもよい。また、レーザー光を照射してイメージセンサで反射光を読み取り、その位相のずれから距離を計測するTOF（Time-of-Flight）方式であってもよい。
【００１３】
尚、距離画像センサ２１は、位置が固定される態様で設置されてもよいし、位置が可動な態様で設置されてもよい。また、距離画像センサ２１は、複数個設置されてもよい。
【００１４】
対象者認識装置１００は、距離画像センサ２１から得られる距離画像に基づいて、対象者Ｓが特定の個人である可能性を判定する。特定の個人とは、固有の人物であり、以下では、認識対象者と称する。対象者Ｓが特定の個人である可能性を判定するとは、対象者Ｓが特定の個人であるか否かを判定することを含む概念である。
【００１５】
対象者認識装置１００は、距離画像センサ２１に接続されるコンピュータの形態で実現されてもよい。対象者認識装置１００と距離画像センサ２１との接続は、有線による通信路、無線による通信路、又はこれらの組み合わせで実現されてよい。例えば、対象者認識装置１００が距離画像センサ２１に対して比較的遠隔に配置されるサーバの形態である場合、対象者認識装置１００は、ネットワークを介して距離画像センサ２１に接続されてもよい。この場合、ネットワークは、例えば、携帯電話の無線通信網、インターネット、World  Wide  Web、VPN（virtual  private  network）、WAN（Wide  Area  Network）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他方、対象者認識装置１００が距離画像センサ２１に対して比較的近傍に配置される場合、無線による通信路は、近距離無線通信、ブルーツース（登録商標）、Ｗｉ−Ｆｉ（Wireless  Fidelity）等により実現されてもよい。
【００１６】
図２は、対象者認識装置１００のハードウェア構成の一例を示す図である。
【００１７】
図２に示す例では、対象者認識装置１００は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７を含む。
【００１８】
制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。
【００１９】
主記憶部１０２は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００２０】
補助記憶部１０３は、ＨＤＤ（Hard  Disk  Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００２１】
ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【００２２】
記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して対象者認識装置１００にインストールされる。インストールされた所定のプログラムは、対象者認識装置１００により実行可能となる。
【００２３】
ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワークを介して接続された通信機能を有する周辺機器と対象者認識装置１００とのインターフェースである。
【００２４】
入力部１０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、マウスやスライスパット等を有する。入力部１０７は、音声入力やジェスチャー等の他の入力方法に対応してもよい。
【００２５】
尚、図２に示す例において、以下で説明する各種処理等は、プログラムを対象者認識装置１００に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を対象者認識装置１００に読み取らせて、以下で説明する各種処理等を実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１０５には、搬送波は含まれない。
【００２６】
図３は、対象者認識装置１００の機能の一例を示すブロック図である。図３には、対象者認識装置１００に距離画像を入力する距離画像センサ２１が併せて図示されている。
【００２７】
図３に示す例では、対象者認識装置１００は、身体部位位置算出部１１０と、認識対象者決定部１１２と、特徴量算出部１３６（算出部の一例）と、個人認識部１３８（判定部の一例）とを含む。身体部位位置算出部１１０、認識対象者決定部１１２、特徴量算出部１３６、及び個人認識部１３８は、図２に示す制御部１０１が主記憶部１０２に記憶された１つ以上のプログラムを実行することで実現できる。尚、対象者認識装置１００の機能の一部は、距離画像センサ２１に内蔵されうるコンピュータにより実現されてもよい。
【００２８】
身体部位位置算出部１１０は、身体部位識別部１１０１と、非関節位置算出部１１０２と、関節位置算出部１１０３とを含む。
【００２９】
身体部位識別部１１０１には、距離画像センサ２１から対象者Ｓの距離画像が入力される。身体部位識別部１１０１は、距離画像における対象者Ｓの身体の各部位を識別する。身体の各部位の識別は、予め機械学習により得られる学習結果に基づいて実現できる。身体の各部位の識別方法の一例は、図５乃至図７を参照して後述する。
【００３０】
図４は、身体の各部位の分け方の一例を示す図である。図４に示す例では、身体は、一例として、２９部位ａ１〜ａ２９に分けられている。身体は、関節部位（例えば、ａ１７、ａ１８、ａ２１、ａ２２等）と、非関節部位（例えば、ａ１９、ａ２０、ａ２３、ａ２４等）と、手や足の末端部位（ａ１５、ａ１６、ａ２８、ａ２９）とを含む。このようにして分けられた身体の各部位には、例えば固有のラベルが付与されてよい。以下では、身体の各部位（ラベルが付けられた各身体部位）を識別することを、「ラベル分け」とも称する。
【００３１】
ここで、図５乃至図７を参照して、身体の各部位の識別方法の一例について説明する。ここでは、機械学習方式としてランダムフォレストを用い、特徴量として注目画素と周辺画素の距離値の差を用いる例を説明する。ランダムフォレストでは複数の決定木を用い、入力データ（距離画像）の特徴量を算出してその結果に応じて決定木を分岐していき、最終的な結果を得る。本例においては、距離画像の各画素毎に特徴量を算出し、決定木で分岐していくことにより、最終的にその画素がどの身体部位(ラベル)に属するかを分類する。
【００３２】
特徴量ｆ（Ｉ，ｘ）は、距離画像内の注目点（ピクセル）とその周辺のオフセット点の間の距離値の差であり、数１の式で表される。
【００３３】
【数１】
2018089161.tif 000003
ここで、Ｉは距離画像、ｘは注目点の座標、ｄＩ（ｘ）は、注目点の距離、ｄＩ（ｘ＋Δ）は、オフセット点の距離である。オフセットΔは、以下のとおりである。
【００３４】
【数２】
2018089161.tif 000004
ここで、ｖは、注目点からのオフセット（正規化前）である。尚、オフセット点の位置については学習時に決まった位置を使い、距離画像センサ２１からの対象者Ｓの近さの変動に対応するために距離で正規化を行っている。即ち、対象者Ｓが近いほど距離画像が拡大されるため、オフセットΔは、注目点の距離で正規化されている。
【００３５】
図５は、距離画像における注目点とオフセット点のイメージ図である。図５において、印“＋”は注目点を表し、印“ｘ”はオフセット点を表し、矢印はオフセットΔを概念的に表す。図５において、例えば注目点が頭部の画素でありオフセット点が背景部分となっている場合、注目点とオフセット点の距離の差は大きくなる。他方、胴体部分のように注目点とオフセット点が両方とも上半身にある場合、距離の差は小さくなる。
【００３６】
図６は、画素毎に決定木を用いて身体部位を識別する方法の説明図である。図６には、決定木がT個の“tree  １”〜“tree  T”示されている。身体部位識別部１１０１は、距離画像から1画素ずつ、事前に学習した識別器（複数の決定木）に入力し、画素毎に身体部位の推定を行う。身体部位識別部１１０１は、決定木の各ノードNｋでは、その画素の特徴量ｆ（Ｉ、ｘ；Δｋ）を算出して閾値θｋと比較する。各ノードでの演算に使用するオフセットΔｋと閾値θｋは学習の際に最も正しく部位が識別できる値が選択される。身体部位識別部１１０１は、各ノードで比較結果に応じた方向へと分岐して次のノードへ進み、終端ノードまで至る。決定木の終端ノードに到達すると、その画素がどの身体部位に属するかの確率分布が得られる。図６において、P1(c)は、決定木“tree  １”における確率分布を模式的に表し、PT(c)は、決定木“tree  T”における確率分布を模式的に表す。ｃは、各身体部位（各ラベル）を表す。そして、確率分布をすべての木の結果で平均し、最も確率の大きい部位が推定結果となる。
【００３７】
図７は、機械学習（学習処理）の概要を示す説明図である。学習の際には様々な姿勢の距離画像と対応する部位ラベル付画像（ラベル分けデータ）のセットを大量に用意し、機械学習処理を行う。機械学習処理では、決定木でうまく分類できるように各ノードｋで比較する周辺画素のオフセットΔｋ、及び、分岐の判定に使用する閾値θｋが決定（学習）される。
【００３８】
ここでは、一例として、機械学習方式としてランダムフォレストを用い、特徴量として注目画素と周辺画素の距離値の差を用いているが、他の方法も可能である。例えば、距離画像を入力として各画素のマルチクラス分類(Multi-class  Classification)を行う方式であってもよい。また、ランダムフォレストの場合でも距離値の差以外の特徴量を使ってもよいし、特徴量に相当するパラメータも含めて学習を行う深層学習(Deep  Learning)を用いてもよい。
【００３９】
また、身体部位識別部１１０１は、手や足の末端部位については、機械学習の結果を用いずに、距離画像のみから人体の輪郭抽出を行うことで認識してもよい。これは、手や足の末端部位については、機械学習の結果を用いなくても輪郭抽出により精度高い認識結果が得られる可能性が高いためである。
【００４０】
身体部位識別部１１０１は、一の距離画像において２人以上の対象者Ｓを認識した場合、各対象者Ｓごとに、身体部位を識別する。
【００４１】
非関節位置算出部１１０２は、身体部位識別部１１０１が識別した各非関節部位及び各末端部位の重心位置を算出する。非関節位置算出部１１０２は、図８に×マークで示すような、非関節部位ａ７、ａ８、ａ１１、ａ１２、ａ１９、ａ２０、ａ２３、ａ２４及び末端部位ａ１５、ａ１６、ａ２８、ａ２９の各重心位置を算出する。非関節位置算出部１１０２は、身体部位識別部１１０１が一の距離画像において２人以上の対象者Ｓを認識した場合、各対象者Ｓごとに、各非関節部位及び各末端部位の重心位置を算出する。
【００４２】
関節位置算出部１１０３は、身体部位識別部１１０１が識別した各関節部位の重心位置を算出する。関節位置算出部１１０３は、身体部位識別部１１０１が一の距離画像において２人以上の対象者Ｓを認識した場合、各対象者Ｓごとに、各関節部位の重心位置を算出する。関節位置算出部１１０３は、図９に×マークで示すような、関節部位の各重心位置、及び、他の骨格基準位置Ｐ１、Ｐ２、Ｐ３を算出する。この場合、関節位置算出部１１０３は、更に、図１０に模式的に示すように、関節部位の各重心位置及び骨格基準位置Ｐ１、Ｐ２、Ｐ３に基づいて、骨格を認識してもよい。
【００４３】
図１１は、非関節位置算出部１１０２及び関節位置算出部１１０３で用いることができる重心位置の算出方法の一例の説明図である。図１１は、身体部位識別部１１０１による各部位の識別結果を示し、Ｘ１の拡大図を併せて示す。ここでは、図１１のＸ１の拡大図を参照して、左肩（関節部位）の重心位置を求める例を説明する。部位X1の拡大図において、白抜きの“×”で示す各点Piは、肩と分類された画素に対応する3次元座標を表す。この場合、黒塗りの“×”で示す重心位置Joint（ｘ，ｙ，ｚ）は、以下の数３の式のように、すべてのPiの座標（x，y，z）それぞれの平均を算出することによって求められてよい。なお、ｘ成分及びｙ成分は、画像平面内の２次元座標の値であり、ｘ成分は、水平方向の成分であり、ｙ成分は、垂直方向の成分である。また、ｚ成分は、距離を表す。
【００４４】
【数３】
2018089161.tif 000005
尚、数３の式において、“ｎ”は、各点Piの個数である。尚、３次元座標に代えて、２次元座標（ｘ，ｙ）で重心位置が算出されてもよい。
【００４５】
認識対象者決定部１１２は、認識対象者（特定の個人）を決定する。ここでは、認識対象者は、１人であるが、２人以上であってもよい。認識対象者決定部１１２は、ユーザからの入力（入力部１０７を介して得られる情報）に基づいて、認識対象者を決定してよい。例えば、ユーザは、自身の子供を認識対象者としたい場合は、自身の子供が認識対象者に決定される入力を行う。或いは、認識対象者決定部１１２は、所定のアルゴリズムに基づいて、認識対象者を決定してよい。例えば不審な行動をしている人物を検出する所定のアルゴリズムに基づいて、不審な行動をしている人物が検出された場合、該人物が認識対象者として決定されてもよい。認識対象者決定部１１２は、認識対象者を決定すると、決定した認識対象者を個人認識部１３８に通知する。
【００４６】
対象者認識装置１００は、更に、骨格データ記憶部１２１と、非関節部位位置データ記憶部１２２と、ユーザ情報記憶部１２４（記憶部の一例）とを含む。骨格データ記憶部１２１、非関節部位位置データ記憶部１２２、及びユーザ情報記憶部１２４は、例えば、図２の補助記憶部１０３により実現できる。
【００４７】
骨格データ記憶部１２１には、関節位置算出部１１０３により算出される各関節部位の重心位置と他の骨格基準位置Ｐ１、Ｐ２、Ｐ３の情報（以下、「骨格情報」と称する）が記憶される。
【００４８】
非関節部位位置データ記憶部１２２には、非関節位置算出部１１０２により算出される各非関節部位及び末端部位の重心位置の情報（以下、「非関節部位情報」と称する）が記憶される。
【００４９】
ユーザ情報記憶部１２４には、認識対象者の体格に関する体格情報（図１２参照）が記憶される。体格情報は、身長や、座高、肩幅等のような、体格に起因して変化する長さ情報を含む。体格情報は、身長や、座高、肩幅等の各数値であってもよい。この場合、体格情報は、ユーザ入力により事前に登録（記憶）されてもよい。或いは、体格情報は、距離画像センサ２１からの距離画像であって、認識対象者が対象者Ｓである距離画像に基づいて生成されてもよい。この場合、体格情報は、関節位置算出部１１０３により算出される各関節部位の重心位置や、非関節位置算出部１１０２により算出される各非関節部位等の重心位置を含んでよい。即ち、この場合、体格情報は、認識対象者が対象者Ｓである距離画像に基づいて得られる骨格情報や非関節部位情報を含んでよい。
【００５０】
図１２に示す例では、体格情報は、認識対象者（人物Ａ，Ｂ）に係る身長、座高、肩幅、パラメータＴ１，Ｔ２を含む。パラメータＴ１は、座高／身長であり、パラメータＴ２は、肩幅／身長である。従って、パラメータＴ１，Ｔ２は、身長、座高及び肩幅の情報から算出できる。このようなパラメータＴ１，Ｔ２を用いる場合、座高及び肩幅が身長で正規化されることになるので、距離画像センサ２１からの対象者Ｓの近さの変動に対応できる。尚、図１２に示す例では、体格情報は、認識対象者（人物Ａ，Ｂ）が対象者Ｓである距離画像に基づいて生成されている。
【００５１】
特徴量算出部１３６は、骨格データ記憶部１２１に記憶された骨格情報に基づいて、所定の身体特徴量を算出する。特徴量算出部１３６は、身体部位識別部１１０１が一の距離画像において２人以上の対象者Ｓを認識した場合、各対象者Ｓごとに、身体特徴量を算出する。
【００５２】
所定の身体特徴量は、２つの関節部位間の距離、骨格基準位置と関節部位間の距離、又は、２つの骨格基準位置間の距離を含む。関節部位間の距離、及び、骨格基準位置と関節部位間の距離は、関節部位の重心位置（図９の×マーク参照）に基づいて算出される。所定の身体特徴量は、ユーザ情報記憶部１２４に記憶される体格情報と対比できる特徴量である。例えば、身長に係る身体特徴量は、頭部の骨格基準位置Ｐ３と足首ａ１３又はａ１４との距離として算出される。また、座高に係る身体特徴量は、頭部の骨格基準位置Ｐ３と股部の骨格基準位置Ｐ２（又は股関節ａ５，ａ６）との距離として算出される。また、肩幅に係る身体特徴量は、左右の肩関節ａ１７，ａ１８の距離として算出される。これらの身体特徴量に係る距離は、各重心位置の２次元座標（ｘ、ｙ）間での距離であってもよいし、各重心位置の３次元座標（ｘ，ｙ，ｚ）間での距離であってもよい。あるいは、身長や座高に係る身体特徴量は、各重心位置のｙ成分の差（距離）であってもよいし、肩幅に係る身体特徴量は、各重心位置のｘ成分の差（距離）であってもよい。
【００５３】
所定の身体特徴量は、更に、関節部位と非関節部位間の距離、又は、骨格基準位置と非関節部位間の距離を含んでもよい。この場合、特徴量算出部１３６は、非関節部位位置データ記憶部１２２に記憶された非関節部位情報に更に基づいて、所定の身体特徴量を算出する。関節部位と非関節部位間の距離、又は、骨格基準位置と非関節部位間の距離は、非関節部位の重心位置に基づいて算出される。例えば、身長に係る身体特徴量は、頭部の骨格基準位置Ｐ３と足の末端部位ａ１５又はａ１６との距離として算出される。また、手の長さに係る身体特徴量は、肩関節ａ１７又はａ１８と手の末端部位ａ２８又はａ２９との距離として算出される。同様に、これらの身体特徴量に係る距離は、各重心位置の２次元座標（ｘ、ｙ）間での距離であってもよいし、各重心位置の３次元座標（ｘ，ｙ，ｚ）間での距離であってもよい。あるいは、例えば身長に係る身体特徴量は、各重心位置のｙ成分の差（距離）であってもよい。
【００５４】
個人認識部１３８は、ユーザ情報記憶部１２４に記憶された体格情報と、特徴量算出部１３６により算出された身体特徴量との対比結果に基づいて、対象者Ｓが認識対象者である可能性を判定する。なお、個人認識部１３８は、身体部位識別部１１０１が一の距離画像において２人以上の対象者Ｓを認識した場合、各対象者Ｓごとに、対象者Ｓが認識対象者であるか可能性を判定する。
【００５５】
例えば、個人認識部１３８は、特徴量算出部１３６により算出された身長に係る身体特徴量αと座高に係る身体特徴量βとに基づいて、身体特徴量αに対する身体特徴量βの比（＝β／α）を算出する。そして、個人認識部１３８は、比β／αと、ユーザ情報記憶部１２４に記憶された、ある一の認識対象者Ｋに係るパラメータＴ１とが、略一致した場合、対象者Ｓが認識対象者Ｋである可能性が高いと判定する。略一致とは、ある程度の誤差を許容する趣旨であり、許容誤差は、予め設定されてもよい。同様に、個人認識部１３８は、特徴量算出部１３６により算出された身長に係る身体特徴量αと肩幅に係る身体特徴量γとに基づいて、身体特徴量αに対する身体特徴量γの比（＝γ／α）を算出する。そして、個人認識部１３８は、比γ／αと、ユーザ情報記憶部１２４に記憶された認識対象者Ｋに係るパラメータＴ２とが、略一致した場合、対象者Ｓが認識対象者Ｋである可能性が高いと判定する。比β／αとパラメータＴ１との対比、及び、比γ／αとパラメータＴ２との対比の双方を行う構成では、個人認識部１３８は、双方の対比結果が、対象者Ｓが認識対象者Ｋである可能性が高いことを示す場合、対象者Ｓが認識対象者Ｋであると確定的に判定してもよい。
【００５６】
図１３は、図１２の体格情報に係る認識対象者（人物Ａ，Ｂ）が対象者Ｓである距離画像から得られる骨格認識結果を示す図である。図１２の体格情報は、図１３に示す骨格認識結果（骨格情報）から得られている。図１２及び図１３から分かるように、人物Ａ，Ｂの体格の相違は、身体特徴量の相違として現れる。従って、骨格情報や非関節部位情報に基づき得られる身体特徴量を利用することで、対象者Ｓが認識対象者である可能性を精度良く判定できることが分かる。尚、図１３には、参考として、人物Ａの特定の部位の２次元座標と、左側の人物に係る身体特徴量α、β、γとが示される。尚、上述したように、身体特徴量は、２次元座標間の距離や、ｘ成分やｙ成分の差等で算出されてもよい。
【００５７】
実施例１によれば、上述のように、骨格情報及び非関節部位情報の少なくともいずれか一方（以下、「骨格情報等」と称する）に基づき得られる身体特徴量を利用することで、対象者Ｓが認識対象者である可能性を精度良く判定できる。従って、一の距離画像において２人以上の対象者Ｓが認識される場合でも、２人以上の対象者Ｓのうちから、認識対象者を精度良く特定できる。また、骨格情報等は、例えば画像処理によるテンプレートマッチング等に比べて、対象者Ｓの距離画像から比較的小さい処理負荷で得ることができるので、認識対象者を高精度かつ高速に特定できる。
【００５８】
また、実施例１によれば、上述のように、比β／α及び比γ／αを用いる場合には、座高及び肩幅が身長で正規化されることになるので、距離画像センサ２１からの対象者Ｓの近さの変動に対応できる。即ち、距離画像センサ２１と対象者Ｓとの間の距離とは無関係に、対象者Ｓが認識対象者である可能性を精度良く判定できる。また、比β／α及び比γ／αは、共に、身体特徴量の中で最も長い身長に係る身体特徴量αに基づくため、身体特徴量α、β、γにおける誤差の影響を最小化することが可能となる。
【００５９】
このようにして実施例１によれば、対象者Ｓが認識対象者である可能性を精度良く判定できるので、対象者認識システム１は、個人認証の用途や、不特定多数の対象者Ｓを含む距離画像から一の認識対象者を識別する用途等のような、多様な用途に利用できる。
【００６０】
次に、図１４を参照して、対象者認識装置１００の動作例について説明する。
【００６１】
図１４は、対象者認識装置１００により実行される処理の一例を示すフローチャートである。図１４に示す処理は、例えばオフラインで、実行されてよい。ここでは、補助記憶部１０３又は記録媒体１０５内の一の距離画像ファイルが処理対象であり、処理対象の距離画像ファイルに含まれる距離画像のフレーム数は、“Ｎ”であるものとする。
【００６２】
ステップＳ１４００では、認識対象者決定部１１２は、認識対象者を決定する。尚、この際、認識対象者決定部１１２は、認識対象者に係る体格情報がユーザ情報記憶部１２４内に記憶されているか否かをチェックしてもよい。認識対象者に係る体格情報がユーザ情報記憶部１２４内に記憶されていない場合は、認識対象者決定部１１２は、エラーメッセージ等を表示装置（図示せず）に出力することで、ユーザに、認識対象者に係る体格情報の入力を促してよい。認識対象者に係る体格情報の入力は、上述のように、認識対象者が一人だけで捉えられた距離画像を入力することで実現されてよい。
【００６３】
ステップＳ１４０２では、身体部位位置算出部１１０は、“ｊ”を“１”に設定する。
【００６４】
ステップＳ１４０４では、身体部位位置算出部１１０は、補助記憶部１０３又は記録媒体１０５から、“ｊ”番目のフレームの距離画像を取得する。
【００６５】
ステップＳ１４０６では、身体部位位置算出部１１０は、ステップＳ１４０４で取得した距離画像に基づいて、距離画像における対象者Ｓの身体の各部位を識別し、骨格情報等を生成する。骨格情報等の生成方法は、上述のとおりである。身体部位位置算出部１１０は、ステップＳ１４０４で取得した距離画像において２人以上の対象者Ｓを認識した場合、その旨を表すフラグＦを“１”にセットする。フラグＦの初期値は、“０”である。
【００６６】
ステップＳ１４０８では、特徴量算出部１３６は、身体部位位置算出部１１０が距離画像において２人以上の対象者Ｓを認識したか否かを判定する。即ち、特徴量算出部１３６は、フラグＦが“１”であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ１４１０に進み、それ以外の場合は、ステップＳ１４１６に進む。
【００６７】
ステップＳ１４１０では、特徴量算出部１３６は、対象者Ｓごとに、所定の身体特徴量を算出する。図１４では、特徴量算出部１３６は、対象者Ｓごとに、身長に係る身体特徴量α、座高に係る身体特徴量β、及び肩幅に係る身体特徴量γを算出し、算出結果に基づいて、身体特徴量αに対する身体特徴量β及びγの各比（＝β／α、γ／α）を算出する。
【００６８】
ステップＳ１４１２では、個人認識部１３８は、対象者Ｓごとに、ステップＳ１４００で決定された認識対象者に係る体格情報と、ステップＳ１４１０で得られた各比（＝β／α、γ／α）とに基づいて、対象者Ｓが認識対象者である可能性を判定する。具体的には、個人認識部１３８は、比β／αと認識対象者に係るパラメータＴ１とが、略一致し、且つ、比γ／αと認識対象者に係るパラメータＴ２とが、略一致した場合、対象者Ｓが認識対象者であると判定する。尚、パラメータＴ１，Ｔ２は、上述のように体格情報に含まれ、それぞれ、座高／身体特徴量、及び、肩幅／身長である。判定結果が“ＹＥＳ”の場合は、ステップＳ１４１４に進み、それ以外の場合は、ステップＳ１４１６に進む。
【００６９】
ステップＳ１４１４では、個人認識部１３８は、複数の対象者Ｓに係る骨格情報のうちの、認識対象者であると判定した対象者Ｓに係る骨格情報を、認識対象者に紐付ける。例えば、個人認識部１３８は、認識対象者であると判定した対象者Ｓに係る骨格情報に、認識対象者に係る識別子を付与する。
【００７０】
ステップＳ１４１６では、個人認識部１３８は、“ｊ”が“Ｎ（処理対象の距離画像のフレーム数）”であるか否かを判定する。ｊ＝Ｎの場合は、そのまま終了となり、ｊ≠Ｎの場合は、ステップＳ１４１８を経て、ステップＳ１４０４に戻る。
【００７１】
ステップＳ１４１８では、個人認識部１３８は、“ｊ”を“１”だけインクリメントする。
【００７２】
図１４に示す処理によれば、補助記憶部１０３又は記録媒体１０５に記憶されたＮフレームの距離画像において、認識対象者を識別できる。これにより、ユーザは、例えば、Ｎフレームの距離画像のうちから、認識対象者が含まれる距離画像だけを抽出することが容易となる。また、Ｎフレームの距離画像が時間的に連続する場合（即ち動画である場合）、認識対象者の動きだけを抽出することも容易となる。
【００７３】
尚、図１４に示す処理は、オフラインで実行されるが、例えばオンライン（リアルタイム）で、所定周期毎（例えばフレーム周期毎）に実行されてもよい。この場合、ステップＳ１４０２、ステップＳ１４１６、ステップＳ１４１８は省略され、ステップＳ１４０４では、身体部位位置算出部１１０は、距離画像センサ２１から直接的に距離画像を取得してよい。
【００７４】
また、図１４に示す処理では、ステップＳ１４０８の判定結果が“ＮＯ”の場合は、ステップＳ１４１６に進むが、これに限られない。ステップＳ１４０８の判定結果が“ＮＯ”の場合、特徴量算出部１３６は、一の対象者Ｓに係る各比（＝β／α、γ／α）を算出してよい。この場合、個人認識部１３８は、認識対象者に係る体格情報と、各比（＝β／α、γ／α）とに基づいて、一の対象者Ｓが認識対象者である可能性を判定する。そして、判定結果が“ＹＥＳ”の場合は、個人認識部１３８は、認識対象者であると判定した対象者Ｓに係る骨格情報を、認識対象者に紐付ける。
【００７５】
［実施例２］
実施例２による対象者認識システム１Ａは、対象者認識処理で得られる情報を利用してロボット制御データを生成する点が異なる。以下では、上述した実施例１と同様であってよい構成要素については、同一の参照符号を付して説明を省略する。
【００７６】
対象者認識システム１Ａは、距離画像センサ２１と、対象者認識装置１００Ａとを含む。
【００７７】
対象者認識装置１００Ａは、図２に示したハードウェア構成を有してよい。図１５は、対象者認識装置１００Ａの機能の一例を示すブロック図である。図１５には、対象者認識装置１００Ａに距離画像を入力する距離画像センサ２１が併せて図示されている。
【００７８】
図１５は、対象者認識装置１００Ａの機能の一例を示すブロック図である。図１５には、対象者認識装置１００Ａに距離画像を入力する距離画像センサ２１が併せて図示されている。
【００７９】
対象者認識装置１００Ａは、上述した実施例１による対象者認識装置１００に対して、ロボット制御データ生成部１４０を更に含む点が異なる。ロボット制御データ生成部１４０は、図２に示す制御部１０１が主記憶部１０２に記憶された１つ以上のプログラムを実行することで実現できる。
【００８０】
ロボット制御データ生成部１４０は、身体部位位置算出部１１０により生成される骨格情報と、個人認識部１３８による認識結果とに基づいて、ロボット制御データを生成する。ロボット制御データ生成部１４０は、認識対象者の動きに合わせてロボットが動くように、ロボット制御データを生成する。
【００８１】
図１６は、ロボット９０の一例を示す図である。図１６には、ロボット９０の内部の骨格９１０が模式的に透視で示される。ロボット９０は、例えば人型であり、例えば人体の骨格（図１０参照）と同様の骨格９１０を有する。従って、図１６に示すロボット９０は、人の動きを模倣できる。
【００８２】
次に、図１７を参照して、対象者認識装置１００Ａの動作例について説明する。
【００８３】
図１７は、対象者認識装置１００Ａにより実行される処理の一例を示すフローチャートである。図１７に示す処理は、例えばオフラインで、実行されてよい。
【００８４】
図１７に示す処理は、上述した実施例１において図１４に示した処理に対して、ステップＳ１７００が追加された点が異なる。以下では、異なる点について説明する。
【００８５】
ステップＳ１４１６での判定結果が“ＹＥＳ”の場合（即ちｊ＝Ｎの場合）、ステップＳ１７００に進む。
【００８６】
ステップＳ１７００では、ロボット制御データ生成部１４０は、ステップＳ１４１４で得られた個人認識部１３８による認識結果（認識対象者であると判定した対象者Ｓに係る骨格情報）に基づいて、ロボット制御データを生成する。例えば、ロボット制御データ生成部１４０は、フレームごとに、ロボット９０の骨格９１０の各関節位置が、認識対象者であると判定した対象者Ｓに係る骨格情報に対応するように、ロボット制御データを生成する。この場合、ロボット制御データは、複数のフレームにわたる時系列の制御データとなり、認識対象者の動きに合わせたロボット９０の動きを実現できる。
【００８７】
図１７に示す処理によれば、補助記憶部１０３又は記録媒体１０５に記憶されたＮフレームの距離画像において、認識対象者を識別できる。この結果、上述のように、認識対象者に応じたロボット制御データを生成でき、認識対象者の動きに合わせたロボット９０の動きを実現できる。
【００８８】
尚、図１７に示す処理は、オフラインで実行されるが、例えばオンライン（リアルタイム）で、所定周期毎（例えばフレーム周期毎）に実行されてもよい。この場合、ステップＳ１４０２、ステップＳ１４１６、ステップＳ１４１８は省略され、ステップＳ１４０４では、身体部位位置算出部１１０は、距離画像センサ２１から直接的に距離画像を取得してよい。
【００８９】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【００９０】
例えば、上述した実施例では、対象者認識装置１００は、非関節位置算出部１１０２及び非関節部位位置データ記憶部１２２を備えるが、非関節位置算出部１１０２及び非関節部位位置データ記憶部１２２は省略されてもよい。この場合、身体特徴量は、常に、骨格データ記憶部１２１に記憶された骨格情報に基づいて導出される。
【００９１】
また、上述した実施例では、比β／α及び比γ／αが用いられるが、等価的に、比β／α及び比γ／αに代えて、比α／β及び比α／γが用いられてもよい。
【００９２】
なお、以上の実施例に関し、さらに以下の付記を開示する。
［付記１］
対象者の距離情報を画素値とする第１距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出し、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定することを含む、コンピュータにより実行される対象者認識方法。
［付記２］
前記体格情報は、前記第１距離画像とは異なる第２距離画像であって、前記特定の個人の距離情報を画素値とする第２距離画像に基づいて生成される、付記１に記載の対象者認識方法。
［付記３］
前記第１距離及び前記第２距離は、それぞれ、前記第１距離画像上における第１の身体部位の座標と、前記第１距離画像上における別の第２の身体部位の座標とに基づいて算出され、
前記第１距離を算出する場合、前記第１の身体部位は、頭部であり、前記第２の身体部位は、足首又は足首よりも先の部位である、付記１又は２に記載の対象者認識方法。
［付記４］
前記第１距離及び前記第２距離は、それぞれ、前記第１の身体部位の重心位置と、前記第２の身体部位の重心位置とに基づいて算出される、付記３に記載の対象者認識方法。
［付記５］
前記第２距離は、座高に対応し、
前記第２距離を算出する場合、前記第１の身体部位は、頭部であり、前記第２の身体部位は、股部である、付記３又は４に記載の対象者認識方法。
［付記６］
前記第２距離は、肩幅に対応し、
前記第２距離を算出する場合、前記第１の身体部位は、左の肩部であり、前記第２の身体部位は、右の肩部である、付記３又は４に記載の対象者認識方法。
［付記７］
前記対象者は、複数である、付記１〜６のうちのいずれか１項に記載の対象者認識方法。
［付記８］
前記骨格情報と、前記可能性の判定結果とに基づいて、ロボットを制御するためのデータを生成することを更に含む、付記１〜７のうちのいずれか１項に記載の対象者認識方法。
［付記９］
対象者の距離情報を画素値とする距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出する算出部と、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定する判定部とを含む、対象者認識装置。
［付記１０］
対象者の距離情報を画素値とする距離画像を生成する距離画像センサと、
対象者認識装置とを含み、
前記対象者認識装置は、
前記距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出する算出部と、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定する判定部とを含む、対象者認識システム。
［付記１１］
対象者の距離情報を画素値とする距離画像から得られる骨格情報に基づいて、前記対象者の第１身体特徴量に対応する第１距離と、前記対象者の別の第２身体特徴量に対応する第２距離とを算出し、
前記第１距離及び前記第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する前記体格情報とに基づいて、前記対象者が前記特定の個人である可能性を判定する、
処理をコンピュータに実行させる対象者認識プログラム。
【符号の説明】
【００９３】
１、１Ａ  対象者認識システム
２１  距離画像センサ
９０  ロボット
１００、１００Ａ  対象者認識装置
１１０  身体部位位置算出部
１１２  認識対象者決定部
１２１  骨格データ記憶部
１２２  非関節部位位置データ記憶部
１２４  ユーザ情報記憶部
１３６  特徴量算出部
１３８  個人認識部
１４０  ロボット制御データ生成部
１１０１  身体部位識別部
１１０２  非関節位置算出部
１１０３  関節位置算出部
【図１】
2018089161.tif 000006
【図２】
2018089161.tif 000007
【図３】
2018089161.tif 000008
【図４】
2018089161.tif 000009
【図５】
2018089161.tif 000010
【図６】
2018089161.tif 000011
【図７】
2018089161.tif 000012
【図８】
2018089161.tif 000013
【図９】
2018089161.tif 000014
【図１０】
2018089161.tif 000015
【図１１】
2018089161.tif 000016
【図１２】
2018089161.tif 000017
【図１３】
2018089161.tif 000018
【図１４】
2018089161.tif 000019
【図１５】
2018089161.tif 000020
【図１６】
2018089161.tif 000021
【図１７】
2018089161.tif 000022