(57)【要約】      （修正有）【課題】対象画像から得られる姿勢情報の有用性を向上させる。【解決手段】情報処理装置は、対応情報を記憶する記憶部と、対象姿勢情報取得部と、姿勢情報変換部とを備える。対応情報は、人物の複数の姿勢のそれぞれについて、所定の基準方向から見た姿勢を表す基準姿勢情報と、複数の方向のそれぞれから見た姿勢を表す参照姿勢情報と、を対応付ける情報である。対象姿勢情報取得部は、対象画像中の人物の姿勢を表す対象姿勢情報を取得する。姿勢情報変換部は、対応情報に含まれる複数の参照姿勢情報の中から対象姿勢情報に近似する近似参照姿勢情報を特定し、対象姿勢情報を、対応情報において近似参照姿勢情報に対応付けられた基準姿勢情報に変換する。【選択図】図１
2020140283.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置であって、
人物の複数の姿勢のそれぞれについて、所定の基準方向から見た前記姿勢を表す基準姿勢情報と、複数の方向のそれぞれから見た前記姿勢を表す参照姿勢情報と、を対応付ける対応情報を記憶する記憶部と、
対象画像中の人物の姿勢を表す対象姿勢情報を取得する対象姿勢情報取得部と、
前記対応情報に含まれる複数の前記参照姿勢情報の中から前記対象姿勢情報に近似する近似参照姿勢情報を特定し、前記対象姿勢情報を、前記対応情報において前記近似参照姿勢情報に対応付けられた前記基準姿勢情報に変換する姿勢情報変換部と、
を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、さらに、
前記対象姿勢情報から変換された前記基準姿勢情報に基づき、前記対象画像中の人物の属性を認識する属性認識部を備える、情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置であって、
前記基準姿勢情報と前記参照姿勢情報と前記対象姿勢情報とは、人物の複数の基準点の２次元座標値から構成されたベクトルを表すベクトル情報を含み、
前記姿勢情報変換部は、前記対象姿勢情報に含まれる前記ベクトル情報の表すベクトルと、各前記参照姿勢情報に含まれる前記ベクトル情報の表すベクトルとの間の距離に基づき、前記近似参照姿勢情報を特定する、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記記憶部は、前記複数の基準点のそれぞれに設定された重み係数を特定する重み情報を記憶し、
前記姿勢情報変換部は、前記重み係数により重み付けされた前記距離に基づき、前記近似参照姿勢情報を特定する、情報処理装置。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の情報処理装置であって、
前記対象画像は、複数のフレーム画像から構成された動画像であり、
前記対象姿勢情報取得部は、前記複数のフレーム画像のそれぞれについて、前記対象姿勢情報を取得し、
前記姿勢情報変換部は、前記複数のフレーム画像のそれぞれについて、前記対象姿勢情報を前記基準姿勢情報に変換する、情報処理装置。
【請求項６】
請求項５に記載の情報処理装置であって、
前記対応情報は、前記基準姿勢情報と、時間順に並べられたＮ（Ｎは２以上の整数）個の前記参照姿勢情報と、を対応付ける情報であり、
前記姿勢情報変換部は、一の前記フレーム画像についての前記対象姿勢情報を含み、かつ、時間順に並べられたＮ個の前記対象姿勢情報に近似するＮ個の前記参照姿勢情報を、前記近似参照姿勢情報として特定する、情報処理装置。
【請求項７】
請求項５に記載の情報処理装置であって、
前記情報処理装置は、さらに、一の前記フレーム画像についての前記対象姿勢情報から変換された前記基準姿勢情報を、他の前記フレーム画像についての前記対象姿勢情報から変換された前記基準姿勢情報に基づき補正する姿勢情報補正部を備える、情報処理装置。
【請求項８】
情報処理方法であって、
人物の複数の姿勢のそれぞれについて、所定の基準方向から見た前記姿勢を表す基準姿勢情報と、複数の方向のそれぞれから見た前記姿勢を表す参照姿勢情報と、を対応付ける対応情報を取得する工程と、
対象画像中の人物の姿勢を表す対象姿勢情報を取得する工程と、
前記対応情報に含まれる複数の前記参照姿勢情報の中から前記対象姿勢情報に近似する近似参照姿勢情報を特定し、前記対象姿勢情報を、前記対応情報において前記近似参照姿勢情報に対応付けられた前記基準姿勢情報に変換する工程と、
を備える、情報処理方法。
【請求項９】
コンピュータプログラムであって、
コンピュータに、
人物の複数の姿勢のそれぞれについて、所定の基準方向から見た前記姿勢を表す基準姿勢情報と、複数の方向のそれぞれから見た前記姿勢を表す参照姿勢情報と、を対応付ける対応情報を取得する処理と、
対象画像中の人物の姿勢を表す対象姿勢情報を取得する処理と、
前記対応情報に含まれる複数の前記参照姿勢情報の中から前記対象姿勢情報に近似する近似参照姿勢情報を特定し、前記対象姿勢情報を、前記対応情報において前記近似参照姿勢情報に対応付けられた前記基準姿勢情報に変換する処理と、
を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示される技術は、対象画像中の人物の姿勢を表す姿勢情報を変換する情報処理装置に関する。
【背景技術】
【０００２】
対象画像中の人物の姿勢を推定する技術として、「ＯｐｅｎＰｏｓｅ」が知られている（例えば、非特許文献１参照）。「ＯｐｅｎＰｏｓｅ」は、Ｄｅｅｐ  Ｌｅａｒｎｉｎｇを用いた人物の複数の基準点（例えば、肘や膝等の各関節、目や口等の各器官等）の位置の学習データを利用して、人物の姿勢を推定する技術であり、人物の姿勢を表す姿勢情報として、各基準点の２次元座標を特定する情報を出力する。このような姿勢推定の技術を用いれば、例えば、対象画像中の人物の属性（例えば、白杖利用者（視覚障害者）であるか否か等）を認識する属性認識を実現することができる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】チェ  カオ（Ｚｈｅ  Ｃａｏ）、外３名、"Ｐａｒｔ  Ａｆｆｉｎｉｔｙ  Ｆｉｅｌｄｓを用いたリアルタイムでの複数人の２次元姿勢の推定（Ｒｅａｌｔｉｍｅ  Ｍｕｌｔｉ−Ｐｅｒｓｏｎ  ２Ｄ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｕｓｉｎｇ  Ｐａｒｔ  Ａｆｆｉｎｉｔｙ  Ｆｉｅｌｄｓ）"、［ｏｎｌｉｎｅ］、平成２９年４月１４日、カーネギー・メロン大学（Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ）、［平成３１年１月２８日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／１６１１．０８０５０．ｐｄｆ＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人物がある１つの姿勢を取っていても、該人物と視点（カメラ）との位置関係が異なれば、対象画像中に表れる姿勢も異なる。そのため、対象画像中の人物の姿勢を表す姿勢情報を取得するための上記従来の技術では、実際には同じ姿勢であっても、得られる姿勢情報は異なり得る。その結果、例えば、得られた姿勢情報を用いた後処理（例えば、上述した属性認識）を行う場合に、該処理の精度が低くなるおそれがある。このように、上記従来の技術では、対象画像から得られる姿勢情報の有用性の点で向上の余地がある。
【０００５】
なお、このような課題は、「ＯｐｅｎＰｏｓｅ」といった特定の姿勢推定アルゴリズムを利用する場合に限らず、また、姿勢情報を用いた後処理を行う場合に限らず、対象画像中の人物の姿勢を表す姿勢情報を取得する際に共通の課題である。
【０００６】
本明細書では、上述した課題を解決することが可能な技術を開示する。
【課題を解決するための手段】
【０００７】
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
【０００８】
（１）本明細書に開示される情報処理装置は、情報処理装置であって、人物の複数の姿勢のそれぞれについて、所定の基準方向から見た前記姿勢を表す基準姿勢情報と、複数の方向のそれぞれから見た前記姿勢を表す参照姿勢情報と、を対応付ける対応情報を記憶する記憶部と、対象画像中の人物の姿勢を表す対象姿勢情報を取得する対象姿勢情報取得部と、前記対応情報に含まれる複数の前記参照姿勢情報の中から前記対象姿勢情報に近似する近似参照姿勢情報を特定し、前記対象姿勢情報を、前記対応情報において前記近似参照姿勢情報に対応付けられた前記基準姿勢情報に変換する姿勢情報変換部と、を備える。本情報処理装置によれば、対象画像から取得された対象姿勢情報が、所定の基準方向から見た人物の姿勢を表す基準姿勢情報に変換（正規化）される。すなわち、本情報処理装置によれば、人物がある１つの姿勢を取っている場合、該人物と視点（カメラ）との位置関係に関わらず、同一の基準姿勢情報を取得することができる。従って、本情報処理装置によれば、対象画像から得られる姿勢情報の有用性を向上させることができる。例えば、本情報処理装置によれば、対象画像から得られる姿勢情報を用いた後処理（例えば、白杖利用者認識）の精度低下を抑制することができる。
【０００９】
（２）上記情報処理装置において、さらに、前記対象姿勢情報から変換された前記基準姿勢情報に基づき、前記対象画像中の人物の属性を認識する属性認識部を備える構成としてもよい。本情報処理装置によれば、対象画像から得られた姿勢情報を用いて、対象画像中の人物の属性を認識する処理を高精度で実行することができる。
【００１０】
（３）上記情報処理装置において、前記基準姿勢情報と前記参照姿勢情報と前記対象姿勢情報とは、人物の複数の基準点の２次元座標値から構成されたベクトルを表すベクトル情報を含み、前記姿勢情報変換部は、前記対象姿勢情報に含まれる前記ベクトル情報の表すベクトルと、各前記参照姿勢情報に含まれる前記ベクトル情報の表すベクトルとの間の距離に基づき、前記近似参照姿勢情報を特定する構成としてもよい。本情報処理装置によれば、近似参照姿勢情報を適切に特定することができ、その結果、対象姿勢情報から基準姿勢情報への変換（正規化）を精度良く行うことができる。
【００１１】
（４）上記情報処理装置において、前記記憶部は、前記複数の基準点のそれぞれに設定された重み係数を特定する重み情報を記憶し、前記姿勢情報変換部は、前記重み係数により重み付けされた前記距離に基づき、前記近似参照姿勢情報を特定する構成としてもよい。本情報処理装置によれば、得られる姿勢情報の利用目的に応じて各基準点の重み係数を設定することにより、該利用目的に適した近似参照姿勢情報を特定することができ、その結果、該利用目的を精度良く実現するための対象姿勢情報から基準姿勢情報への変換（正規化）を実現することができる。
【００１２】
（５）上記情報処理装置において、前記対象画像は、複数のフレーム画像から構成された動画像であり、前記対象姿勢情報取得部は、前記複数のフレーム画像のそれぞれについて、前記対象姿勢情報を取得し、前記姿勢情報変換部は、前記複数のフレーム画像のそれぞれについて、前記対象姿勢情報を前記基準姿勢情報に変換する構成としてもよい。本情報処理装置によれば、動画像である対象画像から得られる姿勢情報の有用性を向上させることができる。例えば、本情報処理装置によれば、動画像である対象画像から得られる姿勢情報を用いた後処理（例えば、白杖利用者認識）の精度低下を抑制することができる。
【００１３】
（６）上記情報処理装置において、前記対応情報は、前記基準姿勢情報と、時間順に並べられたＮ（Ｎは２以上の整数）個の前記参照姿勢情報と、を対応付ける情報であり、前記姿勢情報変換部は、一の前記フレーム画像についての前記対象姿勢情報を含み、かつ、時間順に並べられたＮ個の前記対象姿勢情報に近似するＮ個の前記参照姿勢情報を、前記近似参照姿勢情報として特定する構成としてもよい。本情報処理装置によれば、対象姿勢情報から基準姿勢情報への変換（正規化）について、入力の平滑化（多入力化）を行うことによって、フレーム画像間での制約を導入することができ、基準姿勢情報への変換（正規化）の精度を効果的に向上させることができ、これにより、対象画像から得られる姿勢情報の有用性を効果的に向上させることができる。
【００１４】
（７）上記情報処理装置において、前記情報処理装置は、さらに、一の前記フレーム画像についての前記対象姿勢情報から変換された前記基準姿勢情報を、他の前記フレーム画像についての前記対象姿勢情報から変換された前記基準姿勢情報に基づき補正する姿勢情報補正部を備える構成としてもよい。本情報処理装置によれば、対象姿勢情報から基準姿勢情報への変換（正規化）について、出力の平滑化を行うことによって、フレーム画像間での制約を導入することができ、基準姿勢情報への変換（正規化）の精度を効果的に向上させることができ、これにより、対象画像から得られる姿勢情報の有用性を効果的に向上させることができる。
【００１５】
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理装置、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態における情報処理装置１００の概略構成を示すブロック図である。
【図２】対応情報ＣＩを概念的に示す説明図である。
【図３】第１実施形態における白杖利用者認識処理の内容を示すフローチャートである。
【図４】第１実施形態における白杖利用者認識処理を概念的に示す説明図である。
【図５】第１実施形態における白杖利用者認識処理を概念的に示す説明図である。
【図６】性能評価結果を示す説明図である。
【図７】第２実施形態における情報処理装置１００ａの概略構成を示すブロック図である。
【図８】第２実施形態における白杖利用者認識処理の内容を示すフローチャートである。
【発明を実施するための形態】
【００１７】
Ａ．第１実施形態：
Ａ−１．情報処理装置１００の構成：
図１は、第１実施形態における情報処理装置１００の概略構成を示すブロック図である。本実施形態の情報処理装置１００は、対象画像ＴＩ中の人物の属性を認識する属性認識処理、具体的には、該人物が白杖利用者（視覚障害者）であるか否かを認識する白杖利用者認識処理を行う装置である。詳しくは後述するが、白杖利用者認識処理は、白杖利用者は白杖を左右に振る特有の動作を行うことを前提とし、対象画像ＴＩ中の人物の姿勢を推定し、該人物の姿勢の時系列変化に基づき該人物が白杖利用者であるか否かを認識する（識別する）処理である。白杖利用者認識処理は、例えば、駅ホームから線路への白杖利用者の転落防止を目的として、白杖利用者の所在を迅速に把握して必要によりサポートを行うために、監視カメラ映像を対象画像ＴＩとして実行される。なお、本実施形態では、人物の姿勢を表す姿勢情報として、人物の複数の（例えば２５個の）基準点（例えば、肘や膝等の各関節、目や口等の各器官等）の２次元座標値から構成された姿勢ベクトル（例えば５０次元ベクトル）が用いられる。
【００１８】
図１に示すように、情報処理装置１００は、パーソナルコンピュータ（以下、「ＰＣ」という。）により構成されている。情報処理装置１００は、制御部１１０と、記憶部１３０と、表示部１５２と、操作入力部１５６と、インターフェース部１５８とを備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。
【００１９】
情報処理装置１００の表示部１５２は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。また、操作入力部１５６は、例えばキーボードやマウス、ボタン、マイク等により構成され、管理者の操作や指示を受け付ける。なお、表示部１５２が、タッチパネルを備えることにより、操作入力部１５６として機能するとしてもよい。また、インターフェース部１５８は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置との通信を行う。
【００２０】
情報処理装置１００の記憶部１３０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部１３０には、後述する白杖利用者認識処理を実行するためのコンピュータプログラムである属性認識プログラムＣＰが格納されている。属性認識プログラムＣＰは、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体（不図示）に格納された状態で提供され、情報処理装置１００にインストールすることにより記憶部１３０に格納される。
【００２１】
また、情報処理装置１００の記憶部１３０には、後述する白杖利用者認識処理において、対象画像データＴＩＤが格納される。対象画像データＴＩＤは、白杖利用者認識処理の対象画像ＴＩを表す画像データである。本実施形態では、対象画像ＴＩは、複数のフレーム画像から構成された動画像である（図４参照）。対象画像データＴＩＤは、インターフェース部１５８を介して外部の装置から取得され、記憶部１３０に格納される。あるいは、情報処理装置１００がカメラを備え、該カメラにより生成された対象画像データＴＩＤが記憶部１３０に格納されるとしてもよい。
【００２２】
また、情報処理装置１００の記憶部１３０には、白杖利用者認識処理において使用される対応情報ＣＩが格納されている。図２は、対応情報ＣＩを概念的に示す説明図である。図２には、人物の複数の姿勢（姿勢ｍ、姿勢ｎ、・・・）のそれぞれについて、所定の基準方向（本実施形態では人物を側面から見る方向）から見た該姿勢（基準姿勢）を表す基準姿勢ベクトルＰｓが模式的に示されている。例えば、姿勢ｍに対応する基準姿勢ベクトルＰｓは、基準姿勢ベクトルＰｓｍである。また、図２には、同じく人物の複数の姿勢のそれぞれについて、複数の（Ｄ個の）方向から見た該姿勢（参照姿勢）を表す複数の（Ｄ個の）参照姿勢ベクトルＰｒ（Ｐｒ１、Ｐｒ２、・・・、ＰｒＤ）が模式的に示されている。例えば、方向１から見た姿勢ｍに対応する参照姿勢ベクトルＰｒは、参照姿勢ベクトルＰｒ１ｍである。基準姿勢ベクトルＰｓおよび各参照姿勢ベクトルＰｒは、人物の複数の基準点Ｓｐの２次元座標値から構成されたベクトルである。対応情報ＣＩは、人物の複数の姿勢のそれぞれについて、基準姿勢ベクトルＰｓと、複数の（Ｄ個の）参照姿勢ベクトルＰｒのそれぞれと、を対応付ける情報である。すなわち、対応情報ＣＩにより、人物の複数の姿勢のそれぞれについて、複数の（Ｄ個の）姿勢ベクトルペア（基準姿勢ベクトルＰｓと参照姿勢ベクトルＰｒとのペア）が規定される。基準姿勢ベクトルＰｓは、特許請求の範囲における基準姿勢情報に相当し、参照姿勢ベクトルＰｒは、特許請求の範囲における参照姿勢情報に相当する。
【００２３】
対応情報ＣＩは、例えば以下の方法により作成することができる。まず、２台のキャリブレーション済みの（すなわち、互いの位置関係が既知の）ビデオカメラを用いて種々の姿勢を取る人物を撮影し、各姿勢について、各カメラによる撮影画像に基づき、三角測量の原理を用いて人物の各基準点Ｓｐの３次元座標を推定することにより３次元姿勢モデルを作成する。該３次元姿勢モデルを基準方向を含む多数の方向から仮想的に観察することにより、各方向から見た人物の各基準点Ｓｐの２次元座標を算出する。各姿勢について、基準方向から見た人物の各基準点Ｓｐの２次元座標に基づき基準姿勢ベクトルＰｓを作成し、それ以外の方向から見た人物の各基準点Ｓｐの２次元座標に基づき参照姿勢ベクトルＰｒを作成し、両者を対応付けることによって対応情報ＣＩを作成する。なお、カメラに対して人物の背面の情報も得るために、３台（またはそれ以上）のカメラを用いてもよい。
【００２４】
あるいは、対応情報ＣＩは、例えば以下の方法により作成することもできる。まず、人物を多数の方向から撮影できるように配置された多数のカメラを用いて種々の姿勢を取る人物を撮影し、各姿勢について、各カメラによる撮影画像に基づき人物の各基準点Ｓｐの２次元座標を推定する。各姿勢について、基準方向に設置されたカメラによる撮像画像から取得された人物の各基準点Ｓｐの２次元座標に基づき基準姿勢ベクトルＰｓを作成し、それ以外の方向に設置されたカメラによる撮像画像から取得された人物の各基準点Ｓｐの２次元座標に基づき参照姿勢ベクトルＰｒを作成し、両者を対応付けることによって対応情報ＣＩを作成する。
【００２５】
また、情報処理装置１００の記憶部１３０には、白杖利用者認識処理において使用される重み情報ＷＩが格納されている。重み情報ＷＩは、上述した人物の複数の基準点（例えば、各関節、各器官等）のそれぞれに設定された重み係数Ｗｉを特定する情報である。重み情報ＷＩのさらなる詳細については、後述の白杖利用者認識処理の説明に合わせて説明する。
【００２６】
情報処理装置１００の制御部１１０は、例えばＣＰＵ等により構成され、記憶部１３０から読み出したコンピュータプログラムを実行することにより、情報処理装置１００の動作を制御する。例えば、制御部１１０は、記憶部１３０から属性認識プログラムＣＰを読み出して実行することにより、後述の白杖利用者認識処理を実行する。より詳細には、制御部１１０は、後述の白杖利用者認識処理を実行するための、対象姿勢情報取得部１１２、姿勢情報変換部１１４、属性認識部１１６として機能する。これら各部の機能については、後述の白杖利用者認識処理の説明に合わせて説明する。
【００２７】
Ａ−２．白杖利用者認識処理：
次に、本実施形態の情報処理装置１００により実行される白杖利用者認識処理について説明する。図３は、第１実施形態における白杖利用者認識処理の内容を示すフローチャートである。また、図４および図５は、第１実施形態における白杖利用者認識処理を概念的に示す説明図である。
【００２８】
上述したように、白杖利用者認識処理は、対象画像ＴＩ中の人物が白杖利用者（視覚障害者）であるか否かを認識する処理であり、例えば、管理者が情報処理装置１００の操作入力部１５６を介して処理開始の指示を入力したことに応じて開始される。
【００２９】
はじめに、情報処理装置１００の制御部１１０は、対象画像ＴＩを表す対象画像データＴＩＤを取得する（Ｓ１１０）。上述したように、対象画像データＴＩＤは、インターフェース部１５８を介して外部の装置から取得されるとしてもよいし、情報処理装置１００がカメラを備え、該カメラにより生成された対象画像データＴＩＤが取得されるとしてもよい。図４の上段に示すように、対象画像ＴＩは、複数のフレーム画像ｆ（ｆ（ｔ）、ｆ（ｔ−１）、ｆ（ｔ−２）・・・）から構成された動画像である。制御部１１０は、取得した対象画像データＴＩＤを記憶部１３０に格納する。
【００３０】
次に、情報処理装置１００の対象姿勢情報取得部１１２は、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれについて、フレーム画像ｆ中の人物の姿勢を推定することにより、該人物の姿勢（対象姿勢）を表す対象姿勢ベクトルＰａを取得する（Ｓ１２０）。対象姿勢情報取得部１１２による人物の姿勢の推定は、例えば「ＯｐｅｎＰｏｓｅ」といった公知の姿勢推定アルゴリズムを用いて行う。また、上述したように、本実施形態では、人物の姿勢を表す対象姿勢ベクトルＰａとして、人物の複数の基準点Ｓｐの２次元座標値から構成されたベクトルが用いられる。図４の中段および図５の上段には、複数のフレーム画像ｆのそれぞれについて取得された対象姿勢ベクトルＰａ（例えば、フレーム画像ｆ（ｔ）から取得された対象姿勢ベクトルＰａ（ｔ））が模式的に示されている。対象姿勢ベクトルＰａは、特許請求の範囲における対象姿勢情報に相当する。
【００３１】
次に、情報処理装置１００の姿勢情報変換部１１４は、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれについて、対象姿勢ベクトルＰａと、対応情報ＣＩに含まれる複数の参照姿勢ベクトルＰｒとを比較し、対象姿勢ベクトルＰａに最も近似する参照姿勢ベクトルＰｒを、近似参照姿勢ベクトルＰｒＮとして特定する（Ｓ１３０）。より具体的には、姿勢情報変換部１１４は、対象姿勢ベクトルＰａと各参照姿勢ベクトルＰｒとの間の距離を算出し、該距離が最も小さい参照姿勢ベクトルＰｒを、近似参照姿勢ベクトルＰｒＮとして特定する。近似参照姿勢ベクトルＰｒＮは、特許請求の範囲における近似参照姿勢情報に相当する。ここで、本実施形態では、対象姿勢ベクトルＰａ＝（ｐ１，ｐ２，・・・，ｐｎ）と参照姿勢ベクトルＰｒ＝（ｑ１，ｑ２，・・・，ｑｎ）との間の距離として、以下の距離のいずれかが用いられる。
（１）ユークリッド距離
【数１】
2020140283.tif 000003
（２）マンハッタン距離
【数２】
2020140283.tif 000004
（３）基準点重み付き距離
【数３】
2020140283.tif 000005
（４）マハラノビス距離
【数４】
2020140283.tif 000006
【００３２】
なお、上記（１）ユークリッド距離は、例えば、対象姿勢ベクトルＰａと参照姿勢ベクトルＰｒとの間で全体的に基準点の座標値が近いことを重視する場合に採用される。また、上記（２）マンハッタン距離は、例えば、座標値が互いに大きく異なる基準点が多少あってもよいと考える場合に採用される。また、上記（３）基準点重み付き距離は、例えば、姿勢情報の利用目的に応じて、重要度の比較的高い基準点の座標値が近いことを重視する場合に採用される。この基準点重み付き距離を計算するための各重み係数Ｗｉは、記憶部１３０に格納された重み情報ＷＩに規定されている。例えば、人物の複数の基準点の内、手先や足先等の抹消部の関節については比較的小さな重み係数Ｗｉが設定され、それ以外の基準点については比較的大きな重み係数Ｗｉが設定される。また、上記（４）マハラノビス距離は、例えば、動きやすい基準点の座標値は多少ずれていても構わず、動きにくい基準点の座標値が近いことを重視する場合に採用される。
【００３３】
次に、情報処理装置１００の姿勢情報変換部１１４は、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれについて、取得された対象姿勢ベクトルＰａを、対応情報ＣＩにおいて近似参照姿勢ベクトルＰｒＮに対応付けられた基準姿勢ベクトルＰｓに変換する（Ｓ１４０）。例えば、図４の中段に示す１つの対象姿勢ベクトルＰａが、図２に示す対応情報ＣＩに含まれる複数の参照姿勢ベクトルＰｒの内、姿勢ｍに対応する参照姿勢ベクトルＰｒ１ｍに近似するとされたものとする。この場合には、姿勢情報変換部１１４は、対象姿勢ベクトルＰａを、対応情報ＣＩにおいて参照姿勢ベクトルＰｒ１ｍに対応付けられた基準姿勢ベクトルＰｓｍに変換する。図４の下段および図５の下段には、複数の対象姿勢ベクトルＰａ（対象姿勢）のそれぞれから変換された基準姿勢ベクトルＰｓ（基準姿勢）が模式的に示されている。Ｓ１４０の処理により、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれについて、画像中の人物の姿勢を表す対象姿勢ベクトルＰａが、基準方向（本実施形態では人物を側面から見る方向）から見た人物の姿勢を表す基準姿勢ベクトルＰｓに正規化される。
【００３４】
次に、情報処理装置１００の属性認識部１１６は、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれから得られた人物の基準姿勢ベクトルＰｓを用いて、該人物が白杖利用者であるか否かを判定する（Ｓ１５０）。白杖利用者は白杖を左右に振る特有の動作を行うため、属性認識部１１６は、該人物の基準姿勢ベクトルＰｓの時系列変化が、該動作に伴う姿勢変化に該当するか否かを判定することにより、該人物が白杖利用者であるか否かを判定する。この処理は、例えば、Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＲＮＮ）の１種であるＬｏｎｇ  Ｓｈｏｒｔ−Ｔｅｒｍ  Ｍｅｍｏｒｙ（ＬＳＴＭ）といった公知の属性認識アルゴリズムを用いて、基準姿勢ベクトルＰｓの時系列変化のパターンを分類することにより実現することができる。
【００３５】
Ａ−３．本実施形態の効果：
以上説明したように、本実施形態の情報処理装置１００は、対応情報ＣＩを記憶する記憶部１３０と、対象姿勢情報取得部１１２と、姿勢情報変換部１１４とを備える。対応情報ＣＩは、人物の複数の姿勢のそれぞれについて、所定の基準方向から見た該姿勢（基準姿勢）を表す基準姿勢ベクトルＰｓと、複数の方向のそれぞれから見た該姿勢（参照姿勢）を表す参照姿勢ベクトルＰｒと、を対応付ける情報である。また、対象姿勢情報取得部１１２は、対象画像ＴＩ中の人物の姿勢（対象姿勢）を表す対象姿勢ベクトルＰａを取得する。また、姿勢情報変換部１１４は、対応情報ＣＩに含まれる複数の参照姿勢ベクトルＰｒの中から対象姿勢ベクトルＰａに近似する近似参照姿勢ベクトルＰｒＮを特定し、対象姿勢ベクトルＰａを、対応情報ＣＩにおいて近似参照姿勢ベクトルＰｒＮに対応付けられた基準姿勢ベクトルＰｓに変換する。
【００３６】
このように、本実施形態の情報処理装置１００によれば、対象画像ＴＩから取得された対象姿勢ベクトルＰａが、所定の基準方向から見た人物の姿勢を表す基準姿勢ベクトルＰｓに変換（正規化）される。すなわち、本実施形態の情報処理装置１００によれば、人物がある１つの姿勢を取っている場合、該人物と視点（カメラ）との位置関係に関わらず、同一の基準姿勢ベクトルＰｓを取得することができる。従って、本実施形態の情報処理装置１００によれば、対象画像ＴＩから得られる姿勢情報の有用性を向上させることができる。例えば、本実施形態の情報処理装置１００によれば、対象画像ＴＩから得られる姿勢情報を用いた後処理（例えば、白杖利用者認識）の精度低下を抑制することができる。なお、本実施形態の情報処理装置１００により実現される姿勢情報の正規化は、対応情報ＣＩに規定された基準姿勢ベクトルＰｓと参照姿勢ベクトルＰｒとの対応関係の多数の事例を用いた正規化であり、事例ベースの正規化であると言える。
【００３７】
また、本実施形態の情報処理装置１００は、さらに、属性認識部１１６を備える。属性認識部１１６は、対象姿勢ベクトルＰａから変換された基準姿勢ベクトルＰｓに基づき、対象画像ＴＩ中の人物の属性を認識する。そのため、本実施形態の情報処理装置１００によれば、対象画像ＴＩから得られた姿勢情報を用いて、対象画像ＴＩ中の人物の属性を認識する処理を高精度で実行することができる。
【００３８】
また、本実施形態では、基準姿勢ベクトルＰｓと参照姿勢ベクトルＰｒと対象姿勢ベクトルＰａは、人物の複数の基準点Ｓｐの２次元座標値から構成されたベクトルを表すベクトル情報を含む。また、本実施形態の情報処理装置１００では、姿勢情報変換部１１４が、対象姿勢ベクトルＰａと、各参照姿勢ベクトルＰｒとの間の距離に基づき、近似参照姿勢ベクトルＰｒＮを特定する。そのため、本実施形態の情報処理装置１００によれば、近似参照姿勢ベクトルＰｒＮを適切に特定することができ、その結果、対象姿勢ベクトルＰａから基準姿勢ベクトルＰｓへの変換（正規化）を精度良く行うことができる。
【００３９】
なお、本実施形態の情報処理装置１００では、記憶部１３０が、人物の複数の基準点Ｓｐのそれぞれに設定された重み係数Ｗｉを特定する重み情報ＷＩを記憶している。また、姿勢情報変換部１１４は、対象姿勢ベクトルＰａと各参照姿勢ベクトルＰｒとの間の距離として、例えば、重み情報ＷＩにより特定された重み係数Ｗｉにより重み付けされた距離を用いている。このような重み付けされた距離を用いれば、得られる姿勢情報の利用目的に応じて各基準点Ｓｐの重み係数Ｗｉを設定することにより、該利用目的に適した近似参照姿勢ベクトルＰｒＮを特定することができ、その結果、該利用目的を精度良く実現するための対象姿勢ベクトルＰａから基準姿勢ベクトルＰｓへの変換（正規化）を実現することができる。例えば、姿勢情報の利用目的が人物の属性認識であり、該属性の有無によって動きが大きく異なる傾向にある基準点が存在する場合には、そのような基準点の重み係数Ｗｉを他の基準点より大きな値に設定することにより、該属性認識を精度良く実行することができる。また、姿勢情報の利用目的が人物の属性認識であり、該属性の有無にはほぼ無関係の基準点が存在する場合には、そのような基準点の重み係数Ｗｉを他の基準点より小さな値に設定することにより、該属性認識を精度良く実行することができる。
【００４０】
また、本実施形態では、対象画像ＴＩは、複数のフレーム画像ｆから構成された動画像である。対象姿勢情報取得部１１２は、複数のフレーム画像ｆのそれぞれについて、対象姿勢ベクトルＰａを取得する。姿勢情報変換部１１４は、複数のフレーム画像ｆのそれぞれについて、対象姿勢ベクトルＰａを基準姿勢ベクトルＰｓに変換する。そのため、本実施形態の情報処理装置１００によれば、動画像である対象画像ＴＩから得られる姿勢情報の有用性を向上させることができる。例えば、本実施形態の情報処理装置１００によれば、動画像である対象画像ＴＩから得られる姿勢情報を用いた後処理（例えば、白杖利用者認識）の精度低下を抑制することができる。
【００４１】
Ａ−４．性能評価：
第１実施形態の白杖利用者認識処理の有効性を確認するため、性能評価を行った。以下、この性能評価について説明する。
【００４２】
まず、３台のキャリブレーション済みの（すなわち、互いの位置関係が既知の）ビデオカメラを設置し、該カメラにより白杖利用者と白杖非利用者とを撮影して各人物が写った動画像を得た。撮影は、５つの異なる場所（屋外および屋内を含む）において実施した。
【００４３】
次に、上記５つの異なる場所で得られた動画像のそれぞれを対象画像として、白杖利用者認識処理を実行し、認識率（正解率）の評価を行った。この際、上述した第１実施形態に従った処理の認識率と、上述した第１実施形態からＳ１３０，Ｓ１４０を省略した比較例の処理（すなわち、Ｓ１５０において、Ｓ１２０で取得された対象姿勢ベクトルＰａを用いて白杖利用者か否かの判定を行う処理）とを実行した。また、５つの場所のそれぞれについて、ある場所から得られた動画像についての処理の評価を、残りの４つの場所から得られた動画像を学習データとして用いる５分割交差検証を行った。また、基準方向は、人物を側面から見る方向とし、Ｓ１２０の人物の姿勢推定（対象姿勢ベクトルＰａの取得）はＯｐｅｎＰｏｓｅを用いて実行し、Ｓ１５０の白杖利用者か否かの判定はＬＳＴＭを用いて実行した。
【００４４】
図６は、性能評価結果を示す説明図である。図６には、各場所（場所１〜５）について、本実施形態の処理（姿勢情報の正規化あり）および変形例の処理（姿勢情報の正規化なし）を行った際の認識率の値が示されている。場所３〜５の結果、および、全体平均の結果を見ると、本実施形態の処理による認識率が、比較例の処理による認識率を上回っている。この結果によれば、上述した第１実施形態の白杖利用者認識処理のように、姿勢情報の正規化を行うことにより、属性認識処理の精度を向上させることができることが確認されたと言える。
【００４５】
Ａ−５．第１実施形態の変形例：
上述した第１実施形態において、以下のような変形も可能である。すなわち、第１実施形態では、対応情報ＣＩは、人物の複数の姿勢のそれぞれについて、基準姿勢ベクトルＰｓと、複数の（Ｄ個の）参照姿勢ベクトルＰｒのそれぞれと、を対応付ける情報であり、姿勢情報変換部１１４は、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれについて、対象姿勢ベクトルＰａと各参照姿勢ベクトルＰｒとの間の距離を算出し、該距離が最も小さい参照姿勢ベクトルＰｒを、近似参照姿勢ベクトルＰｒＮとして特定するものとしている。
【００４６】
これに対し、第１実施形態の本変形例では、対応情報ＣＩは、人物の複数の姿勢のそれぞれについて、基準姿勢ベクトルＰｓと、時間順に並べられたＮ（Ｎは２以上の整数）個の参照姿勢ベクトルＰｒ（以下、「参照姿勢ベクトル群ＧＰｒ」という。）と、を対応付ける情報である。また、姿勢情報変換部１１４は、一のフレーム画像ｆについての対象姿勢ベクトルＰａを含み、かつ、時間順に並べられたＮ個の対象姿勢ベクトルＰａ（以下、「対象姿勢ベクトル群ＧＰａ」という。）に近似するＮ個の参照姿勢ベクトルＰｒ（参照姿勢ベクトル群ＧＰｒ）を、近似参照姿勢ベクトルＰｒＮとして特定する。
【００４７】
例えば、姿勢情報変換部１１４は、時刻ｔのフレーム画像ｆ（ｔ）について、フレーム画像ｆ（ｔ）から取得された対象姿勢ベクトルＰａと、フレーム画像ｆ（ｔ）から時間的にさかのぼった（Ｎ−１）個のフレーム画像ｆ（ｔ−１），ｆ（ｔ−２），・・・，ｆ（ｔ−Ｎ−１）のそれぞれから取得された対象姿勢ベクトルＰａとから、対象姿勢ベクトル群ＧＰａを構成する。そして、姿勢情報変換部１１４は、この対象姿勢ベクトル群ＧＰａと、対応情報ＣＩに含まれる各参照姿勢ベクトル群ＧＰｒとの間の距離を算出し、該距離が最も小さい参照姿勢ベクトル群ＧＰｒを構成するＮ個の参照姿勢ベクトルＰｒを、近似参照姿勢ベクトルＰｒＮとして特定する。姿勢情報変換部１１４は、複数のフレーム画像ｆのそれぞれから取得された対象姿勢ベクトルＰａを、対応情報ＣＩにおいて近似参照姿勢ベクトルＰｒＮ（上記Ｎ個の参照姿勢ベクトルＰｒ）に対応付けられた基準姿勢ベクトルＰｓに変換する。なお、対象姿勢ベクトル群ＧＰａと参照姿勢ベクトル群ＧＰｒとの間の距離は、対象姿勢ベクトル群ＧＰａおよび参照姿勢ベクトル群ＧＰｒのそれぞれを１つのベクトルとみなし、上述した第１実施形態と同様の計算方法により算出することができる。
【００４８】
このように、第１実施形態の本変形例では、対応情報ＣＩは、基準姿勢ベクトルＰｓと、時間順に並べられたＮ個の参照姿勢ベクトルＰｒ（参照姿勢ベクトル群ＧＰｒ）と、を対応付ける情報であり、姿勢情報変換部１１４は、一のフレーム画像ｆについての対象姿勢ベクトルＰａを含み、かつ、時間順に並べられたＮ個の対象姿勢ベクトルＰａ（対象姿勢ベクトル群ＧＰａ）に近似するＮ個の参照姿勢ベクトルＰｒ（参照姿勢ベクトル群ＧＰｒ）を、近似参照姿勢ベクトルＰｒＮとして特定する。そのため、第１実施形態の本変形例によれば、対象姿勢ベクトルＰａから基準姿勢ベクトルＰｓへの変換（正規化）について、入力の平滑化（多入力化）を行うことによって、フレーム画像ｆ間での制約を導入することができ、基準姿勢ベクトルＰｓへの変換（正規化）の精度を効果的に向上させることができる。例えば、姿勢推定の精度低下等に起因して、時間的に連続する複数のフレーム画像ｆの１つから、残りのフレーム画像ｆから取得された対象姿勢ベクトルＰａとは大きく異なる対象姿勢ベクトルＰａが取得された場合にも、該大きく異なる対象姿勢ベクトルＰａに過度に引き摺られることなく、該フレーム画像ｆについてより適切な姿勢情報の変換（正規化）を行うことができる。これにより、対象画像ＴＩから得られる姿勢情報の有用性を効果的に向上させることができる。
【００４９】
Ｂ．第２実施形態：
図７は、第２実施形態における情報処理装置１００ａの概略構成を示すブロック図である。以下では、第２実施形態の情報処理装置１００ａの構成、および、情報処理装置１００ａによる処理内容の内、上述した第１実施形態と同一の構成および処理内容については、同一の符号を付すことによってその説明を適宜省略する。
【００５０】
図７に示すように、第２実施形態の情報処理装置１００ａは、制御部１１０が、記憶部１３０から属性認識プログラムＣＰを読み出して実行することにより、さらに姿勢情報補正部１１８として機能する。姿勢情報補正部１１８の機能については、以下の白杖利用者認識処理の説明に合わせて説明する。
【００５１】
図８は、第２実施形態における白杖利用者認識処理の内容を示すフローチャートである。第２実施形態の白杖利用者認識処理において、Ｓ１１０，Ｓ１２０，Ｓ１３０，Ｓ１４０，Ｓ１５０の各処理は、上述した第１実施形態の白杖利用者認識処理における各処理の内容と同一である。
【００５２】
第２実施形態における白杖利用者認識処理では、対象画像ＴＩを構成する複数のフレーム画像ｆのそれぞれについて、取得された対象姿勢ベクトルＰａを基準姿勢ベクトルＰｓに変換する処理（正規化処理）（Ｓ１４０）が行われた後、姿勢情報補正部１１８が、一のフレーム画像ｆについての対象姿勢ベクトルＰａから変換された基準姿勢ベクトルＰｓを、Ｍ（Ｍは１以上の整数）個の他のフレーム画像ｆについての対象姿勢ベクトルＰａから変換された基準姿勢ベクトルＰｓに基づき補正する。
【００５３】
例えば、姿勢情報補正部１１８は、フレーム画像ｆ（ｔ）から特定された基準姿勢ベクトルＰｓと、フレーム画像ｆ（ｔ）から時間的にさかのぼったＭ個のフレーム画像ｆ（ｔ−１），ｆ（ｔ−２），・・・，ｆ（ｔ−Ｍ）のそれぞれから特定された基準姿勢ベクトルＰｓとから構成される（Ｍ＋１）個の基準姿勢ベクトルＰｓ（以下、「基準姿勢ベクトル群ＧＰｓ」という。）を用いて所定の平滑化処理（例えば、平均値を求める処理、中央値を求める処理、外れ値を除去する処理、時系列フィルタによる予測を行う処理等）を行い、該平滑化処理後の基準姿勢ベクトルＰｓを、時刻ｔのフレーム画像ｆ（ｔ）についての補正後の基準姿勢ベクトルＰｓとする。
【００５４】
このように、第２実施形態の情報処理装置１００ａは、さらに、一のフレーム画像ｆについての対象姿勢ベクトルＰａから変換された基準姿勢ベクトルＰｓを、他のフレーム画像ｆについての対象姿勢ベクトルＰａから変換された基準姿勢ベクトルＰｓに基づき補正する姿勢情報補正部１１８を備える。そのため、第２実施形態の情報処理装置１００ａによれば、対象姿勢ベクトルＰａから基準姿勢ベクトルＰｓへの変換（正規化）について、出力の平滑化を行うことによって、フレーム画像ｆ間での制約を導入することができ、基準姿勢ベクトルＰｓへの変換（正規化）の精度を効果的に向上させることができる。例えば、姿勢推定の精度低下等に起因して、時間的に連続する複数のフレーム画像ｆの１つについて、残りのフレーム画像ｆについての基準姿勢ベクトルＰｓとは大きく異なる基準姿勢ベクトルＰｓに変換された場合にも、該大きく異なる基準姿勢ベクトルＰｓが残りのフレーム画像ｆについての基準姿勢ベクトルＰｓを用いて補正されることにより、該フレーム画像ｆについてより適切な姿勢情報の変換（正規化）の結果を得ることができる。これにより、対象画像ＴＩから得られる姿勢情報の有用性を効果的に向上させることができる。
【００５５】
Ｃ．変形例：
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
【００５６】
上記実施形態における情報処理装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、情報処理装置１００がパーソナルコンピュータにより構成されているが、情報処理装置１００が他の種類のコンピュータ（例えば、スマートフォンやタブレット端末等）により構成されていてもよい。
【００５７】
上記実施形態における白杖利用者認識処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、近似参照姿勢ベクトルＰｒＮの特定のために用いる対象姿勢ベクトルＰａと参照姿勢ベクトルＰｒの間の距離として、ユークリッド距離、マンハッタン距離、基準点重み付き距離、マハラノビス距離の４つを例示しているが、これら以外の距離が用いられてもよい。また、上記実施形態では、該距離が最も小さい（すなわち、対象姿勢ベクトルＰａに最も近似した）参照姿勢ベクトルＰｒを近似参照姿勢ベクトルＰｒＮとして特定するものとしているが、これに限られず、該距離が小さい（すなわち、対象姿勢ベクトルＰａに近似した）参照姿勢ベクトルＰｒを近似参照姿勢ベクトルＰｒＮとして特定するものとしてもよい。
【００５８】
上記実施形態では、人物の姿勢を表す姿勢情報として、人物の複数の基準点の２次元座標値から構成された姿勢ベクトルが用いられるが、人物の姿勢を表す他の情報が用いられてもよい。
【００５９】
上記実施形態では、対象画像ＴＩとして動画像が用いられているが、対象画像ＴＩとして静止画像が用いられてもよい。
【００６０】
上記実施形態では、対象姿勢ベクトルＰａから変換された基準姿勢ベクトルＰｓが白杖利用者認識のために利用されているが、該基準姿勢ベクトルＰｓが白杖利用者認識以外の他の属性認識（歩容認識）に利用されるとしてもよいし、属性認識以外の他の後処理に利用されるとしてもよい。
【００６１】
また、上記各実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
【符号の説明】
【００６２】
１００：情報処理装置  １１０：制御部  １１２：対象姿勢情報取得部  １１４：姿勢情報変換部  １１６：属性認識部  １１８：姿勢情報補正部  １３０：記憶部  １５２：表示部  １５６：操作入力部  １５８：インターフェース部  １９０：バス  ＣＩ：対応情報  ＣＰ：属性認識プログラム  ＧＰａ：対象姿勢ベクトル群  ＧＰｒ：参照姿勢ベクトル群  ＧＰｓ：基準姿勢ベクトル群  Ｐａ：対象姿勢ベクトル  Ｐｒ：参照姿勢ベクトル  ＰｒＮ：近似参照姿勢ベクトル  Ｐｓ：基準姿勢ベクトル  Ｓｐ：基準点  ＴＩ：対象画像  ＴＩＤ：対象画像データ  ＷＩ：重み情報  ｆ：フレーム画像
【図１】
2020140283.tif 000007
【図２】
2020140283.tif 000008
【図３】
2020140283.tif 000009
【図４】
2020140283.tif 000010
【図５】
2020140283.tif 000011
【図６】
2020140283.tif 000012
【図７】
2020140283.tif 000013
【図８】
2020140283.tif 000014