(57)【要約】【課題】  複数の時系列画像に映った対象の行動を高精度に推定することが可能な行動推定装置を提供する。【解決手段】  行動推定装置１は、対象Ｚが映った複数の時系列画像Ｙを取得する推定側取得部１２と、各時系列画像Ｙに映った複数の関節Ａを検出する推定側検出部１３と、検出された複数の関節Ａの各時系列画像Ｙにおける座標を計測する推定側計測部１４と、計測された複数の関節Ａの座標の複数の時系列画像Ｙにおける変位に基づき、対象Ｚの行動を推定する推定部１５と、を備えており、推定側検出部１３は、各時系列画像Ｙに映った背景を更に検出し、推定部１５は、対象Ｚの行動の推定に当たり、検出された背景も考慮する。【選択図】図５
2019204464.tif 000002
【特許請求の範囲】
【請求項１】
対象が映った複数の時系列画像を取得する推定側取得部と、
各時系列画像に映った複数の関節を検出する推定側検出部と、
前記検出された複数の関節の各時系列画像における座標を計測する推定側計測部と、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、
を備え、
前記推定側検出部は、各時系列画像に映った背景を更に検出し、
前記推定部は、前記対象の行動の推定に当たり、前記検出された背景も考慮することを特徴とする行動推定装置。
【請求項２】
推定される行動の複数の選択肢を記憶した記憶部を更に備え、
前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする請求項１に記載の行動推定装置。
【請求項３】
推定される行動の複数の選択肢を記憶した記憶部を更に備え、
前記推定部は、前記対象の行動の推定に当たり、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項１に記載の行動推定装置。
【請求項４】
前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項２又は３に記載の行動推定装置。
【請求項５】
コンピュータにインストールされるプログラムであって、
対象が映った複数の時系列画像を取得するステップと、
各時系列画像に映った複数の関節を検出するステップと、
前記検出された複数の関節の各時系列画像における座標を計測するステップと、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、
各時系列画像に映った背景を検出するステップと、
を備え、
前記推定するステップでは、前記検出された背景も考慮することを特徴とする行動推定プログラム。
【請求項６】
前記コンピュータには、推定される行動の複数の選択肢が記憶されており、
前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする請求項５に記載の行動推定プログラム。
【請求項７】
前記コンピュータには、推定される行動の複数の選択肢が記憶されており、
前記推定するステップでは、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項５に記載の行動推定プログラム。
【請求項８】
前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項６又は７に記載の行動推定プログラム。
【請求項９】
対象が映った複数の時系列画像を取得する推定側取得部と、
各時系列画像に映った複数の関節を検出する推定側検出部と、
各時系列画像に映った前記複数の関節の座標を計測する推定側計測部と、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、
前記対象の行動の推定の目的又は用途が設定される設定部と、
を備え、
前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途を考慮することを特徴とする行動推定装置。
【請求項１０】
推定される行動の複数の選択肢を記憶した記憶部を更に備え、
前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする請求項９に記載の行動推定装置。
【請求項１１】
推定される行動の複数の選択肢を記憶した記憶部を更に備え、
前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項９に記載の行動推定装置。
【請求項１２】
前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項１０又は１１に記載の行動推定装置。
【請求項１３】
対象の行動の推定の目的又は用途が設定されたコンピュータにインストールされるプログラムであって、
対象が映った複数の時系列画像を取得するステップと、
各時系列画像に映った複数の関節を検出するステップと、
前記検出された複数の関節の各時系列画像における座標を計測するステップと、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、
を備え、
前記推定するステップでは、前記設定された目的又は用途を考慮することを特徴とする行動推定プログラム。
【請求項１４】
前記コンピュータには、推定される行動の複数の選択肢が記憶されており、
前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする請求項１３に記載の行動推定プログラム。
【請求項１５】
前記コンピュータには、推定される行動の複数の選択肢が記憶されており、
前記推定するステップでは、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項１３に記載の行動推定プログラム。
【請求項１６】
前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項１４又は１５に記載の行動推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の時系列画像に映った対象の行動を推定するための行動推定装置に関する。
【背景技術】
【０００２】
従来より、時系列データに映った人間の関節等から姿勢を検知し、当該姿勢の変化に応じて行動を認識する装置が知られている。（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２２８１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、行動の推定というものは、検知された姿勢に基づき、複数の選択肢の中から可能性の高いものを選択するのが一般的であるところ、選択肢の選択を精度よく行うことが、精度の高い行動推定に繋がる。
【０００５】
そこで、本発明は、複数の時系列画像に映った対象の行動を高精度に推定することが可能な行動推定装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明は、対象が映った複数の時系列画像を取得する推定側取得部と、各時系列画像に映った複数の関節を検出する推定側検出部と、前記検出された複数の関節の各時系列画像における座標を計測する推定側計測部と、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、を備え、前記推定側検出部は、各時系列画像に映った背景を更に検出し、前記推定部は、前記対象の行動の推定に当たり、前記検出された背景も考慮することを特徴とする行動推定装置を提供している。
【０００７】
このような構成によれば、背景を考慮することで、実際に起こる可能性の高い行動に焦点を当てることができるので、高精度な行動推定を実現することが可能となる。
【０００８】
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
【０００９】
このような構成によれば、実際に起こる可能性の低い行動の確率を低下させたり、実際に起こる可能性の高い行動の確率を増加させたりすることができるので、より高精度な行動推定を実現することが可能となる。
【００１０】
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
【００１１】
このような構成によれば、最終的にユーザに提示される行動の数が減るので、推定された行動についてより把握しやすくなる。また、選択肢の確率を算出する前に一又は複数の選択肢を除外することで、除外されなかった選択肢の確率だけを効率よく算出することができると共に、ＣＰＵへの負荷を軽減させることが可能となる。
【００１２】
また、前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
【００１３】
このような構成によれば、「投球」と「転倒」のような途中まで似たような動作のうち、一方を除外した場合、他方の可能性が高まるので、より高精度の行動推定を行うことが可能となる。
【００１４】
また、本発明の別の観点によれば、コンピュータにインストールされるプログラムであって、対象が映った複数の時系列画像を取得するステップと、各時系列画像に映った複数の関節を検出するステップと、前記検出された複数の関節の各時系列画像における座標を計測するステップと、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、各時系列画像に映った背景を検出するステップと、を備え、前記推定するステップでは、前記検出された背景も考慮することを特徴とする行動推定プログラムを提供している。
【００１５】
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
【００１６】
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
【００１７】
また、前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
【００１８】
また、本発明の別の観点によれば、対象が映った複数の時系列画像を取得する推定側取得部と、各時系列画像に映った複数の関節を検出する推定側検出部と、各時系列画像に映った前記複数の関節の座標を計測する推定側計測部と、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、前記対象の行動の推定の目的又は用途が設定される設定部と、を備え、前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途を考慮することを特徴とする行動推定装置を提供している。
【００１９】
このような構成によれば、目的又は用途を考慮することで、実際に起こる可能性の高い行動に焦点を当てることができるので、高精度な行動推定を実現することが可能となる。
【００２０】
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
【００２１】
また、本発明は、推定される行動の複数の選択肢を記憶した記憶部を更に備え、前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
【００２２】
また、前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
【００２３】
また、本発明の別の観点によれば、対象の行動の推定の目的又は用途が設定されたコンピュータにインストールされるプログラムであって、対象が映った複数の時系列画像を取得するステップと、各時系列画像に映った複数の関節を検出するステップと、前記検出された複数の関節の各時系列画像における座標を計測するステップと、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、を備え、前記推定するステップでは、前記設定された目的又は用途を考慮することを特徴とする行動推定プログラムを提供している。
【００２４】
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することが好ましい。
【００２５】
また、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、前記推定するステップでは、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することが好ましい。
【００２６】
また、前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることが好ましい。
【発明の効果】
【００２７】
本発明の行動推定装置によれば、複数の時系列画像に映った対象の行動を高精度に推定することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態による行動推定装置の使用状態の説明図
【図２】本発明の実施の形態による学習装置及び行動推定装置のブロック図
【図３】本発明の実施の形態による関節群の説明図
【図４】本発明の実施の形態による背景に応じた行動の選択肢の補正の説明図
【図５】本発明の実施の形態による行動推定装置による行動推定のフローチャート
【図６】本発明の変形例による行動推定装置の使用状態の説明図
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態による行動推定装置１について、図１−図５を参照して説明する。
【００３０】
行動推定装置１は、図１に示すように、撮影手段Ｘによって撮影された複数の時系列画像Ｙ（動画を構成する各フレーム等）に映った対象Ｚの行動を推定するためのものである（本実施の形態では、理解容易のため、対象Ｚを骨格だけで簡易的に表示している）。行動の推定に当たっては、学習装置２（図２参照）により学習され記憶部３に記憶された情報を参照する。
【００３１】
まず、学習装置２の構成について説明する。
【００３２】
学習装置２は、図２に示すように、学習側識別器２１と、学習側取得部２２と、学習側検出部２３と、正解取得部２４と、学習側計側部２５と、学習部２６と、を備えている。
【００３３】
学習側識別器２１は、対象Ｚの複数の関節Ａ（本実施の形態では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等の基準として、関節識別情報が記憶されている。また、学習側識別器２１には、対象Ｚの様々なバリエーション（“歩行”、“直立”等）の “基本姿勢“、”各関節Ａの可動域“、”各関節Ａ間の距離“に関する基準として、補足識別情報も記憶されている。
【００３４】
更に、学習側識別器２１には、背景（“病室”、“オフィス”、“屋外”等）を識別するための基準として、背景識別情報（物体の有無・色彩・角度、人物の有無等）も記憶されている。
【００３５】
学習側取得部２２は、行動が既知の映像として、複数の時系列画像Ｙを取得する。この複数の時系列画像Ｙは、行動推定装置１のユーザにより入力される。
【００３６】
学習側検出部２３は、各時系列画像Ｙに映った複数の関節Ａを検出する。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてモデリングされた推論モデルにより、学習側識別器２１に記憶された関節識別情報に該当する部位を検出する。検出された各関節Ａ（図１では、Ａ１−Ａ６）は、表示部（図示せず）上に、選択可能に表示される。
【００３７】
また、学習側検出部２３は、各時系列画像Ｙに映った背景も検出する。詳細には、各時系列画像Ｙの中で、学習側識別器２１に記憶された背景識別情報に該当する部位を検出する。
【００３８】
正解取得部２４は、複数の時系列画像Ｙに映った対象Ｚの正解となる行動（以下、正解行動という）を、学習側検出部２３により検出された各関節Ａについて取得する。この正解行動は、行動推定装置１のユーザにより入力される。具体的には、図１に示すように、複数の時系列画像Ｙが対象Ｚが転倒した際のものであった場合には、ユーザは、表示部（図示せず）上で各関節Ａを選択し、正解行動“転倒”を入力することとなる。
【００３９】
更に、本実施の形態では、正解取得部２４は、複数の時系列画像Ｙに映った正解背景も取得する。例えば、正解背景が“病室”の場合には、ユーザは、“病室”というタグを入力することになる。なお、正解行動、及び、正解背景の選択肢は、記憶部３に記憶されている。
【００４０】
学習側計側部２５は、学習側検出部２３により検出された複数の関節Ａの座標及び深度を計測する。この計測は、各時系列画像Ｙに対して行われる。
【００４１】
例えば、時刻ｔ１の時系列画像Ｙにおける関節Ａ１の座標及び深度は、（ＸＡ１（ｔ１）、ＹＡ１（ｔ１）、ＺＡ１（ｔ１））のように表すことができる。なお、深度に関しては、必ずしも座標で表す必要はなく、複数の時系列画像Ｙにおける相対的な深度で表してもよい。なお、深度は、既知の方法により測定してもよいが、正解取得部２４において各関節Ａの深度を入力しておき、その入力された深度をそのまま用いてもよい。この場合には、後述する学習部２６は、例えば、「この関節のサイズ、角度等であれば、○○ｍの距離である」と学習していくことになる。
【００４２】
学習部２６は、各対象Ｚに属する複数の関節Ａの全体としての座標及び深度の複数の時系列画像Ｙにおける変位を学習する。具体的には、正解取得部２４において特定された各対象Ｚに属する複数の関節Ａを関節群Ｂ（図３参照）と識別した上で、当該関節群Ｂ全体としての座標及び深度の複数の時系列画像Ｙにおける変位を学習する。
【００４３】
関節群Ｂの全体としての座標及び深度の変位としては、検出された全ての関節Ａの座標の中心点の座標及び深度の変位や、体の動きと密接に関連した重心の座標及び深度の変位を用いることが考えられる。また、これらの両方を用いたり、これらに加えて各関節Ａの座標及び深度の変位も考慮して、より精度を高めてもよい。なお、重心の座標及び深度は、各関節Ａの座標及び深度と、各関節Ａ（筋肉、脂肪等を含む）の重量と、を考慮して算出することが考えられる。この場合、各関節Ａの重量は、学習側識別器２１等に記憶させておけばよい。
【００４４】
そして、学習部２６は、上記学習された関節群Ｂの全体としての座標及び深度の複数の時系列画像Ｙにおける変位を、正解取得部２４で入力された正解行動と対応付けて学習する。例えば、正解行動“前方への転倒”の場合、関節群Ｂの全体としての座標の変位は、“第１の距離だけ下方へ進む”、関節群Ｂの全体としての深度の変位は、“第２の距離だけ前方へ進む”というように学習することになる。
【００４５】
また、学習部２６は、学習側検出部２３により検出された背景（背景識別情報）と、正解取得部２４により取得された正解背景と、を対応付けて学習する。これにより、「このような背景識別情報の場合の背景は“病室”」、「このような背景識別情報の場合、背景が“病室”である確率が８０％」等の推定を行うことが可能になる。
【００４６】
更に、本実施の形態では、学習部２６は、正解取得部２４により取得された正解行動と正解背景との関連性を決定する。例えば、背景が“病室”の場合、「歩行」が最も多く、「転倒」は時折起こり、「走行」はめったに起こらず、「投球」は全く起こらない、という関連性が見えてくることが考えられる。従って、背景が“病室”の場合、例えば、「歩行：高」、「転倒：中」、「走行：低」、「投球：無」という関連性が決定されることになる。このようにして決定された関連性は、記憶部３に記憶される。
【００４７】
なお、学習部２６では、上記した複数の時系列画像Ｙ以外にも、様々な観点の画像を大量に集めて学習させることが好ましい。例えば、“病室”の場合、「様々な角度で撮影された病室」、「様々な色彩の病室」、「看護師や患者の有無に応じた病室」等の大量の画像を集めて学習させることが考えられる。
【００４８】
記憶部３は、上記した学習部２６による学習結果の他に、正解取得部２４でユーザにより選択される様々な行動や背景の選択肢を記憶している。
【００４９】
続いて、行動推定装置１の構成について説明する。
【００５０】
行動推定装置１は、図２に示すように、推定側識別器１１と、推定側取得部１２と、推定側検出部１３と、推定側計側部１４と、推定部１５と、を備えている。
【００５１】
推定側識別器１１は、対象Ｚの複数の関節Ａ（本実施の形態では、首、右肘、左肘、腰、右膝、左膝）を識別するためのものであり、関節Ａごとに、それぞれを識別するための形状、方向、サイズ等の基準として、関節識別情報が記憶されている。また、推定側識別器１１には、対象Ｚの様々なバリエーション（“歩行”、“直立”等）の“基本姿勢“、”各関節Ａの可動域“、”各関節Ａ間の距離“に関する基準として、補足識別情報も記憶されている。本実施の形態では、学習側識別器２１と同一の情報が記憶されているものとする。
【００５２】
更に、推定側識別器１１には、背景（“病室”、“オフィス”、“屋外”等）を識別するための基準として、背景識別情報（物体の有無・色彩・角度、人物の有無等）も記憶されている。本実施の形態では、学習側識別器２１と同一の情報が記憶されているものとする。
【００５３】
推定側取得部１２は、撮影手段Ｘに接続されており、撮影手段Ｘにより撮影された映像、すなわち、複数の時系列画像Ｙを取得する。本実施の形態では、複数の時系列画像Ｙをリアルタイムで取得するものとするが、行動推定装置１の使用目的によっては、後から取得するようにしてもよい。
【００５４】
推定側検出部１３は、各時系列画像Ｙに映った複数の関節Ａを検出する。具体的には、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）を用いてモデリングされた推論モデルにより、推定側識別器１１に記憶された関節識別情報に該当する部位を検出する。推定側検出部１３が関節Ａを検出した場合には、時系列画像Ｙに対象Ｚが映っていると考えることができる。
【００５５】
また、推定側検出部１３は、各時系列画像Ｙに映った背景も検出する。詳細には、各時系列画像Ｙの中で、推定側識別器１１に記憶された背景識別情報に該当する部位を検出し、記憶部３に記憶された学習部２６による学習結果を参照して、背景を決定する。例えば、図１では、“ベッド”と“点滴”が存在することから、「背景は病室である」と決定することになる。
【００５６】
推定側計側部１４は、推定側検出部１３により検出された複数の関節Ａの座標及び深度を計測する。この計測は、各時系列画像Ｙに対して行われる。
【００５７】
例えば、時刻ｔ１の時系列画像Ｙにおける関節Ａ１の座標及び深度は、（ＸＡ１（ｔ１）、ＹＡ１（ｔ１）、ＺＡ１（ｔ１））のように表すことができる。なお、深度に関しては、必ずしも座標で表す必要はなく、複数の時系列画像Ｙにおける相対的な深度で表してもよい。なお、深度は、既知の方法により測定してもよいが、学習部２６によって深度の学習が行われている場合には、学習部２６を参照して深度を特定してもよい。
【００５８】
推定部１５は、関節群Ｂの全体としての座標及び深度の複数の時系列画像Ｙにおける変位に基づき、対象Ｚの行動を推定する。具体的には、記憶部３に記憶された学習部２６による学習結果を参照して、様々な行動の選択肢（「転倒」、「歩行」、「走行」、「投球」等）の中から、確率の高い一又は複数の行動が選択されることになる。すなわち、行動推定装置１では、各対象Ｚの関節群Ｂ全体としての座標及び深度を、ＬＳＴＭ（Ｌｏｎｇ  Ｓｈｏｒｔ  Ｔｅｒｍ  Ｍｅｍｏｒｙ）を用いた時系列の推論モデルにインプットし、「ｗａｌｋｉｎｇ」「ｓｔａｎｄｉｎｇ」といった行動識別ラベルをアウトプットすることになる。
【００５９】
ここで、本実施の形態では、推定部１５は、対象Ｚの行動の推定に当たり、時系列画像Ｙに映った背景も考慮する。詳細には、記憶部３に記憶された正解行動と正解背景との関連性を参照して、推定側検出部１３により検出（決定）された背景に応じて行動の選択肢の確率を補正する。
【００６０】
例えば、背景が“病室”であるが、背景を考慮せずに対象Ｚの行動を推定すると、図４（ａ）に示すように、「歩行：６５％」、「転倒：７５％」、「走行：４５％」、「投球：６５％」となる場合について考える。
【００６１】
ここでは、「投球」は、「転倒」と途中まで似たような動作であるため、高い確率で推定されているが、「投球」は、“病室”で実際に起こる可能性が極めて低い行動である。
【００６２】
そこで、「背景：病室」に対して、「歩行：高」、「転倒：中」、「走行：低」、「投球：無」と関連性が決定されていた場合、本実施の形態では、図４（ｂ）に示すように、「走行：４５％→３０％」、「投球：６５％→１５％」のように、“病室”で実際に起こる可能性の低い行動の確率を低下させる補正を行う。また、逆に、「歩行：６５％→８０％」、「転倒：７５％→８５％」のように、“病室”で実際に起こる可能性の高い行動の確率を増加させる補正を行うことも考えられる。
【００６３】
また、“病室”で実際に起こる可能性の低い行動の確率を低下させる補正を行った結果、所定以下の確率となった行動は、行動の選択肢から除外することも考えられる。例えば、「３０％以下となった行動は除外する」場合には、図４（ｃ）に示すように、「走行」と「投球」を除外することが考えられる。
【００６４】
また、記憶部３において、「転倒」と「投球」のように、互いの動作に所定以上の関連性のある行動を紐付けておき、紐付けられた行動のいずれかを除外や低下させた場合、他方の行動の確率を増加させることも考えられる。図４の例では、（ｄ）に示すように、「投球」を除外したため、「転倒」の確率を増加させている。
【００６５】
このように、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、時系列画像Ｙに映った背景も考慮することで、より高精度な行動推定を行うことが可能となっている。
【００６６】
続いて、図５のフローチャートを用いて、行動推定装置１による “対象Ｚの行動の推定”について説明する。
【００６７】
まず、推定側取得部１２が複数の時系列画像Ｙを取得すると（Ｓ１）、推定側検出部１３により、各時系列画像Ｙに映った複数の関節Ａ及び背景が検出される（Ｓ２）。
【００６８】
続いて、推定側計側部１４により、Ｓ２で検出された複数の関節Ａの座標及び深度が計測される（Ｓ３）。この計測は、各時系列画像Ｙに対して行われる。
【００６９】
続いて、推定部１５により、Ｓ３で計測された複数の関節Ａの座標及び深度の複数の時系列画像Ｙにおける変位に基づき、対象Ｚの行動を推定する（Ｓ４）。
【００７０】
最後に、検出された背景に応じて、推定された行動の確率を補正する（Ｓ５）。
【００７１】
このような構成を有する行動推定装置１は、例えば、介護施設において、被介護者がいる室内を常時撮影し、撮影された映像に基づき被介護者（対象Ｚ）が転倒したこと等を推定した場合に、その旨を介護者へ報知する等の用途で用いることができる。
【００７２】
以上説明したように、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、時系列画像Ｙに映った背景も考慮する。
【００７３】
このような構成によれば、背景を考慮することで、実際に起こる可能性の高い行動に焦点を当てることができるので、高精度な行動推定を実現することが可能となる。
【００７４】
また、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、計測された複数の関節Ａの座標の複数の時系列画像Ｙにおける変位に基づき、複数の選択肢の確率をそれぞれ算出し、検出された背景に基づき、算出された複数の選択肢の確率を補正する。
【００７５】
このような構成によれば、実際に起こる可能性の低い行動の確率を低下させたり、実際に起こる可能性の高い行動の確率を増加させたりすることができるので、より高精度な行動推定を実現することが可能となる。
【００７６】
また、本実施の形態による行動推定装置１では、対象Ｚの行動の推定に当たり、検出された背景に基づき、複数の選択肢から一又は複数の選択肢を除外する。
【００７７】
このような構成によれば、最終的にユーザに提示される行動の数が減るので、推定された行動についてより把握しやすくなる。また、選択肢の確率を算出する前に一又は複数の選択肢を除外することで、除外されなかった選択肢の確率だけを効率よく算出することができると共に、ＣＰＵへの負荷を軽減させることが可能となる。
【００７８】
また、本実施の形態による行動推定装置１では、複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、対象Ｚの行動の推定に当たり、紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、紐付けられた複数の選択肢のうち除外又は確率が低下されなかったものの確率を増加させる。
【００７９】
このような構成によれば、「投球」と「転倒」のような途中まで似たような動作のうち、一方を除外した場合、他方の可能性が高まるので、より高精度の行動推定を行うことが可能となる。
【００８０】
尚、本発明の行動推定装置は、上述した実施の形態に限定されず、特許請求の範囲に記載した範囲で種々の変形や改良が可能である。
【００８１】
例えば、上記実施の形態では、対象Ｚの行動の推定に当たり、背景を考慮したが、目的や用途を考慮することもできる。
【００８２】
例えば、オフィスにおいて社員のゼスチャーを認識することを目的とする場合には、上記「転倒」、「歩行」、「走行」、「投球」は必要がないため、これらの選択肢の確率を低下又は除外し、逆に、「腕の移動」、「顔の移動」等の確率を増加させることが考えられる。この場合には、図６に示すように、行動推定装置１に設定部１６を設け、ユーザが目的又は用途（防犯、医療介護等）を設定することになる。そして、記憶部３に正解行動と目的又は用途との関連性を記憶しておき、推定部１５が、対象Ｚの行動を推定する際に、当該関連性を参照して、設定部１６で設定された目的又は用途に応じて行動の選択肢の確率を補正すればよい。
【００８３】
また、上記実施の形態では、正解行動と正解背景との関連性は、学習部２６により学習されたものを記憶部３に記憶したが、設定値を予め記憶部３に記憶しておいてもよい。
【００８４】
また、上記実施の形態では、記憶部３は、行動推定装置１と学習装置２とは別体として設けられていたが、行動推定装置１側や学習装置２側に設けてもよい。
【００８５】
また、上記実施の形態では、対象Ｚの行動推定に当たり、関節群Ｂの座標及び深度の複数の時系列画像Ｙにおける変位を考慮したが、単純に各関節Ａの複数の時系列画像Ｙにおける変位に基づいて行動を推定してもよい。
【００８６】
また、上記実施の形態では、対象Ｚとして人間を例に説明したが、動物やロボットの行動を推定するために使用することも可能である。また、上記実施の形態では、複数の関節Ａとして、首、右肘、左肘、腰、右膝、左膝を例に説明を行ったが、その他の関節や、より多くの関節Ａを用いてもよいことは言うまでもない。
【００８７】
また、本発明は、行動推定装置１が行う処理に相当するプログラムや、当該プログラムを記憶した記録媒体にも応用可能である。記録媒体の場合、コンピュータ等に当該プログラムがインストールされることとなる。ここで、当該プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体としては、ＣＤ−ＲＯＭ等が考えられるが、それに限定されるものではない。
【符号の説明】
【００８８】
１      行動推定装置
２      学習装置
３      記憶部
１１    推定側識別器
１２    推定側取得部
１３    推定側検出部
１４    推定側計側部
１５    推定部
１６    設定部
２１    学習側識別器
２２    学習側取得部
２３    学習側検出部
２４    正解取得部
２５    学習側計側部
２６    学習部
【図１】
2019204464.tif 000003
【図２】
2019204464.tif 000004
【図３】
2019204464.tif 000005
【図４】
2019204464.tif 000006
【図５】
2019204464.tif 000007
【図６】
2019204464.tif 000008
【手続補正書】
【提出日】平成31年4月4日(2019.4.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象が映った複数の時系列画像を取得する推定側取得部と、
各時系列画像に映った複数の関節を検出する推定側検出部と、
前記検出された複数の関節の各時系列画像における座標を計測する推定側計測部と、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、
推定される行動の複数の選択肢を記憶した記憶部と、
を備え、
前記推定側検出部は、各時系列画像に映った背景を更に検出し、
前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定装置。
【請求項２】
前記推定部は、前記対象の行動の推定に当たり、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項１に記載の行動推定装置。
【請求項３】
前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項１又は２に記載の行動推定装置。
【請求項４】
コンピュータにインストールされるプログラムであって、前記コンピュータには、推定される行動の複数の選択肢が記憶されており、
対象が映った複数の時系列画像を取得するステップと、
各時系列画像に映った複数の関節を検出するステップと、
前記検出された複数の関節の各時系列画像における座標を計測するステップと、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、
各時系列画像に映った背景を検出するステップと、
を備え、
前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記検出された背景に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定プログラム。
【請求項５】
前記推定するステップでは、前記検出された背景に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項４に記載の行動推定プログラム。
【請求項６】
前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項４又は５に記載の行動推定プログラム。
【請求項７】
対象が映った複数の時系列画像を取得する推定側取得部と、
各時系列画像に映った複数の関節を検出する推定側検出部と、
各時系列画像に映った前記複数の関節の座標を計測する推定側計測部と、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定する推定部と、
前記対象の行動の推定の目的又は用途が設定される設定部と、
推定される行動の複数の選択肢を記憶した記憶部と、
を備え、
前記推定部は、前記対象の行動の推定に当たり、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定装置。
【請求項８】
前記推定部は、前記対象の行動の推定に当たり、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項７に記載の行動推定装置。
【請求項９】
前記記憶部には、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定部は、前記対象の行動の推定に当たり、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項７又は８に記載の行動推定装置。
【請求項１０】
コンピュータにインストールされるプログラムであって、前記コンピュータには、推定される行動の複数の選択肢が記憶され、対象の行動の推定の目的又は用途が設定されており、
対象が映った複数の時系列画像を取得するステップと、
各時系列画像に映った複数の関節を検出するステップと、
前記検出された複数の関節の各時系列画像における座標を計測するステップと、
前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記対象の行動を推定するステップと、
を備え、
前記推定するステップでは、前記計測された複数の関節の座標の前記複数の時系列画像における変位に基づき、前記複数の選択肢の確率をそれぞれ算出し、前記設定された目的又は用途に基づき、前記算出された複数の選択肢の確率を補正することを特徴とする行動推定プログラム。
【請求項１１】
前記推定するステップでは、前記設定された目的又は用途に基づき、前記複数の選択肢から一又は複数の選択肢を除外することを特徴とする請求項１０に記載の行動推定プログラム。
【請求項１２】
前記コンピュータには、前記複数の選択肢のうち、互いの動作に所定以上の関連性のあるものは紐付けて記憶されており、
前記推定するステップでは、前記紐付けられた複数の選択肢のいずれかを除外又は確率を低下させた場合には、前記紐付けられた複数の選択肢のうち前記除外又は確率が低下されなかったものの確率を増加させることを特徴とする請求項１０又は１１に記載の行動推定プログラム。