(57)【特許請求の範囲】
【請求項１】
被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データを取得するデータ取得部と、
前記熱画像から前記被写体の輪郭を示す輪郭画像を抽出する輪郭抽出部と、
前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを生成するモデル生成部と、を備え、
前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、
前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであること
を特徴とする学習装置。
【請求項２】
前記学習済モデルは、前記デコーダー部分のレイヤーと、前記エンコーダー部分のレイヤーとが対称構造となり、スキップコネクションで接続されたＵ−Ｎｅｔ構造を有していること
を特徴とする請求項１に記載の学習装置。
【請求項３】
前記学習済モデルの中央のレイヤーで、前記熱画像がデコードされたベクトルと、前記輪郭画像がデコードされたベクトル情報とが連結され、前記連結された情報が前記エンコーダー部分へ入力されること
を特徴とする請求項２に記載の学習装置。
【請求項４】
前記輪郭抽出部は、前記被写体のエッジを検出するエッジ検出処理により、前記熱画像から前記輪郭画像を抽出すること
を特徴とする請求項１から３の何れか一項に記載の学習装置。
【請求項５】
前記輪郭抽出部は、前記熱画像に対して二値化処理を行ってから、エッジ検出処理を行うことにより、前記熱画像から前記輪郭画像を抽出すること
を特徴とする請求項１から３の何れか一項に記載の学習装置。
【請求項６】
被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データ、及び、前記熱画像から抽出された、前記被写体の輪郭を示す輪郭画像を示す輪郭画像データを用いて、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで生成された、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを記憶する記憶部と、
対象となる被写体である対象被写体の熱画像である対象熱画像を示す対象熱画像データを取得するデータ取得部と、
前記対象熱画像から前記対象被写体の輪郭を示す輪郭画像である対象輪郭画像を抽出する輪郭抽出部と、
前記学習済モデルを用いて、前記対象熱画像及び前記対象輪郭画像の組み合わせから、前記対象被写体の可視画像である対象可視画像を推論する推論部と、
前記対象可視画像から、前記対象被写体の姿勢を推定する姿勢推定部と、を備え、
前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、
前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであること
を特徴とする活用装置。
【請求項７】
前記学習済モデルは、前記デコーダー部分のレイヤーと、前記エンコーダー部分のレイヤーとが対称構造となり、スキップコネクションで接続されたＵ−Ｎｅｔ構造を有していること
を特徴とする請求項６に記載の活用装置。
【請求項８】
前記学習済モデルの中央のレイヤーで、前記熱画像がデコードされたベクトルと、前記輪郭画像がデコードされたベクトル情報とが連結され、前記連結された情報が前記エンコーダー部分へ入力されること
を特徴とする請求項７に記載の活用装置。
【請求項９】
前記輪郭抽出部は、エッジ検出処理により、前記熱画像から前記輪郭画像を抽出すること
を特徴とする請求項６から８の何れか一項に記載の活用装置。
【請求項１０】
前記輪郭抽出部は、前記熱画像に対して二値化処理を行ってから、エッジ検出処理を行うことにより、前記熱画像から前記輪郭画像を抽出すること
を特徴とする請求項６から８の何れか一項に記載の活用装置。
【請求項１１】
コンピュータを、
被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データを取得するデータ取得部、
前記熱画像から前記被写体の輪郭を示す輪郭画像を抽出する輪郭抽出部、及び、
前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを生成するモデル生成部、として機能させ、
前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、
前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであること
を特徴とするプログラム。
【請求項１２】
コンピュータを、
被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データ、及び、前記熱画像から抽出された、前記被写体の輪郭を示す輪郭画像を示す輪郭画像データを用いて、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで生成された、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを記憶する記憶部、
対象となる被写体である対象被写体の熱画像である対象熱画像を示す対象熱画像データを取得するデータ取得部、
前記対象熱画像から前記対象被写体の輪郭を示す輪郭画像である対象輪郭画像を抽出する輪郭抽出部、
前記学習済モデルを用いて、前記対象熱画像及び前記対象輪郭画像の組み合わせから、前記対象被写体の可視画像である対象可視画像を推論する推論部、及び、
前記対象可視画像から、前記対象被写体の姿勢を推定する姿勢推定部、として機能させ、
前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、
前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであること
を特徴とするプログラム。
【請求項１３】
被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データを取得し、
前記熱画像から前記被写体の輪郭を示す輪郭画像を抽出し、
前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを生成する学習方法であって、
前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、
前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであること
を特徴とする学習方法。
【請求項１４】
対象となる被写体である対象被写体の熱画像である対象熱画像を示す対象熱画像データを取得し、
前記対象熱画像から前記対象被写体の輪郭を示す輪郭画像である対象輪郭画像を抽出し、
被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データ、及び、前記熱画像から抽出された、前記被写体の輪郭を示す輪郭画像を示す輪郭画像データを用いて、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで生成された、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを用いて、前記対象熱画像及び前記対象輪郭画像の組み合わせから、前記対象被写体の可視画像である対象可視画像を推論し、
前記対象可視画像から、前記対象被写体の姿勢を推定する活用方法であって、
前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、
前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであること
を特徴とする活用方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、学習装置、活用装置、プログラム、学習方法及び活用方法に関する。
【背景技術】
【０００２】
一般的な熱型赤外線固体撮像素子（以下、熱画像センサという）は、被写体が放射する入射赤外線を映像化し、赤外線を吸収することにより生じる温度上昇の差が画像の濃淡となる。被写体が放射する赤外線はレンズにより集光され、撮像素子上に結像する。【０００３】
熱情報を取得可能な熱画像センサは、可視カメラでは取得できない情報を取得可能な一方で、例えば、安価な小型センサであると、画像の解像度、コントラスト、輪郭の鮮明度、又は、ＳＮ比が小さくなる。また、大型センサで形成された熱画像センサは、コストが高い。【０００４】
一方、宅内モニタリング、スマートビルディング又は防犯等の分野では、人間の行動又は姿勢を識別し、異常行動を検出するサービスが存在する。人間の姿勢は、立つ（立位）、座る（座位）、横たわる（臥位）等がある。熱画像センサは、プライバシー保護の観点から可視カメラと比較して導入の障壁が低く有利である。【０００５】
ここで、可視画像又は距離画像と、被写体の姿勢情報（正解）とを入力として学習済モデルを生成し、生成された学習済モデルを用いて可視画像又は距離画像から姿勢情報を推定する技術がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１７−９７５７７号公報（第５頁）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１には、可視画像又は距離画像から姿勢を推定する姿勢推定装置が記載されている。この姿勢推定装置では、熱画像は、解像度又はＳＮ比等の画質が可視画像又は距離画像と比べて小さく、姿勢推定が容易ではないという課題がある。【０００８】
そこで、本開示の一又は複数の態様は、熱画像中の被写体の姿勢を高精度に推定できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
本開示の一態様に係る学習装置は、被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データを取得するデータ取得部と、前記熱画像から前記被写体の輪郭を示す輪郭画像を抽出する輪郭抽出部と、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを生成するモデル生成部と、を備え、前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであることを特徴とする。
【００１４】
本開示の一態様に係る活用装置は、被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データ、及び、前記熱画像から抽出された、前記被写体の輪郭を示す輪郭画像を示す輪郭画像データを用いて、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで生成された、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを記憶する記憶部と、対象となる被写体である対象被写体の熱画像である対象熱画像を示す対象熱画像データを取得するデータ取得部と、前記対象熱画像から前記対象被写体の輪郭を示す輪郭画像である対象輪郭画像を抽出する輪郭抽出部と、前記学習済モデルを用いて、前記対象熱画像及び前記対象輪郭画像の組み合わせから、前記対象被写体の可視画像である対象可視画像を推論する推論部と、前記対象可視画像から、前記対象被写体の姿勢を推定する姿勢推定部と、を備え、前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであることを特徴とする。
【００１７】
本開示の一態様に係るプログラムは、コンピュータを、被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データを取得するデータ取得部、前記熱画像から前記被写体の輪郭を示す輪郭画像を抽出する輪郭抽出部、及び、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを生成するモデル生成部、として機能させ、前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであることを特徴とする。
【００２０】
本開示の一態様に係るプログラムは、コンピュータを、被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データ、及び、前記熱画像から抽出された、前記被写体の輪郭を示す輪郭画像を示す輪郭画像データを用いて、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで生成された、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを記憶する記憶部、対象となる被写体である対象被写体の熱画像である対象熱画像を示す対象熱画像データを取得するデータ取得部、前記対象熱画像から前記対象被写体の輪郭を示す輪郭画像である対象輪郭画像を抽出する輪郭抽出部、前記学習済モデルを用いて、前記対象熱画像及び前記対象輪郭画像の組み合わせから、前記対象被写体の可視画像である対象可視画像を推論する推論部、及び、前記対象可視画像から、前記対象被写体の姿勢を推定する姿勢推定部、として機能させ、前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであることを特徴とする。
【００２３】
本開示の一態様に係る学習方法は、被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データを取得し、前記熱画像から前記被写体の輪郭を示す輪郭画像を抽出し、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを生成する学習方法であって、前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであることを特徴とする。
【００２６】
本開示の位置態様に係る活用方法は、対象となる被写体である対象被写体の熱画像である対象熱画像を示す対象熱画像データを取得し、前記対象熱画像から前記対象被写体の輪郭を示す輪郭画像である対象輪郭画像を抽出し、被写体から放射される赤外線を利用することで、前記被写体の温度分布を画像化した熱画像と、前記被写体から反射される可視光を利用することで、前記被写体を画像化した可視画像とを含む学習用データ、及び、前記熱画像から抽出された、前記被写体の輪郭を示す輪郭画像を示す輪郭画像データを用いて、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像への推論を学習することで生成された、前記熱画像及び前記輪郭画像の組み合わせから前記可視画像を推論するための学習済モデルを用いて、前記対象熱画像及び前記対象輪郭画像の組み合わせから、前記対象被写体の可視画像である対象可視画像を推論し、前記対象可視画像から、前記対象被写体の姿勢を推定する活用方法であって、前記学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとで形成され、前記デコーダー部分が並列の二つのパスを備えており、前記二つのパスは、前記熱画像をデコードするためのパスと、前記輪郭画像をデコードするためのパスであることを特徴とする。
【発明の効果】
【００２７】
本開示の一又は複数の態様によれば、熱画像中の被写体の姿勢を高精度に推定することができる。
【図面の簡単な説明】
【００２８】
【図１】実施の形態１〜２に係る姿勢推定システムの構成を概略的に示すブロック図である。
【図２】実施の形態１及び２における学習装置の構成を概略的に示すブロック図である。
【図３】三層のニューラルネットワークの一例を示す概略図である。
【図４】実施の形態１における、熱画像を可視画像へ変換する画像変換処理の学習済モデルの構造の一例を示す概略図である。
【図５】コンピュータの構成を概略的に示すブロック図である。
【図６】学習装置が学習する処理を示すフローチャートである。
【図７】実施の形態１における姿勢推定装置の構成を概略的に示すブロック図である。
【図８】姿勢推定装置が、熱画像に対応する可視画像を推論し、その可視画像から姿勢を推定する処理を示すフローチャートである。
【図９】実施の形態２における姿勢推定装置の構成を概略的に示すブロック図である。
【図１０】実施の形態３における学習装置の構成を概略的に示すブロック図である。
【図１１】実施の形態３における、熱画像及び輪郭画像を可視画像へ変換する画像変換処理の学習済モデルの構造の一例を示す概略図である。
【図１２】実施の形態３における姿勢推定装置の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００２９】
実施の形態１．
図１は、実施の形態１に係る姿勢推定システム１００の構成を概略的に示すブロック図である。
姿勢推定システム１００は、モデル生成装置として機能する学習装置１１０と、活用装置として機能する姿勢推定装置１３０とを備える。なお、姿勢推定装置１３０で行われる処理方法が活用方法となる。
姿勢推定システム１００では、学習装置１１０で学習された学習済モデルを用いて、姿勢推定装置１３０が、姿勢の推定を行う。
【００３０】
図２は、学習装置１１０の構成を概略的に示すブロック図である。
学習装置１１０は、学習側入力部１１１と、学習側データ取得部１１２と、モデル生成部１１３と、学習側学習済モデル記憶部１１４と、学習側通信部１１５とを備える。
【００３１】
学習側入力部１１１は、学習用データの入力を受け付ける入力部である。入力された学習用データは、学習側データ取得部１１２に与えられる。
ここで、学習用データは、熱画像と、熱画像から推論されるべき正解として可視画像との組み合わせ示す教師データである。
【００３２】
熱画像は、被写体から放射される赤外線を利用することで、被写体の温度分布を画像化することで取得される。
また、可視画像は、被写体から反射される可視光を利用することで、被写体を画像化することで取得される。可視画像では、被写体の外観が画像化される。
【００３３】
学習側データ取得部１１２は、学習側入力部１１１を介して、学習用データを取得するデータ取得部である。取得された学習用データは、モデル生成部１１３に与えられる。
【００３４】
モデル生成部１１３は、学習側データ取得部１１２から与えられる学習用データに基づいて、熱画像に対応する可視画像を学習する。言い換えると、モデル生成部１１３は、学習用データで示される熱画像及び可視画像の組み合わせを学習することで、熱画像に対応する最適な可視画像を推論するための学習済モデルを生成する。具体的には、モデル生成部１１３は、学習用データを用いて熱画像から可視画像への推論を学習することで、熱画像から可視画像を推論するための学習済モデルを生成する。
そして、モデル生成部１１３は、生成された学習済モデルを学習側学習済モデルとして学習側学習済モデル記憶部１１４に記憶させる。
【００３５】
モデル生成部１１３が用いる学習アルゴリズムは、教師あり学習、教師なし学習、強化学習等の公知のアルゴリズムを用いることができる。一例として、ここでは、ニューラルネットワークを適用した場合について説明する。
【００３６】
ここで教師あり学習の場合、学習用データで示される熱画像と可視画像とは、同一被写体を収めたペアのデータである必要がある。教師なし学習の場合、熱画像と、可視画像とは、同一被写体を収めている必要はない。
【００３７】
モデル生成部１１３は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、熱画像に対応する可視画像を学習する。
ここで、教師あり学習とは、入力と結果（ラベル）のデータの組を学習用データとして学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。
【００３８】
ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、及び、複数のニューロンからなる出力層で構成される。中間層は、一層又は二層以上でもよい。
【００３９】
図３は、三層のニューラルネットワークの一例を示す概略図である。
図３に示されているように、三層のニューラルネットワークであれば、複数の入力値が入力層Ｘ１〜Ｘ３に入力されると、その入力値に第一の重みｗ１１〜ｗ１６（以下、第一の重みＷ１ともいう）が掛けられる。入力値に第一の重みｗ１１〜ｗ１６が掛けられた値である算出値は、中間層Ｙ１、Ｙ２に入力される。算出値には、第二の重みｗ２１〜ｗ２６（以下、第二の重みＷ２ともいう）が掛けられ、算出値に第二の重みｗ２１〜ｗ２６が掛けられた値である出力値が、出力層Ｚ１〜Ｚ３から出力される。この出力値は、第一の重みＷ１の値と、第二の重みＷ２の値とによって変わる。
【００４０】
本実施の形態において、ニューラルネットワークは、学習側データ取得部１１２によって取得される学習用データで示される熱画像及び可視画像の組み合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、熱画像に対応する最適な可視画像を推論するための学習済モデルを学習する。
【００４１】
すなわち、ニューラルネットワークは、入力層に熱画像を入力して出力層から出力された結果が、正解としての可視画像に近づくように第一の重みＷ１及び第二の重みＷ２を調整することで、学習済モデルを学習する。
【００４２】
図４は、熱画像を可視画像へ変換する画像変換処理の学習済モデルの構造の一例を示す概略図である。
図４に示されている学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとが対称構造となっており、スキップコネクションで接続されたＵ−Ｎｅｔ構造を有している。
【００４３】
図２に戻り、学習側学習済モデル記憶部１１４は、モデル生成部１１３から与えられた学習済モデルである学習側学習済モデルを記憶する。
【００４４】
学習側通信部１１５は、学習側学習済モデル記憶部１１４に記憶されている学習側学習済モデルを姿勢推定装置１３０に送る。
【００４５】
以上に記載された学習装置１１０は、図４に示されているようなコンピュータ１６０で実現することができる。
図５は、コンピュータ１６０の構成を概略的に示すブロック図である。
コンピュータ１６０は、通信装置１６１と、補助記憶装置１６２と、メモリ１６３と、プロセッサ１６４とを備える。
【００４６】
通信装置１６１は、例えば、ネットワークを介してデータを通信する。
補助記憶装置１６２は、コンピュータ１６０での処理に必要なデータ及びプログラムを記憶する。
メモリ１６３は、プログラム及びデータを一時的に記憶し、プロセッサ１６４の作業領域を提供する。
プロセッサ１６４は、補助記憶装置１６２に記憶されているプログラムをメモリ１６３に読み出し、そのプログラムを実行することで、コンピュータ１６０での処理を実行する。
【００４７】
以上に記載された、学習側入力部１１１及び学習側通信部１１５は、通信装置１６１により実現することができる。
学習側学習済モデル記憶部１１４は、補助記憶装置１６２により実現することができる。
【００４８】
学習側データ取得部１１２及びモデル生成部１１３は、プロセッサ１６４が、メモリ１６３に読み出されたプログラムを実行することで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００４９】
図６は、学習装置１１０が学習する処理を示すフローチャートである。
まず、学習側データ取得部１１２は、学習側入力部１１１を介して、学習用データを取得する（Ｓ１０）。ここでは、学習用データとして用いられる、熱画像の画像データである熱画像データ及び可視画像の画像データである可視画像データが同時に取得されるものとしているが、実施の形態１はこのような例に限定されない。熱画像データと、その熱画像データの正解として用いられる可視画像データとを関連付けることができれば、これらは別のタイミングで取得されてもよい。取得された学習用データは、モデル生成部１１３に与えられる。
【００５０】
次に、モデル生成部１１３は、学習用データで示される熱画像及び可視画像の組み合わせに基づいて、いわゆる教師あり学習により、熱画像に対応する出力である可視画像を学習し、学習済モデルを生成する（Ｓ１１）。
【００５１】
次に、学習側学習済モデル記憶部１１４は、生成された学習モデルを記憶する（Ｓ１２）。そして、学習側通信部１１５は、その学習モデルを姿勢推定装置１３０に送信する。
【００５２】
図７は、姿勢推定装置１３０の構成を概略的に示すブロック図である。
姿勢推定装置１３０は、推論装置１４０と、姿勢推定部として機能する姿勢推定実行装置１５０とを備える。
【００５３】
推論装置１４０は、学習装置１１０から与えられる学習済モデルを推論側学習モデルとして用いて、熱画像から可視画像を推論する。
推論装置１４０は、推論側通信部１４１と、推論側学習済モデル記憶部１４２と、推論側入力部１４３と、推論側データ取得部１４４と、推論部１４５とを備える。
【００５４】
推論側通信部１４１は、学習装置１１０からの学習済モデルを受信して、その学習済モデルを推論側学習済モデルとして、推論側学習済モデル記憶部１４２に記憶させる。
推論側学習済モデル記憶部１４２は、推論側学習済モデルを記憶する記憶部である。
【００５５】
推論側入力部１４３は、被写体の熱画像を示す熱画像データの入力を受け付ける入力部である。ここで入力される熱画像データを対象熱画像データともいう。また、対象熱画像データで示される熱画像を対象熱画像ともいい、対象熱画像に含まれている、姿勢を推定する対象である被写体を対象被写体ともいう。
推論側データ取得部１４４は、推論側入力部１４３を介して、対象熱画像データを取得するデータ取得部である。取得された対象熱画像データは、推論部１４５に与えられる。
【００５６】
推論部１４５は、推論側学習済モデル記憶部１４２に記憶されている推論側学習済モデルを用いて、対象熱画像データで示される熱画像から、対象被写体の可視画像を推論する。言い換えると、推論部１４５は、推論側学習済モデルに、対象熱画像データで示される熱画像を入力することで、その熱画像から推論される、その熱画像に対応する可視画像を取得することができる。そして、推論部１４５は、推論された可視画像を示す可視画像データを生成し、その可視画像データを姿勢推定実行装置１５０に与える。ここで生成される可視画像データを、対象可視画像データともいう。また、対象可視画像データで示される可視画像、言い換えると、推論された可視画像を対象可視画像ともいう。
【００５７】
姿勢推定実行装置１５０は、対象可視画像データで示される可視画像から、その可視画像中に存在する被写体の姿勢を推定する。姿勢を推定する方法としては、予め可視画像と、人物の姿勢（例えば、パーツの位置関係）の対応関係を大量に学習しておき、可視画像が入力されたら、その可視画像に対応する人物の姿勢を学習結果に基づいて決定する、といった方法がある。
【００５８】
以上に記載された姿勢推定装置１３０も、図５に示されているようなコンピュータ１６０で実現することができる。
例えば、推論側通信部１４１及び推論側入力部１４３は、通信装置１６１により実現することができる。
推論側学習済モデル記憶部１４２は、補助記憶装置１６２により実現することができる。
【００５９】
推論側データ取得部１４４及び推論部１４５は、プロセッサ１６４が、メモリ１６３に読み出されたプログラムを実行することで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００６０】
図８は、姿勢推定装置１３０が、熱画像に対応する可視画像を推論し、その可視画像から姿勢を推定する処理を示すフローチャートである。
まず、推論側データ取得部１４４は、推論側入力部１４３を介して、熱画像を示す対象熱画像データを取得する（Ｓ２０）。取得された対象熱画像データは、推論部１４５に与えられる。
【００６１】
次に、推論部１４５は、推論側学習済モデル記憶部１４２に記憶された推論側学習済モデルに、対象熱画像データで示される熱画像を入力し、その熱画像に対応する可視画像を得る（Ｓ２１）。
【００６２】
次に、推論部１４５は、推論側学習済モデルにより得られた、熱画像に対応する可視画像を示す対象可視画像データを生成し、その対象可視画像データを姿勢推定実行装置１５０に与える（Ｓ２２）。
【００６３】
次に、姿勢推定実行装置１５０は、対象可視画像データで示される可視画像中の被写体の姿勢を推定する（Ｓ２３）。このようにして推定された姿勢に基づき、例えば、熱画像内に写る被写体の異常行動を検出することができる。
【００６４】
以上のように、実施の形態１に係る姿勢推定システム１００によれば、熱画像センサ等から出力される熱画像を可視画像へ変換し、学習済の可視画像向け姿勢推定器である姿勢推定実行装置１５０を用いて熱画像中の被写体の姿勢を推定することができる。このため、既存の学習済みの可視画像向け姿勢推定器を用いて、姿勢推定をすることが可能になる。
【００６５】
また、熱画像向けの姿勢推定器を用いる場合は、熱画像と姿勢との関係を学習させる必要があり、熱画像への姿勢のアノテーション作業が必要となる。熱画像への人手でのアノテーション作業では、熱画像の解像度の不足から十分な精度で実施できない。実施の形態１では、熱画像向けの姿勢推定器を用いる必要がないため、これらの課題を回避することができる。
【００６６】
なお、実施の形態１では、モデル生成部１１３が用いる学習アルゴリズムに教師あり学習を適用した場合について説明したが、実施の形態１はこのような例に限定されない。例えば、学習アルゴリズムについては、教師あり学習以外にも、強化学習、教師なし学習又は半教師あり学習等を使用することができる。
【００６７】
また、モデル生成部１１３は、姿勢推定装置１３０を含む複数の姿勢推定装置に対して作成される学習用データに従って、熱画像に対応する可視画像を学習するようにしてもよい。なお、モデル生成部１１３は、同一のエリアで使用される複数の姿勢推定装置から学習用データを取得してもよいし、異なるエリアで独立して動作する複数の姿勢推定装置から収集される学習用データを利用して熱画像に対応する可視画像を学習してもよい。
【００６８】
また、モデル生成部１１３は、学習用データを収集する姿勢推定装置を途中で対象に追加したり、対象から除去したりすることも可能である。
さらに、モデル生成部１１３は、ある姿勢推定装置に関して熱画像に対応する可視画像を学習した学習済モデルを、これとは別の姿勢推定装置に適用し、その別の姿勢推定装置に関して熱画像に対応する可視画像を再学習して、学習済モデルを更新するようにしてもよい。
【００６９】
また、モデル生成部１１３に用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）を用いることもできる。また、モデル生成部１１３は、他の公知の方法、例えば、遺伝的プログラミング、機能論理プログラミング、又は、サポートベクターマシン等に従って機械学習を実行してもよい。
【００７０】
なお、学習装置１１０及び推論装置１４０は、姿勢推定システム１００の熱画像に対応する可視画像を学習するために使用されるが、例えば、ネットワークを介して姿勢推定実行装置１５０に接続されるようになっていてもよい。
また、学習装置１１０、推論装置１４０又は姿勢推定実行装置１５０は、クラウドサーバ上に存在していてもよい。
【００７１】
また、以上に記載した実施の形態１における姿勢推定システム１００では、学習装置１１０と、姿勢推定装置１３０とが別の装置であるが、例えば、学習装置１１０が、姿勢推定装置１３０内に設けられていてもよい。このような場合、学習側通信部１１５及び推論側通信部１４１は、不要となり、学習側学習済モデル記憶部１１４及び推論側学習済モデル記憶部１４２は、学習済モデル記憶部として統合することができる。
【００７２】
なお、実施の形態１に係る姿勢推定システム１００では、学習装置１１０で生成された学習済モデルを用いて、姿勢推定装置１３０が熱画像に対応する可視画像を推論しているが、実施の形態はこのような例に限定されない。例えば、姿勢推定装置１３０は、他のシステム等の外部から学習済モデルを取得し、この学習済モデルに基づいて熱画像に対応する可視画像を推論してもよい。
【００７３】
実施の形態２．
図１に示されているように、実施の形態２に係る姿勢推定システム２００は、学習装置２１０と、姿勢推定装置２３０とを備える。
【００７４】
図２に示されているように、実施の形態２における学習装置２１０は、学習側入力部１１１と、学習側データ取得部２１２と、モデル生成部２１３と、学習側学習済モデル記憶部１１４と、学習側通信部１１５とを備える。
実施の形態２における学習装置２１０の学習側入力部１１１、学習側学習済モデル記憶部１１４及び学習側通信部１１５は、実施の形態１における学習装置１１０の学習側入力部１１１、学習側学習済モデル記憶部１１４及び学習側通信部１１５と同様である。
【００７５】
学習側データ取得部２１２は、学習側入力部１１１を介して、学習用データを取得する。実施の形態２において取得される学習用データは、熱画像を示す熱画像データと、その熱画像に対応する正解である可視画像を示す可視画像データと、その可視画像に対応する正解である、被写体の姿勢を示す姿勢情報とを含む。取得された学習用データは、モデル生成部２１３に与えられる。
【００７６】
モデル生成部２１３は、学習側データ取得部２１２から与えられる学習用データに基づいて、熱画像に対応する可視画像と、その可視画像に対応する姿勢とを学習する。言い換えると、モデル生成部２１３は、学習用データで示される熱画像及び可視画像の組み合わせ、並びに、可視画像及び姿勢の組み合わせを学習することで、熱画像に対応する最適な姿勢を推論するための学習済モデルを生成する。具体的には、モデル生成部１１３は、学習用データを用いて、熱画像から可視画像への推論及び可視画像から姿勢への推論を学習することで、熱画像から姿勢を推論するための学習済モデルを生成する。
そして、モデル生成部２１３は、生成された学習済モデルを学習側学習済モデルとして学習側学習済モデル記憶部１１４に記憶させる。
【００７７】
図９は、実施の形態２における姿勢推定装置２３０の構成を概略的に示すブロック図である。
姿勢推定装置２３０は、推論側通信部１４１と、推論側学習済モデル記憶部１４２と、推論側入力部１４３と、推論側データ取得部１４４と、推論部２４５とを備える。
【００７８】
実施の形態２における姿勢推定装置２３０の推論側通信部１４１、推論側学習済モデル記憶部１４２、推論側入力部１４３及び推論側データ取得部１４４は、実施の形態１における姿勢推定装置１３０の推論側通信部１４１、推論側学習済モデル記憶部１４２、推論側入力部１４３及び推論側データ取得部１４４と同様である。
【００７９】
推論部２４５は、推論側学習済モデル記憶部１４２に記憶されている推論側学習済モデルを用いて、対象熱画像データで示される熱画像から、可視画像を推論し、その可視画像から姿勢を推論する。言い換えると、推論部１４５は、推論側学習済モデルに、対象熱画像データで示される熱画像を入力することで、その熱画像から推論される、その熱画像中に存在する被写体の姿勢を推定する。
【００８０】
以上に記載された姿勢推定装置２３０も、図５に示されているようなコンピュータ１６０で実現することができる。
例えば、推論側通信部１４１及び推論側入力部１４３は、通信装置１６１により実現することができる。
推論側学習済モデル記憶部１４２は、補助記憶装置１６２により実現することができる。
【００８１】
推論側データ取得部１４４及び推論部２４５は、プロセッサ１６４が、メモリ１６３に読み出されたプログラムを実行することで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００８２】
以上のように、実施の形態２に係る姿勢推定システム２００によれば、熱画像センサ等から出力される熱画像から被写体の姿勢を推定することが可能になる。学習時に可視画像及び姿勢を教師データとして入力することで、熱画像への姿勢情報のアノテーション作業を回避することが可能となる。
【００８３】
更に、実施の形態１とは異なり、活用フェーズで可視画像を生成、出力しないことでネットワークの規模を抑えることができ、演算量を削減することができる。
【００８４】
実施の形態３．
図１に示されているように、実施の形態３に係る姿勢推定システム３００は、学習装置３１０と、姿勢推定装置３３０とを備える。
【００８５】
図１０は、学習装置３１０の構成を概略的に示すブロック図である。
学習装置３１０は、学習側入力部１１１と、学習側データ取得部３１２と、モデル生成部３１３と、学習側学習済モデル記憶部１１４と、学習側通信部１１５と、学習側輪郭抽出部３１６とを備える。
【００８６】
実施の形態３における学習装置３１０の学習側入力部１１１、学習側学習済モデル記憶部１１４及び学習側通信部１１５は、実施の形態１における学習装置１１０の学習側入力部１１１、学習側学習済モデル記憶部１１４及び学習側通信部１１５と同様である。
【００８７】
学習側データ取得部３１２は、学習側入力部１１１を介して、学習用データを取得する。取得された学習用データは、モデル生成部３１３に与えられる。
また、学習側データ取得部３１２は、取得された学習用データに含まれている熱画像を示す熱画像データを学習側熱画像データとして学習側輪郭抽出部３１６に与える。
【００８８】
学習側輪郭抽出部３１６は、学習側熱画像データで示される熱画像から、被写体の輪郭を示す輪郭画像を抽出する輪郭抽出部である。抽出方法は、キャニー法若しくはソーベル法等のエッジ検出処理を用いる方法、又は、二値化処理とエッジ検出を組み合わせる方法等がある。エッジ検出処理では、被写体のエッジが検出される。また、二値化処理とエッジ検出の組み合わせは、熱画像に対して二値化処理を行ってから、エッジ検出処理が行われればよい。そして、学習側輪郭抽出部３１６は、抽出された輪郭画像を示す輪郭画像データを、学習側輪郭画像データとしてモデル生成部３１３に与える。
【００８９】
モデル生成部３１３は、学習側データ取得部３１２から与えられる学習用データ及び学習側輪郭抽出部３１６から与えられる学習側輪郭画像データに基づいて、熱画像に対応する可視画像を学習する。言い換えると、モデル生成部３１３は、学習用データで示される熱画像及び学習側輪郭画像データで示される輪郭画像と、学習用データで示される可視画像との組み合わせを学習することで、熱画像及びその輪郭画像に対応する最適な可視画像を推論するための学習済モデルを生成する。具体的には、モデル生成部３１３は、熱画像及び輪郭画像の組み合わせから可視画像への推論を学習することで、熱画像及び輪郭画像の組み合わせから可視画像を推論するための学習済モデルを生成する。
そして、モデル生成部３１３は、生成された学習済モデルを学習側学習済モデルとして学習側学習済モデル記憶部１１４に記憶させる。
【００９０】
図１１は、実施の形態３における、熱画像及び輪郭画像を可視画像へ変換する画像変換処理の学習済モデルの構造の一例を示す概略図である。
図１１に示されている学習済モデルは、デコーダー部分のレイヤーと、エンコーダー部分のレイヤーとが対称構造となり、スキップコネクションで接続されたＵ−Ｎｅｔ構造を有している。そのデコーダー部分は、並列の二つのパスを備えており、その二つのパスは、熱画像をデコードするためのパスと、輪郭画像をデコードするためのパスである。
【００９１】
これにより、図１１に示されている学習済モデルは、デコーダー部分が並列で２パス存在し、一方は熱画像を、もう一方は輪郭画像のデコードを行う。モデルの中央のレイヤーでデコードされた２つのベクトル情報が連結され、連結された情報がエンコーダー部分へ入力される。
このような構造を有することで、実施の形態３では、熱画像から変換された可視画像にエッジ成分がより多く含まれ、姿勢推定の精度を向上させることができる。
【００９２】
以上に記載された学習装置３１０も、図５に示されているようなコンピュータ１６０で実現することができる。
例えば、学習側データ取得部３１２、モデル生成部３１３及び学習側輪郭抽出部３１６も、プロセッサ１６４が、メモリ１６３に読み出されたプログラムを実行することで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００９３】
図１２は、姿勢推定装置３３０の構成を概略的に示すブロック図である。
姿勢推定装置３３０は、推論装置３４０と、姿勢推定実行装置１５０とを備える。
実施の形態３における姿勢推定装置３３０の姿勢推定実行装置１５０は、実施の形態１における姿勢推定実行装置１５０と同様である。
【００９４】
推論装置３４０は、推論側通信部１４１と、推論側学習済モデル記憶部１４２と、推論側入力部１４３と、推論側データ取得部３４４と、推論部３４５と、推論側輪郭抽出部３４６とを備える。
実施の形態３における推論装置３４０の推論側通信部１４１、推論側学習済モデル記憶部１４２及び推論側入力部１４３は、実施の形態１における推論装置１４０の推論側通信部１４１、推論側学習済モデル記憶部１４２及び推論側入力部１４３と同様である。
【００９５】
推論側データ取得部１４４は、推論側入力部１４３を介して、対象熱画像データを取得する。そして、推論側データ取得部１４４は、取得された対象熱画像データを、推論部３４５及び推論側輪郭抽出部３４６に与える。
【００９６】
推論側輪郭抽出部３４６は、対象熱画像データで示される熱画像から輪郭画像を抽出する輪郭抽出部である。抽出方法は、学習側輪郭抽出部３１６と同一とする。そして、推論側輪郭抽出部３４６は、抽出された輪郭画像を示す輪郭画像データを、推論側輪郭画像データとして推論部３４５に与える。ここで抽出される輪郭画像を対象輪郭画像ともいい、推論側輪郭画像データを対象輪郭画像データともいう。
【００９７】
推論部３４５は、推論側学習済モデル記憶部１４２に記憶されている推論側学習済モデルを用いて、対象熱画像データで示される熱画像及び推論側輪郭画像データで示される輪郭画像の組み合わせから、可視画像を推論する。言い換えると、推論部３４５は、推論側学習済モデルに、対象熱画像データで示される熱画像及び推論側輪郭画像データで示される輪郭画像を入力することで、その熱画像から推論される、その熱画像に対応する可視画像を取得することができる。そして、推論部３４５は、推論された可視画像を示す可視画像データを生成し、その可視画像データを姿勢推定実行装置１５０に与える。ここで生成される可視画像データを、対象可視画像データともいう。対象可視画像データで示される可視画像を対象可視画像ともいう。
【００９８】
以上に記載された姿勢推定装置３３０も、図５に示されているようなコンピュータ１６０で実現することができる。
例えば、推論側データ取得部３４４、推論部３４５及び推論側輪郭抽出部３４６は、プロセッサ１６４が、メモリ１６３に読み出されたプログラムを実行することで実現することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００９９】
一般的に、熱画像は、曖昧な輪郭情報を有するため、学習済モデルを用いて生成される可視画像も曖昧な輪郭となる。姿勢の推定では輪郭情報が重要となるため、輪郭が曖昧な画像では姿勢推定の精度が低下する。
これに対して、実施の形態３に係る姿勢推定システム３００によれば、熱画像と輪郭画像とを学習済モデルへ同時に入力することで、輪郭が曖昧ではない可視画像を生成することができる。これにより熱画像単体を学習済モデルへ入力することと比較して、生成された可視画像からの姿勢推定精度を向上させることができる。
【符号の説明】
【０１００】
１００，２００，３００  姿勢推定システム、  １１０，２１０，３１０  学習装置、  １１１  学習側入力部、  １１２，２１２，３１２  学習側データ取得部、  １１３，２１３，３１３  モデル生成部、  １１４  学習側学習済モデル記憶部、  １１５  学習側通信部、  ３１６  学習側輪郭抽出部、  １３０，２３０，３３０  姿勢推定装置、  １４０，３４０  推論装置、  １４１  推論側通信部、  １４２  推論側学習済モデル記憶部、  １４３  推論側入力部、  １４４，３４４  推論側データ取得部、  １４５，２４５，３４５  推論部、  ３４６  推論側輪郭抽出部、  １５０  姿勢推定実行装置。
【要約】
被写体から放射される赤外線を利用することで、その被写体の温度分布を画像化した熱画像と、その被写体から反射される可視光を利用することで、その被写体を画像化した可視画像とを含む学習用データを取得する学習側データ取得部（１１２）と、学習用データを用いて熱画像から可視画像への推論を学習することで、熱画像から可視画像を推論するための学習済モデルを生成するモデル生成部（１１３）と、を備えることを特徴とする。【図１】
0006797344.tif 000002
【図２】
0006797344.tif 000003
【図３】
0006797344.tif 000004
【図４】
0006797344.tif 000005
【図５】
0006797344.tif 000006
【図６】
0006797344.tif 000007
【図７】
0006797344.tif 000008
【図８】
0006797344.tif 000009
【図９】
0006797344.tif 000010
【図１０】
0006797344.tif 000011
【図１１】
0006797344.tif 000012
【図１２】
0006797344.tif 000013