(57)【要約】【課題】画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる、演算装置の学習方法を提供する。【解決手段】撮影画像を第１特徴量に変換する第１変換部、および第１特徴量を目的信号に変換して出力する第２変換部、を含む演算装置の学習方法であって、目的信号の正解がある画像と、目的信号の正解がない画像とを用いて第１変換部を表現学習により教師なし学習する段階（ａ）と、教師なし学習をした後の第１変換部により、目的信号の正解がある画像を変換して得られた第１特徴量と、得られた第１特徴量に変換された画像に対応する目的信号の正解と、の組合せを教師データとして第２変換部を教師あり学習する段階（ｂ）と、を有する。【選択図】図１３
2019193899.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像を第１特徴量に変換する第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力する第２変換部、を有する演算装置の学習方法であって、
前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習する段階（ａ）と、
前記段階（ａ）で教師なし学習をした後の前記第１変換部により、前記目的信号の正解がある前記画像を変換して得られた前記第１特徴量と、得られた前記第１特徴量に変換された前記画像に対応する前記目的信号の正解と、の組合せを教師データとして前記第２変換部を教師あり学習する段階（ｂ）と、
を有する、演算装置の学習方法。
【請求項２】
前記目的信号は関節点であり、
前記演算装置は、前記画像から人の画像を含む人矩形を検出する検出部をさらに有し、
前記第１変換部は、
前記検出部により検出された前記人矩形を前記第１特徴量に変換するニューラルネットワークであり、
前記第２変換部は、
前記第１特徴量を第２特徴量に変換する、ニューラルネットワークの第１副変換部と、
前記第２特徴量を前記目的信号に変換して出力する、ニューラルネットワークの第２副変換部と、を有し、
前記段階（ａ）は、前記目的信号の正解がある前記人矩形と、前記目的信号の正解がない前記人矩形とを用いて、前記第１変換部を表現学習により教師なし学習し、
前記段階（ｂ）は、前記段階（ａ）で教師なし学習をした後の前記第１変換部により前記目的信号の正解がある前記人矩形が変換されて得られる前記第１特徴量と、得られた前記第１特徴量に変換される前の前記人矩形に対応する前記目的信号の正解に、前記目的信号の正解を用いてあらかじめ表現学習により教師なし学習された前記第２副変換部により変換される前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する、
請求項１に記載の演算装置の学習方法。
【請求項３】
前記第１変換部は、第１エンコーダーと第１デコーダーとを有する第１オートエンコーダーであり、
前記第２副変換部は、第２エンコーダーと第２デコーダーとを有する第２オートエンコーダーであり、
前記段階（ａ）の前に、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーを表現学習により教師なし学習する段階（ｃ）をさらに有し、
前記段階（ａ）は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習し、
前記段階（ｂ）は、前記段階（ａ）で教師なし学習した後の前記第１エンコーダーにより前記目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、前記段階（ｃ）における学習後の前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する、
請求項２に記載の演算装置の学習方法。
【請求項４】
撮影された画像を第１特徴量に変換する第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力する第２変換部、を有する演算装置を学習させるための学習装置であって、
前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習させた後、学習後の前記第１変換部により、前記目的信号の正解がある前記画像を変換して得られる前記第１特徴量と、得られた前記第１特徴量に変換された前記画像に対応する前記目的信号の正解と、の組合せを教師データとして前記第２変換部を教師あり学習させる学習制御部を有する、学習装置。
【請求項５】
前記目的信号は関節点であり、
前記演算装置は、前記画像から人の画像を含む人矩形を検出する検出部をさらに有し、
前記第１変換部は、
前記検出部により検出された前記人矩形を前記第１特徴量に変換するニューラルネットワークであり、
前記第２変換部は、
前記第１特徴量を第２特徴量に変換する、ニューラルネットワークの第１副変換部と、
前記第２特徴量を前記目的信号に変換して出力する、ニューラルネットワークの第２副変換部と、を有し、
前記学習制御部は、前記目的信号の正解がある前記人矩形と、前記目的信号の正解がない前記人矩形とを用いて、前記第１変換部を表現学習により教師なし学習させた後、学習後の前記第１変換部により前記目的信号の正解がある前記人矩形が変換されて得られる前記第１特徴量と、得られた前記第１特徴量に変換される前の前記人矩形に対応する前記目的信号の正解に、前記目的信号の正解を用いてあらかじめ表現学習により教師なし学習された前記第２副変換部により変換される前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、
請求項４に記載の学習装置。
【請求項６】
前記第１変換部は、第１エンコーダーと第１デコーダーとを有する第１オートエンコーダーであり、
前記第２副変換部は、第２エンコーダーと第２デコーダーとを有する第２オートエンコーダーであり、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーが、あらかじめ表現学習により教師なし学習されており、
前記学習制御部は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習させた後、学習後の前記第１エンコーダーにより、前記関節点の目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、あらかじめ学習された前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、
請求項５に記載の学習装置。
【請求項７】
請求項１〜３のいずか一項に記載の、演算装置の学習方法をコンピューターに実行させるための学習プログラム。
【請求項８】
撮影された画像を第１特徴量に変換するニューラルネットワークの第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力するニューラルネットワークの第２変換部、を有するニューラルネットワークの学習済みモデルであって、
前記第１変換部のニューラルネットワークが、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習され、
前記第２変換部のニューラルネットワークが、学習後の前記第１変換部により前記目的信号の正解がある前記画像を変換して得られた前記第１特徴量と、得られた前記第１特徴量に変換される前の前記画像に対応する前記目的信号の正解と、の組合せを教師データとして教師あり学習された、
ニューラルネットワークの学習済みモデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演算装置の学習方法、学習装置、学習プログラム、および学習済みモデルに関する。
【背景技術】
【０００２】
我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著になっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護や支援等のケアを必要とするケア対象者の増加が想定される。【０００３】
ケア対象者は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落して怪我をするおそれがある。そのため、ケア対象者がこのような状態になったときに介護士や看護師等のケア実行者がすぐに駆けつけられるようにするために、ケア対象者の状態を検知するためのシステムの開発が進められている。【０００４】
下記特許文献１には、次の技術が開示されている。すなわち、訓練画像および関節位置データの組合せの学習用データに基づいて、機械学習により関節推定器を学習し、学習された関節推定器により、画像から関節位置により姿勢を推定する。【０００５】
下記特許文献２には、次の技術が開示されている。すなわち、コンテンツの内容情報の次元数を圧縮することで当該コンテンツの特徴情報を抽出するとともに、当該特徴情報の次元数を拡張することで当該コンテンツの内容情報を復元する機能を有する学習器を学習させる。その際、入力されたコンテンツの内容情報と復元された内容情報が同じとなり、かつ、同一カテゴリーに属する複数のコンテンツから抽出された特徴情報の類似度が、異なるカテゴリーに属する複数のコンテンツから抽出された特徴情報の類似度より大きくなるように学習させる。そして、学習された学習器により複数のコンテンツから抽出された特徴情報が類似するかどうか判断することで配信対象のコンテンツを決定する。【０００６】
下記非特許文献１には、次の技術が開示されている。すなわち、人の画像と当該人の真の関節点との組合せを教師データとしてディープニューラルネットワークを学習させ、学習後のディープニューラルネットワークにより、人の画像から、関節点を人の姿勢として推定する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１７−９１３７７号公報
【特許文献２】特開２０１７−２０１５３５号公報
【非特許文献１】Ａｌｅｘａｎｄｅｒ  Ｔｏｓｈｅｖ，  Ｃｈｒｉｓｔｉａｎ  Ｓｚｅｇｅｄｙ，  ＤｅｅｐＰｏｓｅ：Ｈｕｍａｎ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｖｉａ  Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ，  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＣＶＰＲ），２０１４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、これらの文献に記載された技術は、ニューラルネットワーク等をあらかじめ学習させ、学習後は画像を撮影する場所や環境が変わっても追加の学習を行わないため、画像を撮影する場所等が変わることにより関節点の推定精度が低下する可能性がある。また、関節点の推定精度を維持するために新たな場所等において追加の学習を行う場合、当該場所等において撮影された未学習の大量の画像に関節点の正解付けをして学習をする必要があるため作業量が増大する。【０００９】
本発明は、このような問題を解決するためになされたものである。すなわち、画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる、演算装置の学習方法、学習装置、学習プログラム、および学習済みモデルを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の上記課題は、以下の手段によって解決される。【００１１】
（１）撮影された画像を第１特徴量に変換する第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力する第２変換部、を有する演算装置の学習方法であって、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習する段階（ａ）と、前記段階（ａ）で教師なし学習をした後の前記第１変換部により、前記目的信号の正解がある前記画像を変換して得られた前記第１特徴量と、得られた前記第１特徴量に変換された前記画像に対応する前記目的信号の正解と、の組合せを教師データとして前記第２変換部を教師あり学習する段階（ｂ）と、を有する、演算装置の学習方法。【００１２】
（２）前記目的信号は関節点であり、前記演算装置は、前記画像から人の画像を含む人矩形を検出する検出部をさらに有し、前記第１変換部は、前記検出部により検出された前記人矩形を前記第１特徴量に変換するニューラルネットワークであり、前記第２変換部は、前記第１特徴量を第２特徴量に変換する、ニューラルネットワークの第１副変換部と、前記第２特徴量を前記目的信号に変換して出力する、ニューラルネットワークの第２副変換部と、を有し、前記段階（ａ）は、前記目的信号の正解がある前記人矩形と、前記目的信号の正解がない前記人矩形とを用いて、前記第１変換部を表現学習により教師なし学習し、前記段階（ｂ）は、前記段階（ａ）で教師なし学習をした後の前記第１変換部により前記目的信号の正解がある前記人矩形が変換されて得られる前記第１特徴量と、得られた前記第１特徴量に変換される前の前記人矩形に対応する前記目的信号の正解に、前記目的信号の正解を用いてあらかじめ表現学習により教師なし学習された前記第２副変換部により変換される前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する、上記（１）に記載の演算装置の学習方法。【００１３】
（３）前記第１変換部は、第１エンコーダーと第１デコーダーとを有する第１オートエンコーダーであり、前記第２副変換部は、第２エンコーダーと第２デコーダーとを有する第２オートエンコーダーであり、前記段階（ａ）の前に、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーを表現学習により教師なし学習する段階（ｃ）をさらに有し、前記段階（ａ）は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習し、前記段階（ｂ）は、前記段階（ａ）で教師なし学習した後の前記第１エンコーダーにより前記目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、前記段階（ｃ）における学習後の前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習する、上記（２）に記載の演算装置の学習方法。【００１４】
（４）撮影された画像を第１特徴量に変換する第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力する第２変換部、を有する演算装置を学習させるための学習装置であって、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習させた後、学習後の前記第１変換部により、前記目的信号の正解がある前記画像を変換して得られる前記第１特徴量と、得られた前記第１特徴量に変換された前記画像に対応する前記目的信号の正解と、の組合せを教師データとして前記第２変換部を教師あり学習させる学習制御部を有する、学習装置。【００１５】
（５）前記目的信号は関節点であり、前記演算装置は、前記画像から人の画像を含む人矩形を検出する検出部をさらに有し、前記第１変換部は、前記検出部により検出された前記人矩形を前記第１特徴量に変換するニューラルネットワークであり、前記第２変換部は、前記第１特徴量を第２特徴量に変換する、ニューラルネットワークの第１副変換部と、前記第２特徴量を前記目的信号に変換して出力する、ニューラルネットワークの第２副変換部と、を有し、前記学習制御部は、前記目的信号の正解がある前記人矩形と、前記目的信号の正解がない前記人矩形とを用いて、前記第１変換部を表現学習により教師なし学習させた後、学習後の前記第１変換部により前記目的信号の正解がある前記人矩形が変換されて得られる前記第１特徴量と、得られた前記第１特徴量に変換される前の前記人矩形に対応する前記目的信号の正解に、前記目的信号の正解を用いてあらかじめ表現学習により教師なし学習された前記第２副変換部により変換される前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、上記（４）に記載の学習装置。【００１６】
（６）前記第１変換部は、第１エンコーダーと第１デコーダーとを有する第１オートエンコーダーであり、前記第２副変換部は、第２エンコーダーと第２デコーダーとを有する第２オートエンコーダーであり、前記第２エンコーダーが前記目的信号の正解を変換することで得られた前記第２特徴量を前記第２デコーダーが前記目的信号に変換し、前記第２エンコーダーによる変換前の前記目的信号の正解と前記第２デコーダーによる変換後の前記目的信号とが一致するように、前記第２エンコーダーおよび前記第２デコーダーが、あらかじめ表現学習により教師なし学習されており、前記学習制御部は、前記第１エンコーダーにより、前記目的信号の正解がある前記人矩形と前記目的信号の正解がない前記人矩形とがそれぞれ変換された前記第１特徴量を、それぞれ前記第１デコーダーにより前記人矩形に変換し、前記第１エンコーダーによる変換前の前記人矩形と前記第１デコーダーによる変換後の前記人矩形とを一致させるように前記第１エンコーダーおよび前記第１デコーダーを表現学習により教師なし学習させた後、学習後の前記第１エンコーダーにより、前記関節点の目的信号の正解がある前記人矩形を変換して得られる前記第１特徴量と、得られた前記第１特徴量に前記第１エンコーダーにより変換される前の前記人矩形に対応する前記目的信号の正解に、あらかじめ学習された前記第２エンコーダーにより変換されることで得られる前記第２特徴量と、の組合せを教師データとして前記第１副変換部を教師あり学習させる、上記（５）に記載の学習装置。【００１７】
（７）上記（１）〜（３）のいずかに記載の、演算装置の学習方法をコンピューターに実行させるための学習プログラム。【００１８】
（８）撮影された画像を第１特徴量に変換するニューラルネットワークの第１変換部、および前記第１変換部により変換された前記第１特徴量を目的信号に変換して出力するニューラルネットワークの第２変換部、を有するニューラルネットワークの学習済みモデルであって、前記第１変換部のニューラルネットワークが、前記目的信号の正解がある前記画像と、前記目的信号の正解がない前記画像とを用いて前記第１変換部を表現学習により教師なし学習され、前記第２変換部のニューラルネットワークが、学習後の前記第１変換部により前記目的信号の正解がある前記画像を変換して得られた前記第１特徴量と、得られた前記第１特徴量に変換される前の前記画像に対応する前記目的信号の正解と、の組合せを教師データとして教師あり学習された、ニューラルネットワークの学習済みモデル。
【発明の効果】
【００１９】
画像を特徴量に変換する第１変換部、および当該特徴量を目的信号に変換する第２変換部を有する演算装置に対し、目的信号の正解がある画像と正解がない画像とで第１変換部を教師なし学習する。そして、正解がある画像が学習後の第１変換部で変換された特徴量と、当該正解の目的信号と、により第２変換部を教師あり学習する。これにより、画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる。
【図面の簡単な説明】
【００２０】
【図１】演算装置を含む演算システムの概略構成を示す図である。
【図２】演算装置の構成を示すブロック図である。
【図３】演算装置の制御部の機能を示すブロック図である。
【図４】撮影画像および人矩形の例を示す図である。
【図５】人の関節点の例を示す説明図である。
【図６】演算装置により推定された関節点の例を示す説明図である。
【図７】関節点推定部の第２オートエンコーダーの学習について説明するための説明図である。
【図８】関節点推定部の第１オートエンコーダーの学習について説明するための説明図である。
【図９】関節点推定部の中間変換部の学習について説明するための説明図である。
【図１０】学習制御部による関節点推定部の学習時のデータの流れを示す説明図である。
【図１１】関節点推定部による推定について説明するための説明図である。
【図１２】第１オートエンコーダーを撮影装置に含めるようにした場合に送信されるデータを説明するための説明図である。
【図１３】学習時の演算装置の動作を示すフローチャートである。
【図１４】関節点推定時の演算装置の動作を示すフローチャートである。
【図１５】学習装置により学習される関節点推定部の構成を示す図である。
【図１６】関節点推定部の学習時のデータの流れを示す説明図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の実施形態に係る演算装置の学習方法、学習装置、学習プログラム、および学習済みモデルについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００２２】
（第１実施形態）
図１は、第１実施形態に係る演算装置を含む演算システムの概略構成を示す図である。
【００２３】
演算システム１０は、演算装置１００、撮影装置２００、通信ネットワーク３００、および携帯端末４００を有する。演算装置１００は、通信ネットワーク３００により撮影装置２００および携帯端末４００と相互に通信可能に接続される。演算装置１００は、演算装置１００を学習するための学習装置が実装され得る。学習装置は、演算装置１００は別のコンピューターにより構成してもよい。以下の説明においては、演算装置１００に、演算装置１００を学習するための学習装置が含まれるものとして説明する。
【００２４】
演算装置１００は、撮影装置２００により撮影された画像（以下、単に「撮影画像」と称する）を、撮影装置２００から受信し、撮影画像に含まれる、対象者５００である人の関節点を、人の姿勢として推定する。演算装置１００は、撮影画像から目的信号ある関節点を推定できるように学習される。学習には畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）による深層学習が含まれる。なお、学習には、深層学習以外のＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）およびＲａｎｄｏｍ  Ｆｏｒｅｓｔが含まれ得る。演算装置１００は、コンピューターにより構成される。演算装置１００は、サーバーとして構成され得る。
【００２５】
撮影装置２００は、たとえば近赤外線カメラにより構成され、所定の位置に設置されることで、当該所定の位置を視点として俯瞰される撮影領域を撮影する。すなわち、撮影装置２００は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで撮影領域を撮影し得る。撮影画像は近赤外線の反射率を各画素とするモノクロ画像であり得る。所定の位置は、たとえば対象者５００の居室の天井である。撮影領域は、たとえば居室の床全体を含む３次元の領域である。撮影装置２００は、たとえば１５ｆｐｓ〜３０ｆｐｓのフレームレートの動画として撮影領域を撮影する。撮影画像には動画と静止画とを含む。撮影装置２００は、撮影画像を演算装置１００等に送信する。
【００２６】
撮影装置２００は、センサーボックスにより構成し得る。この場合、演算装置１００の機能の一部または全部をセンサーボックスが有するようにし得る。
【００２７】
通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。通信ネットワーク３００には、アクセスポイント３１０が設けられ、携帯端末４００と、演算装置１００および撮影装置２００とを無線通信ネットワークにより通信可能に接続する。
【００２８】
携帯端末４００は、演算装置１００により推定された関節点を演算装置１００から受信し、関節点を画像として表示する。携帯端末４００は、たとえばスマートフォンにより構成され得る。携帯端末４００は、撮影装置２００から撮影画像を受信して表示してもよい。
【００２９】
図２は、演算装置の構成を示すブロック図である。演算装置１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を有する。制御部１１０は、学習装置（以下、「学習制御部」とも称する）１１５を構成する。これらの構成要素は、バス１６０を介して相互に接続される。
【００３０】
制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により構成され、プログラムにしたがって演算装置１００の各部の制御および演算処理を行う。制御部１１０の機能の詳細については後述する。
【００３１】
記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。
【００３２】
表示部１３０は、たとえば液晶ディスプレイであり、各種情報を表示する。
【００３３】
入力部１４０は、たとえばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。
【００３４】
通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ  Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。通信部１５０は、撮影装置２００から撮影画像を受信する。また、通信部１５０は、携帯端末４００へ、撮影画像から推定した関節点を送信する。
【００３５】
制御部１１０の機能の詳細について説明する。
【００３６】
図３は、演算装置の制御部の機能を示すブロック図である。制御部１１０は、画像取得部１１１、人矩形検出部１１２、関節点推定部１１３、出力部１１４、および学習制御部１１５を有する。
【００３７】
画像取得部１１１は、通信部１５０により撮影装置２００から受信した撮影画像を取得する。
【００３８】
人矩形検出部１１２は、撮影画像における、対象者５００の画像を含む領域を人矩形として検出する。人矩形は、撮影画像における対象者５００の画像を含む矩形内の領域である。人矩形検出部１１２は、人矩形をニューラルネットワークを用いた公知の検出方法により検出し得る。人矩形は、人矩形背景差分法や時間差分法により検出されてもよい。
【００３９】
図４は、撮影画像および人矩形の例を示す図である。図４の例においては、魚眼レンズカメラによる全方位画像が撮影画像として示されている。
【００４０】
人矩形２１０は、太線の矩形で囲まれた領域として示されている。すなわち、人矩形２１０は、対象者５００を含む矩形内の領域として検出される。
【００４１】
関節点推定部１１３は、人矩形２１０から関節点を推定する。関節点推定部１１３は、ニューラルネットワークにより構成される。
【００４２】
図５は、人の関節点の例を示す説明図である。図５においては、関節点１１９の位置が白抜きの丸により示されている。なお、関節点１１９間を結ぶ黒い太線は骨を示している。図５の例においては、関節点の相対的位置により、対象者５００が立位で両腕を広げている姿勢が認識できる。関節点には、たとえば、頭、首、肩、肘、手、腰、腿、膝、および足の関節点が含まれる。関節点には、上記以外の関節点が含まれてもよく、上記のいずれかが含まれなくてもよい。
【００４３】
図６は、演算装置により推定された関節点の例を示す説明図である。図６の例においては、関節点１１９を人矩形２１０に重畳させて示している。
【００４４】
図６の例においては、関節点１１９から、対象者５００が座位の姿勢にあることが認識できる。
【００４５】
関節点推定部１１３による関節点の推定方法については後述する。
【００４６】
学習制御部１１５は、関節点推定部１１３に関節点を推定するための学習を行わせる。
【００４７】
関節点推定部１１３の学習については後述する。
【００４８】
出力部１１４は、関節点推定部１１３により推定された関節点１１９を目的信号として出力する。出力された関節点１１９は表示部１３０に表示される。また、出力された関節点１１９は携帯端末４００へ送信され、携帯端末４００において表示され得る。
【００４９】
関節点推定部１１３の学習について説明する。
【００５０】
図７は、関節点推定部の第２オートエンコーダーの学習について説明するための説明図である。
【００５１】
図７に示すように、関節点推定部１１３は、第１オートエンコーダー１１３Ａ、中間変換部１１３Ｂ、および第２オートエンコーダー１１３Ｃを含み、これらはそれぞれニューラルネットワークで構成され得る。第１オートエンコーダー１１３Ａは第１変換部を構成する。中間変換部１１３Ｂおよび第２オートエンコーダー１１３Ｃは第２変換部を構成する。中間変換部１１３Ｂは第１副変換部を構成し、第２オートエンコーダー１１３Ｃは第２副変換部を構成する。
【００５２】
第２オートエンコーダー１１３Ｃは、第２デコーダーＤ２および第２エンコーダーＥ２を有し、目的信号である関節点ｙによって、表現学習により教師なし学習する。具体的には、第２エンコーダーＥ２により関節点ｙから関節点ｙより次元の低いベクトルである第２特徴量ｈｙに変換し、第２デコーダーＤ２により第２特徴量ｈｙを関節点ｙと同じ次元の関節点ｙ’に変換する。これらの変換は、図７においてグレーの白抜きの矢印で示されている。そして、関節点ｙと関節点ｙ’との差に対応するロスが小さくなるように第２エンコーダーＥ２および第２デコーダーＤ２を学習する。すなわち、関節点ｙと関節点ｙ’とが一致するように第２エンコーダーＥ２および第２デコーダーＤ２を学習する。これにより、関節点の推定時に用いられる第２デコーダーＤ２が第２特徴量ｈｙから関節点ｙ’を高精度に再現できるように学習される。なお、第２エンコーダーＥ２は、第２オートエンコーダー１１３Ｃの表現学習による教師なし学習のときにのみ用いられ、関節点の推定時は用いられない。
【００５３】
教師なし学習とは、出力すべき正解を与えられずに、入力されたデータに基づいて行う学習である。後述する教師あり学習とは、入力されたデータに対し出力すべき正解が与えられ、当該入力されたデータに対し当該正解が出力されるように行う学習である。教師あり学習に用いられる、入力されるデータと、当該データに対応する正解の組合せを教師データと称する。
【００５４】
関数ｆｙは、第２エンコーダーＥ２による変換を表現する関数であり、関節点ｙから第２特徴量ｈｙを算出するための関数である。関数ｆｙは、第２エンコーダーＥ２のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。
【００５５】
関数ｇｙは、第２デコーダーＤ２による変換を表現する関数であり、第２特徴量ｈｙから関節点ｙ’を算出するための関数である。関数ｇｙは、第２デコーダーＤ２のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。
【００５６】
なお、一般的に、ニューラルネットワークの各層のノード間に与えられた重み付けを定義するデータを辞書と称し、辞書をニューラルネットワークに反映させることで、ニューラルネットワークを、学習後のニューラルネットワークである学習済みモデルとすることができる。
【００５７】
第２オートエンコーダー１１３Ｃの教師なし学習は、目的信号である関節点の正解であるｙを用いて行われる。なお、後述するように、目的信号である関節点の正解であるｙは、当該正解である関節点１１９に対応する人矩形２１０と関連付けられて記憶部１２０に記憶されている。
【００５８】
第２オートエンコーダー１１３Ｃの学習は、たとえば演算装置１００の出荷前に実行され得る。一方、第１オートエンコーダー１１３Ａおよび中間変換部１１３Ｂの学習は、演算装置１００の出荷後に実行される。したがって、第２オートエンコーダー１１３Ｃの学習は、後述する、第１オートエンコーダー１１３Ａおよび中間変換部１１３Ｂの学習の前に実行される。
【００５９】
図８は、関節点推定部の第１オートエンコーダーの学習について説明するための説明図である。
【００６０】
第１オートエンコーダー１１３Ａは、第１エンコーダーＥ１および第１デコーダーＤ１を有し、人矩形ｘによって、表現学習により教師なし学習する。具体的には、第１エンコーダーＥ１により人矩形ｘから人矩形ｘより次元の低いベクトルである第１特徴量ｈｘに変換し、第１デコーダーＤ１により第１特徴量ｈｘを人矩形ｘと同じ次元の人矩形ｘ’に変換する。これらの変換は、図８においてグレーの白抜きの矢印で示されている。そして、人矩形ｘと人矩形ｘ’との差に対応するロスが小さくなるように第１エンコーダーＥ１および第１デコーダーＤ１を学習する。すなわち、人矩形ｘと人矩形ｘ’とが一致するように第１エンコーダーＥ１および第１デコーダーＤ１を学習する。これにより、関節点の推定時に用いられる第１エンコーダーＥ１が人矩形ｘの特徴を第１特徴量ｈｘとして適切に抽出できるように学習される。なお、第１デコーダーＤ１は、第１オートエンコーダー１１３Ａの表現学習による教師なし学習の際にのみ用いられ、関節点の推定時は用いられない。
【００６１】
関数ｆｘは、第１エンコーダーＥ１による変換を表現する関数であり、人矩形ｘから第１特徴量ｈｘを算出するための関数である。関数ｆｘは、第１エンコーダーＥ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。
【００６２】
関数ｇｘは、第１デコーダーＤ１による変換を表現する関数であり、第１特徴量ｈｘから人矩形ｘ’を算出するための関数である。関数ｇｘは、第１デコーダーＤ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。
【００６３】
第１オートエンコーダー１１３Ａの教師なし学習は、目的信号である関節点１１９の正解（すなわちｙ）がある人矩形ｘと、目的信号である関節点の正解がない人矩形ｘとを用いて行われる。これは、第２オートエンコーダー１１３Ｃを関節点１１９の正解を用いて教師なし学習する一方で、第１オートエンコーダー１１３Ａが関節点１１９の正解がない人矩形ｘのみで教師なし学習すると、次のような不具合が生じる可能性があるからである。すなわち、学習後の第１オートエンコーダー１１３Ａにより関節点１１９の正解がある人矩形ｘを変換することで得られた第１特徴量ｈｘが適切な値とならない可能性があるからである。具体的には、関節点１１９の正解がある人矩形ｘを変換することで得られた第１特徴量ｈｘを第１デコーダＤ１で変換した人矩形ｘ’が、元の人矩形ｘと大きく異なる可能性がある。
【００６４】
図９は、関節点推定部の中間変換部の学習について説明するための説明図である。
【００６５】
中間変換部１１３Ｂは、第１特徴量ｈｘおよび第２特徴量ｈｙの組み合わせの教師データにより教師あり学習する。教師データとして用いられる第１特徴量ｈｘは、学習後の第１エンコーダーＥ１により関節点の正解がある人矩形ｘを変換して得られる第１特徴量ｈｘである。教師データとして用いられる第２特徴量ｈｙは、目的信号である関節点１１９の正解ｙを、学習後の第２エンコーダーＥ２により変換して得られる第２特徴量ｈｙである。中間変換部１１３Ｂの変換は、図９においてグレーの矢印で示されている。
【００６６】
以下、図７〜９を参照した説明と整合させて、人矩形をｘまたはｘ’の符号を付して説明し、関節点をｙまたはｙ’の符号を付して説明する。
【００６７】
上述したように、第１オートエンコーダー１１３Ａの学習は、演算装置１００の出荷後に実行される。しかし、目的信号である関節点１１９の正解ｙがある人矩形ｘと、目的信号である関節点１１９の正解ｙがない人矩形ｘとを用いる学習のうち、関節点１１９の正解ｙがある人矩形ｘを用いる学習は、プレトレーニングとして演算装置１００の出荷前に実行され得る。これにより、演算装置１００の出荷後に、演算装置１００が設置される施設等において、演算装置１００を学習するのに適した初期値となり、学習効率を向上できる。
【００６８】
目的信号である関節点１１９の正解ｙがある人矩形ｘを用いる第１オートエンコーダー１１３Ａの学習は、関節点１１９の正解ｙがない人矩形ｘが撮影される状態や、関節点１１９の正解ｙがない人矩形ｘの画像の特徴が近い人矩形ｘを用いて行うことが望ましい。人矩形ｘが撮影される状態には、撮影装置２００が設置される高さおよび位置や、撮影装置２００が設置される部屋の明るさ等が含まれる。人矩形ｘの画像の特徴には、画素の輝度の分布や平均、ならびに人矩形ｘに含まれる対象者５００の服の色やデザイン等が含まれる。これにより、第１オートエンコーダー１１３Ａの学習効率を向上できるとともに、演算装置１００による関節点１１９の推定精度を向上できる。
【００６９】
図１０は、学習制御部による関節点推定部の学習時のデータの流れを示す説明図である。
【００７０】
記憶部１２０は、関節点１１９の正解ｙがある人矩形ｘと当該正解ｙとの組合せが保存されるデータベース１２１と、関節点１１９の正解ｙがない人矩形ｘが保存されるデータベース１２２を有する。
【００７１】
第２オートエンコーダー１１３Ｃの学習の際は、学習制御部１１５（図３参照）は、データベース１２１から、関節点１１９の正解ｙがある人矩形ｘの当該正解である関節点ｙを読み出し、第２オートエンコーダー１１３Ｃに、読み出した関節点ｙにより、教師なし学習を実行させる。
【００７２】
第１オートエンコーダー１１３Ａの学習の際は、学習制御部１１５は、データベース１２１から関節点１１９の正解ｙがある人矩形ｘを読み出し、データベース１２２から関節点１１９の正解ｙがない人矩形ｘを読み出す。学習制御部１１５は、読み出した正解がある人矩形ｘと、正解がない人矩形ｘにより、第１オートエンコーダー１１３Ａに、教師なし学習を実行させる。
【００７３】
中間変換部１１３Ｂの学習の際は、学習制御部１１５は、第１特徴量ｈｘと第２特徴量ｈｙの組合せを教師データとして中間変換部１１３Ｂに教師あり学習させる。教師あり学習に用いられる教師データの一方である第１特徴量ｈｘは、学習後の第１変換部１１３Ａにより、関節点１１９の正解ｙがある人矩形ｘが変換されることで得られた第１特徴量ｈｘである。教師データの他方である第２特徴量ｈｙは、当該得られた第１特徴量ｈｘに、学習後の第１変換部１１３Ａにより変換された、人矩形ｘに対応する関節点１１９の正解ｙが、学習後の第２変換部１１３Ｃにより変換されることで得られた第２特徴量ｈｙである。
【００７４】
関節点推定部１１３による関節点の推定について説明する。
【００７５】
図１１は、関節点推定部による推定について説明するための説明図である。
【００７６】
第１オートエンコーダー１１３Ａの第１エンコーダーＥ１は、人矩形ｘを第１特徴量ｈｘに変換する。中間変換部１１３Ｂは、第１エンコーダーＥ１により人矩形ｘが変換されることで得られた第１特徴量ｈｘを第２特徴量ｈｙに変換する。第２オートエンコーダー１１３Ｃの第２デコーダーＤ２は、中間変換部１１３Ｂにより第１特徴量ｈｘが変換されることで得られる第２特徴量ｈｙを目的信号である関節点ｙ’に変換して出力する。これにより、人矩形ｘから関節点ｙ’が推定される。
【００７７】
図１２は、第１オートエンコーダーを撮影装置に含めるようにした場合に送信されるデータを説明するための説明図である。
【００７８】
撮影装置２００をセンサーボックスにより構成する場合等においては、第１オートエンコーダー１１３Ａを撮影装置２００に含めるようにし得る。図１２の例においては、第１オートエンコーダー１１３Ａが撮影装置２００に含まれるため、白抜きのグレーの実線の矢印で示すように、撮影装置２００において、人矩形ｘが、人矩形ｘより次元の小さい第１特徴量ｈｘに圧縮される。これにより、撮影装置２００から演算装置１００へ人矩形ｘを送信する場合と比較して、撮影装置２００から演算装置１００へ第１特徴量ｈｘを送信するようにすることで、撮影装置２００から演算装置１００への通信量を抑制できる。すなわち、たとえば撮影装置２００をセンサーボックス（エッジ）で構成し、演算装置１００をサーバーとして構成した場合に、センサーボックスとサーバーとの通信に利用されるネットワークへの負荷を抑制できる。図１２においては、撮影装置２００内で処理されるデータが白抜きのグレーの実線の矢印で示され、撮影装置２００から演算装置１００へ送信されるデータおよび演算装置１００内で処理されるデータが白抜きのグレーの破線の矢印で示されている。
【００７９】
演算装置１００の動作について説明する。
【００８０】
図１３は、学習時の演算装置の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムにしたがい、制御部１１０（より詳細には、学習制御部１１５）により実行される。
【００８１】
制御部１１０は、人矩形ｘに対応する関節点１１９の正解ｙを用いて、第２オートエンコーダー１１３Ｃを、表現学習により教師なし学習する（Ｓ１０１）。なお、本ステップは、演算装置１００の出荷前に実行され得る。次のステップＳ１０２以降は、演算装置１００が出荷された後、撮影装置２００が所定の場所に設置され、撮影装置２００から演算装置１００へ撮影画像が送信される状態になった時以降に実行される。
【００８２】
制御部１１０は、撮影装置２００により撮影された撮影画像を取得する（Ｓ１０２）。
【００８３】
制御部１１０は、所得した撮影画像から人矩形ｘを検出する（Ｓ１０３）。
【００８４】
制御部１１０は、検出した人矩形ｘを、関節点１１９の正解ｙがない人矩形ｘとして記憶部１２０に保存する（Ｓ１０４）。
【００８５】
制御部１１０は、関節点１１９の正解ｙがある人矩形ｘ、および関節点１１９の正解ｙがない人矩形ｘを用いて、第１オートエンコーダー１１３Ａを表現学習により教師なし学習する（Ｓ１０５）。
【００８６】
制御部１１０は、学習後の第１エンコーダーＥ１が関節点１１９の正解ｙがある人矩形ｘを変換して得られる第１特徴量ｈｘと、学習後の第２エンコーダーＥ２が当該人矩形ｘに対する正解を変換して得られる第２特徴量ｈｙとの組合せにより中間変換部１１３Ｂを教師あり学習する（Ｓ１０６）。
【００８７】
図１４は、関節点推定時の演算装置の動作を示すフローチャートである。本フローチャートは、記憶部１２０に記憶されたプログラムにしたがい、制御部１１０により実行される。
【００８８】
制御部１１０は、撮影装置２００により撮影された撮影画像を取得する（Ｓ２０１）。
【００８９】
制御部１１０は、撮影画像から人矩形ｘを検出する（Ｓ２０２）。
【００９０】
制御部１１０は、学習後の第１エンコーダーＥ１により人矩形ｘを第１特徴量ｈｘに変換する（Ｓ２０３）。
【００９１】
制御部１１０は、学習後の第１エンコーダーＥ１により人矩形ｘが変換されることで得られた第１特徴量ｈｘを、学習後の中間変換部１１３Ｂにより第２特徴量ｈｙに変換する（Ｓ２０４）。
【００９２】
制御部１１０は、学習後の中間変換部１１３Ｂにより第１特徴量ｈｘが変換されることで得られた第２特徴量ｈｙを、学習後の第２デコーダーＤ２により目的信号である関節点ｙ’に変換して出力する（Ｓ２０５）。
【００９３】
（第２実施形態）
図１５は、第２実施形態に係る学習装置により学習される関節点推定部の構成を示す図である。本実施形態と第１実施形態とで異なる点は、本実施形態は、関節点推定部１１３が、第１オートエンコーダー１１３Ａと後段変換部１１３Ｄで構成される点である。その他の点については、本実施形態は第１実施形態と同様であるため、重複となる説明は省略または簡略化する。
【００９４】
図１５に示すように、関節点推定部１１３は、第１オートエンコーダー１１３Ａと後段変換部１１３Ｄを有する。第１オートエンコーダー１１３Ａは第１変換部を構成し、後段変換部１１３Ｄは第２変換部を構成する。後段変換部１１３Ｄはニューラルネットワークで構成され得る。後段変換部１１３Ｄは、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等のニューラルネットワーク以外の機械学習を用いる構成としてもよい。
【００９５】
なお、後段変換部１１３Ｄを、第１実施形態の中間変換部１１３Ｂおよび第２オートエンコーダー１１３Ｃにより構成することも観念し得る。このように考えると、第１実施形態は本実施形態の下位概念の実施形態とも言える。
【００９６】
関節点推定部１１３の学習について説明する。
【００９７】
第１オートエンコーダー１１３Ａは、第１エンコーダーＥ１および第１デコーダーＤ１を有し、人矩形ｘによって、表現学習により教師なし学習する。具体的には、第１エンコーダーＥ１により人矩形ｘから人矩形ｘより次元の低いベクトルである特徴量ｈに変換し、第１デコーダーＤ１により特徴量ｈを人矩形ｘと同じ次元の人矩形ｘ’に変換する。そして、人矩形ｘと人矩形ｘ’との差に対応するロスが小さくなるように第１エンコーダーＥ１および第１デコーダーＤ１を学習する。これにより、関節点１１９の推定時に用いられる第１エンコーダーＥ１が人矩形ｘの特徴を特徴量ｈとして適切に抽出できるように学習される。なお、第１デコーダーＤ１は、第１オートエンコーダー１１３Ａの表現学習による教師なし学習の際にのみ用いられ、関節点１１９の推定時は用いられない。
【００９８】
関数ｆは、第１エンコーダーＥ１による変換を表現する関数であり、人矩形ｘから特徴量ｈを算出するための関数である。関数ｆは、第１エンコーダーＥ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。
【００９９】
関数ｇは、第１デコーダーＤ１による変換を表現する関数であり、特徴量ｈから人矩形ｘ’を算出するための関数である。関数ｇは、第１デコーダーＤ１のニューラルネットワークの各層のノード間に付与された重み付けが反映されている。
【０１００】
第１オートエンコーダー１１３Ａの教師なし学習は、目的信号である関節点１１９の正解ｙがある人矩形ｘと、目的信号である関節点１１９の正解ｙがない人矩形ｘとを用いて行われる。
【０１０１】
後段変換部１１３Ｄは、特徴量ｈおよび目的信号である関節点１１９の正解ｙの組み合わせの教師データにより教師あり学習する。教師データとして用いられる特徴量ｈは、学習後の第１エンコーダーＥ１により関節点１１９の正解ｙがある人矩形２１０を変換して得られた特徴量ｈである。教師データとして用いられる関節点の正解ｙは、得られた特徴量ｈに変換された人矩形ｘに対応する関節点の正解ｙである。
【０１０２】
関節点推定部１１３による関節点１１９の推定について説明する。
【０１０３】
第１オートエンコーダー１１３Ａの第１エンコーダーＥ１は、人矩形ｘを特徴量ｈに変換する。後段変換部１１３Ｄは、第１エンコーダーＥ１により人矩形ｘが変換されることで得られた特徴量ｈを目的信号である関節点ｙ’に変換して出力する。これにより、人矩形ｘから関節点ｙ’が推定される。
【０１０４】
図１６は、関節点推定部の学習時のデータの流れを示す説明図である。
【０１０５】
記憶部１２０は、関節点１１９の正解ｙがある人矩形ｘと当該正解ｙとの組合せが保存されるデータベース１２１と、関節点１１９の正解ｙがない人矩形２１０が保存されるデータベース１２２を有する。
【０１０６】
第１オートエンコーダー１１３Ａの学習の際は、学習制御部１１５は、データベース１２１から関節点１１９の正解ｙがある人矩形ｘを読み出し、データベース１２２から関節点１１９の正解ｙがない人矩形２１０を読み出す。学習制御部１１５は、第１オートエンコーダー１１３Ａに、読み出した人矩形ｘにより、教師なし学習させる。
【０１０７】
後段変換部１１３Ｄの学習の際は、学習制御部１１５は、特徴量ｈおよび目的信号である関節点１１９の正解ｙの組合せの教師データにより、後段変換部１１３Ｄに教師あり学習させる。教師データとして用いられる特徴量ｈは、学習後の第１エンコーダーＥ１により関節点１１９の正解ｙがある人矩形ｘを変換して得られた特徴量ｈである。教師データとして用いられる関節点の正解ｙは、得られた特徴量ｈに変換された人矩形ｘに対応する関節点の正解ｙである。
【０１０８】
再び図１５を参照して、関節点推定部１１３による関節点の推定について説明する。
【０１０９】
第１オートエンコーダー１１３Ａの第１エンコーダーＥ１は、人矩形ｘを特徴量ｈに変換する。後段変換部１１３Ｄは、第１エンコーダーＥ１により人矩形ｘが変換されることで得られた特徴量ｈを目的信号である関節点ｙ’に変換して出力する。これにより、人矩形ｘから関節点１１９が推定される。
【０１１０】
本発明に係る実施形態は、以下の効果を奏する。
【０１１１】
画像を特徴量に変換する第１変換部、および当該特徴量を目的信号に変換する第２変換部を備える演算装置に対し、目的信号の正解がある画像と正解がない画像とで第１変換部を教師なし学習する。そして、正解がある画像が学習後の第１変換部で変換された特徴量と、当該正解の目的信号と、により第２変換部を教師あり学習する。これにより、画像を撮影する場所等が変化しても関節点の推定精度を向上できるとともに、新たな場所等で未学習の学習データを学習する際の作業量を低減できる。
【０１１２】
さらに、第１変換部を、画像から検出された人矩形を第１特徴量に変換するニューラルネットワークとする。第２変換部に、第１特徴量を第２特徴量に変換するニューラルネットワークの第１副変換部と、第２特徴量を関節点の目的信号に変換して出力するニューラルネットワークの第２副変換部を含める。第１変換部を、目的信号の正解がある人矩形と、目的信号の正解がない前記人矩形とを用いて教師なし学習する。第２変換部を、学習後の第１変換部により目的信号の正解がある人矩形を変換して得られる第１特徴量と、当該矩形波に対応する目的信号の正解に、学習後の第２副変換部により変換される第２特徴量と、の組合せを教師データとして教師あり学習する。これにより、画像を撮影する場所等が変化しても関節点の推定精度をより向上できる。
【０１１３】
さらに、第１変換部および第２副変換部をそれぞれオートエンコーダーにより構成する。これにより、画像を撮影する場所等が変化しても関節点の推定精度をさらに効果的に向上できる。
【０１１４】
本発明は上述した実施形態に限定されない。
【０１１５】
たとえば、実施形態においてプログラムにより実行される処理の一部または全部を回路などのハードウェアに置き換えて実行されてもよい。
【０１１６】
本出願は、２０１８年４月５日に出願された日本特許出願（特願２０１８−０７３１３２号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。
【符号の説明】
【０１１７】
１０    演算システム、
１００    演算装置（学習装置）、
１１０    制御部、
１１１    画像取得部、
１１２    人矩形検出部、
１１３    関節点推定部、
１１３Ａ    第１オートエンコーダー、
１１３Ｂ    中間変換部、
１１３Ｃ    第２オートエンコーダー、
１１４    出力部、
１１５    学習制御部、
１１９    関節点、
１２０    記憶部、
１３０    表示部、
１４０    入力部、
１５０    通信部、
２００    撮影装置、
２１０    人矩形、
３００    通信ネットワーク、
３１０    アクセスポイント、
４００    携帯端末、
５００    対象者。
【図１】
2019193899.tif 000003
【図２】
2019193899.tif 000004
【図３】
2019193899.tif 000005
【図４】
2019193899.tif 000006
【図５】
2019193899.tif 000007
【図６】
2019193899.tif 000008
【図７】
2019193899.tif 000009
【図８】
2019193899.tif 000010
【図９】
2019193899.tif 000011
【図１０】
2019193899.tif 000012
【図１１】
2019193899.tif 000013
【図１２】
2019193899.tif 000014
【図１３】
2019193899.tif 000015
【図１４】
2019193899.tif 000016
【図１５】
2019193899.tif 000017
【図１６】
2019193899.tif 000018
【国際調査報告】
2019193899.tif 000019
2019193899.tif 000020
2019193899.tif 000021