(57)【要約】  センサデータを取得するセンサデータ取得部（２１０）と、センサデータに基づき、作業者（１２０）の体の部位（１２１）を検出して、当該作業者（１２０）の体の部位（１２１）に関する体部位情報を取得する体部位情報取得部（２２０）と、センサデータに基づき、物体（１３１）を検出して、当該物体（１３１）に関する物体情報を取得する物体情報取得部（２３０）と、体部位情報と、物体情報とに基づき、物体（１３１）と、当該物体（１３１）を用いた作業を行った、作業者（１３１）の体の部位（１２１）との関連付けを行う関連付け部（２４０）と、関連付け部（２４０）で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者（１２０）によって実施された作業を認識する認識結果分析部（２５０）とを備えた。
2018087844.tif 000002
【特許請求の範囲】
【請求項１】
センサデータを取得するセンサデータ取得部と、
前記センサデータ取得部が取得したセンサデータに基づき、作業者の体の部位を検出して、当該作業者の体の部位に関する体部位情報を取得する体部位情報取得部と、
前記センサデータ取得部が取得したセンサデータに基づき、物体を検出して、当該物体に関する物体情報を取得する物体情報取得部と、
前記体部位情報取得部が取得した体部位情報と、前記物体情報取得部が取得した物体情報とに基づき、前記物体と、当該物体を用いた作業を行った、前記作業者の体の部位との関連付けを行う関連付け部と、
前記関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、前記作業者によって実施された作業を認識する認識結果分析部
とを備えた作業認識装置。
【請求項２】
前記認識結果分析部が認識した、前記関連付け情報に基づく情報を出力する出力制御部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項３】
前記体部位情報取得部は、
前記作業者の体の部位を検出して、当該作業者の体の部位の位置座標を取得する体部位検出部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項４】
前記体部位情報取得部は、
前記体部位検出部が検出した前記作業者の体の部位を追跡して、移動後の、当該作業者の体の部位の位置座標を取得する体部位追跡部を備えた
ことを特徴とする請求項３記載の作業認識装置。
【請求項５】
前記体部位情報取得部は、
前記体部位検出部が検出した前記作業者の体の部位の種類、形状、または、状態を認識する体部位認識部を備えた
ことを特徴とする請求項３記載の作業認識装置。
【請求項６】
前記物体情報取得部は、
前記物体を検出して、当該物体の位置座標を取得する物体検出部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項７】
前記物体情報取得部は、
前記物体検出部が検出した前記物体を追跡して、移動後の、当該物体の位置座標を取得する物体追跡部を備えた
ことを特徴とする請求項６記載の作業認識装置。
【請求項８】
前記物体情報取得部は、
前記物体検出部が検出した前記物体の種類、形状、または、状態を認識する物体認識部を備えた
ことを特徴とする請求項６記載の作業認識装置。
【請求項９】
前記関連付け部は、
前記体部位情報取得部が取得した体部位情報と、前記物体情報取得部が取得した物体情報とを用いて、前記作業者の体の部位と前記物体との関連度を表す関連付けスコアを算出するスコア算出部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項１０】
前記関連付け部は、
前記スコア算出部が算出した関連付けスコアを用いて、作業の整合に応じた、前記作業者の体の部位と前記物体との組み合わせを決定する整合部を備えた
ことを特徴とする請求項９記載の作業認識装置。
【請求項１１】
前記関連付け部は、
前記整合部が決定した前記作業者の体の部位と前記物体との組み合わせに基づき、前記作業者の体の部位、または、前記物体の位置を補正する位置補正部を備えた
ことを特徴とする請求項１０記載の作業認識装置。
【請求項１２】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、規定の作業が成されたか否かを判定する成否判定部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項１３】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、規定の作業種別のいずれに該当するかを識別する種別識別部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項１４】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、前記作業者が実施した作業とは別の作業者による作業との比較によって、前記作業者が実施した作業内容を分析する内容比較部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項１５】
前記認識結果分析部は、
前記関連付け部が関連付けた前記作業者の体の部位と前記物体との関連付け情報に基づき、前記作業者が実施した作業内容が、規定の条件を満たすか否かを判定する条件判定部を備えた
ことを特徴とする請求項１記載の作業認識装置。
【請求項１６】
前記出力制御部は、
前記認識結果分析部が認識した認識結果に基づく情報を、映像として表示させる
ことを特徴とする請求項２記載の作業認識装置。
【請求項１７】
センサデータ取得部が、センサデータを取得するステップと、
体部位情報取得部が、前記センサデータ取得部が取得したセンサデータに基づき、作業者の体の部位を検出して、当該作業者の体の部位に関する体部位情報を取得するステップと、
物体情報取得部が、前記センサデータ取得部が取得したセンサデータに基づき、物体を検出して、当該物体に関する物体情報を取得するステップと、
関連付け部が、前記体部位情報取得部が取得した体部位情報と、前記物体情報取得部が取得した物体情報とに基づき、前記物体と、当該物体を用いた作業を行った、前記作業者の体の部位との関連付けを行うステップと、
認識結果分析部が、前記関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、前記作業者によって実施された作業を認識するステップ
とを備えた作業認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、作業者による作業内容を認識する作業認識装置および作業認識方法に関するものである。
【背景技術】
【０００２】
従来より、カメラ映像等を用いて人の体の部位、あるいは、物体の位置に関する情報を取得して、人の動作を認識し、分析する技術が知られている。
例えば、特許文献１には、被写体として両手で作業を行う作業者の動作を撮影し、その中で特に作業者の両手の動作を、基準被写体である、基準となる作業者の動作に基づいて分析する動作分析装置が開示されている。
特許文献１に開示されている動作分析装置では、両手の座標を映像のフレーム毎に取得し、座標を追跡することで、両手の軌跡を取得しており、カメラ位置の問題で左手、右手の座標がとれない場合は、当該座標がとれない左手、または、右手の座標を、座標が消失した場所の座標から推定するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−３４２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような動作分析装置では、例えば、作業に物体の移動が含まれる場合であって、手や物体の位置の座標を取得することができない場合には、単に座標が消失した場所の座標から、手あるいは物体の座標を推定するのみであるため、作業内容を表わす軌跡を高精度に取得することができないという課題があった。【０００５】
この発明は上記のような課題を解決するためになされたもので、作業者による作業内容を高精度に認識する作業認識装置および作業認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る作業認識装置は、センサデータを取得するセンサデータ取得部と、センサデータ取得部が取得したセンサデータに基づき、作業者の体の部位を検出して、当該作業者の体の部位に関する体部位情報を取得する体部位情報取得部と、センサデータ取得部が取得したセンサデータに基づき、物体を検出して、当該物体に関する物体情報を取得する物体情報取得部と、体部位情報取得部が取得した体部位情報と、物体情報取得部が取得した物体情報とに基づき、物体と、当該物体を用いた作業を行った、作業者の体の部位との関連付けを行う関連付け部と、関連付け部で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者によって実施された作業を認識する認識結果分析部とを備えたものである。
【発明の効果】
【０００７】
この発明によれば、物体と当該物体を用いた作業を行った作業者の体の部位との関連付けを行って作業者によって実施された作業を認識するようにしたので、作業者による作業内容を高精度に認識することができる。
【図面の簡単な説明】
【０００８】
【図１】この発明の実施の形態１に係る作業認識装置を備えた作業認識システムの全体構成の一例を説明する図である。
【図２】この発明の実施の形態１に係る作業認識装置の構成図である。
【図３】この実施の形態１における、スコア算出部による関連付けスコアの算出方法の一例を説明する図である。
【図４】この実施の形態１における、スコア算出部による位置座標の軌跡の補間および補間後の関連付けスコア算出動作の一例を説明する図である。
【図５】この実施の形態１における、位置補正部による位置座標の補正動作の一例を説明する図である。
【図６】図６Ａ，図６Ｂは、この発明の実施の形態１に係る作業認識装置のハードウェア構成の一例を示す図である。
【図７】実施の形態１における制御装置のハードウェア構成の一例を示す図である。
【図８】この発明の実施の形態１に係る作業認識装置の動作を説明するフローチャートである。
【図９】図８のステップＳＴ８０２における、体部位情報取得部の動作の詳細を説明するフローチャートである。
【図１０】図８のステップＳＴ８０３における、物体情報取得部の動作の詳細を説明するフローチャートである。
【図１１】図８のステップＳＴ８０５における、関連付け部の動作の詳細を説明するフローチャートである。
【図１２】この実施の形態１において、出力制御部による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。
【図１３】この実施の形態１において、出力制御部による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。
【図１４】この実施の形態１において、出力制御部による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る作業認識装置１００を備えた作業認識システムの全体構成の一例を説明する図である。
この作業認識システムでは、作業認識装置１００が、例えば、可視光カメラ１１１等から受信した映像情報、あるいは、加速度センサ１１４等から受信したセンシング情報に基づき、作業者１２０が手などの体の部位１２１および物体１３１を用いて行う作業を認識し、作業認識結果、および、当該作業認識結果に基づく作業分析結果を、外部の装置等に出力する。
作業者１２０が作業を行う際に用いる体の部位１２１は、１つに限らない。作業者１２０は、例えば、右手と左手のように、複数の体の部位１２１を用いて作業を行ってもよい。また、作業者１２０が作業を行う際に用いる物体１３１も、１つに限らず、作業者１２０は、複数の物体１３１を用いて作業を行ってもよい。
すなわち、この実施の形態１において、作業者１２０は、１つ以上の体の部位１２１、および、１つ以上の物体１３１を用いて作業を行うものである。
【００１０】
作業認識システムは、図１に示すように、作業認識装置１００と、可視光カメラ１１１と、赤外線カメラ１１２と、深度センサ１１３と、加速度センサ１１４と、ジャイロセンサ１１５と、ディスプレイ１５１と、スピーカ１５２と、記憶装置１５３と、制御装置１５４とを備える。
【００１１】
可視光カメラ１１１、赤外線カメラ１１２、および、深度センサ１１３は、作業者１２０周辺を撮影する撮像装置であり、それぞれ、可視光映像、赤外線映像、および、深度映像を、作業認識装置１００に送信する。
この実施の形態１において、作業者１２０周辺とは、予め設定された範囲であり、少なくとも、作業者１２０が作業する際に用いる体の部位１２１、および、物体１３１が作業中に移動する主要な範囲が含まれる。
【００１２】
なお、この実施の形態１では、図１に示すように、作業認識システムは、撮像装置として、可視光カメラ１１１、赤外線カメラ１１２、および、深度センサ１１３を備えるものとしたが、これに限らず、作業認識システムは、これらの少なくとも１つを備えるものであればよい。
また、この実施の形態１の作業認識システムでは、可視光カメラ１１１、赤外線カメラ１１２、および、深度センサ１１３のうちの２つ以上が一体となったセンサを用いるようにしてもよい。
また、可視光カメラ１１１、赤外線カメラ１１２、および、深度センサ１１３以外に、作業者１２０周辺の映像を撮影できる撮像装置を備えるようにしてもよい。
また、可視光カメラ１１１、赤外線カメラ１１２、および、深度センサ１１３それぞれの設置数に制限はなく、例えば、異なる視点から作業者１２０周辺を撮影するために、可視光カメラ１１１、赤外線カメラ１１２、あるいは、深度センサ１１３をそれぞれ複数設置するようにしてもよい。
【００１３】
また、この実施の形態１の作業認識システムでは、作業者１２０の体の部位１２１、または、物体１３１に、マーカを付してもよい。マーカとしては、バーコード、もしくは、特徴的な図形を印刷したマーカ、可視光もしくは赤外線に反射して光る反射マーカ、特徴的な色を用いたカラーマーカ、または、赤外線を発する赤外線マーカなどを用いることができる。作業認識装置１００は、当該マーカを検出、追跡、あるいは、認識することで、作業者１２０の体の部位１２１、または、物体１３１を精度よく検出、追跡、あるいは、認識できる。作業認識装置１００の詳細については後述する。
マーカを利用する際は、利用するマーカ全てを同一のマーカとしてもよいし、作業者１２０の体の部位１２１、または、物体１３１毎に異なるマーカとしてもよい。
【００１４】
加速度センサ１１４は、作業者１２０の体の部位１２１または物体１３１のいずれか一方、あるいは、両方に装着され、加速度の時系列の情報を作業認識装置１００に送信する。
ジャイロセンサ１１５は、作業者１２０の体の部位１２１または物体１３１のいずれか一方、あるいは、両方に装着され、角加速度の時系列の情報を作業認識装置１００に送信する。
なお、この実施の形態１の作業認識システムは、図１に示すように、作業者１２０の体の部位１２１または物体１３１の動きをセンシングできるセンサとして、加速度センサ１１４およびジャイロセンサ１１５を備えるものとしたが、これに限らず、作業認識システムは、これらの少なくとも１つを備えていればよい。
また、作業認識システムは、加速度センサ１１４またはジャイロセンサ１１５以外に、作業者１２０の体の部位１２１および物体１３１の動きをセンシングできるセンサを備えるようにしてもよい。
【００１５】
以下、可視光カメラ１１１と、赤外線カメラ１１２と、深度センサ１１３と、加速度センサ１１４と、ジャイロセンサ１１５とをまとめてセンサといい、これらのセンサから得られるデータをまとめてセンサデータというものとする。すなわち、可視光カメラ１１１で得られる可視光映像、赤外線カメラ１１２で得られる赤外線映像、および、深度センサ１１３で得られる深度映像等の映像データも、センサデータに含まれるものとする。
【００１６】
作業認識装置１００は、センサから受信したセンサデータのうち少なくとも１つに基づき、作業者１２０の体の部位１２１および物体１３１の動きを捉えて作業を認識し、作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、ディスプレイ１５１、スピーカ１５２、記憶装置１５３、または、制御装置１５４の少なくとも１つに対して出力する。
【００１７】
ディスプレイ１５１は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、映像等により出力する。
スピーカ１５２は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、映像、あるいは、音声等により出力する。
また、記憶装置１５３は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を記憶する。
例えば、作業認識装置１００は、記憶装置１５３に、作業認識結果を長時間記憶させるようにする。作業認識装置１００は、記憶装置１５３に、作業認識結果を複数人分記憶させるようにしてもよい。作業者１２０の作業の管理を行う管理者等は、当該記憶装置１５３に記憶された作業認識結果を参照し、作業分析を行ったり、作業分析レポートを作成したりする。このように、記憶装置１５３に作業認識結果等を記憶させておくことで、リアルタイムの作業認識ではなく、管理者等が、後から作業分析を行うことができる。なお、これは一例に過ぎず、記憶装置１５３に記憶させた作業認識結果は、その他の方法で利用されるものとしてもよい。
【００１８】
また、制御装置１５４は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果に応じた制御信号に基づき、各種制御を行う。
具体的には、例えば、制御装置１５４は、作業認識結果等に基づき、ロボットに対して、作業者１２０の作業を補佐させる制御を行う。これにより、作業状況にあわせて、必要な部品または工具等を作業者１２０に供給したり、作業者１２０の作業が遅い場合に作業の遅れを取り戻せるよう、作業を助けたりすることができる。なお、これは一例に過ぎず、制御装置１５４は、その他の制御を行うようにしてもよい。
以下、ディスプレイ１５１と、スピーカ１５２と、記憶装置１５３と、制御装置１５４とをまとめて出力装置ともいうものとする。
なお、この実施の形態１の作業認識システムは、図１に示すように、ディスプレイ１５１と、スピーカ１５２と、記憶装置１５３と、制御装置１５４とを備えているが、これに限らず、作業認識システムは、これらの少なくとも１つを備えていればよい。
【００１９】
図２は、この発明の実施の形態１に係る作業認識装置１００の構成図である。
図２に示すように、作業認識装置１００は、センサデータ取得部２１０と、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０とを備える。
【００２０】
センサデータ取得部２１０は、可視光カメラ１１１、赤外線カメラ１１２、深度センサ１１３、加速度センサ１１４、または、ジャイロセンサ１１５の少なくとも１つのセンサからセンサデータを取得する。
センサデータ取得部２１０は、取得したセンサデータを、体部位情報取得部２２０および物体情報取得部２３０に出力する。
【００２１】
体部位情報取得部２２０は、センサデータ取得部２１０が出力したセンサデータに基づき、作業者１２０の体の部位１２１を検出して、作業者１２０の体の部位１２１に関する体部位情報を取得する。体部位情報取得部２２０は、取得した、作業者１２０の体の部位１２１に関する体部位情報を体部位情報記憶部２７０に記憶させる。
【００２２】
図２に示すように、体部位情報取得部２２０は、体部位検出部２２１と、体部位追跡部２２２と、体部位認識部２２３とを備える。
体部位検出部２２１は、センサデータ取得部２１０が出力したセンサデータに基づき、作業者１２０の体の部位１２１を検出して、当該部位１２１の位置座標を取得する。部位１２１の位置座標とは、例えば、検出された体の部位１２１の任意の一点の座標としてもよいし、体の部位１２１を含むように囲った矩形の右上および左下の座標としてもよく、作業者１２０の体の部位１２１の位置座標を、どの点の座標とするかは適宜設定可能とする。
また、体部位検出部２２１は、作業者１２０の体の部位１２１の位置座標を、取得した映像上の２次元座標としてもよいし、深度情報を用いて推定した３次元座標としてもよい。
体部位検出部２２１が検出する部位１２１の位置座標の原点および座標系は任意とする。例えば、体部位検出部２２１は、取得した映像の左上を原点、右方向をＸ軸、下方向をＹ軸とする２次元座標系としてもよいし、作業領域の特定の点を原点とし、鉛直上方向をＺ軸とした３次元座標系としてもよい。
【００２３】
また、体部位検出部２２１は、任意の方法で作業者１２０の体の部位１２１の位置座標を取得するものとする。体部位検出部２２１は、例えば、ＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、あるいは、ＨＯＧ（Ｈｉｓｔｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）などの、既存の特徴点ベースの検出法で作業者１２０の体の部位１２１の位置座標を取得してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で作業者１２０の体の部位１２１の位置座標を取得してもよい。また、体部位検出部２２１は、センサデータ取得部２１０から取得する単一フレームの画像のみを用いた検出手法を採用してもよいし、複数フレームの映像を用いた検出手法を採用してもよい。また、体部位検出部２２１は、光学映像、赤外線映像、または、深度映像等のいずれを用いた検出手法で作業者１２０の体の部位１２１の位置座標を取得してもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で作業者１２０の体の部位１２１の位置座標を取得してもよい。
体部位検出部２２１は、作業者１２０の体の部位１２１を複数検出した場合は、検出した部位１２１ごとに、位置座標を取得する。
【００２４】
体部位検出部２２１は、取得した、作業者１２０の体の部位１２１の位置座標を、取得日時の情報と対応付けて、体部位情報記憶部２７０に記憶させる。取得日時の情報は、センサデータ取得部２１０から取得した映像フレームに付随した取得日時の情報とすればよい。なお、体部位検出部２２１は、作業者１２０の体の部位１２１を複数検出した場合は、部位１２１ごとに、位置座標と取得日時の情報とを対応付けて、体部位情報記憶部２７０に記憶させる。
【００２５】
体部位追跡部２２２は、体部位検出部２２１が検出した作業者１２０の体の部位１２１の軌跡を取得する。具体的には、体部位追跡部２２２は、体部位検出部２２１が位置座標を取得した作業者１２０の体の部位１２１を、センサから取得したセンサデータに基づいて追跡し、当該部位１２１の移動後の位置座標を取得する。
体部位追跡部２２２は、体部位検出部２２１が体部位情報記憶部２７０に記憶させた部位１２１に関する情報に基づき、作業者１２０の体の部位１２１の位置座標の追跡を行う。体部位検出部２２１が検出した部位１２１が複数存在した場合は、体部位追跡部２２２は、当該複数の部位１２１ごとに、移動後の位置座標を取得する。
【００２６】
体部位追跡部２２２は、任意の追跡手法で、部位１２１の追跡を行えばよい。例えば、体部位追跡部２２２は、更新テンプレートマッチング、アクティブ探索、Ｍｅａｎ−ｓｈｉｆｔ法、または、粒子フィルタなどを用いた既存の領域ベース追跡手法を用いて部位１２１の追跡を行うものとしてもよいし、ＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｅｒ）、または、ＳＵＲＦ  Ｔｒａｃｋｉｎｇなどの特徴点ベースの追跡手法を用いて部位１２１の追跡を行うものとしてもよい。
また、体部位追跡部２２２は、光学映像、赤外線映像、または、深度映像等のいずれを用いた追跡手法で部位１２１の追跡を行ってもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で部位１２１の追跡を行ってもよい。
体部位追跡部２２２は、取得した、作業者１２０の体の部位１２１の移動後の位置座標、すなわち、作業者１２０の体の部位１２１の軌跡の情報を、位置座標の取得日時の情報とともに、体部位情報記憶部２７０に記憶させている部位１２１の情報に対応付けて記憶させる。
【００２７】
体部位認識部２２３は、体部位検出部２２１が位置座標を取得し、体部位情報記憶部２７０に記憶させた作業者１２０の体の部位１２１の種類、形状、または、状態を認識する。この実施の形態１において、作業者１２０の体の部位１２１の種類とは、例えば、右手、左手、肘、顔等をいう。なお、これは一例に過ぎず、作業者１２０の体の部位１２１を特定するものであればよい。また、作業者１２０の体の部位１２１の形状または状態とは、例えば、作業者１２０が右手の手のひらで物体１３１を掴んでいる場合、当該物体１３１を掴んでいる右手の形状、または、作業者１２０が当該物体１３１を掴んでいるという状態等をいう。なお、これは一例に過ぎず、例えば、作業者１２０が指先で物体１３１をつまんでいる、作業者１２０が拳を握りしめている、作業者１２０が右手を開いている等の場合も同様である。
体部位認識部２２３は、任意の認識手法で、部位１２１の種類、形状、または、状態を認識すればよい。例えば、ＳＵＲＦ、あるいは、ＨＯＧなどの、既存の特徴点ベースの検出法で部位１２１の種類、形状、または、状態を認識してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で部位１２１の種類、形状、または、状態を認識してもよい。
また、体部位認識部２２３は、光学映像、赤外線映像、または、深度映像のいずれを用いた認識手法で部位１２１の種類、形状、または、状態の認識を行ってもよいし、光学映像、赤外線映像、および、深度映像を複合して用いた認識手法で部位１２１の種類、形状、または、状態の認識を行ってもよい。
体部位認識部２２３は、部位１２１の認識結果の情報を、部位１２１の情報と対応付けて、体部位情報記憶部２７０に記憶させる。
体部位検出部２２１、体部位追跡部２２２、および、体部位認識部２２３によって、体部位情報記憶部２７０に記憶させた部位１２１に関する情報が、体部位情報となる。
なお、体部位検出部２２１、体部位追跡部２２２、および、体部位認識部２２３による体部位情報は、一連の作業ごとに記憶されることになる。
【００２８】
物体情報取得部２３０は、センサデータ取得部２１０が出力したセンサデータに基づき、物体１３１を検出して、物体１３１に関する物体情報を取得する。物体情報取得部２３０は、取得した、物体１３１に関する物体情報を物体情報記憶部２８０に記憶させる。
【００２９】
物体情報取得部２３０は、図２に示すように、物体検出部２３１と、物体追跡部２３２と、物体認識部２３３とを備える。
物体検出部２３１は、センサデータ取得部２１０が出力したセンサデータに基づき、物体１３１を検出して、当該物体１３１の位置座標を取得する。物体１３１の位置座標とは、例えば、検出された物体１３１の任意の一点の座標としてもよいし、物体１３１を含むように囲った矩形の右上および左下の座標としてもよく、物体１３１の位置座標を、どの点の座標とするかは適宜設定可能とする。
物体検出部２３１は、物体１３１の位置座標を、取得した映像上の２次元座標としてもよいし、深度情報を用いて推定した３次元座標としてもよい。
物体検出部２３１が検出する物体１３１の位置座標の原点および座標系は任意とする。例えば、物体検出部２３１は、取得した映像の左上を原点、右方向をＸ軸、下方向をＹ軸とする２次元座標系としてもよいし、作業領域の特定の点を原点とし、鉛直上方向をＺ軸とした３次元座標系としてもよい。
【００３０】
また、物体検出部２３１は、任意の方法で物体１３１の位置座標を取得するものとする。物体検出部２３１は、例えば、ＳＵＲＦ（Ｓｐｅｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、あるいは、ＨＯＧ（Ｈｉｓｔｇｒａｍｓ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）などの、既存の特徴点ベースの検出法で物体１３１の位置座標を取得してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で物体１３１の位置座標を取得してもよい。また、物体検出部２３１は、センサデータ取得部２１０から取得する単一フレームの画像のみを用いた検出手法を採用してもよいし、複数フレームの映像を用いた検出手法を採用してもよい。また、物体検出部２３１は、光学映像、赤外線映像、または、深度映像等のいずれを用いた検出手法で物体１３１の位置座標を取得してもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で物体１３１の位置座標を取得してもよい。
物体検出部２３１は、物体１３１を複数検出した場合は、検出した物体１３１ごとに、位置座標を取得する。
【００３１】
物体検出部２３１は、取得した物体１３１の位置座標を、取得日時の情報と対応付けて、物体情報記憶部２８０に記憶させる。取得日時の情報は、センサデータ取得部２１０から取得した映像フレームに付随した取得日時の情報とすればよい。なお、物体検出部２３１は、物体１３１を複数検出した場合は、物体１３１ごとに、位置座標と取得日時の情報とを対応付けて、物体情報記憶部２８０に記憶させる。
【００３２】
物体追跡部２３２は、物体検出部２３１が検出した物体１３１の軌跡を取得する。具体的には、物体追跡部２３２は、物体検出部２３１が位置座標を取得した物体１３１を、センサから取得したセンサデータに基づいて追跡し、当該物体１３１の移動後の位置座標を取得する。
物体追跡部２３２は、物体検出部２３１が物体情報記憶部２８０に記憶させた物体１３１に関する情報に基づき、物体１３１の位置座標の追跡を行う。物体検出部２３１が検出した物体１３１が複数存在した場合は、物体追跡部２３２は、当該複数の物体１３１ごとに、移動後の位置座標を取得する。
【００３３】
物体追跡部２３２は、任意の追跡手法で、物体１３１の追跡を行えばよい。例えば、物体追跡部２３２は、更新テンプレートマッチング、アクティブ探索、Ｍｅａｎ−ｓｈｉｆｔ法、または、粒子フィルタなどを用いた既存の領域ベース追跡手法を用いて部位１２１の追跡を行うものとしてもよいし、ＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｅｒ）、または、ＳＵＲＦ  Ｔｒａｃｋｉｎｇなどの特徴点ベースの追跡手法を用いて物体１３１の追跡を行うものとしてもよい。
また、物体追跡部２３２は、光学映像、赤外線映像、または、深度映像等のいずれを用いた追跡手法で物体１３１の追跡を行ってもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で物体１３１の追跡を行ってもよい。
物体追跡部２３２は、取得した、物体１３１の移動後の位置座標、すなわち、物体１３１の軌跡の情報を、位置座標の取得日時の情報とともに、物体情報記憶部２８０に記憶させている物体１３１の情報に対応付けて記憶させる。
【００３４】
物体認識部２３３は、物体検出部２３１が位置座標を取得し、物体情報記憶部２８０に記憶させた、物体１３１の種類、形状、または、状態を認識する。この実施の形態１において、物体１３１の種類とは、例えば、作業者１２０が組み立て作業を行う場合に用いられる物体１３１を特定する情報であり、組み立て対象の各部品または組み立て工具等をいう。また、物体１３１の形状または状態とは、例えば、作業者１２０が、ある部品を用いて組み立て作業を行う場合、当該部品の向き、または、基板に当該部品が組み込まれた状態等をいう。なお、これは一例に過ぎず、例えば、作業者１２０が工具を用いて作業を行う場合も同様である。
物体認識部２３３は、任意の認識手法で、物体１３１の種類、形状、または、状態を認識すればよい。例えば、ＳＵＲＦ、あるいは、ＨＯＧなどの、既存の特徴点ベースの検出法で物体１３１の種類、形状、または、状態を認識してもよいし、ニュートラルネットワークなどのモデルベースの検出手法で物体１３１の種類、形状、または、状態を認識してもよい。
また、物体認識部２３３は、光学映像、赤外線映像、または、深度映像のいずれを用いた認識手法で物体１３１の種類、形状、または、状態の認識を行ってもよいし、光学映像、赤外線映像、または、深度映像を複合して用いた認識手法で物体１３１の種類、形状、または、状態の認識を行ってもよい。
物体認識部２３３は、物体１３１の認識結果の情報を、物体１３１の情報と対応付けて、物体情報記憶部２８０に記憶させる。
物体検出部２３１、物体追跡部２３２、および、物体認識部２３３によって、物体情報記憶部２８０に記憶させた物体１３１に関する情報が、物体情報となる。
なお、物体検出部２３１、物体追跡部２３２、および、物体認識部２３３による物体情報は、一連の作業ごとに記憶されることになる。
【００３５】
関連付け部２４０は、体部位情報取得部２２０が体部位情報記憶部２７０に記憶させた、作業者１２０の体の部位１２１に関する体部位情報と、物体情報取得部２３０が物体情報記憶部２８０に記憶させた、物体１３１に関する物体情報とに基づき、物体１３１と、当該物体１３１を用いた作業を行った作業者１２０の体の部位１２１との関連付けを行う。関連付け部２４０は、関連付け結果を認識結果分析部２５０に出力する。
【００３６】
関連付け部２４０は、スコア算出部２４１と、整合部２４２と、位置補正部２４３とを備える。
スコア算出部２４１は、体部位情報取得部２２０が体部位情報記憶部２７０に記憶させた、作業者１２０の体の部位１２１に関する体部位情報と、物体情報取得部２３０が物体情報記憶部２８０に記憶させた、物体１３１に関する物体情報とを用いて、作業者１２０の体の部位１２１と物体１３１との関連度を表す関連付けスコアを算出する。作業者１２０の体の部位１２１と物体１３１との関連度は、物体１３１の動きにどの作業者１２０の体の部位１２１が関連した可能性が高いかを表し、関連付けスコアが高いほど、作業者１２０の体の部位１２１と物体１３１とが関連した可能性が高いと判断したものとする。
スコア算出部２４１は、任意の手法で関連付けスコアを算出するようにすればよい。例えば、スコア算出部２４１は、作業者１２０の体の部位１２１と物体１３１との位置座標が近ければ関連付けスコアを高くするようにしてもよいし、作業者１２０の体の部位１２１の動く方向と物体１３１の動く方向とが近ければ関連付けスコアを高くするようにしてもよい。また、例えば、スコア算出部２４１は、作業者１２０の体の部位１２１が物体１３１を把持している形状であれば関連付けスコアを高くするようにしてもよい。
【００３７】
ここで、図３は、この実施の形態１における、スコア算出部２４１による関連付けスコアの算出方法の一例を説明する図である。
図３では、体部位情報取得部２２０によって、体の部位１２１として、部位Ｘと部位Ｙが検出されて体部位情報が取得され、物体情報取得部２３０によって、物体１３１として、物体Ａ〜Ｄが検出されて物体情報が取得されたものとしている。また、図３では、部位Ｘ，Ｙ、および、物体Ａ〜Ｄの１０秒間の位置座標の軌跡の情報を得たものとし、図３上、当該１０秒間の位置を、０〜１０の数字で示している。
【００３８】
例えば、０〜２秒後までの２秒間の物体Ａについて、当該物体Ａの周囲には、部位Ｘと部位Ｙが存在するが、物体Ａと部位Ｘの位置座標の方が、物体Ａと部位Ｙの位置座標よりも近い。すなわち、物体Ａと部位Ｘとの距離の方が、物体Ａと部位Ｙとの距離よりも近い。
よって、スコア算出部２４１によって、物体Ａは、当該物体Ａとの距離がより近い部位Ｘとの関連付けスコアのほうが、部位Ｙとの関連付けスコアよりも高く設定される。
同様に、８〜１０秒後までの２秒間についても、スコア算出部２４１によって、物体Ａと、当該物体Ａとの距離がより近い部位Ｘとの関連付けスコアのほうが、部位Ｙとの関連付けスコアよりも高く設定される。
【００３９】
また、例えば、３秒後の部位Ｙについて、物体Ｂを握持している形状であったとすると、スコア算出部２４１は、物体Ｂと部位Ｙとの関連付けスコアを高く設定する。
このように、スコア算出部２４１は、任意の手法で、作業者１２０の体の部位１２１と物体１３１との組み合わせに関して、物体１３１の動きにどの体の部位１２１が関連した可能性が高いかを表す関連付けスコアを算出する。
なお、上述のように、図３を用いて説明した、スコア算出部２４１による関連付けスコアの算出方法は一例に過ぎず、スコア算出部２４１は、その他の方法で関連付けスコアを算出するようにしてもよく、予め設定された基準に則り、作業中の物体１３１と作業者１２０の体の部位１２１との組み合わせに対する関連の強さが設定されるようになっていればよい。
【００４０】
また、スコア算出部２４１は、物体情報取得部２３０が、物体１３１の検出、あるいは、追跡を失敗し、物体１３１の位置座標の軌跡が途切れたと判断した場合には、当該物体１３１の位置座標の消失点と検出点とを結合して位置座標の軌跡を補間して、関連付けスコアを算出するようにしてもよい。
【００４１】
ここで、図４は、この実施の形態１における、スコア算出部２４１による位置座標の軌跡の補間および補間後の関連付けスコア算出動作の一例を説明する図である。
図３では、物体Ａについて、２秒後に位置座標が検出された後、８秒後まで位置座標の軌跡が途切れている。そこで、図４を用いて、図３に示した軌跡が途切れた物体Ａについて、スコア算出部２４１が位置座標の軌跡を補間し、当該軌跡を補間した物体Ａについて部位Ｘ，Ｙとの関連付けスコアを算出する動作の一例を説明する。
まず、スコア算出部２４１は、図４の点線で示すように、物体Ａの消失点と検出点とを結合して、物体Ａの位置座標の軌跡を補間する。
次に、スコア算出部２４１は、補間した位置座標の軌跡において、物体Ａと部位Ｘ，Ｙとの関連付けスコアを算出する。
【００４２】
例えば、補間した３秒後の物体Ａの位置座標について、部位Ｘよりも、部位Ｙの方が近い。しかしながら、位置座標消失点および位置座標検出点、すなわち、２秒後および８秒後に、物体Ａと、より高い関連付けスコアが算出されているのは部位Ｘである。そこで、例えば、スコア算出部２４１は、位置座標の軌跡が途切れていた間も、物体Ａの移動に伴う作業には、部位Ｘが用いられていた可能性の方が高いと判断し、物体Ａについて、部位Ｘとの関連付けスコアを、部位Ｙとの関連付けスコアよりも高く設定する。
スコア算出部２４１は、物体１３１の位置座標が途切れた間の、補間された位置座標と周囲に存在する部位１２１との位置関係だけではなく、当該物体１３１の消失点と検出点、すなわち、位置座標が途切れた前後の、作業者１２０の体の部位１２１との関連付けとを考慮した、関連付けスコアの算出を行うことができる。
【００４３】
なお、上述のように、図４を用いて説明した、スコア算出部２４１による位置座標の軌跡の補間および補間後の関連付けスコア算出方法は一例に過ぎず、スコア算出部２４１は、その他の方法で位置座標の軌跡の補間および補間後の関連付けスコアの算出を行うようにしてもよい。
【００４４】
例えば、スコア算出部２４１は、同じ方向に作業者１２０の体の部位１２１が動いていれば、関連付けスコアを高くするようにしてもよい。
具体的には、例えば、作業者１２０が、右手で、ある部品Ｖを、地点ａ→地点ｂ→地点ｃ→地点ｄと、地点ａから地点ｄまで移動させたとする。その際、地点ｂにおいて、物体検出部２３１が部品Ｖを検出できなかったため、物体追跡部２３２は途中で当該部品Ｖの追跡ができなくなり、地点ｃにおいて、再び物体検出部２３１が部品Ｖを検出でき、物体追跡部２３２は当該部品Ｖの追跡を再開できたとする。なお、この場合、地点ｂが消失点であり、地点ｃが検出点である。物体追跡部２３２が、地点ａ→地点ｂの位置座標の軌跡と、地点ｃ→地点ｄまでの位置座標の軌跡は取得することができるものの、地点ｂ→地点ｃまでの位置座標の軌跡は取得できない、という状態となっているものとする。また、物体認識部２３３は、地点ａ→地点ｂの物体１３１と、地点ｃ→地点ｄの物体１３１が、同一の物体１３１か異なる物体１３１か、認識できなかったものとする。
このような場合、スコア算出部２４１は、地点ｂ→地点ｃの物体１３１の軌跡を、例えば直線補間等により試しに補間してみて、地点ａ→地点ｂ→地点ｃ→地点ｄという物体１３１の移動方向と、右手の移動方向が一致していれば、右手で部品Ｖが地点ａ→地点ｂ→地点ｃ→地点ｄまで移動させられたと判断し、部品Ｖと右手との関連付けスコアを高くする。関連付けスコアが高くなることで、この後、整合部２４２が作業者１２０の体の部位１２１と物体１３１との組み合わせを決定する際に、当該関連付けが選ばれやすくなり、結果的に、地点ｂ→地点ｃの軌跡の途切れをうまく補間することができる。整合部２４２については後述する。
【００４５】
また、スコア算出部２４１は、消失点と検出点の物体１３１が同一であると判断すれば、当該消失点と検出点において物体１３１と関連付けられた部位１２１との関連付けスコアを高くするようにしてもよい。
例えば、上述した例で、物体認識部２３３は、地点ａ→地点ｂの物体１３１と、地点ｃ→地点ｄの物体１３１が、いずれも部品Ｖであると認識したものとする。この場合、スコア算出部２４１は、地点ｂ→地点ｃの位置座標の軌跡を補間し、部品Ｖと右手との関連付けスコアを高くする。
【００４６】
また、スコア算出部２４１は、消失点と検出点の位置座標の差が一定値以下であれば作業者１２０の体の部位１２１では、当該物体１３１は動かされていないと関連付けるスコアを高くするようにしてもよい。
例えば、静止している部品Ｗの上を左手が一瞬通過したことにより、物体検出部２３１が、部品Ｗを一瞬検出できなくなったとする。スコア算出部２４１は、物体検出部２３１が部品Ｗを検出できなくなった前後で、当該部品Ｗの位置に変更がなければ、当該部品Ｗは左手で移動されたものではないと判断し、部品Ｗが左手で動かされていないと関連付けるスコアを高くする。スコア算出部２４１は、部品Ｗと左手との関連付けスコアを低くするようにしてもよい。
【００４７】
スコア算出部２４１は、予め設定された基準に則り物体１３１の位置座標の軌跡の補間および、補間後の関連付けスコアの設定が行われるようになっていればよい。
スコア算出部２４１は、算出した関連付けスコアの情報を、整合部２４２に出力する。
【００４８】
整合部２４２は、スコア算出部２４１で算出した関連付けスコアを用いて、作業としての整合が取れる範囲で、関連付けスコアを最大化するような、作業者１２０の体の部位１２１と物体１３１との組み合わせを決定する。すなわち、作業者１２０の体の部位１２１と物体１３１とが関連付けられた関連付け結果に基づき、物体１３１は、当該物体１３１と一番関連があると判断された作業者１２０の体の部位１２１と組み合わされることになる。
作業としての整合が取れるための条件は任意である。例えば、整合部２４２は、同じ体の部位１２１が同じ時刻に一定値以上離れた位置座標に存在しないようにする、あるいは、同じ物体１３１が同じ時刻に複数の矛盾する動作と関連付けられないようにすること等を整合が取れるための条件とする。整合部２４２は、当該条件を満たし、かつ、関連付けスコアの総和を最大化する、作業者１２０の体の部位１２１と物体１３１との組み合わせを決定する。
【００４９】
ここで、整合部２４２が、図３，図４で示したような、０〜１０秒後の１０秒間に検出された物体Ａ〜Ｄについて、部位Ｘ，Ｙとの組み合わせを決定する動作の一例を説明する。
まず、物体Ａについて、図３，４を用いて、上述したように、０〜１０秒後までの間、スコア算出部２４１によって、部位Ｘとの関連付けスコアが高く設定されている。よって、整合部２４２は、物体Ａは、部位Ｘによって、移動を伴う作業が行われたものと判断し、物体Ａと部位Ｘとを組み合わせる。
また、物体Ｂについて、０〜３秒後、および、８〜１０秒後までの位置座標は変わらず、３〜８秒後までの間、スコア算出部２４１によって、部位Ｙとの関連付けスコアが高く設定されている。よって、整合部２４２は、物体Ｂは、部位Ｙによって、３秒後に移動が開始され、８秒後に検出された位置座標まで移動されたものとして、物体Ｂと部位Ｙとを組み合わせる。
【００５０】
なお、仮に、図４を用いて説明したスコア算出部２４１による位置座標の軌跡の補間および関連付けスコア算出動作において、スコア算出部２４１が、３秒後の物体Ａについて、位置座標の近さを優先し、部位Ｙとの関連付けスコアを、部位Ｘとの関連付けスコアよりも高く算出していたとする。物体Ａのみのデータに基づく、３秒後の物体Ａの補間位置は、図４に示すように、部位Ｘよりも部位Ｙに近いため、位置座標の近さのみに基づけば、このような関連付けスコアの計算は起こり得る。この場合、部位Ｙは、３秒後において、物体Ａとも物体Ｂとも、高い関連付けスコアが設定されていることになる。
そこで、整合部２４２は、作業としての整合が取れる範囲で、部位Ｙは、物体Ａ、Ｂどちらと組み合わせるべきかを決定する。
具体的には、例えば、３秒後において、部位Ｙが物体Ｂを握持している形状であれば、物体Ｂは部位Ｙを用いて作業されている可能性が高いので、整合部２４２は、部位Ｙは物体Ｂと組み合わせた方が作業としての整合が取れると判断し、物体Ｂと部位Ｙとを組み合わせる。
あるいは、例えば、整合部２４２は、前後の物体Ｂと部位Ｘ，Ｙとの組み合わせから、物体Ｂと部位Ｘ，Ｙのどちらを組み合わせた方が、整合が取れるかを判断してもよい。ここでは、０〜２秒、および、８〜１０秒の間においては、部位Ｘは物体Ａとの関連付けスコアが高く設定されている。すなわち、物体Ａは、部位Ｘを用いて一連の動作として作業が行われたとする方が、作業としての整合が取れるといえる。そこで、整合部２４２は、３秒後において、物体Ｂと部位Ｙとを組み合わせる。
【００５１】
また、物体Ｃ，Ｄについては、１０秒間、位置座標に動きがない。また、８〜１０秒後の間で、周囲に部位Ｘ，Ｙが検出されているが、部位Ｘ，Ｙは、それぞれ、関連付けスコアが物体Ｃよりも高く設定され、移動を伴う作業を行ったと判断できる物体Ａ，Ｂが存在する。８〜１０秒後の間で、移動のない物体Ｃ，Ｄを部位Ｘ，Ｙと組み合わせると、作業として矛盾が生じる。そこで、整合部２４２は、物体Ｃ，Ｄについては、部位Ｘ，Ｙを用いた作業は行われなかったと判断し、部位Ｘ，Ｙとの組み合わせを行わないようにする。
【００５２】
なお、上述した方法は一例に過ぎず、整合部２４２は、予め設定された適宜の方法で、作業としての整合が取れる範囲を判断し、作業者１２０の体の部位１２１と物体１３１との組み合わせを決定するようになっていればよい。
整合部２４２は、決定した、作業者１２０の体の部位１２１と物体１３１との組み合わせを位置補正部２４３に出力する。
【００５３】
位置補正部２４３は、整合部２４２で決定した、作業者１２０の体の部位１２１と物体１３１との組み合わせを用いて、作業者１２０の体の部位１２１または物体１３１、あるいはその両方の位置座標を補正する。
位置補正部２４３は、任意の補正手法を用いて作業者１２０の体の部位１２１または物体１３１、あるいはその両方の位置座標を補正するようにすればよい。例えば、位置補正部２４３は、物体１３１の位置座標が途切れている場合に、当該物体１３１に組み合わせられた部位１２１の軌跡と付き合わせて、当該物体１３１の位置座標を補間するようにしてもよいし、逆に、部位１２１の位置座標の軌跡が途切れている場合に、当該部位１２１に組み合わせられた物体１３１の軌跡と付き合わせて、当該部位１２１の位置座標を補間するようにしてもよい。
【００５４】
ここで、図５は、この実施の形態１における、位置補正部２４３による位置座標の補正動作の一例を説明する図である。
図５では、一例として、位置補正部２４３が、図４で示したように、スコア算出部２４１によって位置座標が補間され、整合部２４２によって部位Ｘと組み合わされた、物体Ａの２〜８秒後までの間の位置座標を補正する動作を説明する。
図４において、点線で示したように位置座標が補間された物体Ａの軌跡について、位置補正部２４３は、当該物体Ａと組み合わされた部位Ｘの位置座標の軌跡と付き合わせて、位置座標を補正する。
その結果、図５に示すように、２〜８秒後までの間において、物体Ａの位置座標が、部位Ｘと同様の軌跡となる。
【００５５】
なお、上述したように、図５を用いて説明した位置補正部２４３の動作は一例に過ぎず、位置補正部２４３は、その他の方法で位置座標の補正を行ってもよい。
例えば、位置補正部２４３は、補間する際、位置補正部２４３は、軌跡をそのままコピーするようにし、軌跡の始点と終点が不連続にならないように始点と終点の位置にあわせて、関連付けられた部位１２１あるいは物体１３１の位置座標を補正するようにしてもよい。
具体的には、例えば、右手で部品Ｚを地点ｅ→地点ｆ→地点ｇ→地点ｈまで移動させ、地点ｆ→地点ｇで部品Ｚの軌跡が途切れ、当該途切れた間の位置座標を補間する際、位置補正部２４３は、例えば、位置ｅ→位置ｆでの部品Ｚの位置座標の軌跡を、同時刻の右手の位置座標の軌跡で補間する。この場合、部品Ｚの位置座標と右手の位置座標とは一致しないことがあり得るので、地点ｆ→地点ｇにおいて、部品Ｚの位置座標の軌跡が不自然に不連続になることが想定される。そこで、位置補正部２４３は、軌跡の始点と終点が不連続にならないように始点と終点の位置にあわせて、部品Ｚが自然な、すなわち、連続的な、軌跡を描くように、当該部品Ｚの位置座標を補正するようにしてもよい。
【００５６】
このように、例えば、物体１３１の位置座標の軌跡が途切れてしまった場合でも、作業者１２０の体の部位１２１と物体１３１との関連付けを考慮して、作業者１２０の体の部位、あるいは、物体１３１の軌跡の補間を行うことができる。これにより、例えば、座標がとれない左手、または、右手の座標を、座標が消失した場所の座標から推定する等、物体と作業者の体の部位との対応関係を考慮せず、作業者の体の部位あるいは物体単独で軌跡の補間を行う従来の技術と比べ、より高精度に軌跡の補間を行うことができる。
【００５７】
位置補正部２４３は、補正後の、作業者１２０の体の部位１２１、および、物体１３１の位置座標と、組み合せ結果の情報を、関連付け情報として、認識結果分析部２５０に出力する。なお、位置補正部２４３は、補正を行わなかった場合は、補正前の位置座標を認識結果分析部２５０に出力する。
【００５８】
認識結果分析部２５０は、関連付け部２４０が出力した関連付け情報に基づき、一連の作業を通した、作業全体の認識結果を認識する。また、認識結果分析部２５０は、作業全体の認識結果に基づき、作業を分析する。作業全体の認識結果とは、ここでは、物体１３１と当該物体１３１を用いた作業を行った部位１２１とが関連付けられた関連付け情報のことをいい、作業の一連の流れを示す情報である。
そして、認識結果分析部２５０は、作業全体の認識結果、あるいは、当該認識結果を分析した分析結果に関する情報を出力制御部２６０に出力する。
【００５９】
認識結果分析部２５０は、成否判定部２５１と、種別識別部２５２と、内容比較部２５３と、条件判定部２５４とを備える。
成否判定部２５１は、関連付け部２４０が決定した、作業者１２０の体の部位１２１と物体１３１との関連付け情報を用いて、規定の作業が成されたか否かを判定する。具体的には、例えば、予め、物体１３１ごとに、当該物体１３１を用いて作業者１２０が行うべき作業が登録された作業一覧を記憶しておき、当該記憶された作業一覧と関連付け情報とに基づいて、成否判定部２５１は、作業者１２０が、行うべき作業が成されたか否かを判定する。なお、これは一例に過ぎず、成否判定部２５１は、その他の方法で、規定の作業が成されたか否かを判定してもよい。
成否判定部２５１は、規定の作業が成されたか否かの判定結果を出力制御部２６０に出力する。
【００６０】
種別識別部２５２は、関連付け部２４０が決定した、作業者１２０の体の部位１２１と物体１３１との関連付け情報を用いて、規定の作業種別のいずれに該当するかを識別する。具体的には、例えば、予め、作業ごとに、どの物体１３１を用いてどのような動作を行うかの手順が紐付けられ種別分けされた作業種別情報を記憶させておき、当該記憶された作業種別情報と、関連付け情報とに基づいて、種別識別部２５２は、作業者１２０が行った作業が、規定の作業種別のいずれに該当するかを識別する。なお、これは一例に過ぎず、種別識別部２５２は、その他の方法で、規定の作業種別のいずれに該当するかを識別するようにしてもよい。
種別識別部２５２は、規定の作業種別のいずれに該当するかの識別結果を出力制御部２６０に出力する。
【００６１】
内容比較部２５３は、関連付け部２４０が決定した、作業者１２０の体の部位１２１と物体１３１との関連付け情報を用いて、作業者１２０が実施した作業とは別の作業との比較によって、作業者１２０が実施した作業内容を分析する。具体的には、例えば、予め、手本となる他の作業者による作業を作業履歴として記憶させておき、当該記憶された作業履歴と、関連付け情報とに基づいて、内容比較部２５３は、作業内容を比較し、他の作業者の作業と比べて、例えば、不足している作業がある、無駄な作業がある、作業時間が遅い、速い等を判断する。なお、これは一例に過ぎず、内容比較部２５３は、その他の方法で、作業内容を比較するようにしてもよい。
内容比較部２５３は、作業内容の比較結果を出力制御部２６０に出力する。
【００６２】
条件判定部２５４は、関連付け部２４０が決定した、作業者１２０の体の部位１２１と物体１３１との関連付け情報を用いて、作業内容が規定の条件を満たすか否かを判定する。具体的には、予め記憶されている、上述したような作業種別情報と、関連付け情報とに基づいて、条件判定部２５４は、作業者１２０が作業に要した時間が長すぎないか等の条件を判定する。なお、条件は適宜設定可能であり、条件判定部２５４はその他の条件を満たすか否かを判定するようにしてもよい。
【００６３】
なお、この実施の形態１の認識結果分析部２５０は、図２に示すように、成否判定部２５１と、種別識別部２５２と、内容比較部２５３と、条件判定部２５４とを備えているが、これに限らず、認識結果分析部２５０は、成否判定部２５１と、種別識別部２５２と、内容比較部２５３と、条件判定部２５４のうち、少なくとも１つを備えていればよい。
【００６４】
また、認識結果分析部２５０は、成否判定部２５１、種別識別部２５２、内容比較部２５３、または、条件判定部２５４による作業全体の認識結果を用いた作業分析結果とともに、関連付け部２４０が出力した関連付け情報、すなわち、作業全体の認識結果の情報もあわせて出力制御部２６０に出力する。
【００６５】
出力制御部２６０は、認識結果分析部２５０が出力した作業全体の認識結果を、出力装置の少なくとも１つに出力する。
また、出力制御部２６０は、分析結果出力指示を受け付けた場合は、認識結果分析部２５０が出力した作業全体の認識結果を用いた作業分析結果を、出力装置の少なくとも１つに、出力する。
【００６６】
ユーザは、入力装置（図示省略）を用いて、出力させたい分析結果を指定することができ、指示受付部（図示省略）が、当該ユーザからの指定を分析結果出力指示として受け付け、認識結果分析部２５０に出力指示を行う。
そして、出力制御部２６０は、認識結果分析部２５０から出力された作業分析結果を、出力装置の少なくとも１つに、出力する。
具体的には、例えば、認識結果分析部２５０の成否判定部２５１から、規定の作業が成されたか否かの判定結果の情報が出力されると、出力制御部２６０は、ディスプレイ１５１に、判定結果を○、×で表示させる。あるいは、出力制御部２６０は、スピーカ１５２に、判定結果に応じた音を出力させてもよいし、記憶装置１５３に判定結果を記憶させるようにしてもよい。出力制御部２６０は、制御装置１５４に判定結果に応じて異なる制御信号を送信するようにしてもよい。
【００６７】
また、例えば、認識結果分析部２５０の種別識別部２５２から、作業種別の情報が出力されると、出力制御部２６０は、ディスプレイ１５１に作業種別を示す映像を表示させる。あるいは、出力制御部２６０は、スピーカ１５２で作業種別に応じた音を出力させてもよいし、記憶装置１５３に作業種別を記憶させるようにしてもよい。出力制御部２６０は、制御装置１５４に作業種別に応じて異なる制御信号を送信するようにしてもよい。
【００６８】
また、例えば、認識結果分析部２５０の内容比較部２５３から、作業の比較結果の情報が出力されると、出力制御部２６０は、ディスプレイ１５１に作業の比較結果の情報を示す映像を表示させる。あるいは、出力制御部２６０は、スピーカ１５２で不足している作業を音または音声を出力させてもよいし、記憶装置１５３に比較結果を記憶させるようにしてもよい。出力制御部２６０は、制御装置１５４に比較結果に応じて異なる制御信号を送信するようにしてもよい。
【００６９】
また、例えば、認識結果分析部２５０の条件判定部２５４から、作業内容が規定の条件を満たすか否かの判定結果の情報が出力されると、出力制御部２６０は、ディスプレイ１５１に作業が遅すぎる旨の表示を表示させる。あるいは、出力制御部２６０は、スピーカ１５２で作業が遅すぎる旨の音または音声を出力させてもよいし、記憶装置１５３に判定結果を記憶させるようにしてもよい。出力制御部２６０は、制御装置１５４に比較結果に応じて異なる制御信号を送信するようにしてもよい。
【００７０】
体部位情報記憶部２７０は、体部位情報取得部２２０が取得した作業者１２０の体の部位１２１に関する体部位情報を記憶する。
物体情報記憶部２８０は、物体情報取得部２３０が取得した物体１３１に関する物体情報を記憶する。
なお、ここでは、図２に示すように、体部位情報記憶部２７０と、物体情報記憶部２８０は、作業認識装置１００が備えるようにしたが、これに限らず、体部位情報記憶部２７０と物体情報記憶部２８０は、作業認識装置１００の外部の、作業認識装置１００が参照可能な場所に備えるものとしてもよい。
また、体部位情報記憶部２７０と物体情報記憶部２８０とを１つの記憶媒体としてもよい。
【００７１】
図６Ａ，図６Ｂは、この発明の実施の形態１に係る作業認識装置１００のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０の各機能は、処理回路６０１により実現される。すなわち、作業認識装置１００は、取得したセンサデータに作業者１２０による作業を認識する処理を行い、認識結果等を出力する制御を行うための処理回路６０１を備える。
処理回路６０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ６０７に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６０６であってもよい。
【００７２】
処理回路６０１が専用のハードウェアである場合、処理回路６０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【００７３】
処理回路６０１がＣＰＵ６０６の場合、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）６０２、メモリ６０７等に記憶されたプログラムを実行するＣＰＵ６０６、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ６０２、メモリ６０７等に記憶されたプログラムは、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ６０７とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【００７４】
なお、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、体部位情報取得部２２０については専用のハードウェアとしての処理回路６０１でその機能を実現し、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０については処理回路がメモリ６０７に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、作業認識装置１００は、可視光カメラ１１１、赤外線カメラ１１２、深度センサ１１３、加速度センサ１１４、ジャイロセンサ１１５、ディスプレイ１５１、スピーカ１５２等の外部機器との通信を行う通信装置６０５を有する。
センサデータ取得部２１０は、通信装置６０５を利用して、可視光カメラ１１１、赤外線カメラ１１２、深度センサ１１３、加速度センサ１１４、ジャイロセンサ１１５等からセンサデータを取得する入力インタフェース装置３０３を構成する。
また、作業認識装置１００は、作業認識結果等を出力するための出力インタフェース装置３０４を有する。出力制御部２６０は、通信装置６０５を利用してディスプレイ１５１、スピーカ１５２等と通信を行い、出力インタフェース装置６０４を利用して、ディスプレイ１５１、スピーカ１５２等に対して作業認識結果等を出力する。
体部位情報記憶部２７０と、物体情報記憶部２８０は、例えば、ＨＤＤ６０２を使用する。なお、これは一例に過ぎず、体部位情報記憶部２７０と、物体情報記憶部２８０は、ＤＶＤ、メモリ６０７等によって構成されるものであってもよい。
また、作業認識装置１００は、作業認識結果等を記憶しておくための補助記憶装置（図示省略）を有するように構成してもよい。
【００７５】
図７は、実施の形態１における制御装置１５４のハードウェア構成の一例を示す図である。
制御装置１５４は、作業認識装置１００と通信を行う通信装置７０３を有し、当該通信装置７０３を利用して、作業認識装置１００が通信装置６０５を経由して送信した作業認識結果等を受信する。
また、制御装置１５４は、例えば、サーボ等の駆動装置（図示省略）を動作させるための指令信号を生成するＣＰＵ７０１を有する。
また、制御装置１５４は、通信装置７０３を利用して受信した作業認識結果等と、例えば、サーボ等の駆動装置を動作させるための指令信号を一時的に格納するメモリ７０２を有する。
通信装置７０３は、作業認識装置１００からの作業認識結果等の受信、および、サーボ等の駆動装置を動作させるための指令信号の送信を行う。
【００７６】
この実施の形態１に係る作業認識装置１００の動作について説明する。
図８は、この発明の実施の形態１に係る作業認識装置１００の動作を説明するフローチャートである。
センサデータ取得部２１０は、可視光カメラ１１１、赤外線カメラ１１２、深度センサ１１３、加速度センサ１１４、または、ジャイロセンサ１１５の少なくとも１つのセンサからセンサデータを取得する（ステップＳＴ８０１）。
センサデータ取得部２１０は、取得したセンサデータを、体部位情報取得部２２０および物体情報取得部２３０に出力する。
体部位情報取得部２２０は、センサデータ取得部２１０が出力したセンサデータに基づき、作業者１２０の体の部位１２１に関する体部位情報を取得する（ステップＳＴ８０２）。
【００７７】
図９は、図８のステップＳＴ８０２における、体部位情報取得部２２０の動作の詳細を説明するフローチャートである。
体部位情報取得部２２０の体部位検出部２２１は、既に取得済みの体部位情報を体部位情報記憶部２７０から取得する（ステップＳＴ９０１）。
【００７８】
体部位検出部２２１は、体部位情報記憶部２７０から取得した体部位情報に基づき、センサデータ取得部２１０が出力したセンサデータに含まれる光学映像、赤外線映像、あるいは、深度映像の前フレームにおいて、作業者１２０の体の各部位１２１が検出済かどうかを判定する（ステップＳＴ９０２）。なお、体部位検出部２２１は、前フレームを、体部位情報に含まれる位置情報取得日時の情報と、現在の日時情報とから判断すればよい。
【００７９】
ステップＳＴ９０２において、前フレームで部位１２１が検出されていなかった場合（ステップＳＴ９０２の“ＮＯ”の場合）、体部位検出部２２１は、センサデータ取得部２１０が出力したセンサデータに基づき、作業者１２０の体の部位１２１を検出し（ステップＳＴ９０３）、作業者１２０の体の部位１２１が検出できた場合（ステップＳＴ９０４の“ＹＥＳ”の場合）、当該部位１２１の位置座標を取得する（ステップＳＴ９０７）。
そして、体部位検出部２２１は、取得した作業者１２０の体の部位１２１の位置座標の情報を、取得日時の情報と対応付けて、体部位情報記憶部２７０に記憶させる。
作業者１２０の体の部位１２１が検出できなかった場合（ステップＳＴ９０４の“ＮＯ”の場合）、図８のステップＳＴ８０３へ進む。
【００８０】
ステップＳＴ９０２において、前フレームで部位１２１が検出済みであった場合（ステップＳＴ９０２の“ＹＥＳ”の場合）、体部位情報取得部２２０の体部位追跡部２２２は、体部位検出部２２１が前フレームにおいて位置座標を取得した、作業者１２０の体の部位１２１を追跡し（ステップＳＴ９０５）、作業者１２０の体の部位１２１が追跡できた場合（ステップＳＴ９０６の“ＹＥＳ”の場合）、当該部位１２１の移動後の位置座標を取得する（ステップＳＴ９０７）。
そして、体部位追跡部２２２は、取得した位置座標の情報を、取得日時の情報と対応付けて、体部位情報記憶部２７０に記憶させる。
作業者１２０の体の部位１２１が追跡できなかった場合（ステップＳＴ９０６の“ＮＯ”の場合）、図８のステップＳＴ８０３へ進む。
【００８１】
体部位認識部２２３は、体部位検出部２２１が位置座標を取得し、体部位情報記憶部２７０に記憶させた、作業者１２０の体の部位１２１の種類、形状、または、状態を認識する（ステップＳＴ９０８）。
【００８２】
このように、図９で示す、ステップＳＴ９０１〜ステップＳＴ９０８までの一連の処理が、体部位情報取得部２２０による、センサデータ取得部２１０が出力したセンサデータに含まれる光学映像、赤外線映像、あるいは、深度映像の１フレーム分の体部位情報取得の処理である。
【００８３】
図８のフローチャートに戻る。
物体情報取得部２３０は、センサデータ取得部２１０が出力したセンサデータに基づき、作業者１２０が作業に用いる物体１３１に関する物体情報を取得する（ステップＳＴ８０３）。
【００８４】
図１０は、図８のステップＳＴ８０３における、物体情報取得部２３０の動作の詳細を説明するフローチャートである。
物体情報取得部２３０の物体検出部２３１は、既に取得済みの物体情報を物体情報記憶部２８０から取得する（ステップＳＴ１００１）。
【００８５】
物体検出部２３１は、物体情報記憶部２８０から取得した物体情報に基づき、各物体１３１について、センサデータ取得部２１０が出力したセンサデータの光学映像、赤外線映像、あるいは、深度映像の前フレームにおいて、検出済みであるかどうかを判定する（ステップＳＴ１００２）。なお、物体検出部２３１は、前フレームを、物体情報に含まれる位置情報取得日時の情報と、現在の日時情報とから判断すればよい。
【００８６】
ステップＳＴ１００２において、前フレームで物体１３１が検出されていなかった場合（ステップＳＴ１００２の“ＮＯ”の場合）、物体検出部２３１は、センサデータ取得部２１０が出力したセンサデータに基づき、物体１３１を検出し（ステップＳＴ１００３）、物体１３１が検出できた場合（ステップＳＴ１００４の“ＹＥＳ”の場合）、当該物体１３１の位置座標を取得する（ステップＳＴ１００７）。
そして、物体検出部２３１は、取得した物体１３１の位置座標の情報を、取得日時の情報と対応付けて、物体情報記憶部２８０に記憶させる。
物体１３１が検出できなかった場合（ステップＳＴ１００４の“ＮＯ”の場合）、図８のステップＳＴ８０４へ進む。
【００８７】
ステップＳＴ１００２において、前フレームで物体１３１が検出済みであった場合（ステップＳＴ１００２の“ＹＥＳ”の場合）、物体情報取得部２３０の物体追跡部２３２は、物体検出部２３１が前フレームにおいて位置座標を取得した物体１３１を追跡し（ステップＳＴ１００５）、物体１３１が追跡できた場合（ステップＳＴ１００６の“ＹＥＳ”の場合）、当該物体１３１の移動後の位置座標を取得する（ステップＳＴ１００７）。
そして、物体追跡部２３２は、取得した位置座標の情報を、取得日時の情報と対応付けて、物体情報記憶部２８０に記憶させる。
物体１３１が追跡できなかった場合（ステップＳＴ１００７の“ＮＯ”の場合）、図８のステップＳＴ８０４へ進む。
【００８８】
物体認識部２３３は、物体検出部２３１が位置座標を取得し、物体情報記憶部２８０に記憶させた物体１３１の種類、形状、または、状態を認識する（ステップＳＴ１００８）。
このように、図１０で示す、ステップＳＴ１００１〜ステップＳＴ１００８までの一連の処理が、物体情報取得部２３０による、センサデータ取得部２１０が出力したセンサデータに含まれる光学映像、赤外線映像、あるいは、深度映像の１フレーム分の物体情報取得の処理である。
【００８９】
図８のフローチャートに戻る。
作業認識装置１００の制御部（図示省略）は、作業者１２０による作業が終了したかどうかを判定する（ステップＳＴ８０４）。作業が終了したかどうかは、例えば、制御部は、センサから取得した映像から、作業者１２０を検知できなくなったことによって判定し、作業者１２０を検知できなくなれば作業終了と判断するようにしてもよい。あるいは、制御部は、作業者１２０が入力装置（図示省略）から入力した作業終了通知を受け付けたことによって、作業終了と判断するようにしてもよい。なお、これは一例に過ぎず、制御部が、作業者１２０の作業が終了したかどうかを何等かの手段によって判定できるようになっていればよい。
【００９０】
ステップＳＴ８０４において、作業が終了していないと判定した場合（ステップＳＴ８０４の“ＮＯ”の場合）、ステップＳＴ８０１に戻り、ステップＳＴ８０１〜ステップＳＴ８０３の処理を繰り返す。
【００９１】
ステップＳＴ８０４において、作業が終了したと判定した場合（ステップＳＴ８０４の“ＹＥＳ”の場合）、関連付け部２４０は、作業が終了するまでステップＳＴ８０１において取得したセンサデータの光学映像、赤外線映像、あるいは、深度映像の全フレームについて、物体１３１と、当該物体１３１を用いた作業を行った作業者１２０の体の部位１２１との関連付けを行う（ステップＳＴ８０５）。具体的には、関連付け部２４０は、ステップＳＴ５０２において体部位情報取得部２２０が体部位情報記憶部２７０に記憶させた、作業者１２０の体の部位１２１に関する体部位情報と、ステップＳＴ５０３において物体情報取得部２３０が物体情報記憶部２８０に記憶させた物体１３１に関する物体情報とに基づき、作業者１２０の体の部位１２１との関連付けを行う。
関連付け部２４０は、物体１３１と、当該物体１３１を用いた作業を行った作業者１２０の体の部位１２１との関連付け結果を、認識結果分析部２５０に出力する。
【００９２】
図１１は、図８のステップＳＴ８０５における、関連付け部２４０の動作の詳細を説明するフローチャートである。
関連付け部２４０のスコア算出部２４１は、作業者１２０の体の部位１２１と物体１３１との組み合わせに関して、物体１３１の動きにどの体の部位１２１が関連した可能性が高いかを表す関連付けスコアを算出する（ステップＳＴ１１０１）。具体的には、スコア算出部２４１は、体部位情報取得部２２０が体部位情報記憶部２７０に記憶させた、作業者１２０の体の部位１２１に関する体部位情報と、物体情報取得部２３０が物体情報記憶部２８０に記憶させた物体１３１に関する物体情報とを用いて、関連付けスコアを算出する。すなわち、スコア算出部２４１は、作業者１２０の体の部位１２１と物体１３１との組み合わせに関し、作業者１２０の体の部位１２１と物体１３１との関連度を表す関連付けスコアを算出する。
スコア算出部２４１は、算出した関連付けスコアの情報を、関連付け部２４０の整合部２４２に出力する。
【００９３】
整合部２４２は、スコア算出部２４１で算出した関連付けスコアを用いて、作業としての整合が取れる範囲で、関連付けスコアを最大化するような、作業者１２０の体の部位１２１と物体１３１との組み合わせを決定する（ステップＳＴ１１０２）。
整合部２４２は、決定した、作業者１２０の体の部位１２１と物体との組み合わせを関連付け部２４０の位置補正部２４３に出力する。
位置補正部２４３は、整合部２４２で決定した、作業者１２０の体の部位１２１と物体１３１との組み合わせを用いて、作業者１２０の体の部位１２１または物体１３１、あるいはその両方の位置座標を補正する（ステップＳＴ１１０３）。
【００９４】
図８のフローチャートに戻る。
認識結果分析部２５０は、関連付け部２４０が出力した関連付け結果に基づき、作業全体の認識結果を分析する（ステップＳＴ８０６）。
認識結果分析部２５０は、関連付け部２４０から出力された関連付け情報である作業全体の認識結果、あるいは、当該認識結果を分析した分析結果に関する情報を出力制御部２６０に出力する。
【００９５】
出力制御部２６０は、認識結果分析部２５０が出力した作業全体の認識結果を、出力装置の少なくとも１つに出力する。
また、出力制御部２６０は、分析結果出力指示を受け付けた場合は、認識結果分析部２５０が出力した作業全体の認識結果を用いて作業分析結果を、出力装置の少なくとも１つに出力する（ステップＳＴ８０７）。
【００９６】
図１２〜１４は、この実施の形態１において、出力制御部２６０による、作業全体の認識結果、または、作業分析結果の出力例を説明する図である。なお、図１２〜１４では、出力制御部２６０が、ディスプレイ１５１に対して、作業全体の認識結果、または、作業分析結果を、映像として出力させた例を示している。
【００９７】
図１２は、実施の形態１において、認識結果分析部２５０が物体１３１を左右の手で移動させて組み立てる作業を認識した結果に基づき、出力制御部２６０が、物体１３１と左右の手の位置座標、および、物体を移動させたタイミングをディスプレイ１５１に表示させた出力例である。
図１２の図面上左側には、作業認識結果として、あるフレームにおける各物体１３１の３次元位置座標を、鉛直上方向から見た２次元位置座標に変換して、各物体１３１のアイコンを表示している。あるフレームとは、任意のフレームであり、図１２では、一例として、物体１３１を左手で移動させた作業終了時点のフレームを示している。
【００９８】
図１２の図面上右側には、左右の手に対して、どのタイミングで物体１３１を関連付けしたか、すなわち、どのタイミングで移動させたかを表示させるようにしている。
なお、図１２では、一例として、０を作業開始時点として、図面上下方向に時間軸を取っている。このように、出力制御部２６０は、例えば、作業者１２０が行った作業に関し、ある時点での認識結果（図１２の図面上左側参照）と、時間経過にあわせた作業全体の流れの認識結果（図１２の図面上右側参照）とを、表示させるようにすることができる。
出力制御部２６０は、認識結果分析部２５０から作業者１２０の作業の認識結果に関する情報を受け、物体１３１を移動させた時間区間を、その物体１３１を示す色の矩形とともに表示させる。なお、図１２では、物体１３１は、色分けではなく、ドットの濃さの違いで表現している。
【００９９】
図１２の図面上左側は、あるフレームにおける作業認識結果を表示させたものであるが、出力制御部２６０は、当該作業認識結果の表示を、図１２の図面上右側に表示された時間経過にあわせた作業全体の流れの表示と同期させて表示させるようにすることができる。
具体的には、例えば、ユーザが、図１２の図面上右側に表示させた作業分析結果の時間軸方向のある時間を指定すると、出力制御部２６０は、指定された時間のフレームにおける作業認識結果を表示させるように、図１２の図面上左側の表示を更新することができる。これにより、作業内容をより高精度に可視化できる。なお、図１２においては、作業開始から約１２秒後の作業認識結果を表示させるように指定されたものとしている。
また、このとき、出力制御部２６０は、対応する、図１２の図面上左側に表示させている物体１３１のアイコンと、図１２の図面上右側に表示させている、物体１３１を示す矩形とを、線で結んで関係性を示すようにしてもよい。
【０１００】
図１２に示す作業認識結果について、詳細に説明する。
当該図１２は、机上に、物体ｍが２つ（図１２のｍ１，ｍ２）、物体ｎが２つ（図１２のｎ１，ｎ２）、物体ｏが１つの計６つの物体１３１がある状況を示している。
軌跡ｘは、作業者１２０が、物体ｍ１を、左手（図１２のＬ）で掴んで画面右方向に移動させていることを示している。物体ｍ１が移動させられる途中の物体ｏは、作業者１２０の作業とは関係なく、偶然、物体ｍ１の軌跡ｘ上に置かれていただけ、という状況である。図面上右側に表示された表示に当該物体ｏが示されていないのは、当該物体ｏが作業者１２０の作業と関係ないものであり、作業者１２０は、当該物体ｏを右手（図１２のＲ）でも左手でも移動させていないからである。
図１２上、軌跡ｙは、図面上左側に示された時間よりも少し前に作業者１２０が物体ｍ２を移動させた軌跡である。図面上右側をみると、作業開始後１０秒までに、右手で物体ｍ２を移動させていることがわかる。
図１２において、軌跡ｘ，ｙは、物体ｍの移動完了後も数秒は表示され、数秒後に消えるという仕様が適用されているものとしている。なお、軌跡ｘ，ｙを表示させたままとする時間は、適宜設定可能とする。
【０１０１】
このように、認識結果分析部２５０による作業認識の結果、そのフレームにおいて、ある物体１３１と左手を関連付けた場合、すなわち、ある物体１３１を左手で移動したと認識した場合、出力制御部２６０は、当該認識結果を受けて、物体のアイコンに重ねて左手のアイコンを表示させる。なお、これは一例であり、ある物体１３１と右手を関連付けた場合も同様である。また、左右の手以外の体の部位を用いる場合も同様である。
また、物体１３１が移動した場合、出力制御部２６０は、その物体１３１の位置座標の軌跡を線で表示させる。出力制御部２６０は、表示させる軌跡の線は、表示させ続けるようにしてもよいし、一定時間経過後に消去させる、すなわち、表示させないようにしてもよい。
また、出力制御部２６０は、物体１３１や作業者１２０の体の部位１２１の３次元位置座標をそのまま用いて立体的に表示させるようにしてもよい。
【０１０２】
なお、図１２では、左右の手に対して、どのタイミングで物体１３１を関連付けしたか（図１２の図面上左側）と、左右の手に対して、どのタイミングで物体１３１を関連付けしたか（図１２の図面上右側）とをあわせて表示する例を示したが、これに限らず、左右の手に対して、どのタイミングで物体１３１を関連付けしたか（図１２の図面上左側）と、左右の手に対して、どのタイミングで物体１３１を関連付けしたか（図１２の図面上右側）のいずれか一方のみを表示させるようにしてもよい。
【０１０３】
図１３は、実施の形態１において、認識結果分析部２５０が物体１３１を左右の手で移動させて組み立てる作業を認識した結果に基づき作業内容を分析し、出力制御部２６０が、当該分析結果をディスプレイ１５１に表示させた出力例である。
図１３では、図１２の図面上右側に示したような、物体移動タイミングの表示に加え、出力制御部２６０は、認識結果分析部２５０が、作業の認識結果の情報を用いて行った分析結果に関する情報を表示させるようにしている。なお、図１２の図面上右側に示したような物体移動タイミングの表示に代えて、図１３に示すような、分析結果に関する情報を表示させるようにしてもよい。
【０１０４】
図１３では、一例として、作業者１２０が、土台に、２つの物体ｎ３，ｎ４を、それぞれ、右手（図１３のＲ）または左手（図１３のＬ）を使って載せ、さらに、物体ｎ３，ｎ４上に、それぞれ、右手または左手を使って、物体ｍ３，ｍ４を載せた後、右手を使って、当該物体ｍ３とｍ４とを橋渡しするように物体ｑを、物体ｍ３，ｍ４上に載せる作業を行ったものとしている。
また、図１３において、認識結果分析部２５０が、上述したような作業において、左右の手で物体ｎ３，ｎ４，ｍ３，ｍ４，ｑを移動させた掃除間を計算して８．０秒と算出し、作業の開始から終了までの時間を１７．３秒と算出し、出力制御部２６０が、当該算出結果を表示させたものとしている。
なお、物体１３１を左右の手で移動させた総時間、および、作業の開始から終了までの時間の算出は、認識結果分析部２５０の、成否判定部２５１、種別識別部２５２、内容比較部２５３、条件判定部２５４のいずれが行うようにしてもよく、認識結果分析部２５０は、映像のフレームに対応付けられた時刻から、総時間、物体１３１を左右の手で移動させた総時間、および、作業の開始から終了までの時間を算出すればよい。
【０１０５】
また、図１３では、一例として、認識結果分析部２５０が、物体ｎ３，ｎ４，ｍ３，ｍ４，ｑを左右の手で移動させた距離の和を計算して２５４ｃｍと算出し、当該算出結果を受けて、出力制御部２６０が、当該認識結果分析部２５０によって算出された総距離を表示させたものとしている。
当該総距離についても、認識結果分析部２５０の成否判定部２５１、種別識別部２５２、内容比較部２５３、条件判定部２５４のいずれが行うようにしてもよく、認識結果分析部２５０は、物体１３１の位置座標から、当該総距離を算出すればよい。
【０１０６】
また、図１３では、一例として、成否判定部２５１が、規定の順序通りに、規定の作業が成されたと判定し、内容比較部２５３が、間違った物体１３１を用いることなく、不要な作業が含まれてもいないと判定し、条件判定部２５４が、作業が規定の時間より遅くないと判定した結果を受けて、出力制御部２６０が、「◎よくできました！」と表示させるようにしている。
これは一例に過ぎず、認識結果分析部２５０が備える成否判定部２５１、種別識別部２５２、内容比較部２５３、条件判定部２５４の各判定結果に応じて、どのような表示をさせるかを適宜設定しておき、出力制御部２６０は、当該適宜設定された条件に応じて、分析結果を表示させるようにすればよい。
【０１０７】
また、成否判定部２５１、種別識別部２５２、内容比較部２５３、条件判定部２５４の判定結果を個別にそれぞれ表示させるようにしてもよい。
例えば、種別識別部２５２が、作業認識結果から、規定の作業種別のうちの「組み立て作業Ｗ１」に該当する作業であると判定した場合、当該分析結果を受けて、出力制御部２６０は、「組み立て作業Ｗ１」という見出しを表示させるようにしてもよい。
また、例えば、成否判定部２５１が、規制の作業が成されたと判定すると、当該分析結果を受けて、出力制御部２６０は、「○（成功）」と表示させるようにしてもよい。
また、例えば、内容比較部２５３が、他の作業内容と比較し、ある部品の組み立てが未実施であると判定すると、当該分析結果を受けて、出力制御部２６０は、「部品Ｚ組み立て未実施」と表示させるようにしてもよい。
【０１０８】
このように、作業分析結果を表示させるようにすることで、作業者１２０等は、作業内容について、作業が正確に行われたか、作業が正確に行われていない場合は、どの点がいけなかったか等を、表示を確認することで、簡単に把握することができる。
【０１０９】
図１４も、図１３同様、実施の形態１において、認識結果分析部２５０が物体１３１を左右の手で移動させて組み立てる作業を認識した結果に基づき作業内容を分析し、出力制御部２６０が、当該分析結果をディスプレイ１５１に表示させた出力例である。
図１３では、認識結果分析部２５０が、作業が規定どおり行われたと判断した場合の一例を示したが、図１４は、認識結果分析部２５０が、作業内容を分析した結果、作業が規定どおり行われなかったと判断した場合の一例を示している。具体的には、認識結果分析部２５０の内容比較部２５３が、他の基準となる作業と比較し、間違った、色の違う物体１３１を用いて作業を行ったと判定した場合の一例を示している。
また、認識結果分析部２５０の条件判定部２５４が、ある物体１３１を用いた作業について、作業が遅すぎると判定した場合の一例を示している。
【０１１０】
具体的には、図１４では、一例として、作業者１２０が、右手（図１４のＲ）で物体ｎ５を移動→左手（図１４のＬ）で物体ｒを移動→右手で物体ｍ５を移動→左手で物体ｍ６を移動の順で、作業を行ったものとしている。当該作業において、左手で物体ｒを移動させる作業は、本来であれば、左手で物体ｎ６を移動させるべきだったところ、作業者１２０は、間違って、色の違う物体ｒを移動させてしまったものとする。
そして、認識結果分析部２５０の内容比較部２５３は、他の基準となる作業と比較し、間違った、色の違う物体ｒを用いて作業を行ったと判定したものとしている。
また、認識結果分析部２５０の条件判定部２５４が、物体ｍ５を用いた作業について、作業が遅すぎると判定したものとしている。
【０１１１】
出力制御部２６０は、内容比較部２５３による、色の違う物体ｒを用いて作業を行ったとの分析結果を受けて、該当の作業を示す箇所に、当該間違った作業がわかるように、「×色が違う」と表示させるようにしている。
また、出力制御部２６０は、条件判定部２５４による、物体ｍ５を用いた作業が遅すぎるとの分析結果を受けて、該当の作業を示す箇所に、当該遅すぎると判定された作業がわかるように、「△作業が遅い」と表示させるようにしている。
なお、図１４に示すような表示例は一例に過ぎず、出力制御部２６０は、予め設定された方法に基づき、間違った作業および間違いの内容、あるいは、作業時間が基準時間よりも多くかかっていることがわかるようにディスプレイ１５１に表示させるようになっていればよい。
【０１１２】
このように、出力制御部２６０は、認識結果分析部２５０から出力される作業認識結果、あるいは、作業認識結果を分析した分析結果の情報に基づき、作業認識結果、あるいは、分析結果を、ディスプレイ１５１に適宜表示させるようにする。
これにより、作業者１２０等は、ディスプレイ１５１の表示内容を確認することで、作業内容について、詳細に把握することができる。
【０１１３】
上記では、出力制御部２６０が、認識結果分析部２５０から出力される作業認識結果、あるいは、分析結果の情報を、ディスプレイ１５１に表示させる例をあげて説明したが、出力制御部２６０による作業認識結果、あるいは、分析結果に関する情報の出力はこれに限らない。
例えば、出力制御部２６０は、認識結果分析部２５０の成否判定部２５１が、規定の作業が成されていないと判定した場合に、規定の作業が成されていない旨を示す、予め設定された音をスピーカ１５２から出力させる等、認識結果分析部２５０から出力される作業認識結果、あるいは、分析結果の情報を、スピーカ１５２から音、あるいは、音声等によって出力させることができる。
【０１１４】
また、出力制御部２６０は、規定の作業が成されていないと判断した作業に関する情報を、判定結果とともに、記憶装置１５３に記憶させておくことができる。
記憶装置１５３に作業結果の情報を記憶させておくことで、作業者１２０等は、記憶させたデータから、規定の作業が成されていないと判断された原因について、分析することができる。
また、出力制御部２６０は、規定の作業が成されていないと判断した旨の制御信号を制御装置１５４に送信するようにしてもよい。
制御装置１５４では、当該制御信号を受信し、例えば、マニュアルをダウンロードして作業認識装置１００に提供する等、規定の作業を行う一助となる制御を行う。
このように、出力制御部２６０は、認識結果分析部２５０の分析結果に応じた制御信号を制御装置１５４に送信し、制御装置１５４において、分析結果に応じた制御を行うようにさせることができる。
【０１１５】
以上のように、この実施の形態１によれば、センサデータを取得するセンサデータ取得部２１０と、センサデータ取得部２１０が取得したセンサデータに基づき、作業者１２０の体の部位１２１を検出して、当該作業者１２０の体の部位１２１に関する体部位情報を取得する体部位情報取得部２２０と、センサデータ取得部２１０が取得したセンサデータに基づき、物体１３１を検出して、当該物体１３１に関する物体情報を取得する物体情報取得部２３０と、体部位情報取得部２２０が取得した体部位情報と、物体情報取得部２３０が取得した物体情報とに基づき、物体１３１と、当該物体１３１を用いた作業を行った、作業者１２０の体の部位１２１との関連付けを行う関連付け部２４０と、関連付け部２４０で関連付けられた関連付け結果に関する関連付け情報に基づき、作業者１２０によって実施された作業を認識する認識結果分析部２５０とを備えるように構成したので、物体１３１と作業者１２０の体の部位１２１との対応関係を考慮せず、作業者１２０の体の部位１２１あるいは物体１３１単独で移動軌跡を求める従来の技術と比べ、作業者１２０の体の部位１２１あるいは物体１３１の位置を一部推定できない場合、または、推定した部位１２１あるいは物体１３１の移動軌跡と実際の部位１２１あるいは物体１３１の移動軌跡との推定誤差が大きい場合であっても、高精度に作業者１２０の作業を認識することができる。
【０１１６】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１１７】
この発明に係る作業認識装置は、作業者の体の部位と物体とにかかわる一連の流れの中での作業者による作業内容を高精度に認識することができるように構成したため、作業者による作業内容を認識する作業認識装置等に適用することができる。
【符号の説明】
【０１１８】
１００  作業認識装置、１１１  可視光カメラ、１１２  赤外線カメラ、１１３  深度センサ、１１４  加速度センサ、１１５  ジャイロセンサ、１２０  作業者、１２１  部位、１３１  物体、１５１  ディスプレイ、１５２  スピーカ、１５３  記憶装置、１５４  制御装置、２１０  センサデータ取得部、２２０  体部位情報取得部、２２１  体部位検出部、２２２  体部位追跡部、２２３  体部位認識部、２３０  物体情報取得部、２３１  物体検出部、２３２  物体追跡部、２３３  物体認識部、２４０  関連付け部、２４１  スコア算出部、２４２  整合部、２４３  位置補正部、２５０  認識結果分析部、２５１  成否判定部、２５２  種別識別部、２５３  内容比較部、２５４  条件判定部、２６０  出力制御部、２７０  体部位情報記憶部、２８０  物体情報記憶部、６０１  処理回路、６０２  ＨＤＤ、６０３  入力インタフェース装置、６０４  出力インタフェース装置、６０５，７０３  通信装置、６０６，７０１  ＣＰＵ、６０７，７０２  メモリ。
【図１】
2018087844.tif 000003
【図２】
2018087844.tif 000004
【図３】
2018087844.tif 000005
【図４】
2018087844.tif 000006
【図５】
2018087844.tif 000007
【図６】
2018087844.tif 000008
【図７】
2018087844.tif 000009
【図８】
2018087844.tif 000010
【図９】
2018087844.tif 000011
【図１０】
2018087844.tif 000012
【図１１】
2018087844.tif 000013
【図１２】
2018087844.tif 000014
【図１３】
2018087844.tif 000015
【図１４】
2018087844.tif 000016
【手続補正書】
【提出日】平成30年9月6日(2018.9.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
ディスプレイ１５１は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、映像等により出力する。
スピーカ１５２は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を、音声等により出力する。
また、記憶装置１５３は、作業認識装置１００から出力された作業認識結果、あるいは、当該作業認識結果を用いた作業分析結果を記憶する。
例えば、作業認識装置１００は、記憶装置１５３に、作業認識結果を長時間記憶させるようにする。作業認識装置１００は、記憶装置１５３に、作業認識結果を複数人分記憶させるようにしてもよい。作業者１２０の作業の管理を行う管理者等は、当該記憶装置１５３に記憶された作業認識結果を参照し、作業分析を行ったり、作業分析レポートを作成したりする。このように、記憶装置１５３に作業認識結果等を記憶させておくことで、リアルタイムの作業認識ではなく、管理者等が、後から作業分析を行うことができる。なお、これは一例に過ぎず、記憶装置１５３に記憶させた作業認識結果は、その他の方法で利用されるものとしてもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
物体追跡部２３２は、任意の追跡手法で、物体１３１の追跡を行えばよい。例えば、物体追跡部２３２は、更新テンプレートマッチング、アクティブ探索、Ｍｅａｎ−ｓｈｉｆｔ法、または、粒子フィルタなどを用いた既存の領域ベース追跡手法を用いて物体１３１の追跡を行うものとしてもよいし、ＫＬＴ法（Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ  Ｆｅａｔｕｒｅ  Ｔｒａｃｋｅｒ）、または、ＳＵＲＦ  Ｔｒａｃｋｉｎｇなどの特徴点ベースの追跡手法を用いて物体１３１の追跡を行うものとしてもよい。
また、物体追跡部２３２は、光学映像、赤外線映像、または、深度映像等のいずれを用いた追跡手法で物体１３１の追跡を行ってもよいし、光学映像、赤外線映像、または、深度映像等を複合して用いた検出手法で物体１３１の追跡を行ってもよい。
物体追跡部２３２は、取得した、物体１３１の移動後の位置座標、すなわち、物体１３１の軌跡の情報を、位置座標の取得日時の情報とともに、物体情報記憶部２８０に記憶させている物体１３１の情報に対応付けて記憶させる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
ここで、整合部２４２が、図３，図４で示したような、０〜１０秒後の１０秒間に検出された物体Ａ〜Ｄについて、部位Ｘ，Ｙとの組み合わせを決定する動作の一例を説明する。
まず、物体Ａについて、図３，４を用いて、上述したように、０〜１０秒後までの間、スコア算出部２４１によって、部位Ｘとの関連付けスコアが高く設定されている。よって、整合部２４２は、物体Ａは、部位Ｘによって、移動を伴う作業が行われたものと判断し、物体Ａと部位Ｘとを組み合わせる。
また、物体Ｂについて、０〜３秒後までの位置座標は変わらず、３〜１０秒後までの間、スコア算出部２４１によって、部位Ｙとの関連付けスコアが高く設定されている。よって、整合部２４２は、物体Ｂは、部位Ｙによって、３秒後に移動が開始され、１０秒後に検出された位置座標まで移動されたものとして、物体Ｂと部位Ｙとを組み合わせる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
なお、上述したように、図５を用いて説明した位置補正部２４３の動作は一例に過ぎず、位置補正部２４３は、その他の方法で位置座標の補正を行ってもよい。
例えば、位置補正部２４３は、補間する際、位置補正部２４３は、軌跡をそのままコピーするようにし、軌跡の始点と終点が不連続にならないように始点と終点の位置にあわせて、関連付けられた部位１２１あるいは物体１３１の位置座標を補正するようにしてもよい。
具体的には、例えば、右手で部品Ｚを地点ｅ→地点ｆ→地点ｇ→地点ｈまで移動させ、地点ｆ→地点ｇで部品Ｚの軌跡が途切れ、当該途切れた間の位置座標を補間する際、位置補正部２４３は、例えば、地点ｆ→地点ｇでの部品Ｚの位置座標の軌跡を、同時刻の右手の位置座標の軌跡で補間する。この場合、部品Ｚの位置座標と右手の位置座標とは一致しないことがあり得るので、地点ｆ→地点ｇにおいて、部品Ｚの位置座標の軌跡が不自然に不連続になることが想定される。そこで、位置補正部２４３は、軌跡の始点と終点が不連続にならないように始点と終点の位置にあわせて、部品Ｚが自然な、すなわち、連続的な、軌跡を描くように、当該部品Ｚの位置座標を補正するようにしてもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
なお、体部位情報取得部２２０と、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、体部位情報取得部２２０については専用のハードウェアとしての処理回路６０１でその機能を実現し、物体情報取得部２３０と、関連付け部２４０と、認識結果分析部２５０と、出力制御部２６０については処理回路がメモリ６０７に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、作業認識装置１００は、可視光カメラ１１１、赤外線カメラ１１２、深度センサ１１３、加速度センサ１１４、ジャイロセンサ１１５、ディスプレイ１５１、スピーカ１５２等の外部機器との通信を行う通信装置６０５を有する。
センサデータ取得部２１０は、通信装置６０５を利用して、可視光カメラ１１１、赤外線カメラ１１２、深度センサ１１３、加速度センサ１１４、ジャイロセンサ１１５等からセンサデータを取得する入力インタフェース装置６０３を構成する。
また、作業認識装置１００は、作業認識結果等を出力するための出力インタフェース装置６０４を有する。出力制御部２６０は、通信装置６０５を利用してディスプレイ１５１、スピーカ１５２等と通信を行い、出力インタフェース装置６０４を利用して、ディスプレイ１５１、スピーカ１５２等に対して作業認識結果等を出力する。
体部位情報記憶部２７０と、物体情報記憶部２８０は、例えば、ＨＤＤ６０２を使用する。なお、これは一例に過ぎず、体部位情報記憶部２７０と、物体情報記憶部２８０は、ＤＶＤ、メモリ６０７等によって構成されるものであってもよい。
また、作業認識装置１００は、作業認識結果等を記憶しておくための補助記憶装置（図示省略）を有するように構成してもよい。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
ステップＳＴ１００２において、前フレームで物体１３１が検出済みであった場合（ステップＳＴ１００２の“ＹＥＳ”の場合）、物体情報取得部２３０の物体追跡部２３２は、物体検出部２３１が前フレームにおいて位置座標を取得した物体１３１を追跡し（ステップＳＴ１００５）、物体１３１が追跡できた場合（ステップＳＴ１００６の“ＹＥＳ”の場合）、当該物体１３１の移動後の位置座標を取得する（ステップＳＴ１００７）。
そして、物体追跡部２３２は、取得した位置座標の情報を、取得日時の情報と対応付けて、物体情報記憶部２８０に記憶させる。
物体１３１が追跡できなかった場合（ステップＳＴ１００６の“ＮＯ”の場合）、図８のステップＳＴ８０４へ進む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
ステップＳＴ８０４において、作業が終了したと判定した場合（ステップＳＴ８０４の“ＹＥＳ”の場合）、関連付け部２４０は、作業が終了するまでステップＳＴ８０１において取得したセンサデータの光学映像、赤外線映像、あるいは、深度映像の全フレームについて、物体１３１と、当該物体１３１を用いた作業を行った作業者１２０の体の部位１２１との関連付けを行う（ステップＳＴ８０５）。具体的には、関連付け部２４０は、ステップＳＴ８０２において体部位情報取得部２２０が体部位情報記憶部２７０に記憶させた、作業者１２０の体の部位１２１に関する体部位情報と、ステップＳＴ８０３において物体情報取得部２３０が物体情報記憶部２８０に記憶させた物体１３１に関する物体情報とに基づき、作業者１２０の体の部位１２１との関連付けを行う。
関連付け部２４０は、物体１３１と、当該物体１３１を用いた作業を行った作業者１２０の体の部位１２１との関連付け結果を、認識結果分析部２５０に出力する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
図１２に示す作業認識結果について、詳細に説明する。
当該図１２は、机上に、物体ｍが２つ（図１２のｍ１，ｍ２）、物体ｎが２つ（図１２のｎ１，ｎ２）、物体ｏが１つ、物体ｐが１つの計６つの物体１３１がある状況を示している。
軌跡ｘは、作業者１２０が、物体ｍ１を、左手（図１２のＬ）で掴んで画面右方向に移動させていることを示している。物体ｍ１が移動させられる途中の物体ｏは、作業者１２０の作業とは関係なく、偶然、物体ｍ１の軌跡ｘ上に置かれていただけ、という状況である。図面上右側に表示された表示に当該物体ｏが示されていないのは、当該物体ｏが作業者１２０の作業と関係ないものであり、作業者１２０は、当該物体ｏを右手（図１２のＲ）でも左手でも移動させていないからである。
図１２上、軌跡ｙは、図面上左側に示された時間よりも少し前に作業者１２０が物体ｍ２を移動させた軌跡である。図面上右側をみると、作業開始後１０秒までに、右手で物体ｍ２を移動させていることがわかる。
図１２において、軌跡ｘ，ｙは、物体ｍの移動完了後も数秒は表示され、数秒後に消えるという仕様が適用されているものとしている。なお、軌跡ｘ，ｙを表示させたままとする時間は、適宜設定可能とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
図１３では、一例として、作業者１２０が、土台に、２つの物体ｎ３，ｎ４を、それぞれ、右手（図１３のＲ）または左手（図１３のＬ）を使って載せ、さらに、物体ｎ３，ｎ４上に、それぞれ、右手または左手を使って、物体ｍ３，ｍ４を載せた後、右手を使って、当該物体ｍ３とｍ４とを橋渡しするように物体ｑを、物体ｍ３，ｍ４上に載せる作業を行ったものとしている。
また、図１３において、認識結果分析部２５０が、上述したような作業において、左右の手で物体ｎ３，ｎ４，ｍ３，ｍ４，ｑを移動させた総時間を計算して８．０秒と算出し、作業の開始から終了までの時間を１７．３秒と算出し、出力制御部２６０が、当該算出結果を表示させたものとしている。
なお、物体１３１を左右の手で移動させた総時間、および、作業の開始から終了までの時間の算出は、認識結果分析部２５０の、成否判定部２５１、種別識別部２５２、内容比較部２５３、条件判定部２５４のいずれが行うようにしてもよく、認識結果分析部２５０は、映像のフレームに対応付けられた時刻から、総時間、物体１３１を左右の手で移動させた総時間、および、作業の開始から終了までの時間を算出すればよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
また、成否判定部２５１、種別識別部２５２、内容比較部２５３、条件判定部２５４の判定結果を個別にそれぞれ表示させるようにしてもよい。
例えば、種別識別部２５２が、作業認識結果から、規定の作業種別のうちの「組み立て作業Ｗ１」に該当する作業であると判定した場合、当該分析結果を受けて、出力制御部２６０は、「組み立て作業Ｗ１」という見出しを表示させるようにしてもよい。
また、例えば、成否判定部２５１が、規定の作業が成されたと判定すると、当該分析結果を受けて、出力制御部２６０は、「○（成功）」と表示させるようにしてもよい。
また、例えば、内容比較部２５３が、他の作業内容と比較し、ある部品の組み立てが未実施であると判定すると、当該分析結果を受けて、出力制御部２６０は、「部品Ｚ組み立て未実施」と表示させるようにしてもよい。
【国際調査報告】
2018087844.tif 000017
2018087844.tif 000018
2018087844.tif 000019
2018087844.tif 000020