(57)【要約】【課題】汎用的な作業に対して、少ない工数で信用性の高い作業分析結果を得る。【解決手段】作業分析システム１の作業推定部４８は、作業情報取得部３が取得した作業情報に基づいて、作業者の作業を推定し、推定した作業の確からしさを示す信頼度を求める。また、作業推定部４８は、時刻情報取得部が取得した時刻情報に基づいて、推定した作業ごとに、作業の開始時刻および終了時刻を求める。作業紐付け部４９は、推定した作業の開始時刻および終了時刻で、作業動画取得部２が取得した作業動画を区切り、推定した作業の開始時刻から終了時刻までの区間動画と、推定した作業と、上記作業についての信頼度とを紐付ける。確認情報出力部４３は、上記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する。動画再生部５０は、入力部４１による指示入力に基づいて、信頼度が閾値未満である区間動画を再生する。【選択図】図２
2020091801.tif 000002
【特許請求の範囲】
【請求項１】
時刻情報を取得する時刻情報取得部と、
作業者の作業状態を撮影して作業動画を取得する作業動画取得部と、
作業者の作業を推定するための作業情報を取得する作業情報取得部と、
前記作業情報に基づいて、作業者の前記作業を推定し、推定した前記作業の確からしさを示す信頼度を求めるとともに、前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める作業推定部と、
推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける作業紐付け部と、
前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する確認情報出力部と、
ユーザによる指示入力を受け付ける入力部と、
前記入力部による指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する動画再生部とを備えていることを特徴とする作業分析システム。
【請求項２】
前記確認情報出力部は、前記確認情報を表示する表示部を含むことを特徴とする請求項１に記載の作業分析システム。
【請求項３】
前記確認情報は、前記信頼度が閾値未満である区間動画のリストであることを特徴とする請求項２に記載の作業分析システム。
【請求項４】
前記作業推定部が推定した前記作業の中から、前記信頼度が前記閾値未満である作業を検索し、前記作業と紐付いた前記区間動画の前記リストを作成するリスト作成部をさらに備えていることを特徴とする請求項３に記載の作業分析システム。
【請求項５】
前記作業紐付け部は、前記作業推定部が推定した前記作業の前記開始時刻から前記終了時刻までの前記区間動画に、前記作業の前記開始時刻および前記終了時刻と、推定した前記作業と、前記作業についての前記信頼度とに関する情報を含むタグを付すタグ付けを行い、
前記リスト作成部は、前記信頼度が前記閾値未満である前記作業の検索を、前記タグを検索することによって行うことを特徴とする請求項４に記載の作業分析システム。
【請求項６】
前記確認情報は、前記信頼度が閾値未満であるか否かを、推定した前記作業ごとに示す文字情報を含むことを特徴とする請求項２に記載の作業分析システム。
【請求項７】
前記確認情報は、作業更新欄の表示情報を含み、
前記信頼度が閾値以上である作業と、前記信頼度が閾値未満である作業とで、前記作業更新欄の表示態様が異なることを特徴とする請求項２または６に記載の作業分析システム。
【請求項８】
前記信頼度が閾値以上である作業についての前記作業更新欄の前記表示情報は、推定した前記作業の作業名であり、
前記信頼度が閾値未満である作業についての前記作業更新欄は、空欄であることを特徴とする請求項７に記載の作業分析システム。
【請求項９】
前記表示部での表示を制御する表示制御部をさらに備え、
前記表示制御部は、推定した前記作業ごとに、前記作業の前記開始時刻から前記終了時刻までの前記区間動画のリンクを前記表示部に表示させることを特徴とする請求項６から８のいずれかに記載の作業分析システム。
【請求項１０】
推定した前記作業ごとに、前記作業の前記開始時刻および前記終了時刻と、前記作業の作業名と、前記作業についての前記信頼度とを記憶するとともに、前記入力部での入力に基づいて、推定した前記作業が更新されたときに、更新前の前記作業の作業名を更新後の作業の作業名に置き換えて記憶する記憶部をさらに備えていることを特徴とする請求項１から９のいずれかに記載の作業分析システム。
【請求項１１】
前記作業情報取得部は、作業者に装着されて作業者の体の動きを検知する加速度センサで構成されていることを特徴とする請求項１から１０のいずれかに記載の作業分析システム。
【請求項１２】
前記作業動画取得部は、作業者から離間した位置で作業者を撮影することにより、前記作業動画を取得するビデオカメラで構成されていることを特徴とする請求項１から１１のいずれかに記載の作業分析システム。
【請求項１３】
前記作業動画取得部は、作業者から離間した位置で作業者を撮影することにより、前記作業動画を取得するビデオカメラで構成されており、
前記作業情報取得部は、前記作業動画の各フレーム画像を前記作業情報として取得する前記ビデオカメラで構成されていることを特徴とする請求項１から１０のいずれかに記載の作業分析システム。
【請求項１４】
前記作業動画取得部は、作業者に装着可能で、作業者の視野方向の映像を取得する映像取得部で構成されていることを特徴とする請求項１から１１のいずれかに記載の作業分析システム。
【請求項１５】
前記映像取得部は、カメラ搭載型の虚像表示装置であることを特徴とする請求項１４に記載の作業分析システム。
【請求項１６】
前記時刻情報取得部は、前記作業動画取得部および前記作業情報取得部の各々に内蔵されていることを特徴とする請求項１から１５のいずれかに記載の作業分析システム。
【請求項１７】
前記作業推定部は、入力データから作業を推定する機械学習部を含み、
前記機械学習部は、学習データを用いた機械学習によって、作業推定のパラメータを調整し、
前記学習データは、前記作業情報取得部が取得した前記作業情報と、前記作業情報を入力として推定される作業の正解データとを紐付けた第１学習データを含むことを特徴とする請求項１から１６のいずれかに記載の作業分析システム。
【請求項１８】
前記信頼度は、前記機械学習部によって算出される前記作業の確からしさを示すスコアまたは確率であることを特徴とする請求項１７に記載の作業分析システム。
【請求項１９】
前記学習データは、
前記作業情報と、前記作業情報を入力として前記作業推定部が推定した、前記信頼度が閾値以上である作業とを紐付け、前記作業を正解データとする第２学習データと、
前記作業情報と、前記作業情報を入力として前記作業推定部が推定した、前記信頼度が閾値未満である作業を、前記入力部での入力によって更新した作業とを紐付け、前記更新した作業を正解データとする第３学習データとをさらに含むことを特徴とする請求項１７または１８に記載の作業分析システム。
【請求項２０】
時刻情報を取得する工程と、
作業者の作業状態を撮影して作業動画を取得する工程と、
作業者の作業を推定するための作業情報を取得する工程と、
前記作業情報に基づいて、作業者の前記作業を推定する工程と、
前記作業情報に基づいて、推定した前記作業の確からしさを示す信頼度を求める工程と、
前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める工程と、
推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける工程と、
前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する工程と、
外部からの指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する工程とを含むことを特徴とする作業分析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業者が行っている作業を分析する作業分析システムおよび作業分析方法に関する。
【背景技術】
【０００２】
例えば、製造業などの人が作業を行う業務においては、インダストリアルエンジニアリング（ＩＥ）等の手法を用いて作業改善が行われている。作業改善を行うためには、どのような作業をどのくらい行ったか等を分析する作業分析を行うことが必要となる。
【０００３】
作業分析を行う手段として、例えば非特許文献１のような作業分析ソフトウェアが知られている。上記ソフトウェアを用いた作業分析では、まず、対象とする作業を撮影して作業動画を取得する。そして、ユーザは、作業動画を再生して作業内容および作業時間を抽出し、上記ソフトウェアに入力する。これにより、その後の動作分析やムダ取り等を簡単に実施することができる。
【０００４】
また、作業分析を行うにあたって、特許文献１のように、ＲＦＩＤ（radio frequency identifier）タグを用いる手法もある。この手法では、作業者がＲＦＩＤタグを持ち、ＲＦＩＤタグから出される情報信号に基づいて得られる作業者の位置情報と、生産設備の位置情報とを比較する。そして、作業者の位置情報と生産設備の位置情報とが同じでない場合、作業者は設備に関わる作業をしていないとして、作業者の作業を無効作業と判断する。一方、作業者の位置情報と生産設備の位置情報とが同じである場合、生産設備が不稼働であれば作業者の作業を段取り作業と判断し、設備が稼動していれば作業者の作業を有効作業と判断する。
【０００５】
一方、非特許文献２のように、作業者が装着したセンサの値を用いて、機械学習によって作業を推定する方法もある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−２０３７７０号公報（請求項１、段落〔００２１〕、図１等参照）
【非特許文献】
【０００７】
【非特許文献１】作業分析／業務最適化ソフトウェアＯＴＲＳ（Operation Time Research Software）公式サイト、http://www.otrs.jp/
【非特許文献２】兵頭靖得等、「ＩｏＴ行動センシングを用いた作業分析技術」、東芝レビューVol.71, No.5, 2016、https://www.toshiba.co.jp/tech/review/2016/05/71_05pdf/f04.pdf、p72-75
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、非特許文献１のソフトウェアを用いて作業分析を行う場合、ユーザが作業動画を全て（最初から最後まで）確認しながら、作業内容および作業時間を抽出することが必要である。このような作業分析は、一般的には録画時間の何倍もの時間をかけて行われ、結果的に多大な工数を必要とする。
【０００９】
また、特許文献１の手法では、ＲＦＩＤタグからの情報信号の検知結果に基づいて、作業者の作業内容と作業時間とを自動的に抽出できるため、非特許文献１のようにユーザが作業動画を最初から確認することは不要になると考えられる。しかし、作業の分析に、作業者の位置情報と生産設備の位置情報とが必要であるため、限られた場所で、限られた作業を行う場合にしかシステムを適用することができず、汎用的な作業に対して（どのような作業についても）分析を行うことができない。例えば、台車を押して荷物を運搬する作業など、生産設備から離れた場所で行う作業については、特許文献１の手法では無効作業であるとしか判断されず、台車を押しているのか、単に歩いているだけなのかを判断することができない。
【００１０】
これに対して、非特許文献２のように、機械学習によって作業を推定する方法では、抽出したい作業のデータを機械学習によって学習することで、汎用的な作業の抽出が可能となる。しかし、作業の動作が小さかったり、似たような作業があったりする場合に、推定の誤りが生じやすい。このため、全ての作業を１００％の正解率で推定することが困難であり、信用性の高い作業分析結果を得ることができない。
【００１１】
本発明は、上記の問題点を解決するためになされたもので、その目的は、汎用的な作業に対して、少ない工数で信用性の高い作業分析結果を得ることができる作業分析システムおよび作業分析方法を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の一側面に係る作業分析システムは、時刻情報を取得する時刻情報取得部と、作業者の作業状態を撮影して作業動画を取得する作業動画取得部と、作業者の作業を推定するための作業情報を取得する作業情報取得部と、前記作業情報に基づいて、作業者の前記作業を推定し、推定した前記作業の確からしさを示す信頼度を求めるとともに、前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める作業推定部と、推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける作業紐付け部と、前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する確認情報出力部と、ユーザによる指示入力を受け付ける入力部と、前記入力部による指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する動画再生部とを備えている。
【００１３】
本発明の他の側面に係る作業分析方法は、時刻情報を取得する工程と、作業者の作業状態を撮影して作業動画を取得する工程と、作業者の作業を推定するための作業情報を取得する工程と、前記作業情報に基づいて、作業者の前記作業を推定する工程と、前記作業情報に基づいて、推定した前記作業の確からしさを示す信頼度を求める工程と、前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める工程と、推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける工程と、前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する工程と、外部からの指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する工程とを含む。
【発明の効果】
【００１４】
上記の作業分析システムおよび作業分析方法によれば、汎用的な作業に対して、少ない工数で信用性の高い作業分析結果を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の一形態に係る作業分析システム１における各データの流れを模式的に示す説明図である。
【図２】上記作業分析システムの概略の構成を示すブロック図である。
【図３】上記作業分析システムを用いた作業分析方法による処理の流れを示すフローチャートである。
【図４】作業の推定方法を模式的に示す説明図である。
【図５】作業動画を３つの区間動画ａ〜ｃに分割した例を示す説明図である。
【図６】上記作業分析システムの表示部の表示画面に確認情報を表示した状態を模式的に示す説明図である。
【図７】上記表示部の表示画面上で、ユーザによって選択された区間動画が再生されている状態を模式的に示す説明図である。
【図８】上記区間動画と紐付いた作業の作業名を更新した例を示す説明図である。
【図９】本発明の他の実施の形態に係る作業分析システムにおける各データの流れを模式的に示す説明図である。
【図１０】上記作業分析システムの概略の構成を示すブロック図である。
【図１１】上記作業分析システムの機械学習部を構築するニューラルネットワークを模式的に示す説明図である。
【図１２】本発明のさらに他の実施の形態に係る作業分析システムの一部を模式的に示す説明図である。
【図１３】上記作業分析システムの概略の構成を示すブロック図である。
【図１４】上記作業分析システムの作業推定部での作業の推定方法を模式的に示す説明図である。
【図１５】上記作業分析システムの作業紐付け部がリスト化した内容の一例を示す説明図である。
【図１６】上記作業分析システムの表示部の表示画面に確認情報およびリンクを表示した状態を示す説明図である。
【図１７】信頼度の低い作業について、更新する作業名を入力した状態を示す説明図である。
【図１８】本発明のさらに他の実施の形態に係る作業分析システムの作業推定部の学習方法を模式的に示す説明図である。
【発明を実施するための形態】
【００１６】
本発明の各実施の形態について、図面に基づいて説明すれば、以下の通りである。なお、各実施の形態で共通する構成には共通の部材番号を付記し、その説明を省略することがある。
【００１７】
なお、本明細書において、人物が行う「作業」には、（１）製品の製造（加工や組立を含む）や検品などの作業、（２）製造に必要な部品や、上記部品を用いて製造された製品を物流倉庫（保管場所、収納部屋）から出し入れする作業、（３）物流倉庫内で人物が台車を押しながら移動したり、台車を止めたりする行動、などが含まれるとする。また、作業の分析には、作業者がどのような作業を行っているかを推定する作業の推定が含まれるとする。
【００１８】
〔実施の形態１〕
（作業分析システムの構成）
図１は、本実施形態の作業分析システム１における各データ（情報）の流れを模式的に示す説明図である。図２は、本実施形態の作業分析システム１の概略の構成を示すブロック図である。作業分析システム１は、作業動画取得部２と、作業情報取得部３と、端末装置４とを通信回線ＮＷを介して通信可能に接続して構成されている。
【００１９】
通信回線ＮＷは、例えば無線ＬＡＮ（Local Area Network）で構成されているが、有線ＬＡＮやインターネット回線で構成されていてもよい。なお、例えば物流倉庫のような作業現場では、作業中の人物（作業者Ｐ）は動き回ることが多いため、作業動画取得部２および作業情報取得部３は、端末装置４と無線通信を行う形態が望ましい。
【００２０】
（作業動画取得部の構成）
作業動画取得部２は、作業者Ｐの作業状態を撮影して作業動画を取得する。本実施形態では、作業動画取得部２は、ビデオカメラ２１で構成されている。ビデオカメラ２１は、作業者Ｐから離間した位置で作業者Ｐを撮影することにより、上記作業動画を取得するデジタルビデオカメラである。ビデオカメラ２１の操作は、例えば撮影者Ｑによって行われる。撮影者Ｑは、作業者Ｐの作業状態がわかるようにビデオカメラ２１を操作して作業状態を撮影する。なお、作業者Ｐの作業状態が映り込むようにビデオカメラ２１を所定の場所に固定して、上記作業状態を撮影してもよい。
【００２１】
ビデオカメラ２１は、カメラ計時部２２を内蔵している。カメラ計時部２２は、時刻情報Ｄｔ０を取得する時刻情報取得部であり、例えばタイマー（時計）で構成される。時刻情報Ｄｔ０は、ここでは、時分秒の情報を指すが、日付（年月日）の情報をさらに含んでもよい。
【００２２】
作業動画のデータＤｍおよび時刻情報Ｄｔ０は、ビデオカメラ２１から通信回線ＮＷを介して端末装置４にリアルタイムで出力される。なお、作業動画のデータＤｍおよび時刻情報Ｄｔ０をビデオカメラ２１の記憶部（図示せず）に一旦記憶させ、所定時間経過後にまとめて端末装置４に出力する形態であっても勿論構わない。
【００２３】
（作業情報取得部の構成）
作業情報取得部３は、作業者Ｐの作業を推定するための作業情報を取得する。本実施形態では、作業情報取得部３は、作業者Ｐに装着されて作業者Ｐの体の動きを検知する少なくとも１つの加速度センサ３１で構成されている。なお、図２では、便宜的に、１つの加速度センサ３１のみを図示している。加速度センサ３１は、上記作業情報として加速度データを取得する。
【００２４】
本実施形態では、作業者Ｐの腰および両腕に加速度センサ３１が装着される。作業者Ｐの腰に装着された加速度センサ３１では、加速度データＤＡ１が取得される。また、作業者Ｐの両腕に装着された各加速度センサ３１では、加速度データＤＡ２・ＤＡ３がそれぞれ取得される。なお、加速度センサ３１は、推定する作業の種類に応じて、腰および両腕に加えて他の部位（例えば作業者Ｐの頭部または両足）に装着されてもよく、また、腰および両腕以外の他の部位のみに装着されてもよい。
【００２５】
各加速度センサ３１は、センサ計時部３２をそれぞれ内蔵している。各センサ計時部３２は、時刻情報Ｄｔ１〜Ｄｔ３をそれぞれ取得する時刻情報取得部であり、例えばタイマー（時計）で構成される。時刻情報Ｄｔ１〜Ｄｔ３とは、時刻情報Ｄｔ０と同様に、時分秒の情報を指すが、日付（年月日）の情報をさらに含んでもよい。なお、時刻情報Ｄｔ１〜Ｄｔ３は、加速度データＤＡ１〜ＤＡ３を取得する各加速度センサ３１で得られる時刻情報をそれぞれ指すとする。
【００２６】
加速度データＤＡ１〜ＤＡ３および時刻情報Ｄｔ１〜Ｄｔ３は、各加速度センサ３１から通信回線ＮＷを介して端末装置４にリアルタイムで出力される。なお、加速度データＤＡ１〜ＤＡ３および時刻情報Ｄｔ１〜Ｄｔ３を各加速度センサ３１の記憶部（図示せず）に一旦記憶させ、所定時間経過後にまとめて端末装置４に出力する形態であっても勿論構わない。
【００２７】
（端末装置の構成）
端末装置４は、例えばパーソナルコンピュータで構成されている。具体的には、端末装置４は、入力部４１と、記憶部４２と、確認情報出力部４３と、通信部４４と、制御部４５とを備えている。
【００２８】
入力部４１は、例えばキーボード、マウス、タッチパッド、タッチパネルなどで構成され、ユーザによる指示入力を受け付ける。ここで、ユーザとは、作業分析システム１の管理者や作業の指示監督者などを含む。
【００２９】
記憶部４２は、各種の情報および制御部４５の動作プログラムを記憶するメモリであり、例えばハードディスクで構成される。例えば、上記の作業動画取得部２または作業情報取得部３から端末装置４に出力された作業動画のデータＤｍ、時刻情報Ｄｔ０、加速度データＤＡ１〜ＤＡ３、時刻情報Ｄｔ１〜Ｄｔ３は、記憶部４２に記憶される。また、記憶部４２には、作業検索用および作業更新用のソフトウェア（プログラム）も記憶されている。なお、記憶部４２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、光ディスク、光磁気ディスク、不揮発性メモリなどの記録媒体から適宜選択して構成されてもよい。
【００３０】
確認情報出力部４３は、表示部４３ａと、音声出力部４３ｂとを含み、確認情報を出力する。表示部４３ａは、上記確認情報を表示するディスプレイ（例えば液晶表示装置）で構成される。音声出力部４３ｂは、上記確認情報を音声で出力するスピーカーで構成される。上記確認情報とは、後述する作業推定部４８による作業の推定結果の信頼度が閾値未満であるか否かをユーザに判別させるための情報である。なお、確認情報出力部４３は、表示部４３ａおよび音声出力部４３ｂのいずれか一方のみで構成されてもよい。
【００３１】
通信部４４は、作業動画取得部２（ビデオカメラ２１）および作業情報取得部３（加速度センサ３１）との間で情報を送受信するための通信インターフェースであり、入出力ポート、送信回路、受信回路、アンテナ、変調回路、復調回路などを含んで構成されている。
【００３２】
制御部４５は、例えばＣＰＵ（Central Processing Unit；中央演算処理装置）で構成されており、記憶部４２に記憶された動作プログラムを実行する。この制御部４５は、主制御部４６と、表示制御部４７と、作業推定部４８と、作業紐付け部４９とを備えている。
【００３３】
主制御部４６は、端末装置４の各部の動作を制御する。表示制御部４７は、表示部４３ａでの表示を制御する。
【００３４】
作業推定部４８は、作業情報取得部３（加速度センサ３１）で取得された作業情報（加速度データ）に基づいて、作業者Ｐの作業を推定するとともに、推定した作業の確からしさを示す信頼度（推定結果の信頼度）を求める。なお、具体的な作業の推定方法および信頼度の算出方法については、後述する動作説明の中で述べる。また、作業推定部４８は、加速度センサ３１に内臓のセンサ計時部３２から出力される時刻情報Ｄｔ１〜Ｄｔ３に基づいて、推定した作業ごとに、推定した作業の開始時刻および終了時刻を求める。
【００３５】
作業紐付け部４９は、作業推定部４８が推定した作業の開始時刻および終了時刻で作業動画を区切る。そして、作業紐付け部４９は、推定した作業の開始時刻から終了時刻までの区間動画と、推定した作業と、作業についての信頼度とを、推定した作業ごとに紐付ける。なお、「紐付ける」とは、互いを関連付けることを指す。
【００３６】
また、本実施形態の作業分析システム１は、動画再生部５０を備えている。動画再生部５０は、入力部４１でのユーザの指示入力に基づいて、推定結果の信頼度と紐付いた区間動画を再生する。このような動画再生部５０は、上述した表示部４３ａと、表示制御部４７とで構成されている。上記区間動画を再生して表示部４３ａに表示することにより、ユーザは、上記区間動画を視認して作業の内容を確認することが可能となる。
【００３７】
（作業分析方法について）
次に、上記構成の作業分析システム１を用いた作業分析方法について説明する。なお、ここでは、作業者Ｐが腰および両腕に加速度センサ３１をそれぞれ装着し、作業者Ｐの作業を撮影者Ｑがビデオカメラ２１で撮影する場合を考える。
【００３８】
図３は、本実施形態の作業分析方法による処理の流れを示すフローチャートである。まず、ビデオカメラ２１に内蔵のカメラ計時部２２により、時刻情報Ｄｔ０を取得するとともに、加速度センサ３１に内蔵のセンサ計時部３２により、時刻情報Ｄｔ１〜Ｄｔ３を取得する（＃１）。なお、センサ計時部３２とカメラ計時部２２との間での計時時刻のズレ、および複数のセンサ計時部３２同士での計時時刻のズレは、予め較正されているとする。
【００３９】
また、作業動画取得部２としてのビデオカメラ２１は、作業者Ｐの作業状態を撮影して作業動画を取得する（＃２）。取得した作業動画のデータＤｍは、カメラ計時部２２で取得された時刻情報Ｄｔ０とともに端末装置４に出力され、記憶部４２に記憶される。
【００４０】
一方、作業情報取得部３としての加速度センサ３１は、作業情報としての加速度データＤＡ１〜ＤＡ３を取得する（＃３）。取得した加速度データＤＡ１〜ＤＡ３は、センサ計時部３２で取得された時刻情報Ｄｔ１〜Ｄｔ３とともに端末装置４に出力され、記憶部４２に記憶される。
【００４１】
上記した＃１〜＃３での各種データ（各時刻情報、作業動画のデータ、加速度データ）の取得は、基本的に同時に（並行して）行われる。なお、上記各種データの端末装置４への出力は、同時に（リアルタイムで）行われてもよいし、時間的にずれていてもよい。
【００４２】
次に、端末装置４の作業推定部４８は、上記の加速度データＤＡ１〜ＤＡ３に基づいて、作業者Ｐの作業を推定する（＃４）。
【００４３】
図４は、作業の推定方法を模式的に示す説明図である。作業の推定は、例えば一定時間内の加速度データと所定値とを比較して行うことができる。
【００４４】
例えば、製造業において、保管場所に部品を取りに行くための歩行作業では、歩行開始のときに加速度が大きく変化する。そこで、作業推定部４８は、一定期間Ｔ内において、加速度データの最大値Ａｍａｘが所定値Ａｒｅｆ以上であれば、作業者Ｐの作業は歩行作業であると判断する。なお、上記加速度データとしては、例えば作業者Ｐの腰に装着した加速度センサ３１で取得された加速度データＤＡ１を用いることができるが、作業者Ｐの両腕に装着した各加速度センサ３１で取得された加速度データＤＡ２およびＤＡ３を用いてもよい。
【００４５】
一方、製品の組立作業においては、歩行時のような体の移動がほとんどなく、両腕の移動も比較的小さい。そこで、作業推定部４８は、一定期間Ｔ内において、加速度データの最大値Ａｍａｘが所定値Ａｒｅｆ未満であれば、作業者Ｐの作業は製品の組立作業であると判断する。なお、上記加速度データとしては、例えば作業者Ｐの腰および両腕に装着した各加速度センサ３１で取得された加速度データＤＡ１〜ＤＡ３を用いることができるが、加速度データＤＡ１〜ＤＡ３のいずれかのみを用いてもよい。
【００４６】
なお、上記の所定値Ａｒｅｆとしては、推定する作業の様態、業種、場所などに応じて適切に設定された値を用いることができる。また、上記の一定時間Ｔとは、例えば１秒間など、推定する作業の長さなどを考慮して適切に設定されればよい。さらに、所定値Ａｒｅｆと比較する一定時間Ｔ内での加速度データは、上記した一定時間Ｔ内での加速度データの最大値に限定されず、例えば一定時間Ｔ内での加速度データの平均値であってもよい。
【００４７】
また、作業の推定にあたっては、加速度データに対して重力加速度分を減算する補正を行ったり、加速度データの値を絶対値化して所定値Ａｒｅｆと比較してもよい。さらに、作業推定部４８での作業の推定は、無線通信等で加速度データ等をリアルタイムで端末装置４に取り込んでリアルタイムで行ってもよいし、作業者Ｐの作業後に行ってもよい。
【００４８】
次に、作業推定部４８は、上記の加速度データＤＡ１〜ＤＡ３に基づいて、推定した作業についての信頼度、つまり、推定結果の信頼度を求める（＃５）。本実施形態では、作業推定部４８は、一定期間Ｔ内での加速度データと所定値との差に比例した値を、推定結果の信頼度として求める。
【００４９】
例えば、歩行作業であるとの推定結果が得られた場合の信頼度は、以下のようにして算出される。一定期間Ｔ内の加速度データを任意の値で正規化したときの加速度データの最大値Ａｍａｘが０．８であり、所定値Ａｒｅｆが０．５に設定されている場合、推定結果の信頼度Ｆは、比例定数ｋを用いて、Ｆ＝ｋ（０．８−０．５）＝０．３ｋで表される。信頼度Ｆが大きいほど、歩行作業であるとの推定結果が確からしいことになる。なお、比例定数ｋは、任意の値に設定される。図４の例では、上述の算出方法により、推定された作業Ａについて信頼度Ｘが算出され、推定された作業Ｂについて信頼度Ｙが算出されたことを示している。
【００５０】
次に、作業推定部４８は、時刻情報（例えばセンサ計時部３２で取得される時刻情報Ｄｔ１〜Ｄｔ３）に基づいて、推定した作業ごとに、作業の開始時刻および終了時刻を求める（＃６）。＃４および＃５で得られた作業の推定結果および信頼度に関する情報は、＃６で得られた作業の開始時刻および終了時刻の情報と合わせて記憶部４２に記憶される。
【００５１】
続いて、作業紐付け部４９は、作業の開始時刻および終了時刻で作業動画を区切る。これにより、１つの作業動画は、推定した作業の種類に応じた数の区間動画に時間的に分割される。図５は、作業動画（データＤｍ）を３つの区間動画ａ〜ｃに分割した例を示している。そして、作業紐付け部４９は、各区間動画ａ〜ｃと、推定した作業と、作業についての信頼度とを紐付ける。（＃７）。
【００５２】
本実施形態では、各区間動画ａ〜ｃにタグＡ〜Ｃを付すタグ付けにより、各区間動画ａ〜ｃと各情報とを紐付ける。各タグＡ〜Ｃは、推定した作業の開始時刻および終了時刻、推定した作業（例えば作業名）、推定結果の信頼度の各情報を含む。
【００５３】
なお、作業推定部４３で推定された作業の数（種類）が多い場合、作業動画は、４つ以上（区間動画ａ、区間動画ｂ、区間動画ｃ、区間動画ｄ、・・・）に分割される場合もあり得る。この場合でも、作業紐付け部４９は上記と同様にタグ付けを行うことにより、各区間動画と各情報とを紐付けることができる。
【００５４】
次に、確認情報出力部４３は、制御部４５（例えば主制御部４６）の制御のもとで、推定した作業ごとに得られる信頼度が閾値α未満であるか否かをユーザに判別させるための確認情報を出力する（＃８）。上記確認情報は、例えば表示部４３ａに表示される。
【００５５】
図６は、表示部４３ａの表示画面４３ａ1に確認情報を表示した状態を示している。確認情報は、例えば、信頼度が閾値α未満である作業と紐付いた区間動画のリストＬである。なお、閾値αは、予め設定された値であってもよいし、ユーザが入力部４１の操作によって入力した値であってもよい。
【００５６】
例えば、ユーザが入力部４１を操作して信頼度の閾値αを入力すると、主制御部４６は、作業推定部４８が推定した作業の中から、信頼度が閾値α未満である作業を検索し、上記作業と紐付いた区間動画のリストＬを作成する。したがって、主制御部４６は、上記リストＬを作成するリスト作成部として機能する。このとき、主制御部４６は、各区間動画ａ〜ｃに付されたタグＡ〜Ｃに含まれる情報を検索することにより、信頼度が閾値α未満である作業を検索することができる。
【００５７】
ユーザは、表示画面４３ａ1に表示されたリストＬを見て、作業推定部４８による推定結果の信頼度の低い作業の存在を認識でき、信頼度の低い作業については、区間動画を再生することにより、作業の内容を確認できる。そこで、ユーザは、入力部４１を操作して、表示されたリストＬの中から任意の区間動画を選択し、選択した区間動画を再生する指示入力を行う。ここでは、例として、ユーザは、入力部４１により、区間動画ｂを再生する指示入力を行ったとする。
【００５８】
入力部４１によって区間動画ｂの再生指示入力を受け付けると（＃９）、動画再生部５０は、上記の指示入力に基づいて区間動画ｂを再生する（＃１０）。つまり、動画再生部５０は、上記の指示入力に基づいて、閾値がα未満である信頼度と紐付いた区間動画ｂを再生する。図７は、表示部４３ａの表示画面４３ａ1上で、区間動画ｂが再生されている状態を模式的に示している。
【００５９】
ユーザは、再生された区間動画を視認して作業の内容を確認し、推定作業を変更（更新）する必要があるか否かを判断する。そして、推定作業を更新する必要がある場合、ユーザは、入力部４１を操作して、更新する作業（作業名）を入力する。入力部４１にて推定作業の変更入力を受け付けると（＃１１でＹｅｓ）、作業紐付け部４９は、推定した作業の作業名を、入力された作業名に更新する（＃１２）。一方、＃１１にて、推定作業の変更入力がなければ（＃１１でＮｏ）、＃１２はスキップされ、＃４で推定した作業がそのまま維持される。
【００６０】
なお、更新する作業名の入力は、例えば以下のようにして行うことができる。区間動画の再生後にテキストボックスを表示画面４３ａ1にポップアップ等で表示し、そのテキストボックス内に入力部４１によって作業名を入力する。または、信頼度および区間動画のリストＬとともに作業名の入力欄を表示画面４３ａ1に表示させ、入力部４１によって上記入力欄に作業名を直接入力する。
【００６１】
図８は、区間動画ｂを再生した後、区間動画ｂと紐付いた作業の作業名を、入力部４１の操作によって「作業Ｂ」から「作業Ｆ」に変更（更新）した例を示している。記憶部４２には、最終的に、作業推定部４８が推定した作業ごとに、作業の開始時刻および終了時刻と、作業の作業名と、作業についての信頼度とが記憶される。ただし、入力部４１による指示入力に基づいて、推定した作業が更新された場合には、更新前の作業の作業名が更新後の作業の作業名に置き換えられて記憶部４２に記憶される。
【００６２】
以上のように、本実施形態では、作業推定部４８が作業を推定し、推定結果の信頼度を算出した後、確認情報出力部４３が、信頼度が閾値α未満であるか否かをユーザに判別させるための確認情報を出力する。そして、ユーザが上記確認情報に基づいて信頼度が閾値α未満である作業を認識し、上記作業と紐付いた区間動画の生成を入力部４１にて指示すると、動画再生部５０は、上記の指示入力に基づいて上記区間動画を再生する。したがって、ユーザは、上記区間動画を再生して作業の内容を確認し、推定結果が間違っている場合には、入力部４１を操作して正しい推定結果（作業名）に更新することができる。その結果、作業分析結果の信用性を高めることができる。
【００６３】
一方、信頼度が閾値α以上である作業については、作業の推定精度が高く、得られた推定結果を十分に信用することができる。このため、ユーザは、推定精度の高い作業と紐付いた区間動画を再生して確認する必要がない。なお、信頼度が閾値α以上である作業については、確認情報に基づいてユーザが判断できる。したがって、ユーザが確認すべき動画および確認に要する時間を、作業動画全体を視認して確認する場合に比べて減らすことができ、作業分析に要する工数を減らすことができる。
【００６４】
また、作業推定部４８は、周囲の環境の情報（例えば作業現場内の生産設備の位置情報）を用いずに、作業者Ｐの作業情報（例えば加速度データ）に基づいて作業を推定するため、分析対象である作業の場所および種類の制約を受けることがない。したがって、作業を行う場所や種類を選ばずに、どのような作業についても、上記作業情報に基づいて推定することができる。
【００６５】
つまり、本実施形態の作業分析システム１および作業分析方法によれば、ユーザは信頼度が高い推定結果については推定を信用し、信頼度が低い推定結果についてのみ区間動画を確認して推定結果を更新することができる。これにより、汎用的な作業に対して、少ない工数で信用性の高い作業分析結果を得ることができる。
【００６６】
また、確認情報出力部４３は、上記確認情報を表示する表示部４３ａを含む。表示部４３ａが上記確認情報を表示することにより、ユーザは、上記確認情報を視覚的に認識できる。このため、確認情報の確認が容易となる。
【００６７】
なお、上記の確認情報は、音声出力部４３ｂから音声で出力されてもよい。例えば、『区間動画ｂ、ｇ、ｊは、作業の推定結果の信頼度が閾値よりも低いです。』という音声情報を音声出力部４３ｂから出力させてもよい。この場合でも、ユーザは、上記音声情報に基づいて、確認情報を認識することができる。
【００６８】
また、上記の確認情報は、信頼度が閾値α未満である区間動画のリストＬ（図６参照）である。この場合、ユーザは、表示部４３ａに表示されたリストＬを見て、信頼度が閾値α未満である区間動画を容易に認識することができる。
【００６９】
また、リスト作成部としての主制御部４６は、作業推定部４８が推定した作業の中から、信頼度が閾値α未満である作業を検索し、上記の作業と紐付いた区間動画のリストＬを作成する。これにより、区間動画のリストＬを確認情報として容易に得ることができる。
【００７０】
また、作業紐付け部４９は、作業推定部４８が推定した作業と紐付いた区間動画に、上記作業の開始時刻および終了時刻と、推定した上記作業と、上記作業についての信頼度とに関する情報を含むタグＡ〜Ｃを付すタグ付けを行う。そして、主制御部４６は、上記信頼度が閾値α未満である作業の検索を、上記タグＡ〜Ｃを検索することによって行う。これにより、信頼度が閾値α未満である作業を容易に検索でき、上記作業と紐付いた区間動画のリストＬを容易に作成できる。
【００７１】
また、記憶部４２は、作業推定部４８が推定した作業ごとに、上記作業の開始時刻および終了時刻と、上記作業の作業名と、上記作業についての信頼度とを記憶するとともに、入力部４１での入力に基づいて、推定した作業が更新されたときに、更新前の作業の作業名を更新後の作業の作業名に置き換えて記憶する（図８参照）。これにより、記憶部４２に記憶された情報を適切なタイミングで読み出し、読み出した上記情報に基づいて作業改善を行うことが可能となる。
【００７２】
また、作業情報取得部３は、作業者Ｐに装着される加速度センサ３１で構成されている。加速度センサ３１で取得される加速度データは、作業者Ｐの作業に伴う体の動きに対応して変化するため、作業者Ｐの作業状態を確実に反映する。作業推定部４８は、このような加速度データを用いて作業を推定するため、汎用的な作業に対して（どのような作業についても）、作業の推定および推定結果の信頼度の算出が確実に可能となる。
【００７３】
また、作業動画取得部２は、ビデオカメラ２１で構成されているため、作業者Ｐの作業状態を示す作業動画を確実に取得することができる。
【００７４】
また、時刻情報取得部（カメラ計時部２２、センサ計時部３２）は、作業動画取得部２および作業情報取得部３の各々に内蔵されている。これにより、各々の時刻情報取得部で取得される時刻情報に基づいて、作業動画取得部２で取得される作業動画と、作業情報取得部３で取得される作業情報とを時間的に合わせることができる。
【００７５】
〔実施の形態２〕
図９は、本実施形態の作業分析システム１における各データ（情報）の流れを模式的に示す説明図である。また、図１０は、本実施形態の作業分析システム１の概略の構成を示すブロック図である。
【００７６】
本実施形態の作業分析システム１は、実施の形態１の構成において、ビデオカメラ２１を、作業動画取得部２としてだけでなく、作業情報取得部３として用いている。したがって、作業者Ｐの作業を推定するための作業情報は、ビデオカメラ２１で取得される作業動画の各フレーム画像のデータである。なお、ビデオカメラ２１に内蔵されたカメラ計時部２２が、時刻情報を取得する時刻情報取得部として機能する点は、実施の形態１と同様である。
【００７７】
また、本実施形態では、端末装置４の制御部４５をＧＰＵ（Graphics Processing Unit）で構成している。ＧＰＵは、リアルタイムな画像処理に特化した演算装置（プロセッサ）である。制御部４５をＧＰＵで構成することにより、作業推定部４８において、機械学習が可能な機械学習部４８ａを構築し、画像等の入力データから作業を推定することが可能となる。なお、制御部４５の一部（例えば主制御部４６、表示制御部４７、作業紐付け部４９）をＣＰＵで構成し、残り（例えば作業推定部４８のみ）をＧＰＵで構成してもよい。
【００７８】
機械学習部４８ａは、例えば畳み込み型ニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）で構成されている。なお、機械学習部４８ａは、全結合ニューラルネットワーク（fully connected neural network）やＲＮＮ（Recurrent Neural Net）などの他のニューラルネットワークで構成されていても構わない。
【００７９】
図１１は、機械学習部４８ａを構築するニューラルネットワークを模式的に示している。機械学習部４８ａでは、学習データを用いた機械学習により、作業推定のパラメータ（各ノードの重み）が予め調整される。ここで、上記の機械学習は、上記学習データとして、第１学習データを一定量用意して行われる。第１学習データは、作業情報取得部３が取得した作業情報（画像データ）と、上記作業情報を入力として推定される作業の正解データ（正解ラベル）とを紐付けた学習データである。
【００８０】
また、機械学習部４８ａは、入力される画像データから作業を推定すると同時に、推定した作業の確からしさを示すスコアまたは確率を出力する。本実施形態では、上記スコアまたは確率を、作業の推定結果の信頼度として用いる。
【００８１】
本実施形態のように、作業推定部４８において機械学習部４８ａを構築することにより、機械学習部４８ａでは、入力される画像データから作業者Ｐの作業をニューロ演算によって推定することができる。また、機械学習部４８ａは、第１学習データを用いた機械学習によって作業推定のパラメータ（各ノードのパラメータ）を予め調整することにより、作業の推定時には、入力される画像データに対して上記画像データから作業者Ｐの作業を精度よく推定することができる。
【００８２】
また、本実施形態では、機械学習部４８ａによって算出されるスコアまたは確率を、推定結果の信頼度として用いるため、上記のスコアまたは確率を有効利用することができる。
【００８３】
また、本実施形態では、作業動画取得部２は、作業動画を取得するビデオカメラ２１で構成され、作業情報取得部３は、上記作業動画の各フレーム画像を作業情報として取得する上記ビデオカメラ２１で構成されている。つまり、ビデオカメラ２１は、作業動画取得部２と作業情報取得部３とを兼ねる。これにより、作業情報を取得するための加速度センサ３１を不要とすることができ、作業分析システム１の構成を簡素化することができる。
【００８４】
〔実施の形態３〕
図１２は、本実施形態の作業分析システム１の一部を模式的に示す説明図である。また、図１３は、本実施形態の作業分析システム１の概略の構成を示すブロック図である。本実施形態の作業分析システム１では、上述した実施の形態２の作業動画取得部３として、映像取得部２３を用いている。
【００８５】
映像取得部２３は、作業者Ｐの頭部に装着可能で、作業者Ｐの視野方向の映像を取得する。このような映像取得部２３は、例えばウェブカメラであってもよいが、本実施形態では、カメラ搭載型の虚像表示装置２４で構成されている。虚像表示装置２４は、映像を表示して上記映像の虚像を作業者Ｐに提供するとともに、外界をシースルーで（上記虚像と重畳して）作業者Ｐに観察させるヘッドマウントディスプレイである。この虚像表示装置２４は、作業者Ｐの視野方向の映像を取得するカメラ２５を有している。カメラ２５での撮影により、作業者Ｐの作業動画（作業動画のデータをＤｖとする）が取得される。
【００８６】
また、虚像表示装置２４には、装置計時部２６が内蔵されている。装置計時部２６は、時刻情報Ｄｔｖを取得する時刻情報取得部であり、例えばタイマー（時計）で構成される。時刻情報Ｄｔｖは、時分秒の情報を指すが、日付（年月日）の情報をさらに含んでもよい。
【００８７】
一方、作業情報取得部２は、実施の形態１で用いた加速度センサ３１で構成される。したがって、作業推定部４８による作業の推定に用いる作業情報は、加速度データである。本実施形態では、加速度センサ３１は５個用いられ、作業者Ｐの所定の部位に装着される。具体的には、各加速度センサ３１は、作業者Ｐの頭部、腰、両手、両足にそれぞれ装着される。各加速度センサ３１は、時刻情報Ｄｔ１〜Ｄｔ５をそれぞれ取得するセンサ計時部３２（時刻情報取得部）をそれぞれ内蔵している。
【００８８】
なお、上記した虚像表示装置２４は、加速度センサを内蔵していてもよい。この場合、虚像表示装置２４の加速度センサで、作業者Ｐの頭部に装着される加速度センサ３１を代用できる。その結果、作業者Ｐの頭部への加速度センサ３１の装着を不要とすることができる。
【００８９】
また、本実施形態では、実施の形態２と同様に、作業推定部４８は、機械学習部４８ａで構成されている。図１４は、本実施形態の作業推定部４８での作業の推定方法を模式的に示している。本実施形態では、作業の推定にロジスティック回帰を用いる。ロジスティック回帰は、ベルヌーイ分布に従う変数の統計的回帰モデルの一種である。機械学習部４８ａは、予め一定量の第１学習データ（作業情報＋正解ラベル）によって機械学習され、各ノードのパラメータが適切に調整されている。作業推定部４８が推定した結果の信頼度としては、ロジスティック回帰によって算出されたスコアまたは確率を用いる。
【００９０】
本実施形態における作業分析の流れは、基本的に、図３を参照して説明した実施の形態１と同様である。以下、図３のフローチャートを参照しながら、本実施形態の作業分析方法について説明する。
【００９１】
作業者Ｐの作業時において、各加速度センサ３１は、時刻情報Ｄｔ１〜Ｄｔ５および加速度データＤＡ１〜ＤＡ５をそれぞれ取得する（図３の＃１、＃３）。また、虚像表示装置２４に搭載されたカメラ２５によって作業者Ｐの視野映像が作業動画として録画され、取得される（＃２）。作業推定部４８は、加速度データＤＡ１〜ＤＡ５を入力として、ロジスティック回帰によって作業を推定し（＃４）、スコアを信頼度として算出する（＃５）。
【００９２】
次に、作業推定部４８（例えばＣＰＵまたはＧＰＵ）は、時刻情報（例えば時刻情報Ｄｔ１〜Ｄｔ５）に基づいて、推定した作業ごとに、作業の開始時刻および終了時刻を求める（＃６）。＃４および＃５で得られた作業の推定結果および信頼度に関する情報は、＃６で得られた作業の開始時刻および終了時刻の情報と合わせて記憶部４２に記憶される。
【００９３】
続いて、作業紐付け部４９は、作業の開始時刻および終了時刻で作業動画を区切る。これにより、１つの作業動画は、推定した作業の種類に応じた数の区間動画に時間的に分割される。また、作業紐付け部４９は、各区間動画の再生のためのリンクまたはショートカットを生成する。そして、作業紐付け部４９は、作業の開始時間および終了時間と、推定した作業と、推定結果の信頼度と、上記のリンクまたはショートカットとを互いに紐付けてリスト化する（＃７）。図１５は、作業紐付け部４９がリスト化した内容の一例を示している。
【００９４】
このとき、作業紐付け部４９は、分割された各区間動画の保存アドレスをリンクとして作成してもよい。また、インターネット動画配信サイト、動画共有サービスのサイト等に作業動画をアップロードしておき、ＵＲＬ（Uniform Resource Locator）の入力によって動画の再生時間等をコントロール可能なブラウザベースの動画視聴ツールを用いて、該当時間の区間動画を再生する場合は、上記ＵＲＬをリンクとして作成してもよい。
【００９５】
次に、確認情報出力部４３は、制御部４５の制御のもとで、信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する（＃８）。上記確認情報は、例えば表示制御部４７の制御のもとで表示部４３ａに表示される。このとき、表示制御部４７は、推定した作業ごとに、作業の前記開始時刻から終了時刻までの区間動画のリンクも併せて表示部４３に表示させる。
【００９６】
図１６は、表示部４３ａの表示画面４３ａ1に確認情報６０および上記リンクを表示した状態を示している。本実施形態では、確認情報６０は、文字情報６１を含む。文字情報６１は、信頼度が閾値未満であるか否かを、推定した作業ごとに文字で示す情報である。ここでは、推定結果の信頼度が閾値以上である作業については、文字情報６１として「閾値以上」を信頼度の表示欄に表示し、推定結果の信頼度が閾値未満である作業については、文字情報６１として「閾値未満」を信頼度の表示欄に表示している。
【００９７】
また、確認情報６０は、作業更新欄の表示情報６２を含む。作業更新欄は、推定した作業を更新する必要があるとユーザが判断した場合に、入力部４１の操作によって入力される欄である。本実施形態では、推定結果の信頼度が閾値以上である作業と、推定結果の信頼度が閾値未満である作業とで、作業更新欄の表示態様が異なっている。具体的には、信頼度が閾値以上である作業については、作業更新欄に、推定した作業の作業名（例えば作業Ａ）をそのまま表示させる。一方、信頼度が閾値未満である作業については、作業更新欄を空欄とする。このように作業更新欄の表示は、表示制御部４７によって制御される。なお、信頼度が閾値未満である作業については、作業更新欄を太線で縁取るなど、強調表示を行って、信頼度が閾値以上である作業の作業更新欄と表示態様を異ならせてもよい。
【００９８】
なお、本実施形態では、確認情報６０として、文字情報６１および作業更新欄の表示情報６２の両方を表示部４３に表示させているが、どちらか一方の情報のみを表示部４３に表示させてもよい。
【００９９】
ユーザは、表示部４３の表示画面４３ａ1に表示された確認情報６０を視認することにより、作業推定部４８による推定結果の信頼度の低い作業の存在を認識できる。例えば、「閾値未満」の文字情報６１が表示された作業Ｂについては、信頼度が低い作業であることを認識できる。また、作業Ｂについては、作業更新欄が空欄になっていることからも、信頼度が低い作業であることを認識できる。そこで、ユーザは、入力部４１を操作して、確認情報６０に基づいて把握される、信頼度の低い作業（例えば作業Ｂ）と紐付けられたリンクを選択（例えばクリック）する。これにより、作業Ｂと紐付けられた区間動画の再生の指示入力が受け付けられる（＃９）。
【０１００】
上記指示入力を受け付けると、動画再生部５０は、上記の指示入力に基づいて、記憶部４２に記憶された作業動画のうち、該当する区間動画を再生する（＃１０）。ユーザは、再生された区間動画を視認して作業の内容を確認し、推定作業を変更（更新）する必要があるか否かを判断する。そして、推定作業を更新する必要がある場合、ユーザは、入力部４１を操作して、作業更新欄に更新する作業（作業名）を入力する。図１７は、信頼度の低い作業Ｂについて、更新する作業名（作業Ｆ）を入力した状態を示している。
【０１０１】
入力部４１にて推定作業の変更入力を受け付けると（＃１１でＹｅｓ）、作業紐付け部４９は、推定した作業の作業名を、入力された作業名に更新する（＃１２）。すなわち、記憶部４２には、作業推定部４８が推定した作業ごとに、作業の開始時刻および終了時刻と、作業の作業名と、作業についての信頼度とが記憶されているが、信頼度の低い作業については、更新前の作業名が更新後の作業名に置き換えられて記憶される。
【０１０２】
一方、＃１１にて、推定作業の変更入力がなければ（＃１１でＮｏ）、＃１２はスキップされ、推定した作業の作業名がそのまま維持される（記憶部４２に記憶された作業名は変更されない）。例えば、全ての作業について信頼度が閾値以上である場合には、推定した作業が更新される可能性は少ないため、推定した作業の作業名をそのまま記憶して一連の処理を終了する。
【０１０３】
以上のように、本実施形態では、確認情報出力部４３が出力する確認情報６０は、信頼度が閾値未満であるか否かを、推定した作業ごとに示す文字情報６１を含む。これにより、ユーザは文字情報６１を視認して、信頼度が閾値未満であるか否かを容易に判別することができ、その判別結果に基づいて、作業推定部４８が推定した作業の更新の必要性を容易に判断することが可能となる。
【０１０４】
また、本実施形態では、上記の確認情報６０は、作業更新欄の表示情報６２を含む。そして、信頼度が閾値以上である作業と、信頼度が閾値未満である作業とで、作業更新欄の表示態様が異なる。このように表示態様を異ならせることにより、ユーザは作業更新欄の表示情報６２を見て、信頼度が閾値以上である作業と、信頼度が閾値未満である作業とを容易に判別することができる。したがって、この場合でも、ユーザは、作業推定部４８が推定した作業の更新の必要性を容易に判断することが可能となる。
【０１０５】
特に、信頼度が閾値以上である作業についての作業更新欄の表示情報６２は、推定した作業の作業名であり、信頼度が閾値未満である作業についての作業更新欄は、空欄である。この場合、ユーザは空欄の作業更新欄を見て、信頼度が閾値未満である作業を直ちに認識することができる。これにより、ユーザは、上記作業と紐付いたリンクを選択して、区間動画の内容を確認するなどの必要な措置を直ちに講じることが可能となる。
【０１０６】
また、表示制御部４７は、推定した作業ごとに、作業の開始時刻から終了時刻までの区間動画のリンクを表示部４３ａに表示させる。これにより、ユーザは、必要に応じて、表示されたリンクを選択して区間動画の内容を確認する可能となる。
【０１０７】
また、本実施形態では、作業動画取得部２は、作業者Ｐに装着可能で、作業者Ｐの視野方向の映像を取得する映像取得部２３で構成されている。この場合、実施の形態１のように、撮影者Ｑの手を借りることなく、また、作業者Ｐが移動してもその移動に追従して、作業動画を取得することができる。
【０１０８】
特に、本実施形態では、映像取得部２３は、カメラ２５を搭載した虚像表示装置２４である。この場合、カメラ２５での撮影によって作業動画を取得し、取得した作業動画を作業の分析に用いる一方で、作業者Ｐには、虚像表示装置２４によって作業の指示情報（作業マニュアル、作業の指揮監督者のアドバイスなどの情報）を虚像として提供して、作業者Ｐの作業を支援することが可能となる。
【０１０９】
〔実施の形態４〕
本実施形態での作業分析システム１は、実施の形態３と同様の構成であるが、作業推定部４８を追加学習させる点が異なる。図１８は、本実施形態の作業分析システム１の作業推定部４８の学習方法を模式的に示している。
【０１１０】
本実施形態で用いる学習データは、第２学習データと、第３学習データとを含む。第２学習データは、作業者Ｐの作業時に取得された作業情報（例えば加速度データ）と、上記作業情報を入力として作業推定部４８が推定した、信頼度が閾値以上である作業とを紐付けた学習データである。ただし、第２学習データでは、上記信頼度が閾値以上である作業を正解データとする。第３学習データは、作業者Ｐの作業時に取得された作業情報（例えば加速度データ）と、上記作業情報を入力として作業推定部４８が推定した、信頼度が閾値未満である作業を、前記入力部での入力によって更新した作業とを紐付けた学習データである。ただし、第３学習データでは、上記更新した作業を正解データとする。
【０１１１】
本実施形態では、既存の学習データ、つまり、作業推定前に予め機械学習させるときに用いた第１学習データに、上記の第２学習データおよび第３学習データを追加して、作業推定部４８（機械学習部４８ａ）の機械学習（追加学習）をさらに行い、各ノードのパラメータ調整を追加して行う。
【０１１２】
このように作業推定部４８の追加学習を行うことにより、作業の推定を精度よく行うことが可能となり、作業の推定結果の信頼度として高い値を得ることが可能となる。その結果、信頼度が閾値未満である作業の推定結果が減り、ユーザが確認する区間動画の数および再生時間も減ることが期待される。この場合、より少ない工数で、信用できる作業分析結果を得ることができる。また、第２学習データおよび第３学習データについては、継続的に用意することができるため、作業推定部４８による作業推定の精度の向上を継続的に図ることができる。
【０１１３】
なお、前述の非特許文献２では、倉庫管理システム（ＷＭＳ：Warehouse Management System）という既存のシステムから正解の作業を抽出して、大量の学習データを用意することができる。しかし、正解の作業を抽出できるシステムが構築されていない場合、そのようなシステムを新たに導入することが必要と考えられるが、そのようなシステムの導入は非効率的であり、望ましくはない。逆に、新たなシステムを導入しない場合、結局、正解の作業を抽出できる学習データを人力で用意する必要があり、学習データの用意に多大な工数を必要とする。本実施形態の作業分析システム１では、人力に頼らずに、上述のように第２学習データおよび第３学習データを継続的に用意することができるため、正解の作業を抽出するシステムを別途導入することなく、追加学習を継続的に行って推定精度を維持または向上させることができる。
【０１１４】
なお、本実施形態で説明した学習方法、つまり、第２学習データおよび第３学習データを用いた機械学習方法は、機械学習部４８ａがＣＮＮで構成される実施の形態２にも勿論適用可能である。
【０１１５】
〔その他〕
以上の各実施の形態で説明した作業分析システムおよび作業分析方法は、以下のように表現することもできる。
【０１１６】
１．時刻情報を取得する時刻情報取得部と、
作業者の作業状態を撮影して作業動画を取得する作業動画取得部と、
作業者の作業を推定するための作業情報を取得する作業情報取得部と、
前記作業情報に基づいて、作業者の前記作業を推定し、推定した前記作業の確からしさを示す信頼度を求めるとともに、前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める作業推定部と、
推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける作業紐付け部と、
前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する確認情報出力部と、
ユーザによる指示入力を受け付ける入力部と、
前記入力部による指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する動画再生部とを備えていることを特徴とする作業分析システム。
【０１１７】
２．前記確認情報出力部は、前記確認情報を表示する表示部を含むことを特徴とする前記１に記載の作業分析システム。
【０１１８】
３．前記確認情報は、前記信頼度が閾値未満である区間動画のリストであることを特徴とする前記２に記載の作業分析システム。
【０１１９】
４．前記作業推定部が推定した前記作業の中から、前記信頼度が前記閾値未満である作業を検索し、前記作業と紐付いた前記区間動画の前記リストを作成するリスト作成部をさらに備えていることを特徴とする前記３に記載の作業分析システム。
【０１２０】
５．前記作業紐付け部は、前記作業推定部が推定した前記作業の前記開始時刻から前記終了時刻までの前記区間動画に、前記作業の前記開始時刻および前記終了時刻と、推定した前記作業と、前記作業についての前記信頼度とに関する情報を含むタグを付すタグ付けを行い、
前記リスト作成部は、前記信頼度が前記閾値未満である前記作業の検索を、前記タグを検索することによって行うことを特徴とする前記４に記載の作業分析システム。
【０１２１】
６．前記確認情報は、前記信頼度が閾値未満であるか否かを、推定した前記作業ごとに示す文字情報を含むことを特徴とする前記２に記載の作業分析システム。
【０１２２】
７．前記確認情報は、作業更新欄の表示情報を含み、
前記信頼度が閾値以上である作業と、前記信頼度が閾値未満である作業とで、前記作業更新欄の表示態様が異なることを特徴とする前記２または６に記載の作業分析システム。
【０１２３】
８．前記信頼度が閾値以上である作業についての前記作業更新欄の前記表示情報は、推定した前記作業の作業名であり、
前記信頼度が閾値未満である作業についての前記作業更新欄は、空欄であることを特徴とする前記７に記載の作業分析システム。
【０１２４】
９．前記表示部での表示を制御する表示制御部をさらに備え、
前記表示制御部は、推定した前記作業ごとに、前記作業の前記開始時刻から前記終了時刻までの前記区間動画のリンクを前記表示部に表示させることを特徴とする前記６から８のいずれかに記載の作業分析システム。
【０１２５】
１０．推定した前記作業ごとに、前記作業の前記開始時刻および前記終了時刻と、前記作業の作業名と、前記作業についての前記信頼度とを記憶するとともに、前記入力部での入力に基づいて、推定した前記作業が更新されたときに、更新前の前記作業の作業名を更新後の作業の作業名に置き換えて記憶する記憶部をさらに備えていることを特徴とする前記１から９のいずれかに記載の作業分析システム。
【０１２６】
１１．前記作業情報取得部は、作業者に装着されて作業者の体の動きを検知する加速度センサで構成されていることを特徴とする前記１から１０のいずれかに記載の作業分析システム。
【０１２７】
１２．前記作業動画取得部は、作業者から離間した位置で作業者を撮影することにより、前記作業動画を取得するビデオカメラで構成されていることを特徴とする前記１から１１のいずれかに記載の作業分析システム。
【０１２８】
１３．前記作業動画取得部は、作業者から離間した位置で作業者を撮影することにより、前記作業動画を取得するビデオカメラで構成されており、
前記作業情報取得部は、前記作業動画の各フレーム画像を前記作業情報として取得する前記ビデオカメラで構成されていることを特徴とする前記１から１０のいずれかに記載の作業分析システム。
【０１２９】
１４．前記作業動画取得部は、作業者に装着可能で、作業者の視野方向の映像を取得する映像取得部で構成されていることを特徴とする前記１から１１のいずれかに記載の作業分析システム。
【０１３０】
１５．前記映像取得部は、カメラ搭載型の虚像表示装置であることを特徴とする前記１４に記載の作業分析システム。
【０１３１】
１６．前記時刻情報取得部は、前記作業動画取得部および前記作業情報取得部の各々に内蔵されていることを特徴とする前記１から１５のいずれかに記載の作業分析システム。
【０１３２】
１７．前記作業推定部は、入力データから作業を推定する機械学習部を含み、
前記機械学習部は、学習データを用いた機械学習によって、作業推定のパラメータを調整し、
前記学習データは、前記作業情報取得部が取得した前記作業情報と、前記作業情報を入力として推定される作業の正解データとを紐付けた第１学習データを含むことを特徴とする前記１から１６のいずれかに記載の作業分析システム。
【０１３３】
１８．前記信頼度は、前記機械学習部によって算出される前記作業の確からしさを示すスコアまたは確率であることを特徴とする前記１７に記載の作業分析システム。
【０１３４】
１９．前記学習データは、
前記作業情報と、前記作業情報を入力として前記作業推定部が推定した、前記信頼度が閾値以上である作業とを紐付け、前記作業を正解データとする第２学習データと、
前記作業情報と、前記作業情報を入力として前記作業推定部が推定した、前記信頼度が閾値未満である作業を、前記入力部での入力によって更新した作業とを紐付け、前記更新した作業を正解データとする第３学習データとをさらに含むことを特徴とする前記１７または１８に記載の作業分析システム。
【０１３５】
２０．時刻情報を取得する工程と、
作業者の作業状態を撮影して作業動画を取得する工程と、
作業者の作業を推定するための作業情報を取得する工程と、
前記作業情報に基づいて、作業者の前記作業を推定する工程と、
前記作業情報に基づいて、推定した前記作業の確からしさを示す信頼度を求める工程と、
前記時刻情報に基づいて、推定した前記作業ごとに、前記作業の開始時刻および終了時刻を求める工程と、
推定した前記作業の前記開始時刻および前記終了時刻で前記作業動画を区切り、推定した前記作業の前記開始時刻から前記終了時刻までの区間動画と、推定した前記作業と、前記作業についての前記信頼度とを紐付ける工程と、
前記信頼度が閾値未満であるか否かをユーザに判別させるための確認情報を出力する工程と、
外部からの指示入力に基づいて、前記信頼度が閾値未満である区間動画を再生する工程とを含むことを特徴とする作業分析方法。
【０１３６】
２１．前記確認情報を出力する工程は、前記確認情報を表示する工程を含むことを特徴とする前記２０に記載の作業分析方法。
【０１３７】
２２．前記確認情報は、前記信頼度が閾値未満である区間動画のリストであることを特徴とする請求項２１に記載の作業分析方法。
【０１３８】
２３．前記確認情報を出力する工程では、推定した前記作業の中から、前記信頼度が前記閾値未満である作業を検索して、前記作業と紐付いた前記区間動画のリストを作成し、前記確認情報として、前記区間動画のリストを表示させることを特徴とする前記２２に記載の作業分析方法。
【０１３９】
２４．前記紐付ける工程では、推定した前記作業の前記開始時刻から前記終了時刻までの前記区間動画に、前記作業の前記開始時刻および前記終了時刻と、推定した前記作業と、前記作業についての前記信頼度とに関する情報を含むタグを付すタグ付けを行い、
前記確認情報を出力する工程での、前記信頼度が前記閾値未満である前記作業の検索を、前記タグを検索することによって行うことを特徴とする前記２３に記載の作業分析方法。
【０１４０】
２５．前記確認情報は、前記信頼度が閾値未満であるか否かを、推定した前記作業ごとに示す文字情報を含むことを特徴とする前記２１に記載の作業分析方法。
【０１４１】
２６．前記確認情報は、作業更新欄の表示情報を含み、
前記確認情報を出力する工程では、前記信頼度が閾値以上である作業と、前記信頼度が閾値未満である作業とで、前記作業更新欄の表示態様を異ならせることを特徴とする前記２１または２５に記載の作業分析方法。
【０１４２】
２７．前記信頼度が閾値以上である作業についての前記作業更新欄の前記表示情報は、推定した前記作業の作業名であり、
前記信頼度が閾値未満である作業についての前記作業更新欄は、空欄であることを特徴とする前記２６に記載の作業分析方法。
【０１４３】
２８．前記確認情報を出力する工程では、推定した前記作業ごとに、前記作業の前記開始時刻から前記終了時刻までの前記区間動画のリンクを表示させることを特徴とする前記２５から２７のいずれかに記載の作業分析方法。
【０１４４】
２９．前記作業情報を取得する工程では、作業者に装着される加速度センサによって前記作業情報を取得することを特徴とする前記２０から２８のいずれかに記載の作業分析方法。
【０１４５】
３０．前記作業動画を取得する工程では、ビデオカメラにより、作業者から離間した位置から作業者を撮影して前記作業動画を取得することを特徴とする請求項２０から２９のいずれかに記載の作業分析方法。
【０１４６】
３１．前記作業動画を取得する工程では、ビデオカメラにより、作業者から離間した位置から作業者を撮影して前記作業動画を取得するとともに、前記作業動画の各フレーム画像を前記作業情報として取得することを特徴とする請求項２０から２８のいずれかに記載の作業分析方法。
【０１４７】
３２．学習データを用いて機械学習部の作業推定のパラメータを調整する工程をさらに含み、
前記作業を推定する工程では、前記機械学習部によって前記作業を推定し、
前記学習データは、前記作業情報と、前記作業情報を入力として推定される作業の正解データとを紐付けた第１学習データを含むことを特徴とする前記２０から３１のいずれかに記載の作業分析方法。
【０１４８】
３３．前記信頼度は、前記機械学習部によって算出される前記作業の確からしさを示すスコアまたは確率であることを特徴とする前記３２に記載の作業分析方法。
【０１４９】
３４．前記学習データは、
前記作業情報と、前記作業情報を入力として推定した、前記信頼度が閾値以上である作業とを紐付け、前記作業を正解データとする第２学習データと、
前記作業情報と、前記作業情報を入力として推定した、前記信頼度が閾値未満である作業を、外部からの指示入力によって更新した作業とを紐付け、前記更新した作業を正解データとする第３学習データとをさらに含むことを特徴とする前記３２または３３に記載の作業分析方法。
【０１５０】
以上、本発明の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で拡張または変更して実施することができる。例えば、各実施の形態の構成を適宜組み合わせて作業分析システムを構築し、作業分析を行うことも勿論可能である。
【産業上の利用可能性】
【０１５１】
本発明は、例えば作業者が行っている作業を分析するシステムに利用可能である。
【符号の説明】
【０１５２】
１      作業分析システム
２      作業動画取得部
３      作業情報取得部
２１      ビデオカメラ（作業動画取得部、作業情報取得部）
２２      カメラ計時部（時刻情報取得部）
２３      映像取得部（作業動画取得部）
２４      虚像表示装置（作業動画取得部、映像取得部）
２６      装置計時部（時間情報取得部）
３１      加速度センサ（作業情報取得部）
３２      センサ計時部（時刻情報取得部）
４１      入力部
４２      記憶部
４３      確認情報出力部
４３ａ    表示部
４６      主制御部（リスト作成部）
４７      表示制御部
４８      作業推定部
４８ａ    機械学習部
４９      作業紐付け部
５０      動画再生部
【図１】
2020091801.tif 000003
【図２】
2020091801.tif 000004
【図３】
2020091801.tif 000005
【図４】
2020091801.tif 000006
【図５】
2020091801.tif 000007
【図６】
2020091801.tif 000008
【図７】
2020091801.tif 000009
【図８】
2020091801.tif 000010
【図９】
2020091801.tif 000011
【図１０】
2020091801.tif 000012
【図１１】
2020091801.tif 000013
【図１２】
2020091801.tif 000014
【図１３】
2020091801.tif 000015
【図１４】
2020091801.tif 000016
【図１５】
2020091801.tif 000017
【図１６】
2020091801.tif 000018
【図１７】
2020091801.tif 000019
【図１８】
2020091801.tif 000020