(57)【要約】【課題】より効率的に作業者の習熟を支援する技術の提供を目的とする。【解決手段】作業習熟支援装置であって、基準外作業の条件を含む基準外作業モデル情報と、作業内容を示す情報及び作業に用いる部品を示す情報を含む作業手順情報と、作業所内部を撮影した作業所内部画像とを記憶する記憶部と、前記作業所内部画像から１又は複数の作業者の骨格時系列情報を取得する骨格時系列情報取得部と、前記骨格時系列情報が前記条件に該当するか否かを判定する基準外作業抽出部と、前記条件に該当すると判定された基準外作業について、前記作業所内部画像を用いて作業対象の前記部品を特定する部品特定部と、前記部品特定部に特定された前記部品を用いて前記作業手順情報を参照し、基準外作業の前記作業内容を特定する作業内容特定部と、を備えることを特徴とする。【選択図】  図１
2020086697.tif 000002
【特許請求の範囲】
【請求項１】
基準外作業の条件を含む基準外作業モデル情報と、作業内容を示す情報及び作業に用いる部品を示す情報を含む作業手順情報と、作業所内部を撮影した作業所内部画像とを記憶する記憶部と、
前記作業所内部画像から１又は複数の作業者の骨格時系列情報を取得する骨格時系列情報取得部と、
前記骨格時系列情報が前記条件に該当するか否かを判定する基準外作業抽出部と、
前記条件に該当すると判定された基準外作業について、前記作業所内部画像を用いて作業対象の前記部品を特定する部品特定部と、
前記部品特定部に特定された前記部品を用いて前記作業手順情報を参照し、基準外作業の前記作業内容を特定する作業内容特定部と、
を備えることを特徴とする、作業習熟支援装置。
【請求項２】
請求項１に記載の作業習熟支援装置であって、
前記記憶部は、複数の前記部品の設計情報を記憶しており、
前記部品特定部は、前記作業所内部画像に含まれる前記部品と、前記設計情報に含まれる前記部品との類似度を算出することにより、前記基準外作業で用いられた前記部品を特定することを特徴とする、作業習熟支援装置。
【請求項３】
請求項１に記載の作業習熟支援装置であって、
前記作業内容特定部により特定された前記基準外作業の作業内容の一覧を表示する基準外作業一覧画面の表示情報を生成する表示情報生成部を備えることを特徴とする、作業習熟支援装置。
【請求項４】
請求項３に記載の作業習熟支援装置であって、
前記作業所内部画像を用いて、前記基準外作業を撮影した基準外作業画像を生成する画像生成部を備え、
前記表示情報生成部は、前記基準外作業一覧画面で選択された前記基準外作業の前記基準外作業画像か、又は前記基準外作業に対応する前記作業手順情報の少なくとも一方を表示することを特徴とする、作業習熟支援装置。
【請求項５】
請求項４に記載の作業習熟支援装置であって、
前記表示情報生成部は、前記基準外作業画像の表示画面又は前記作業手順情報の表示画面に対し確認ボタンを表示させるとともに、前記確認ボタンの入力回数を含む基準外作業確認画面の表示情報を生成することを特徴とする、作業習熟支援装置。
【請求項６】
請求項１に記載の作業習熟支援装置であって、
前記基準外作業抽出部は、前記作業所内部画像を用いて所定の方法で短縮可能時間を取得するとともに、同じ前記基準外作業の作業内容に対し複数の前記短縮可能時間が取得された場合に該短縮可能時間を累積した累積短縮可能時間を算出することを特徴とする、作業習熟支援装置。
【請求項７】
請求項１に記載の作業習熟支援装置であって、
前記基準外作業モデル情報は、作業を停止していることを示す前記条件を含み、
前記基準外作業抽出部は、前記条件に該当するか否かを判定することにより、作業を停止している状況を前記基準外作業として抽出することを特徴とする、作業習熟支援装置。
【請求項８】
請求項１に記載の作業習熟支援装置であって、
前記記憶部は、作業領域を特定する作業領域情報と、準備領域を特定する準備領域情報とを記憶しており、
前記部品特定部は、前記作業所内部画像において前記作業領域に表示された情報と、前記準備領域に表示された情報とを用いて、前記部品を特定することを特徴とする、作業習熟支援装置。
【請求項９】
請求項８に記載の作業習熟支援装置であって、
前記部品特定部は、前記骨格時系列情報を参照し、前記作業者の体の少なくとも一部である基準箇所が前記準備領域から前記作業領域に移動した基準タイミングにおける前記作業所内部画像と、前記基準タイミングより前の時期において前記作業者の体のうち少なくとも前記基準箇所が前記作業領域にないタイミングにおける前記作業所内部画像と、前記基準タイミングより後の時期において前記作業者の体のうち少なくとも前記基準箇所が前記作業領域の外に移動したタイミングにおける前記作業所内部画像と、を用いて、前記部品を特定することを特徴とする、作業習熟支援装置。
【請求項１０】
通信可能に接続された作業習熟支援装置とユーザ端末装置とを備える作業習熟支援システムであって、
前記作業習熟支援装置は、
基準外作業の条件を含む基準外作業モデル情報と、作業内容を示す情報及び作業に用いる部品を示す情報を含む作業手順情報と、作業所内部を撮影した作業所内部画像とを記憶する記憶部と、
前記作業所内部画像から１又は複数の作業者の骨格時系列情報を取得する骨格時系列情報取得部と、
前記骨格時系列情報が前記条件に該当するか否かを判定する基準外作業抽出部と、
前記条件に該当すると判定された基準外作業について、前記作業所内部画像を用いて前記部品を特定する部品特定部と、
前記部品特定部に特定された前記部品を用いて前記作業手順情報を参照し、基準外作業の前記作業内容を特定する作業内容特定部と、を備え、
前記ユーザ端末装置は、
前記作業習熟支援装置に対して前記基準外作業の作業内容を要求して応答を受け付ける基準外作業要求部と、
前記基準外作業の作業内容を出力する出力部と、
を備えることを特徴とする、作業習熟支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業習熟支援装置、及び作業習熟支援システムに関する。
【背景技術】
【０００２】
製品の生産作業を支援するための種々の技術が存在する。
【０００３】
特許文献１には、段落[００５０]に、「本実施形態では、カメラ１５０により作業者１４０の作業の様子を撮像し、当該作業の作業時間の短さの観点から選択した上位３作業の動画と、下位３作業の動画をサーバ１０１内に記録する。上位３作業の動画は、効率よく作業を行った場合のサンプル動画として保存され、下位３作業の動画は、効率よく作業を行えなかった場合のサンプル動画として保存される。」と記載されている。なお、段落［００４９］には、「ワースト３の作業を行った場合、その旨が管理者およびその他の関係者に通知される。」と記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３４２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
生産作業を支援するために、作業者の習熟を促すシステムが望まれる。習熟度合いの低い作業が特定できれば、習熟の適切な支援が可能となる。
【０００６】
特許文献１に開示された技術では、作業時間の長い動画が、効率よく作業を行えなかった場合の動画であると判定される。しかしながら、本判定を行うためには、作業単位毎に動画が生成されるように調整する必要があり、煩雑である。
【０００７】
本発明は、上記の点に鑑みてなされたものであって、より効率的に作業者の習熟を支援する技術の提供を目的とする。
【課題を解決するための手段】
【０００８】
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。
【０００９】
上記課題を解決するため、本発明の作業習熟支援装置は、基準外作業の条件を含む基準外作業モデル情報と、作業内容を示す情報及び作業に用いる部品を示す情報を含む作業手順情報と、作業所内部を撮影した作業所内部画像とを記憶する記憶部と、前記作業所内部画像から１又は複数の作業者の骨格時系列情報を取得する骨格時系列情報取得部と、前記骨格時系列情報が前記条件に該当するか否かを判定する基準外作業抽出部と、前記条件に該当すると判定された基準外作業について、前記作業所内部画像を用いて作業対象の前記部品を特定する部品特定部と、前記部品特定部に特定された前記部品を用いて前記作業手順情報を参照し、基準外作業の前記作業内容を特定する作業内容特定部と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、より効率的に作業者の習熟を支援する技術を提供することができる。
【００１１】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１２】
【図１】作業習熟支援システムの機能ブロック図の一例を示す図である。
【図２】作業習熟支援装置のハードウェア構成の一例を示す図である。
【図３】作業実績情報のデータ構造の一例を示す図である。
【図４】作業手順情報のデータ構造の一例を示す図である。
【図５】基準外作業モデル情報のデータ構造の一例を示す図である。
【図６】基準外作業抽出設定情報のデータ構造の一例を示す図である。
【図７】基準外作業出力処理の一例を示すフローチャートである。
【図８】骨格時系列情報生成処理の一例を示すフローチャートである。
【図９】骨格時系列情報のデータ構造の一例を示す図である。
【図１０】基準外作業抽出処理の一例を示すフローチャートである。
【図１１】基準外作業抽出結果情報のデータ構造の一例を示す図である。
【図１２】基準外作業画像生成処理の一例を示すフローチャートである。
【図１３】部品特定処理の一例を示すフローチャートである。
【図１４】作業領域及び準備領域を説明するための図である。図１４Ａは、作業領域及び準備領域のイメージ図である。図１４Ｂは、作業領域を特定する情報の一例である。図１４Ｃは、準備領域を特定する情報の一例である。
【図１５】記憶部の作業領域の一部に記憶する情報のデータ構造の一例を示す図である。図１５Ａは、算出した類似度を含む類似度情報のデータ構造の一例である。図１５Ｂは、作業手順参照情報のデータ構造の一例である。
【図１６】基準外作業一覧画面の一例を示す図である。
【図１７】基準外作業画像表示画面の一例を示す図である。
【図１８】作業手順情報表示画面の一例を示す図である。
【図１９】基準外作業確認画面の一例を示す図である。
【図２０】作業者情報表示画面の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に基づいて本発明の実施形態の例を説明する。図１は、作業習熟支援システム１の機能ブロック図の一例を示す図である。作業習熟支援システム１は、作業習熟支援装置１００と、ユーザ端末装置２００とを有する。作業習熟支援装置１００は、１又は複数のユーザ端末装置２００と、ネットワークＮを介して通信可能に接続されている。
【００１４】
作業習熟支援装置１００は、ＰＣ（Personal Computer）、又はサーバコンピュータ等の端末装置である。ユーザ端末装置２００は、ＰＣ、又はスマートフォン等の端末装置である。図１には、１つの作業習熟支援装置１００に対し、１つのユーザ端末装置２００が接続されている状態が示されているが、装置数はこれに限定されない。
【００１５】
本実施形態において、作業習熟支援装置１００は、基準外作業を抽出することにより、作業者の作業の習熟を支援する。なお、基準外作業とは、予め設定された基準に満たない作業、又は基準を超えた作業をいう。本実施形態において、基準外作業と判定された場合、作業者の習熟が必要であるものと取り扱われる。
【００１６】
ユーザ端末装置２００は、一例として、作業者により操作される。その際、作業習熟支援装置１００は、ユーザ端末装置２００からの要求に応じて、基準外作業を示す情報を送信する。他の例として、ユーザ端末装置２００は、作業の監督者により操作される。その際、作業習熟支援装置１００は、ユーザ端末装置２００からの要求に応じて、基準外作業を示す情報や、作業者の確認状況を示す情報を送信する。
【００１７】
作業習熟支援装置１００は、制御部１１０と、記憶部１２０と、入力部１４０と、出力部１５０と、通信部１６０とを備える。制御部１１０は、作業習熟支援装置１００全体を統括的に制御する。記憶部１２０は、作業習熟支援装置１００に入力された情報や、作業習熟支援装置１００の処理過程で生成された情報を記憶する。
【００１８】
入力部１４０は、後述の入力装置１６１を用いてユーザからの入力操作を受け付ける。出力部１５０は、ディスプレイ等の出力装置に対して情報を出力させる。通信部１６０は、ユーザ端末装置２００との間で情報を送信及び受信する。
【００１９】
制御部１１０は、骨格時系列情報取得部１１１と、基準外作業抽出部１１２と、部品特定部１１３と、作業内容特定部１１４と、画像生成部１１５と、表示情報生成部１１６と、を備える。骨格時系列情報取得部１１１は、作業所の内部を撮影した作業所内部画像から、１又は複数の作業者の骨格時系列情報を取得する。骨格時系列情報取得部１１１は、骨格を推定することを学習したアルゴリズムを用いて、作業所内部画像に映っている人物を検出し、骨格時系列情報を取得する。当該アルゴリズムは、例えばＣＮＮ（Convolutional Neural Network）等の学習モデルにより生成され、ＨＤＦ（Hierarchical Data Format）５形式等のフォーマットで予め作業習熟支援装置１００に記憶されている。当該アルゴリズムを、骨格抽出用モデルとして説明する。
【００２０】
基準外作業抽出部１１２は、骨格時系列情報を参照し、作業者の作業が基準外作業に該当するか否かを判定する。基準外作業抽出部１１２は、骨格時系列情報を用いて作業の特徴量を算出し、該作業が予め定められた基準外作業の条件を満たすか否かを判定する。
【００２１】
また、基準外作業抽出部１１２は、作業所内部画像を用いて所定の方法で短縮可能時間を取得するとともに、同じ基準外作業の作業内容に対して取得された短縮可能時間を累積した累積短縮可能時間を算出する。なお、短縮可能時間とは、基準外作業がなかった場合に要しなかったであろう時間であって、基準外作業抽出結果情報に含まれる短縮可能時間と対応している。
【００２２】
部品特定部１１３は、基準外作業で用いられた部品を特定する。部品特定部１１３は、作業所内部画像に含まれる部品を特定する。より具体的には、部品特定部１１３は、作業所内部画像に含まれる部品の画像と、部品の設計情報に含まれる画像との類似度を算出することにより、基準外作業の作業対象となる部品を特定する。
【００２３】
作業内容特定部１１４は、部品特定部１１３により特定された部品を用いて後述の作業手順情報を参照することにより、基準外作業の作業内容を特定する。画像生成部１１５は、作業所内部画像を用いて、基準外作業を撮影した基準外作業画像を生成する。
【００２４】
表示情報生成部１１６は、ユーザ端末装置２００から要求された画像の表示情報を生成する。例えば、表示情報生成部１１６は、基準外作業の作業内容の一覧を表示する基準外作業一覧画面と、基準外作業画像や作業手順情報の確認回数を含む基準外作業確認画面との少なくとも一方の表示情報を生成する。また例えば、表示情報生成部１１６は、基準外作業について生成された基準外作業画像や、基準外作業の作業手順情報を含む画面の表示情報を生成する。
【００２５】
記憶部１２０は、作業実績情報記憶部１２１と、作業関連情報記憶部１２２と、作業手順情報記憶部１２３と、基準外作業モデル情報記憶部１２４と、基準外作業抽出設定情報記憶部１２５と、作業所内部画像記憶部１２６と、設計情報記憶部１２７と、骨格時系列情報記憶部１２８と、領域情報記憶部１２９と、基準外作業抽出結果情報記憶部１３０と、を備える。
【００２６】
作業実績情報記憶部１２１は、作業実績を示す作業実績情報を記憶している。作業関連情報記憶部１２２は、作業に関連する情報である作業関連情報を記憶している。作業手順情報記憶部１２３は、作業内容を示す情報及び作業に用いる部品を示す情報を含む作業手順情報を記憶している。作業手順情報には、一般的に作業手順のマニュアルとして用いられる作業手順書が含まれる。
【００２７】
基準外作業モデル情報記憶部１２４は、基準外作業の条件を含む基準外作業モデル情報を記憶している。基準外作業モデル情報は、例えば作業者の骨格の位置に基づいて、作業者の実行した作業が基準外作業であるか否かを判定するための条件が含まれる。基準外作業抽出設定情報記憶部１２５は、基準外作業の抽出に用いる設定情報を含む基準外作業抽出設定情報を記憶している。
【００２８】
設計情報記憶部１２７は、複数の部品の設計情報を記憶している。設計情報には、製品の名前である製品名と、製品の描画情報（即ち３次元モデル情報）と、製品を構成する部品の名前である部品名と、部品の描画情報と、製品に対する部品の相対的な位置情報とが含まれる。設計情報は、例えばＣＡＤ等の設計支援ソフトウェアの情報である。
【００２９】
作業所内部画像記憶部１２６は、作業所の内部を撮影した１又は複数の作業所内部画像を記憶している。作業所内部画像記憶部１２６には、作業所内部画像毎に、作業所内部画像を撮影した際のカメラの設置位置や、焦点距離、画角、歪み率等のカメラ設定情報が記憶されている。骨格時系列情報記憶部１２８は、作業所内部画像を用いて抽出される作業者の骨格時系列情報を記憶している。骨格時系列情報は、後述する骨格時系列情報生成処理により生成される。
【００３０】
領域情報記憶部１２９は、作業所内部画像において作業の行われている領域である作業領域を特定する作業領域情報と、作業の準備が行われている領域である準備領域を特定する準備領域情報と、を記憶している。基準外作業抽出結果情報記憶部１３０は、後述する基準外作業抽出処理によって抽出された基準外作業に関する情報を含む基準外作業抽出結果情報を記憶している。
【００３１】
ユーザ端末装置２００は、制御部２１０と、入力部２２０と、出力部２３０と、通信部２４０とを備える。制御部２１０は、ユーザ端末装置２００全体を統括的に制御する。入力部２２０は、入力装置を介してユーザからの入力操作を受け付ける。出力部２３０は、ディスプレイ等の出力装置に対して情報を出力させる。例えば、出力部２３０は、作業習熟支援装置１００から送信された表示情報を用いて、基準外作業一覧画面や基準外作業確認画面を出力装置に表示させる。通信部２４０は、作業習熟支援装置１００との間で情報を送信及び受信する。
【００３２】
制御部２１０は、基準外作業要求部２１１を備える。基準外作業要求部２１１は、作業者又は監督者による入力操作に応じて作業習熟支援装置１００に対して基準外作業を示す情報を要求する。
【００３３】
図２は、作業習熟支援装置１００のハードウェア構成の一例を示す図である。作業習熟支援装置１００は、入力装置１６１と、出力装置１６２と、外部記憶装置１６３と、演算装置１６４と、主記憶装置１６５と、通信装置１６６と、を備え、各構成要素はバス１６７により接続されている。
【００３４】
入力装置１６１は、ユーザからの入力操作を受け付ける装置であり、例えばタッチパネル、キーボード、マウス、マイク等である。出力装置１６２は、作業習熟支援装置１００に格納されたデータの出力処理を行う装置であって、例えばＬＣＤ（Liquid Crystal Display）等の表示装置、又はプリンタ等である。入力部１４０は入力装置１６１を用いることができ、出力部１５０は出力装置１６２を用いることができる。
【００３５】
外部記憶装置１６３は、例えばＨＤＤ（Hard Disk Drive）等の書き込み及び読み出し可能な記憶メディアである。演算装置１６４は、ＣＰＵ等の中央演算装置であって、主記憶装置１６５又は外部記憶装置１６３に記録されたプログラムに従って処理を実行する。制御部１１０を構成する各処理部は、演算装置１６４がプログラムを実行することにより各々の機能を実現する。
【００３６】
主記憶装置１６５は、ＲＡＭ（Random Access Memory）等の記憶装置であり、プログラムやデータが一時的に読み出される記憶エリアとして機能する。通信装置１６６は、作業習熟支援装置１００をネットワークＮに接続するための装置であって、例えばＮＩＣ（Network Interface Card）等の通信デバイスである。
【００３７】
記憶部１２０は、主記憶装置１６５又は外部記憶装置１６３によりその機能が実現される。また、記憶部１２０は、ネットワークＮ上の記憶装置によってその機能が実現されてもよい。
【００３８】
なお、作業習熟支援装置１００の各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、作業習熟支援装置１００の各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。
【００３９】
ユーザ端末装置２００は、作業習熟支援装置１００と同様のハードウェア構成を有する。そのため、ユーザ端末装置２００のハードウェア構成については、説明を省略する。
【００４０】
図３は、作業実績情報３００のデータ構造の一例を示す図である。作業実績情報３００は、作業実績識別子３０１と、工程名３０２と、作業所名３０３と、作業者３０４と、作業着手時期３０５と、作業完了時期３０６と、動画ファイル３０７と、製品名３０８と、骨格３０９と、を有する。
【００４１】
作業実績識別子３０１は、作業実績情報３００のレコードを特定する識別情報である。工程名３０２は、作業の工程の名称を示す情報である。作業所名３０３は、作業の行われた場所を示す情報である。作業者３０４は、作業実績識別子３０１により特定される作業を行った作業者を示す情報である。作業着手時期３０５及び作業完了時期３０６は、作業者が作業に着手した時刻、及び作業が完了した時刻を示す情報である。一例として、作業着手時期３０５及び作業完了時期３０６は、作業所内部画像の撮影開始時刻、及び撮影終了時刻であってよい。
【００４２】
動画ファイル３０７は、作業実績識別子３０１により特定される作業を撮影した作業所内部画像の格納先を示す情報である。即ち、動画ファイル３０７を参照することで、作業を実行している際の作業所内部の画像を特定することができる。製品名３０８は、作業により生成される製品を特定する情報である。
【００４３】
骨格３０９は、動画ファイル３０７に基づいて生成される骨格情報の記録用ファイル（例えばＣＳＶ（Comma-Separated Values）ファイル）の格納先を示す情報である。記録用ファイルに基づいて、骨格時系列情報が生成される。なお、図３に示す作業実績情報３００は、後述する骨格時系列情報生成処理が実行される前の情報であるため、記録用ファイルが生成されていない。そのため、骨格３０９には、データが存在しないことを示す「Ｎｕｌｌ」が格納されている。
【００４４】
図４は、作業関連情報４００のデータ構造の一例を示す図である。作業関連情報４００は、製品名４０１と、工程名４０２と、作業手順情報識別子４０３と、設計情報名４０４とを有する。製品名４０１は、作業の対象となる製品を示す情報である。
【００４５】
工程名４０２は、作業の工程を示す情報であって、図３の作業実績情報３００の工程名３０２と対応している。なお、製品は、１又は複数の工程を経て生成される。本実施形態の作業関連情報４００は、例えば製品名４０１と工程名４０２との組み合わせに対して、作業手順情報識別子４０３が一意に設定される。この点において、工程名４０２とは、作業手順の名称であるともいえる。なお、１つの作業工程は、１又は複数の作業内容により構成される。
【００４６】
作業手順情報識別子４０３は、作業手順情報を特定する識別情報である。作業手順情報識別子４０３は、図４に示すように、作業手順情報の格納先を示す情報であってもよい。設計情報名４０４は、製品の設計情報を特定する情報である。
【００４７】
図５は、基準外作業モデル情報５００のデータ構造の一例を示す図である。基準外作業モデル情報５００は、識別子５０１と、名称５０２と、上限５０３と、下限５０４と、説明５０５と、を有する。識別子５０１は、基準外作業モデル情報５００のレコードを特定する識別情報である。名称５０２は、基準外作業の条件の名称を示す情報である。
【００４８】
上限５０３は、基準外作業に該当する場合の所定の特徴量の上限を示す値である。下限５０４は、基準外作業に該当する場合の所定の特徴量の下限を示す値である。説明５０５は、基準外作業の条件を説明するための情報である。説明５０５を参照することにより、上限５０３及び下限５０４に含まれる特徴量の種別を特定することができる。
【００４９】
なお、図５に示す基準外作業モデル情報５００において、説明５０５により特定される特徴量の種別に対する上限５０３及び下限５０４は、基準外作業の条件であるものと取り扱われる。付言すれば、基準外作業モデル情報５００における基準外作業の条件は、特徴量の上限値及び下限値に限定されない。基準外作業モデル情報５００は、特徴量を用いて、基準外作業であるか否かを判定できる情報を含むものであればよい。以下、便宜上、基準外作業モデル情報５００に含まれる基準外作業の条件が、図５に示す基準外作業モデル情報５００と同様に上限値及び下限値により特定しうる例を用いて説明する。
【００５０】
図５に示す基準外作業モデル情報５００の最上位のレコードの説明５０５には、「フレーム間の右手座標ｘｙの差の絶対値をフレーム分累積したもの」とある。即ち、当該レコードは、「フレーム間の右手座標ｘｙの差の絶対値をフレーム分累積」した種別の特徴量に関する基準外作業の条件を示すものと考えることができる。右手座標ｘｙの差の絶対値をフレーム分累積した値（特徴量）が、上限５０３である「１０」以下であって、かつ下限５０４である「０」以上である場合に、基準外情報であると取り扱われる。
【００５１】
また、上から２番目のレコードの説明５０５には、「右手のｘｙ座標の和をフレーム数で割ったもの」と記載されている。即ち、当該レコードは、「右手のｘｙ座標の和をフレーム数で割った」種別の特徴量に関する基準外作業の条件を示す。以上のように、説明５０５を参照することで、基準外作業の判断基準となる特徴量の種別を特定することができるが、特徴量の種別は、基準外作業モデル情報５００とは別に、特徴量抽出ライブラリとして記憶部１２０に記憶されていてもよい。
【００５２】
図６は、基準外作業抽出設定情報６００のデータ構造の一例を示す図である。基準外作業抽出設定情報６００は、識別子６０１と、名称６０２と、設定値６０３と、説明６０４とを含む。識別子６０１は、基準外作業抽出設定情報６００のレコードを特定する識別情報である。
【００５３】
名称６０２は、後述の設定値６０３の種別を示す情報である。設定値６０３は、名称６０２により特定される種別に対して設定された値である。説明６０４は、設定された値の性質を説明するための情報である。
【００５４】
図７は、基準外作業出力処理の一例を示すフローチャートである。本処理は、例えば作業習熟支援装置１００が、ユーザ端末装置２００の基準外作業要求部２１１から、基準外作業の要求を受け付けると開始される。なお、基準外作業要求部２１１が、後述する基準外作業一覧画面の表示情報や、基準外作業確認画面の表示情報を作業習熟支援装置１００に要求した場合に、基準外作業の要求が送信されたものと取り扱う。
【００５５】
まず、基準外作業抽出部１１２は、作業所内部画像と、作業手順情報と、設計情報と、基準外作業モデル情報とを読み込む（ステップＳ１０１）。具体的には、基準外作業抽出部１１２は、作業実績情報３００を参照し、基準外作業出力処理の対象となるレコードを特定する。一例として、基準外作業抽出部１１２は、ユーザ端末装置２００からの基準外作業の要求を示す情報を参照することにより、対象となる作業実績情報３００のレコードを特定する。例えば、所定の日付の基準外作業が要求された場合、基準外作業抽出部１１２は、当該日付と作業着手時期３０５が対応する作業実績情報３００のレコードを抽出し、抽出したレコードの各々について以下の処理を実行する。
【００５６】
また、基準外作業抽出部１１２は、特定したレコードの動画ファイル３０７を参照することにより、作業所内部画像を特定して記憶部１２０の作業領域に読み込む。また、基準外作業抽出部１１２は、特定したレコードの工程名３０２と製品名３０８との組み合わせを用いて作業関連情報４００を参照し、該組み合わせに対応する工程名４０２と製品名４０１とを含むレコードを特定する。基準外作業抽出部１１２は、特定した作業関連情報４００のレコードに含まれる作業手順情報識別子４０３を用いて作業手順情報記憶部１２３を参照し、該当する作業手順情報を記憶部１２０の作業領域に読み込む。
【００５７】
また、基準外作業抽出部１１２は、特定した作業関連情報４００のレコードに含まれる設計情報名４０４を用いて設計情報記憶部１２７を参照し、該当する設計情報を記憶部１２０の作業領域に読み込む。また、基準外作業抽出部１１２は、基準外作業モデル情報５００を記憶部１２０の作業領域に読み込む。
【００５８】
次に、骨格時系列情報取得部１１１は、作業所内部画像から骨格時系列情報を生成する（ステップＳ１０２）。
【００５９】
図８は、骨格時系列情報生成処理の一例を示すフローチャートである。本図は、図７のステップＳ１０２で行われる処理をより詳細に説明するものである。
【００６０】
まず、骨格時系列情報取得部１１１は、骨格抽出用モデルを読み込む（ステップＳ１０２１）。具体的には、骨格時系列情報取得部１１１は、作業所内部画像から骨格を推定するために予め生成された骨格抽出用モデルを、記憶部１２０の作業領域に読み込む。なお、骨格時系列情報取得部１１１は、図７のステップＳ１０１で読み込んだ作業所内部画像について、以下の処理を実行する。
【００６１】
次に、骨格時系列情報取得部１１１は、作業実績情報３００を更新する（ステップＳ１０２２）。具体的には、骨格時系列情報取得部１１１は、読み込んだ作業所内部画像を含む作業実績情報３００のレコード中の骨格３０９に対応する箇所に、後述する骨格情報の格納先を示す情報を入力し、作業実績情報３００を更新する。
【００６２】
次に、骨格時系列情報取得部１１１は、作業所内部画像の総フレーム数をＭとし、処理を実行するフレーム番号を示す変数ｍを０にする（ステップＳ１０２３）。
【００６３】
次に、骨格時系列情報取得部１１１は、ｍフレーム目の骨格位置を出力する（ステップＳ１０２４）。具体的には、骨格時系列情報取得部１１１は、ｍフレーム目の作業所内部画像を、ステップＳ１０２１で読み込んだ骨格抽出用モデルに入力し、ｍフレーム目の骨格情報を得る。得た骨格情報は、記録用ファイル（例えばＣＳＶファイル）として記憶部１２０に格納する。なお、格納先は、ステップＳ１０２２において作業実績情報３００に入力した格納先である。
【００６４】
次に、骨格時系列情報取得部１１１は、ｍフレーム目の骨格時系列情報を生成する（ステップＳ１０２５）。具体的には、骨格時系列情報取得部１１１は、ステップＳ１０２４で出力した骨格情報を用いて、ｍフレーム目の撮影時刻と作業者の骨格の位置とを関連付けた骨格時系列情報を生成する。骨格時系列情報については、後に詳述する。
【００６５】
次に、骨格時系列情報取得部１１１は、ｍに１を加える（ステップＳ１０２６）。
【００６６】
次に、骨格時系列情報取得部１１１は、ｍ≧Ｍであるか否かを判定する（ステップＳ１０２７）。骨格時系列情報取得部１１１は、ｍ≧Ｍであると判定する場合（ステップＳ１０２７で「ＹＥＳ」の場合）、本フローチャートの処理を終了する。その後、図７のステップＳ１０３に処理が移行する。
【００６７】
骨格時系列情報取得部１１１が、ｍ≧Ｍでないと判定する場合（ステップＳ１０２７で「ＮＯ」と判定する場合）、骨格時系列情報取得部１１１は、処理をステップＳ１０２４に移行する。即ち、骨格情報及び骨格時系列情報を生成したフレームに連続する他のフレームについて、ステップＳ１０２４以降の処理が実行される。
【００６８】
図９は、骨格時系列情報７００のデータ構造の一例を示す図である。骨格時系列情報７００は、識別子７０１と、時刻７０２と、骨格位置７０３とを有する。識別子７０１は、骨格時系列情報７００のレコードを特定する識別情報である。時刻７０２は、時刻を示す情報である。
【００６９】
なお、骨格時系列情報取得部１１１は、前述したように、作業所内部画像の所定フレームから骨格情報を生成し、骨格情報から骨格時系列情報７００を生成するが、当該所定フレームが撮影された時刻が、時刻７０２となる。例えば、骨格時系列情報取得部１１１は、作業所内部画像を特定する動画ファイル３０７を含む作業実績情報３００の作業着手時期に、１フレーム当たりの時間とフレーム番号を乗じて得た値を加算することにより、時刻７０２を算出する。
【００７０】
骨格位置７０３は、時刻７０２における作業者の骨格の位置を示す情報である。骨格位置７０３は、例えば図９に示すように、頭７０３ａ、首７０３ｂ、右肩７０３ｃ等の、作業者の関節を示す情報に対し、関節の位置が関連付けられた情報である。関節の位置は、例えば図９に示すように、作業所内部画像に対する２次元座標により表される。なお、骨格位置７０３は、例えば作業所等の実空間における関節位置が３次元座標で表されたものであってもよい。骨格の位置が特定可能な情報であればよい。
【００７１】
付言すれば、図９に示す骨格時系列情報７００は、１名の作業者の骨格位置を含んでいる。しかしながら、例えば複数人が作業所内部画像に含まれている場合、各作業者に対し骨格情報及び骨格時系列情報７００が生成されてもよい。
【００７２】
以上の骨格時系列情報生成処理では、作業所内部画像の各フレームに対して生成された骨格情報に基づいて、１フレーム毎に骨格時系列情報７００が生成された。しかしながら、作業所内部画像から骨格情報を生成する間隔、及び骨格情報から骨格時系列情報７００を生成する間隔については、これに限られない。例えば、作業所内部画像の連続するフレームのうち、所定数のフレームを隔てて骨格情報が生成されてもよい。また例えば、連続する複数の骨格情報のレコードのうち、所定数のレコードを隔てて骨格時系列情報７００が生成されてもよい。
【００７３】
また、骨格時系列情報７００の生成タイミングは、図８に示す例に限定されない。例えば、作業所内部画像の全フレーム（又は所定数を隔てたフレーム）に対して骨格情報を生成した後に、骨格時系列情報７００を生成してもよい。
【００７４】
説明を図７に戻す。次に、基準外作業抽出部１１２及び画像生成部１１５は、骨格時系列情報７００と基準外作業モデル情報５００とを用いて、基準外作業の抽出と画像の生成を行う（ステップＳ１０３）。
【００７５】
図１０は、基準外作業抽出処理の一例を示すフローチャートである。本フローチャートは、図７のステップＳ１０３で行われる処理をより詳細に説明するものである。
【００７６】
まず、基準外作業抽出部１１２は、図８に示すステップＳ１０２５で生成された骨格時系列情報７００の総レコード数をＮとし、処理を実行するフレーム番号を示す変数ｎを０にする（ステップＳ１０３１）。
【００７７】
次に、基準外作業抽出部１１２は、ｎ〜ｎ＋ｈ行目の骨格時系列情報７００を読み込む（ステップＳ１０３２）。変数ｈは、予め設定された探索フレーム幅であって、基準外作業抽出部１１２は、基準外作業抽出設定情報６００を参照することにより、名称６０２が「探索フレーム幅」であるレコードに含まれる設定値６０３を変数ｈに代入する。基準外作業抽出部１１２は、ｎフレームの撮影時刻と、ｎ＋ｈフレームの撮影時刻とを取得し、ｎフレームの時刻を始期とし、ｎ＋ｈフレームを終期とする期間を特定する。基準外作業抽出部１１２は、骨格時系列情報７００の時刻７０２を参照し、特定した期間に対応するレコードを記憶部１２０の作業領域に読み込む。
【００７８】
次に、基準外作業抽出部１１２は、基準外作業モデル情報５００の種別に応じた特徴量を抽出する（ステップＳ１０３３）。具体的には、基準外作業抽出部１１２は、基準外作業モデル情報５００を参照し、特徴量を抽出するレコードを１つ特定する。例えば、図５に示す基準外モデル情報の最上位のレコードを特定したものとして説明する。当該レコードの説明５０５には、特徴量の種別として、「フレーム間の右手座標ｘｙの差の絶対値をフレーム分累積したもの」と記載されている。
【００７９】
基準外作業抽出部１１２は、基準外作業モデル情報５００の種別に応じた特徴量として、ステップＳ１０３２で読み込んだ骨格時系列情報７００を用いて、「フレーム間の右手座標ｘｙの差の絶対値をフレーム分累積した」値を求める。基準外作業抽出部１１２は、基準外モデル情報の有する各レコードについて、骨格時系列情報７００を用いて特徴量を抽出する。その結果として、基準外作業モデル情報５００のレコードの数の特徴量が抽出される。
【００８０】
なお、基準外作業抽出部１１２は、基準外作業モデル情報５００とは別に生成された特徴量ライブラリを参照することにより特徴量の種別を特定し、対応する特徴量を算出してもよい。
【００８１】
次に、基準外作業抽出部１１２は、基準外作業モデル情報５００の総レコード数をＰとし、処理を実行する基準外作業モデル情報５００のレコード番号を示す変数ｐを０にする（ステップＳ１０３４）。
【００８２】
次に、基準外作業抽出部１１２は、基準外作業モデル情報５００のｐ番目のレコードの上限値と下限値とを読み込む（ステップＳ１０３５）。具体的には、基準外作業抽出部１１２は、基準外作業モデル情報５００のｐ番目のレコードに含まれる上限５０３と下限５０４とを記憶部１２０の作業領域に読み込む。
【００８３】
次に、基準外作業抽出部１１２は、上限値≧ｐ番目特徴量≧下限値であるかを判定する（ステップＳ１０３６）。具体的には、基準外作業抽出部１１２は、ステップＳ１０３３で抽出した特徴量の中から、基準外作業モデル情報５００のｐ番目のレコードの種別に対応する特徴量を特定する。基準外作業抽出部１１２は、ステップＳ１０３５で読み込んだ上限値及び下限値と、特定した特徴量とを比較し、ｐ番目の特徴量が上限値以下であり、かつ下限値以上であるか否かを判定する。
【００８４】
基準外作業抽出部１１２が、ｐ番目の特徴量が上限値を超えるか、又は下限値を下回ると判定する場合（ステップＳ１０３６で「ＮＯ」の場合）、基準外作業抽出部１１２は、処理をステップＳ１０４０に移行する。
【００８５】
基準外作業抽出部１１２が、ｐ番目の特徴量が上限値以下であり、かつ下限値以上であると判定する場合（ステップＳ１０３６で「ＹＥＳ」の場合）、当該特徴量に係る作業が基準外作業の条件を満たすため、当該作業が基準外作業であると取り扱われる。その場合、基準外作業抽出部１１２は、ｎの時刻を基準外作業発生時刻に特定する（ステップＳ１０３７）。具体的には、基準外作業抽出部１１２は、骨格時系列情報７００を参照し、ｎ番目のレコードに含まれる時刻７０２を、基準外作業発生時刻として特定する。
【００８６】
次に、基準外作業抽出部１１２は、工程名、作業者、分析元動画、及び基準外作業発生時刻を用いて、基準外作業抽出結果情報を生成する（ステップＳ１０３８）。具体的には、基準外作業抽出部１１２は、図７のステップＳ１０１において基準外作業出力処理の対象として特定した作業実績情報３００のレコードに含まれる工程名３０２、作業所名３０３、動画ファイル３０７、及びステップＳ１０３７で特定した基準外作業発生時刻を関連付けて、基準外作業抽出結果情報のレコードを生成する。
【００８７】
図１１は、基準外作業抽出結果情報８００のデータ構造の一例を示す図である。基準外作業抽出結果情報８００は、識別子８０１と、工程名８０２と、作業名８０３と、作業者８０４と、分析元動画８０５と、基準外作業発生時刻８０６と、短縮可能時間８０７と、画像８０８と、骨格情報８０９と、作業手順情報該当箇所８１０とを有する。
【００８８】
識別子８０１は、基準外作業抽出結果情報８００のレコードを特定する識別情報である。工程名８０２は、基準外作業の工程の名称を示す情報である。作業名８０３は、基準外作業の作業内容を示す情報である。作業者８０４は、基準外作業の作業者を示す情報である。分析元動画８０５は、基準外作業を抽出した作業所内部画像を特定する情報である。
【００８９】
基準外作業発生時刻８０６は、基準外作業が発生した時刻を示す情報である。短縮可能時間８０７は、基準外作業において短縮することが可能だった時間を示す情報である。画像８０８は、後述する基準外作業画像生成処理において生成された基準外作業画像を特定する識別情報である。骨格情報８０９は、基準外作業の骨格情報を特定する識別情報である。
【００９０】
作業手順情報該当箇所８１０は、基準外作業の作業手順が記載されている作業手順情報の該当箇所を示す情報である。
【００９１】
上述のように、図１０に示すステップＳ１０３８において、基準外作業抽出部１１２は、工程名と、作業者と、分析元動画と、基準外作業発生時刻とを用いて基準外作業抽出結果情報８００のレコードを生成する。図１１を用いて説明すると、基準外作業抽出部１１２は、工程名８０２と、作業者８０４と、分析元動画８０５と、基準外作業発生時刻８０６とを関連付けて識別子８０１を付し、基準外作業抽出結果情報８００のレコードを生成する。なお、ステップＳ１０３８の終了時点において、生成したレコードの作業名８０３と、短縮可能時間８０７と、画像８０８と、骨格情報８０９と、作業手順情報該当箇所８１０には具体的な情報が含まれていない。
【００９２】
説明を図１０に戻す。次に、画像生成部１１５は、基準外作業の画像を生成する（ステップＳ１０３９）。
【００９３】
図１２は、基準外作業画像生成処理の一例を示すフローチャートである。本図は、図１０のステップＳ１０３９において行われる処理をより詳細に説明するものである。
【００９４】
まず、画像生成部１１５は、ｎ−ｗの時刻を保存開始時刻に設定し、ｎ＋ｈ＋ｗの時刻を保存終了時刻に設定する（ステップＳ１０３９１）。具体的には、画像生成部１１５は、基準外作業抽出設定情報６００を参照し、名称６０２が「保存する画像の期間」であるレコードの設定値６０３を変数ｗとし、図１０の基準外作業抽出処理において現在実行している変数ｎから変数ｗを減算して保存開始時刻とする。
【００９５】
また、画像生成部１１５は、変数ｎに変数ｈ（探索フレーム幅）及び変数ｗを加えた値を算出し、保存終了時刻とする。保存開始時刻を始期とし、保存終了時刻を終期とする期間は、基準外作業の抽出期間として取り扱われる。
【００９６】
次に、画像生成部１１５は、総フレーム数Ｎ＝（保存終了時刻−保存開始時刻）×ｆｐｓ１とし、保存開始時刻から保存終了時刻までの作業所内部画像を用いて基準外作業の画像を生成する（ステップＳ１０３９２）。具体的には、画像生成部１１５は、基準外作業抽出設定情報６００を参照し、名称６０２が「保存ＦＰＳ」と関連付けられた設定値６０３を、変数ｆｐｓ１に代入する。画像生成部１１５は、ステップＳ１０３９１で得た保存終了時刻から保存開始時刻を減じた値に変数ｆｐｓ１を乗算することにより、総フレーム数Ｎを得る。
【００９７】
画像生成部１１５は、作業所内部画像を構成するフレーム画像を用いて、保存開始時刻を始期とし、保存終了時刻を終期とした画像であって、変数ｆｐｓ１のフレーム間隔で撮影された画像を生成する。生成した画像を基準外作業画像とする。なお、基準外作業画像の総フレーム数はＮである。画像生成部１１５は、生成した基準外作業画像を特定する情報（基準外作業画像の保存先を示す情報であってもよい）を、上述の図１０のステップＳ１０３８で生成した基準外作業抽出結果情報８００のレコードの画像８０８に記入する。
【００９８】
次に、画像生成部１１５は、保存開始時刻から保存終了時刻までの骨格情報を生成し、基準外作業抽出結果情報８００に記入する（ステップＳ１０３９３）。具体的には、画像生成部１１５は、図７のステップＳ１０１において特定した作業実績情報３００のレコードに含まれる骨格３０９を参照し、ステップＳ１０１で読み込んだ作業所内部画像の骨格情報を特定する。画像生成部１１５は、骨格情報に含まれる時刻に関する情報を参照することにより、抽出期間における骨格情報を生成する。
【００９９】
画像生成部１１５は、生成した骨格情報を特定する情報（骨格情報の保存先を示す情報であってもよい）を、上述の図１０のステップＳ１０３８で生成した基準外作業抽出結果情報８００のレコードの骨格情報８０９に記入する。その後、画像生成部１１５は本フローチャートの処理を終了する。基準外作業抽出部１１２は、処理を図１０のステップＳ１０４０に移行する。
【０１００】
説明を図１０に戻す。次に、基準外作業抽出部１１２は、ｐに１を加える（ステップＳ１０４０）。
【０１０１】
次に、基準外作業抽出部１１２は、Ｐ≧ｐであるか否かを判定する（ステップＳ１０４１）。基準外作業抽出部１１２がＰ≧ｐと判定しない場合（ステップＳ１０４１で「ＮＯ」の場合）、基準外作業抽出部１１２は、処理をステップＳ１０３５に移行する。即ち、ステップＳ１０３５からステップＳ１０３９までの処理の対象であった基準外作業モデル情報５００のレコードに連続して記録された他のレコードについて、基準外作業の抽出処理が実行される。
【０１０２】
基準外作業抽出部１１２が、Ｐ≧ｐであると判定する場合（ステップＳ１０４１で「ＹＥＳ」の場合）、基準外作業抽出部１１２は、ｎにｆｐｓ１を加算する（ステップＳ１０４２）。なお、ｆｐｓ１は、前述したように、基準外作業抽出設定情報６００において、名称６０２の「保存ＦＰＳ」と関連付けられた設定値６０３である。
【０１０３】
次に、基準外作業抽出部１１２は、Ｎ≧ｎであるか否かを判定する（ステップＳ１０４３）。基準外作業抽出部１１２が、Ｎ≧ｎでないと判定する場合（ステップＳ１０４３で「ＮＯ」の場合）、基準外作業抽出部１１２は、処理をステップＳ１０３２に移行する。
【０１０４】
基準外作業抽出部１１２が、Ｎ≧ｎであると判定する場合（ステップＳ１０４３で「ＹＥＳ」の場合）、基準外作業抽出部１１２は、本フローチャートの処理を終了し、処理を図７のステップＳ１０５に移行する。
【０１０５】
本実施形態により、ステップＳ１０１で特定された作業所内部画像に含まれていた１又は複数の基準外作業が抽出され、各々の基準外作業について基準外作業画像及び骨格情報が生成される。また、骨格時系列情報７００が基準外作業モデル情報５００に含まれる基準外作業の条件を満たすか否かを基準外作業抽出部１１２が判定することにより、基準外作業の抽出期間が定まる。
【０１０６】
なお、基準外作業モデル情報５００は、作業を停止していることを示す条件を含んでもよい。例えば、「右手座標ｘｙの差の絶対値をフレーム分累積した」種別における特徴量の条件となる数値範囲を狭めることで、作業停止の条件とすることができる。基準外作業抽出部１１２は、当該条件に該当すると判定することにより、作業を停止している状況を基準外作業として抽出することができる。
【０１０７】
説明を図７に戻す。次に、部品特定部１１３及び作業内容特定部１１４は、基準外作業画像から、作業者が保持している部品及び設置位置を検出し、基準外作業の作業内容を特定する（ステップＳ１０５）。
【０１０８】
図１３は、部品特定処理の一例を示すフローチャートである。本図は、図７のステップＳ１０５の処理をより詳細に説明するための図である。
【０１０９】
まず、部品特定部１１３は、Ｑ＝基準外作業画像総数とし、ｑ＝０に設定する（ステップＳ１０５１）。具体的には、部品特定部１１３は、図１０に示すステップＳ１０３９で生成された１又は複数の基準外画像の総数をＱとし、部品特定処理を実行する基準外作業画像の番号を示す変数ｑに０を設定する。
【０１１０】
次に、部品特定部１１３は、ｑ番目の基準外作業画像と骨格時系列情報７００とを読み込む（ステップＳ１０５２）。具体的には、部品特定部１１３は、ｑ番目の基準外作業画像と、当該基準外作業画像に対応する骨格情報とを、記憶部１２０の作業領域に読み込む。なお、部品特定部１１３は、骨格情報に代わって、基準外作業画像に対応する骨格時系列情報７００を読み込んでもよい。
【０１１１】
次に、部品特定部１１３は、ｒ＝０に設定する（ステップＳ１０５３）。なお、ｒは、基準外作業画像において作業を実行するフレーム番号を示す変数である。部品特定部１１３は、変数ｒに０を設定する。
【０１１２】
次に、部品特定部１１３は、ｒ〜ｒ＋ｈでの右手又は左手が準備領域から作業領域に移動しているか否かを判定する（ステップＳ１０５４）。なお、前述したように、変数ｈは、基準外作業抽出設定情報６００において、名称６０２の「探索フレーム幅」と関連する設定値６０３である。部品特定部１１３は、基準外作業画像を構成するフレームのうち、ｒ番目のフレームに対応する時刻と、ｒ＋ｈ番目のフレームに対応する時刻とを特定する。部品特定部１１３は、骨格情報を参照し、ｒに係る時刻を始期とし、ｒ＋ｈに係る時刻を終期とする期間における右手及び左手の関節の位置を抽出する。
【０１１３】
図１４は、作業領域及び準備領域を説明するための図である。図１４Ａは、作業領域及び準備領域のイメージ図である。図１４Ｂは、作業領域を特定する情報の一例である。図１４Ｃは、準備領域を特定する情報の一例である。作業領域を特定する情報及び準備領域を特定する情報は、記憶部１２０の領域情報記憶部１２９に格納されている。
【０１１４】
図１４Ａは、作業所内部画像の一例であって、作業者のほかに、２つの作業台が表示されている。作業者は、図１４Ａに示す準備領域に表示された作業台で作業の準備を行い、作業領域に表示された作業台で作業を行う。準備領域には、一般的に、部品が表示される。作業領域には、一般的に、製品又は部品、又はその両方が表示される。
【０１１５】
図１４Ｂは、作業所内部画像における、作業領域を特定する情報である。作業所内部画像のうち、作業領域に対応する箇所に、「１」が記載されている。それ以外の箇所に、「０」が記載されている。部品特定部１１３は、右手又は左手の骨格位置が、「１」の箇所にある場合に、右手又は左手が作業領域にあるものと判定する。
【０１１６】
図１４Ｃは、作業所内部画像における、準備領域を特定する情報である。作業所内部画像のうち、準備領域に対応する箇所に、「１」が記載されている。それ以外の箇所に、「０」が記載されている。部品特定部１１３は、右手又は左手の骨格位置が、「１」の箇所にある場合に、右手又は左手が準備領域にあるものと判定する。
【０１１７】
即ち、図１３のステップＳ１０５４において、部品特定部１１３は、領域情報記憶部１２９を参照し、ｒ〜ｒ＋ｈの時間において、右手又は左手の骨格位置が、準備領域から作業領域に移動したか否かを判定する。
【０１１８】
なお、図１４Ｂに示す作業領域を特定する情報、及び図１４Ｃに示す準備領域を特定する情報は、作業所内部画像に対する２次元平面上での位置を特定することにより生成されている。しかし、作業領域を特定する情報、及び準備領域を特定する情報は、２次元的な情報に限られない。例えば、作業所内部等の実空間における３次元上の空間位置を示す情報であってもよい。
【０１１９】
また、部品特定部１１３は、右手又は左手の関節を、部品特定処理の判定基準に用いる基準箇所として処理を行っている。しかしながら、基準箇所は右手又は左手の関節に限定されず、作業者の体の少なくとも一部であればよい。
【０１２０】
部品特定部１１３は、右手又は左手の骨格位置が、準備領域から作業領域に移動していないと判定する場合（ステップＳ１０５４で「ＮＯ」の場合）、部品特定部１１３は、ｒ＝ｒ＋ｆｐｓ２とする（ステップＳ１０５５）。具体的には、部品特定部１１３は、基準外作業抽出設定情報６００を参照し、名称６０２が「処理ＦＰＳ」と関連付けられた設定値６０３を「ｆｐｓ２」とする。部品特定部１１３は、処理時点のｒにｆｐｓ２を加算して新たなｒとし、処理をステップＳ１０５４に戻す。
【０１２１】
部品特定部１１３は、右手又は左手の骨格位置が、準備領域から作業領域に移動していると判定する場合（ステップＳ１０５４で「ＹＥＳ」の場合）、部品特定部１１３は、ｒを部品取り付けフレームＰＡＦに設定する（ステップＳ１０５６）。部品取り付けフレームＰＡＦは、記憶部１２０の作業領域に格納される。なお、ＰＡＦに設定されたｒ番目のフレームに係るタイミングは、基準タイミングとして取り扱われる。
【０１２２】
次に、部品特定部１１３は、ｒ〜ｒ＋ｈの両手付近の画像を抽出する（ステップＳ１０５７）。具体的には、部品特定部１１３は、ステップＳ１０５４で抽出した、ｒ〜ｒ＋ｈにおける右手及び左手の関節の位置を参照し、ステップＳ１０５２で読み込んだ基準外作業画像において、ｒ〜ｒ＋ｈの右手及び左手の関節の位置に対応する画像を抽出する。
【０１２３】
なお、この際、部品特定部１１３は、基準外作業抽出設定情報６００において、名称６０２の「抽出範囲」に対応する設定値６０３を特定する。部品特定部１１３は、基準外作業画像のうち、ｒ〜ｒ＋ｈに対応する画像であって、右手及び左手の関節の位置を中心とし、「抽出範囲」の設定値の範囲内にある画像を、両手付近の画像として抽出する。抽出した画像を「♯１」とする。
【０１２４】
なお、抽出した画像は、右手の位置における動画と、左手の位置における動画と、２つの画像であってもよいし、ｒ〜ｒ＋ｈにおいて右手及び左手が近傍にある場合には右手及び左手の位置に対応する１つの動画であってもよい。また、右手の位置における静止画の、異なる時系列の画像群と、左手の位置における異なる時系列の画像群と、を含む画像の集合であってもよい。
【０１２５】
次に、部品特定部１１３は、ｒ〜ｒ＋ｈでの骨格を構成するすべての関節が作業領域から離れているか否かを判定する（ステップＳ１０５８）。具体的には、部品特定部１１３は、ステップＳ１０５２で読み込んだ骨格情報を参照して、ｒ〜ｒ＋ｈにおける作業者の骨格位置を抽出し、すべての骨格位置が作業領域内にないか否かを判定する。なお、部品特定部１１３は、作業者のすべての骨格を対象とする代わりに、骨格のうち基準箇所の位置が作業領域内にないか否かを判定してもよい。判定対象とする骨格位置のいずれかが作業領域内にある場合、部品特定部１１３は、すべての関節が作業領域から離れていない（ステップＳ１０５８で「ＮＯ」である）ものと判定する。
【０１２６】
部品特定部１１３が、すべての関節が作業領域から離れていないと判定する場合（ステップＳ１０５８で「ＮＯ」の場合）、部品特定部１１３は、ｒにｆｐｓ２を加算する（ステップＳ１０５９）。その後、部品特定部１１３は、処理をステップＳ１０５８に移行する。即ち、ステップＳ１０５８において、ｒにｆｐｓ２を加算した値に対応する時刻を始期とし、当該ｒにｈを加算した値に対応する時刻を終期とする期間内に、作業者の骨格が作業領域から離れているか否かが判定される。その結果、基準タイミングより後の時期において、作業者の骨格が作業領域の外に移動したタイミングが、新たなｒとして取得される。
【０１２７】
部品特定部１１３が、すべての関節が作業領域から離れていると判定する場合（ステップＳ１０５８で「ＹＥＳ」の場合）、部品特定部１１３は、部品取り付け後の画像として、作業領域と準備領域との画像を取得する（ステップＳ１０６０）。具体的には、部品特定部１１３は、ステップＳ１０５２で読み込んだ基準外作業画像のうち、ｒに対応する時刻を始期とし、ｒにｈを加算した値に対応する時刻を終期とする期間において、作業領域に対応する部分の画像と、準備領域に対応する画像とを取得する。取得した画像は、部品取り付け後の画像として、記憶部１２０の作業領域に記憶される。
【０１２８】
即ち、基準タイミングより後の時期であって、作業者の骨格が作業領域の外に移動したタイミングにおける作業所内部画像が取得される。
【０１２９】
なお、部品特定部１１３は、ｒに対応する時刻を、基準外作業終了時刻として、記憶部１２０の図示しない領域に記憶させる。
【０１３０】
次に、部品特定部１１３は、ｒをＰＡＦの値に設定する（ステップＳ１０６１）。具体的には、部品特定部１１３は、変数ｒに対し、ステップＳ１０５６で設定したＰＡＦの値を代入する。
【０１３１】
次に、部品特定部１１３は、ｒからｆｐｓ２を減算する（ステップＳ１０６２）。
【０１３２】
ステップＳ１０６３で行われる処理は、ステップＳ１０５８で行われる処理と同様であるため、説明を省略する。なお、判定の基準となるｒは、ステップＳ１０６２においてｆｐｓ２が減算された値である。
【０１３３】
部品特定部１１３が、ｒ〜ｒ＋ｈでの骨格を形成するいずれかの関節が作業領域内にあると判定する場合（ステップＳ１０６３で「ＮＯ」の場合）、部品特定部１１３は、処理をステップＳ１０６２に戻す。
【０１３４】
部品特定部１１３が、ｒ〜ｒ＋ｈでの骨格を形成するすべての関節が作業領域から離れていると判定する場合（ステップＳ１０６３で「ＹＥＳ」の場合）、部品特定部１１３は、部品取り付け前の画像として、作業領域と準備領域との画像を取得する（ステップＳ１０６４）。具体的には、部品特定部１１３は、ステップＳ１０５２で読み込んだ基準外作業画像のうち、ｒに対応する時刻を始期とし、当該ｒにｈを加算した値に対応する時刻を終期とする期間において、作業領域に対応する部分の画像と、準備領域に対応する画像とを取得する。取得した画像は、部品取り付け前の画像として、記憶部１２０の作業領域に記憶される。
【０１３５】
即ち、基準タイミングより前の時期であって、作業者の骨格が作業領域にないタイミングにおける作業所内部画像が取得される。
【０１３６】
なお、部品特定部１１３は、ｒ＋ｈに対応する時刻を、基準外作業開始時刻として、記憶部１２０の図示しない領域に記憶させる。
【０１３７】
次に、部品特定部１１３は、作業領域において、部品取り付け前の画像と部品取り付け後の画像の差分が大きい領域を検出する（ステップＳ１０６５）。具体的には、部品特定部１１３は、ステップＳ１０６０で取得した部品取り付け後の作業領域の画像と、ステップＳ１０６４で取得した部品取り付け前の作業領域の画像とを比較し、作業領域の中でも差分の大きい領域を検出する。なお、画像を比較し差分の大きい領域を特定するために、公知の技術を用いるため、詳細な処理内容については説明を省略する。
【０１３８】
次に、部品特定部１１３は、検出した領域の取り付け後の画像を抽出する（ステップＳ１０６６）。具体的には、部品特定部１１３は、ステップＳ１０６０で取得した部品取り付け後の画像のうち、ステップＳ１０６５で検出した領域の画像を抽出する。なお、抽出した画像を、「♯２」として説明する。抽出した画像は、１又は複数の動画であってもよいし、静止画の画像群であってもよいし、１つの静止画であってもよい。
【０１３９】
次に、部品特定部１１３は、準備領域において、部品取り付け前の画像と部品取り付け後の画像との差分が大きい領域を検出する（ステップＳ１０６７）。具体的には、部品特定部１１３は、ステップＳ１０６０で取得した部品取り付け後の準備領域の画像と、ステップＳ１０６４で取得した部品取り付け前の準備領域の画像とを比較し、作業領域の中でも差分の大きい領域を検出する。検出した領域は、部品取り付け位置として取り扱われる。
【０１４０】
次に、部品特定部１１３は、検出した領域の取り付け前の画像を抽出する（ステップＳ１０６８）。具体的には、部品特定部１１３は、ステップＳ１０６４で取得した部品取り付け前の画像のうち、ステップＳ１０６７で検出した領域の画像を抽出する。なお、抽出した画像を、「♯３」として説明する。抽出した画像が、１又は複数の動画であってもよいし、静止画の画像群であってもよいし、１つの静止画でもよい点は、部品取り付け後の画像（「♯２」）と同様である。
【０１４１】
次に、部品特定部１１３は、カメラ設定情報を特定する（ステップＳ１０６９）。部品特定部１１３は、ステップＳ１０１で読み込まれた作業所内部画像を撮影したカメラのカメラ設定情報を、作業所内部画像記憶部１２６を参照して特定する。
【０１４２】
次に、部品特定部１１３は、３Ｄデータ上の仮想カメラを、特定したカメラ設定情報に対応させる（ステップＳ１０７０）。具体的には、部品特定部１１３は、ステップＳ１０１で作業領域に読み込んだ設計情報を参照する。部品特定部１１３は、製品を表示する設計情報の仮想領域を撮影する仮想のカメラ設定を、ステップＳ１０６９で特定したカメラ設定情報に対応させる。その結果、設計情報の仮想領域を撮影した画像において、部品の取り付け位置である作業領域に対応する領域内に、作業対象となる部品が表示される。
【０１４３】
次に、部品特定部１１３は、部品取り付け位置に対応する位置の部品を対象候補部品として抽出する（ステップＳ１０７１）。具体的には、部品特定部１１３は、ステップＳ１０７０で設定したカメラに写りこむ仮想空間の画像のうち、ステップＳ１０６５において検出された領域、即ち部品取り付け位置として検出された領域に表示された１又は複数の部品を、対象候補部品として抽出する。
【０１４４】
次に、部品特定部１１３は、仮想カメラを用いて対象候補部品の各々の画像を取得する（ステップＳ１０７２）。具体的には、部品特定部１１３は、ステップＳ１０７１で抽出された１又は複数の対象候補部品の各々について、ステップＳ１０７０で設定された仮想カメラを用いて画像を取得する。取得された１又は複数の画像を、「♯４」とする。
【０１４５】
次に、部品特定部１１３は、「♯１」の画像と、「♯２」の画像と、「♯３」の画像と、「♯４」の画像との類似度を算出する（ステップＳ１０７３）。なお、「♯１」の画像と、「♯２」の画像と、「♯３」の画像とは、作業所内部画像に含まれる部品を撮影したものと考えられ、「♯４」の画像は、設計情報に含まれる部品を撮影したものと考えられる。部品特定部１１３は、ステップＳ１０７２で取得した「♯４」の画像の各々について、「♯１」の画像と、「♯２」の画像と、「♯３」の画像との組み合わせに対する類似度を算出する。
【０１４６】
なお、画像の類似度の算出方法については、公知の方法を用いるため、説明を省略する。なお、類似度の算出に用いる「♯１」の画像と、「♯２」の画像と、「♯３」の画像と、「♯４」の画像とについては、いずれも動画であっても静止画であってもよい。
【０１４７】
その結果、ステップＳ１０７２で取得された「♯４」の画像の数と同じ数量の類似度が算出される。
【０１４８】
なお、「♯１」の画像と、「♯２」の画像と、「♯３」の画像とについては、同じ抽出期間の作業所内部画像から取得されたものであってもよいし、異なる抽出期間の作業所内部画像から取得されたものであってもよい。
【０１４９】
図１５は、記憶部１２０の作業領域の一部に記憶する情報のデータ構造の一例を示す図である。図１５Ａは、算出した類似度を含む類似度情報９００のデータ構造の一例である。図１５Ｂは、作業手順参照情報１０００のデータ構造の一例である。図１５Ｂについては後述する。
【０１５０】
類似度情報９００は、識別子９０１と、部品名９０２と、類似度９０３とを有する。識別子９０１は、類似度情報９００のレコードを特定する識別情報である。部品名９０２は、対象候補部品の部品名を示す情報である。類似度９０３は、部品名９０２に係る部品について算出された類似度である。
【０１５１】
部品特定部１１３は、抽出した対象候補部品の各々について算出した類似度を、類似度９０３に記入する。
【０１５２】
説明を図１３に戻す。次に、部品特定部１１３は、最も類似度の高い対象候補部品の部品名を特定する（ステップＳ１０７４）。具体的には、部品特定部１１３は、ステップＳ１０７３で算出された類似度のうち、最も高い類似度が算出された「♯４」の画像を特定する。部品特定部１１３は、特定した「♯４」の画像の撮影対象となった部品の部品名を、設計情報を参照することにより特定する。即ち、部品特定部１１３は、作業所内部画像に含まれる部品と、設計情報に含まれる部品との類似度を算出することにより、基準外作業で用いられた部品を特定する。
【０１５３】
次に、作業内容特定部１１４は、部品名を用いて作業手順情報を参照し、該当箇所と作業内容とを特定する（ステップＳ１０７５）。具体的には、作業内容特定部１１４は、ステップＳ１０７４で特定した部品名の文字列を用いて、ステップＳ１０１で作業領域に読み込んだ作業手順情報を検索する。作業内容特定部１１４は、部品名と最も関連のある記載箇所と、当該記載箇所に記載された作業内容とを、該当箇所と作業内容の検索結果として取得する。
【０１５４】
なお、作業内容特定部１１４は、部品名と作業手順情報の表示対象箇所とが関連付けられた作業手順参照情報１０００を用いて、表示対象箇所を特定してもよい。
【０１５５】
図１５Ｂを用いて説明する。作業手順参照情報１０００は、識別子１００１と、部品名１００２と、ページ１００３とを有する。識別子１００１は、作業手順情報のレコードを特定する識別情報である。部品名１００２は、作業の対象となる部品の名称である。ページ１００３は、部品名１００２により特定される部品が基準外作業の対象であった場合の作業手順情報の参照箇所を示す情報である。
【０１５６】
作業内容特定部１１４は、作業手順参照情報１０００を参照し、ステップＳ１０７４で特定した部品名と関連付けられたページ１００３を特定することにより、表示対象箇所を特定する。
【０１５７】
次に、作業内容特定部１１４は、該当箇所と作業内容を示す情報を用いて、基準外作業検出結果情報を更新する（ステップＳ１０７６）。具体的には、作業内容特定部１１４は、基準外作業抽出結果情報８００を参照し、現在処理を実行しているｑ番目の基準外作業画像を画像８０８に含むレコードを特定する。作業内容特定部１１４は、特定したレコードの作業名８０３に、ステップＳ１０７５で取得した作業内容を示す情報を記入し、該レコードの作業手順情報該当箇所８１０に、同ステップで取得した該当箇所を示す情報を記入する。
【０１５８】
次に、部品特定部１１３は、変数ｑに１を加える（ステップＳ１０７７）。
【０１５９】
次に、部品特定部１１３は、ｑ＞Ｑであるか否かを判定する（ステップＳ１０７８）。部品特定部１１３が、ｑ＞Ｑでないと判定する場合（ステップＳ１０７８で「ＮＯ」の場合）、部品特定部１１３は、処理をステップＳ１０５２に戻す。即ち、ステップＳ１０５２からステップＳ１０７６までの処理が行われていた基準外作業画像に連続して記録されている他の基準外作業画像について、ステップＳ１０５２以降の処理が実行される。
【０１６０】
部品特定部１１３が、ｑ＞Ｑであると判定する場合（ステップＳ１０７８で「ＹＥＳ」の場合）、部品特定部１１３は本フローチャートの処理を終了させ、処理を図７に示すステップＳ１０８に移行させる。
【０１６１】
説明を図７に戻す。次に、基準外作業抽出部１１２は、短縮可能時間を算出する（ステップＳ１０８）。具体的には、基準外作業抽出部１１２は、作業所内部画像において、基準外作業開始時刻を始期とし、基準外作業終了時刻を終期とする期間を、短縮可能時間として算出する。
【０１６２】
基準外作業抽出部１１２は、基準外作業抽出結果情報８００のレコードを特定し、当該レコードを生成する際、図１３に示す部品特定処理のステップＳ１０６４で記憶部１２０に記憶させた基準外作業開始時刻と、ステップＳ１０６０で記憶させた基準外作業終了時刻と、を用いて、短縮可能時間を算出する。基準外作業抽出部１１２は、特定した基準外作業抽出結果情報８００のレコードの短縮可能時間８０７に、算出した短縮可能時間を記入する。基準外作業抽出部１１２は、基準外作業抽出結果情報８００のレコードの各々について、短縮可能時間を算出し、基準外作業抽出結果情報８００を更新する。
【０１６３】
なお、先述したように、基準外作業抽出部は、作業所内部画像を用いて所定方法で短縮可能時間を取得する。本実施形態では、作業所内部画像のうち基準外作業が開始されたと判定された時刻から、基準外作業が終了したと判定された時刻までの時間を短縮可能時間として取得している。しかしながら、短縮可能時間として抽出するための方法はこれに限られない。例えば、作業内容に対する標準的な作業時間を予め設定しておき、基準外作業に要した時間を減算することにより、短縮可能時間を取得してもよい。
【０１６４】
次に、表示情報生成部１１６は、要求に応じた画面の表示情報を生成し、ユーザ端末装置２００に送信する（ステップＳ１０９）。その後、制御部１１０は本フローチャートの処理を終了する。なお、基準外作業要求部２１１の要求に対する応答として表示情報を受信したユーザ端末装置２００の出力部２３０は、受信した表示情報を用いて画面を出力する。
【０１６５】
例えば、作業習熟支援装置１００が、基準外作業一覧画面の要求をユーザ端末装置２００から受け付けた場合、作業習熟支援装置１００の表示情報生成部１１６は、基準外作業一覧画面の表示情報を生成して、ユーザ端末装置２００に送信する。
【０１６６】
図１６は、基準外作業一覧画面２１００の一例を示す図である。基準外作業一覧画面２１００は、基準外作業一覧表示領域２１１０と、確認ボタン２１２０とを有する。なお、本実施形態において、ユーザ端末装置２００の画面には、基準外作業一覧タブ２０００Ａと、画像タブ２０００Ｂと、作業手順情報タブ２０００Ｃと、が表示されている。基準外作業一覧タブ２０００Ａが選択されると、基準外作業一覧画面２１００が表示される。
【０１６７】
基準外作業一覧表示領域２１１０は、ある作業者が行った基準外作業の一覧を表示する領域である。確認ボタン２１２０は、基準外作業一覧画面２１００の表示内容を作業者が確認した場合に入力を受け付けるボタンである。
【０１６８】
なお、本実施形態では、ユーザがユーザ端末装置２００にログイン情報を入力し、ユーザが認証された場合に、作業習熟支援装置１００は基準外作業一覧画面２１００の表示情報を送信する。その際、表示情報生成部１１６は、ログイン情報を用いて基準外作業抽出結果情報８００を参照し、認証されたユーザを作業者８０４に有するレコードに含まれる情報を用いて、基準外作業一覧画面２１００の表示情報を生成する。
【０１６９】
基準外作業一覧表示領域２１１０は、工程名２１１１と、対象作業２１１２と、作業者２１１３と、発生時２１１４と、短縮可能時間２１１５と、を有する。工程名２１１１は、認証された作業者が行った作業の工程を示す情報であって、基準外作業抽出結果情報８００の工程名８０２と対応している。対象作業２１１２は、作業内容を示す情報であって、基準外作業抽出結果情報８００の作業名８０３と対応している。
【０１７０】
作業者２１１３は、基準外作業の作業者を示す情報であって、基準外作業抽出結果情報８００の作業者８０４と対応している。なお、作業者２１１３には、認証された作業者が含まれる。発生時２１１４は、基準外作業の発生時刻を示す情報であって、基準外作業抽出結果情報８００の基準外作業発生時刻８０６と対応している。短縮可能時間２１１５は、基準外作業がなかった場合に短縮されたであろう時間を示す情報であって、基準外作業抽出結果情報８００の短縮可能時間８０７と対応している。
【０１７１】
確認ボタン２１２０が選択された場合、基準外作業抽出部１１２は、基準外作業一覧表示領域２１１０に表示された基準外作業に対応するレコードを基準外作業抽出結果情報８００から抽出する。記憶部１２０の図示しない領域には、基準外作業抽出結果情報８００のレコード毎に確認回数を記録している確認回数情報が記憶されている。なお、確認回数は、確認ボタン２１２０の入力回数と同義である。基準外作業抽出部１１２は、抽出したレコードに対応する確認回数情報を参照し、確認回数をインクリメントする。
【０１７２】
基準外作業一覧表示領域２１１０に表示された基準外作業の１つが選択され、画像タブ２０００Ｂが選択された場合、表示画面は基準外作業画像表示画面に遷移する。
【０１７３】
図１７は、基準外作業画像表示画面２２００の一例を示す図である。基準外作業画像表示画面２２００は、基準外作業画像表示領域２２１０と、再生ボタン２２１１と、停止ボタン２２１２と、再生位置２２１３と、確認ボタン２２２０とを有する。基準外作業画像表示領域２２１０は、基準外作業画像を表示する領域である。表示情報生成部１１６は、基準外作業抽出結果情報８００の画像８０８を参照し、基準外作業一覧表示領域２１１０において選択された基準外作業について生成された基準外作業画像を特定し、基準外作業画像表示領域２２１０に表示させる。
【０１７４】
再生ボタン２２１１は、基準外作業画像の再生開始指示の入力操作を受け付けるボタンである。停止ボタン２２１２は、基準外作業画像の再生終了指示の入力操作を受け付けるボタンである。再生位置２２１３は、基準外作業画像の再生状況を表示する。確認ボタン２２２０は、基準外作業画像表示画面２２００の表示内容を作業者が確認した場合に入力を受け付けるボタンである。
【０１７５】
確認ボタン２２２０が選択された場合、基準外作業抽出部１１２は、基準外作業画像表示領域２２１０に表示された基準外作業に対応する確認回数情報を参照し、確認回数をインクリメントする。
【０１７６】
なお、図１６の基準外作業一覧表示領域２１１０に表示された基準外作業の１つが選択され、作業手順情報タブ２０００Ｃが選択された場合、表示画面は作業手順情報表示画面に遷移する。
【０１７７】
図１８は、作業手順情報表示画面２３００の一例を示す図である。作業手順情報表示画面２３００は、作業手順情報表示領域２３１０と、確認ボタン２３２０とを有する。作業手順情報表示領域２３１０は、基準外作業一覧表示領域２１１０において選択された基準外作業に関する作業手順情報を表示する領域である。確認ボタン２３２０は、作業手順情報表示画面２３００の表示内容を作業者が確認した場合に入力を受け付けるボタンである。
【０１７８】
表示情報生成部は、基準外作業抽出結果情報８００を参照し、選択された基準外作業のレコードに含まれる作業手順情報該当箇所８１０を用いて作業手順情報の該当箇所を特定し、作業手順情報表示領域２３１０に表示させる。
【０１７９】
なお、確認ボタン２３２０が選択された場合、基準外作業抽出部１１２は、作業手順情報表示領域２３１０に作業手順情報の表示された基準外作業に対応する確認回数情報を参照し、確認回数をインクリメントする。
【０１８０】
なお、作業手順情報表示領域２３１０には、作業手順がアニメーションで表示されてもよいし、静止画で表示されてもよい。また、作業手順情報表示領域２３１０には、図１８に示すように、作業手順情報に含まれる情報が文字列で表示されてもよい。
【０１８１】
基準外作業一覧画面２１００を参照することにより、基準外作業を行った作業者が、自分の行った基準外作業の総量を一覧として認識することができる。また、基準外作業画像表示画面２２００を参照することにより、基準外作業の状況を把握することができる。また、基準外作業の作業手順情報を参照することにより、改善方法を認識することができる。これにより、作業者の作業習熟を促進させることができる。
【０１８２】
また、図７の基準外作業出力処理の開始時において、作業習熟支援装置１００が、基準外作業確認画面の要求をユーザ端末装置２００から受け付けた場合、作業習熟支援装置１００の表示情報生成部１１６は、基準外作業確認画面の表示情報を生成して、ユーザ端末装置２００に送信する。
【０１８３】
図１９は、基準外作業確認画面２４００の一例を示す図である。基準外作業確認画面２４００は、表示条件設定領域２４１０と、作業名表示領域２４２０と、発生時間推移表示領域２４３０と、作業者対応表示領域２４４０と、を有する。
【０１８４】
表示条件設定領域２４１０は、基準外作業確認画面２４００を表示するための表示条件の入力を受け付ける領域である。表示条件設定領域２４１０は、例えば開始日時設定領域と、終了日時設定領域と、工程名設定領域と、作業者数表示領域と、平均短縮可能時間表示領域と、を有する。
【０１８５】
開始日時設定領域は、基準外作業確認画面２４００に表示する基準外作業を抽出する期間の始期の入力を受け付ける領域である。終了日時設定領域は、基準外作業確認画面２４００に表示する基準外作業を抽出する期間の終期の入力を受け付ける領域である。工程名設定領域は、表示する基準外作業の工程名の入力を受け付ける領域である。作業習熟支援装置１００の表示情報生成部１１６は、開始日時設定領域と、終了日時設定領域とに入力された情報に基づいて定まる期間に実行された基準外作業であって、工程名設定領域に入力された工程について行われた基準外作業を、基準外作業抽出結果情報８００を用いて抽出する。
【０１８６】
作業者数表示領域は、基準外作業確認画面２４００に表示された基準外作業の作業者数の累計を表示する領域である。平均短縮可能時間表示領域は、基準外作業確認画面２４００に表示された基準外作業について、１作業あたりの短縮可能時間の平均値を表示する領域である。
【０１８７】
作業名表示領域２４２０は、表示条件設定領域２４１０への入力内容に応じた基準外作業の作業内容毎に、平均基準外作業時間と、累積基準外作業時間とを表示する領域である。作業名表示領域２４２０の表示情報を生成するために、表示情報生成部１１６は、抽出した基準外作業に関し、同じ作業内容の基準外作業の短縮可能時間を合算することにより、累積基準外作業時間を得る。
【０１８８】
また、表示情報生成部１１６は、累積基準外作業時間を基準外作業の数量で除算することにより、平均基準外作業時間を得る。なお、表示情報生成部１１６は、基準外作業抽出結果情報８００の短縮可能時間８０７を参照することにより、抽出した基準外作業の短縮可能時間を特定することができる。なお、作業名表示領域２４２０には、作業名（作業内容）が選択可能に表示される。
【０１８９】
発生時間推移表示領域２４３０は、作業名表示領域２４２０で選択された作業内容における、基準外作業の短縮可能時間の推移を表示する領域である。表示情報生成部１１６は、選択された作業内容について、予め設定された期間毎に短縮可能時間を合算することで、短縮可能時間の推移を得る。
【０１９０】
作業者対応表示領域２４４０は、作業名表示領域２４２０で選択された作業内容の基準外作業を行った作業者毎に、平均基準外作業時間と、累積基準外作業時間と、確認回数とを表示する領域である。表示情報生成部１１６は、基準外作業抽出結果情報８００を参照し、選択された作業内容の作業名８０３を有するレコードについて、作業者８０４毎に短縮可能時間を合算して累積基準外作業時間を得る。また、表示情報生成部１１６は、短縮可能時間を合算した基準外作業抽出結果情報８００のレコード数で累積基準外作業時間を除算することにより、作業者に対する平均基準外作業時間を得る。
【０１９１】
また、表示情報生成部１１６は、基準外作業抽出結果情報８００のレコードのうち、選択された作業内容の作業名８０３を有するレコードと対応する確認回数情報を参照することにより、作業内容に対して作業者が行った確認回数を特定する。表示情報生成部１１６は、特定した確認回数を作業者と関連付けて作業者対応表示領域２４４０に表示させる。
【０１９２】
なお、作業名表示領域２４２０と、発生時間推移表示領域２４３０とは、作業内容毎に短縮可能時間に関連する情報を表示する領域である。そのため、異なる作業者について同じ作業内容の基準外作業が抽出された場合に、短縮可能時間は合算される。作業名表示領域２４２０を確認することで、基準外作業が発生しやすい作業内容を認識することができる。
【０１９３】
また、発生時間推移表示領域２４３０を参照することで、基準外作業の発生状況の時期による違いを確認することができる。また、作業者対応表示領域２４４０を参照することで、ある作業に対し、習熟度合が低い（又は高い）作業者を把握することができると共に、平均基準外作業時間や累積基準外作業時間を参照することで、作業者の習熟度合いを認識することができる。
【０１９４】
なお、作業者対応表示領域２４４０には、作業者が選択可能に表示される。作業者対応表示領域２４４０において、ある作業者が選択された場合、表示画面は作業者情報表示画面に推移する。
【０１９５】
図２０は、作業者情報表示画面２５００の一例を示す図である。作業者情報表示画面２５００は、作業者名表示領域２５１０と、作業者発生時間推移表示領域２５２０と、作業者基準外作業一覧表示領域２５３０と、を有する。作業者名表示領域２５１０は、基準外作業確認画面２４００の作業者対応表示領域２４４０で選択された作業者の氏名が表示される。
【０１９６】
作業者発生時間推移表示領域２５２０は、作業者の基準外時間の発生時間の推移を表示する領域である。表示情報生成部１１６は、作業者対応表示領域２４４０に表示された作業者の行った基準外作業のうち、基準外作業確認画面２４００の作業名表示領域２４２０で選択された作業内容について、予め設定された期間毎に短縮可能時間を合算することで、作業者発生時間推移表示領域２５２０に表示する短縮可能時間の推移を得る。
【０１９７】
作業者基準外作業一覧表示領域２５３０は、作業者名表示領域２５１０に表示された作業者の行った基準外作業の一覧を表示する領域である。一例として、作業者基準外作業一覧表示領域２５３０には、基準外作業の発生時刻と、短縮可能時間と、確認回数とを表示する。表示情報生成部１１６は、作業者の行った基準外作業のうち、基準外作業確認画面２４００の作業名表示領域２４２０で選択された作業内容に関する基準外作業抽出結果情報８００のレコードを特定し、当該レコードに含まれる基準外作業発生時刻８０６と、短縮可能時間８０７とを作業者基準外作業一覧表示領域２５３０に表示させる。また、表示情報生成部１１６は、確認回数情報を参照し、作業内容と関連させて確認回数を作業者基準外作業一覧表示領域２５３０に表示させる。
【０１９８】
以上、作業者情報表示領域を参照することで、作業者の行った基準外作業の詳細な情報を得ることができる。また、確認回数を参照すれば、作業者が基準外作業一覧画面２１００や基準外作業画像、又は作業手順情報を参照して習熟の機会を得ているか否かを認識することができる。
【０１９９】
なお、作業習熟支援装置１００は、確認回数情報を監視し、基準外作業の発生後一定期間内に確認回数が所定回数以下であった作業者に対し、メール等にて確認を促すことができる。これにより、作業習熟装置は、効率的に作業者の習熟を促進することができる。
【０２００】
以上、本実施形態により、習熟の必要な作業者や作業内容を効率的に抽出することができる。また、基準外作業の状況や改善方法を作業者に適切に提供すると共に、管理者は作業者の習熟度合いや改善方法の確認状況を把握することができ、作業者の習熟を効率的かつ適切に促すことが可能となる。
【０２０１】
以上、本発明に係る各実施形態及び変形例の説明を行ってきたが、本発明は、上記した実施形態の一例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態の一例は、本発明を分かり易くするために詳細に説明したものであり、本発明は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。
【０２０２】
また、上記の作業習熟支援装置１００、及びユーザ端末装置２００の機能構成は、理解を容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。上述に示す通り、作業習熟支援装置１００、及びユーザ端末装置２００は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【符号の説明】
【０２０３】
１：作業習熟支援システム、１００：作業習熟支援装置、１１０・２１０：制御部、１１１：骨格時系列情報取得部、１１２：基準外作業抽出部、１１３：部品特定部、１１４：作業内容特定部、１１５：画像生成部、１１６：表示情報生成部、１２０：記憶部、１２１：作業実績情報記憶部、１２２：作業関連情報記憶部、１２３：作業手順情報記憶部、１２４：基準外作業モデル情報記憶部、１２５：基準外作業抽出設定情報記憶部、１２６：作業所内部画像記憶部、１２７：設計情報記憶部、１２８：骨格時系列情報記憶部、１２９：領域情報記憶部、１３０：基準外作業抽出結果情報記憶部、１４０・２２０：入力部、１５０・２３０：出力部、１６０・２４０：通信部、１６１：入力装置、１６２：出力装置、１６３：外部記憶装置、１６４：演算装置、１６５：主記憶装置、１６６：通信装置、２００：ユーザ端末装置、２１１：基準外作業要求部、３００：作業実績情報、４００：作業関連情報、５００：基準外作業モデル情報、６００：基準外作業抽出設定情報、７００：骨格時系列情報、８００：基準外作業抽出結果情報、９００：類似度情報、１０００：作業手順参照情報、２１００：基準外作業一覧画面、２１１０：基準外作業一覧表示領域、２１２０・２２２０・２３２０：確認ボタン、２２００：基準外作業画像表示画面、２２１０：基準外作業画像表示領域、２２１１：再生ボタン、２２１２：停止ボタン、２２１３：再生位置、２３００：作業手順情報表示画面、２３１０：作業手順情報表示領域、２４００：基準外作業確認画面、２４１０：表示条件設定領域、２４２０：作業名表示領域、２４３０：発生時間推移表示領域、２４４０：作業者対応表示領域、２５００：作業者情報表示画面、２５１０：作業者名表示領域、２５２０：作業者発生時間推移表示領域、２５３０：作業者基準外作業一覧表示領域、Ｎ：ネットワーク
【図１】
2020086697.tif 000003
【図２】
2020086697.tif 000004
【図３】
2020086697.tif 000005
【図４】
2020086697.tif 000006
【図５】
2020086697.tif 000007
【図６】
2020086697.tif 000008
【図７】
2020086697.tif 000009
【図８】
2020086697.tif 000010
【図９】
2020086697.tif 000011
【図１０】
2020086697.tif 000012
【図１１】
2020086697.tif 000013
【図１２】
2020086697.tif 000014
【図１３】
2020086697.tif 000015
【図１４】
2020086697.tif 000016
【図１５】
2020086697.tif 000017
【図１６】
2020086697.tif 000018
【図１７】
2020086697.tif 000019
【図１８】
2020086697.tif 000020
【図１９】
2020086697.tif 000021
【図２０】
2020086697.tif 000022