(57)【要約】【課題】あらかじめ設定された作業工程毎に作業時間を比較して、特定した改善箇所に対する改善方法を提示する場合と比較して、作業者が作業の具体的な改善方法を把握し易くする。【解決手段】領域分割部２１は、作業者による作業の様子を撮影した撮影データの表す画像に対して領域分割処理を施し、該画像を複数の部分領域に分割する。撮影データ分割部２２は、部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで、撮影データを複数の単位作業データに分割する。選択部２３は、複数の単位作業データのなかから、その特徴が予め定められた条件を満たすものを選択する。提示部２４は、選択部２３により選択された単位作業データを提示する。【選択図】図２
2019135576.tif 000002
【特許請求の範囲】
【請求項１】
作業者による作業の様子を撮影した撮影データが表す画像に対して領域分割処理を施し、該画像を複数の部分領域に分割する領域分割部と、
前記部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで前記撮影データを複数の単位作業データに分割する撮影データ分割部と、
前記複数の単位作業データのなかから、該単位作業データの特徴が予め定められた条件を満たすものを選択する選択部と、
前記選択された単位作業データを提示する提示部と
を有する情報処理装置。
【請求項２】
前記複数の部分領域の各々は、前記作業に含まれる単位作業に対応付けられており、
前記単位作業データの特徴は、前記単位作業の作業時間及び回数の少なくともいずれか一方である
請求項１に記載の情報処理装置。
【請求項３】
前記撮影データ分割部は、前記部分領域のそれぞれに割り当てられたラベルを前記単位作業データに付与し、
前記選択部は、前記単位作業データの特徴と該単位作業データに付与されたラベルに対応する指標データの特徴とを比較し、両者の差分が予め定められた閾値以上となる単位作業データを特定する
請求項１又は２に記載の情報処理装置。
【請求項４】
前記選択部は、前記差分が予め定められた閾値未満である場合、前記領域分割部に前記領域分割処理の実行を指示し、
前記領域分割部は、前記領域分割処理が指示された場合、前記領域分割処理を前回実行したときよりも分割の程度が細かくなるパラメータを用いて該領域分割処理を実行する
請求項３に記載の情報処理装置。
【請求項５】
前記撮影データが複数格納されたデータベースから、前記分割された単位作業データに付されたラベルに対応する前記指標データを抽出する抽出部
を更に有する
請求項３又は４に記載の情報処理装置。
【請求項６】
前記撮影データと、作業の区切りを特定するための画像を表す分割基準データとを比較し、比較結果を用いて該撮影データを複数の工程に分割する工程分割部
を更に有し、
前記選択部は、前記分割された工程毎に、前記単位作業データを選択する
請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
前記提示部は、前記選択された単位作業データの表す画像と前記指標データの表す画像とを比較可能な態様で表示する
請求項３乃至５のいずれか１項に記載の情報処理装置。
【請求項８】
前記選択部による選択の履歴を記憶する記憶制御部
を更に有し、
前記提示部は、前記選択された単位作業データに対応する履歴により特定される単位作業データの表す画像を、該選択された単位作業データの表す画像とともに表示する
請求項７に記載の情報処理装置。
【請求項９】
コンピュータに、
作業者による作業の様子を撮影した撮影データの表す画像に対して領域分割処理を施し、該画像を複数の部分領域に分割するステップと、
前記部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで前記撮影データを複数の単位作業データに分割するステップと、
前記複数の単位作業データのなかから、該単位作業データの特徴が予め定められた条件を満たすものを選択するステップと、
前記選択された単位作業データを提示するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
工場やオフィスでの作業を支援するための技術が提案されている。例えば特許文献１には、作業を評価するために人物等の被写体の動作を分類する装置として、被写体を撮像した複数の画像データを取得する手段と、取得された画像データに含まれる被写体の少なくとも一部所定部分の撮像状態に関する所定部分情報を生成する手段と、所定部分情報に基づいて被写体の動作を分類する手段とを含む動作分類支援装置が記載されている。
【０００３】
また、特許文献２には、撮像装置が生産現場の作業者を撮影して得た動画データを用いて、作業者が行った作業を評価する作業評価装置として、作業者の動作量が大きい場合にムダな動作が行われていると特定することが記載されている。また、特許文献３には、作業の効率を高める上で必要な情報を効率よく作業者に提示する技術として、カメラにより作業者の作業の様子を撮像し、作業の作業時間の短さの観点から選択した上位３作業の動画をサンプル画像として作業者に提示することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２６７６０４号公報
【特許文献２】特開２００８−２２５７０４号公報
【特許文献３】特開２０１１−１３４２２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
あらかじめ設定された作業工程毎に作業時間を比較して、特定した改善箇所に対する改善方法を提示する場合、作業工程の粒度が大きすぎると具体的な改善方法が分からず、また作業工程の粒度が小さすぎると改善作業の提示が煩雑になったりすることがある。
本発明は、あらかじめ設定された作業工程毎に作業時間を比較して、特定した改善箇所に対する改善方法を提示する場合と比較して、作業者が作業の具体的な改善方法を把握し易くすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の請求項１に係る情報処理装置は、作業者による作業の様子を撮影した撮影データが表す画像に対して領域分割処理を施し、該画像を複数の部分領域に分割する領域分割部と、前記部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで前記撮影データを複数の単位作業データに分割する撮影データ分割部と、前記複数の単位作業データのなかから、該単位作業データの特徴が予め定められた条件を満たすものを選択する選択部と、前記選択された単位作業データを提示する提示部とを有することを特徴とする。
【０００７】
本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記複数の部分領域の各々は、前記作業に含まれる単位作業に対応付けられており、前記単位作業データの特徴は、前記単位作業の作業時間及び回数の少なくともいずれか一方であることを特徴とする。
【０００８】
本発明の請求項３に係る情報処理装置は、請求項１又は２に記載の構成において、前記撮影データ分割部は、前記部分領域のそれぞれに割り当てられたラベルを前記単位作業データに付与し、前記選択部は、前記単位作業データの特徴と該単位作業データに付与されたラベルに対応する指標データの特徴とを比較し、両者の差分が予め定められた閾値以上となる単位作業データを特定することを特徴とする。
【０００９】
本発明の請求項４に係る情報処理装置は、請求項３に記載の構成において、前記差分が予め定められた閾値未満である場合、前記領域分割部に前記領域分割処理の実行を指示し、前記領域分割部は、前記領域分割処理が指示された場合、前記領域分割処理を前回実行したときよりも分割の程度が細かくなるパラメータを用いて該領域分割処理を実行することを特徴とする。
【００１０】
本発明の請求項５に係る情報処理装置は、請求項３又は４に記載の構成において、前記撮影データが複数格納されたデータベースから、前記分割された単位作業データに付されたラベルに対応する前記指標データを抽出する抽出部を更に有することを特徴とする。
【００１１】
本発明の請求項６に係る情報処理装置は、請求項１乃至５のいずれか１項に記載の構成において、前記撮影データと、作業の区切りを特定するための画像を表す分割基準データとを比較し、比較結果を用いて該撮影データを複数の工程に分割する工程分割部を更に有し、前記選択部は、前記分割された工程毎に、前記単位作業データを選択することを特徴とする。
【００１２】
本発明の請求項７に係る情報処理装置は、請求項３乃至５のいずれか１項に記載の構成において、前記提示部は、前記選択された単位作業データの表す画像と前記指標データの表す画像とを比較可能な態様で表示することを特徴とする。
【００１３】
本発明の請求項８に係る情報処理装置は、請求項７に記載の構成において、前記選択部による選択の履歴を記憶する記憶制御部を更に有し、前記提示部は、前記選択された単位作業データに対応する履歴により特定される単位作業データの表す画像を、該選択された単位作業データの表す画像とともに表示することを特徴とする。
【００１４】
本発明の請求項９に係るプログラムは、コンピュータに、作業者による作業の様子を撮影した撮影データの表す画像に対して領域分割処理を施し、該画像を複数の部分領域に分割するステップと、前記部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで前記撮影データを複数の単位作業データに分割するステップと、前記複数の単位作業データのなかから、該単位作業データの特徴が予め定められた条件を満たすものを選択するステップと、前記選択された単位作業データを提示するステップとを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１５】
請求項１及び９に係る発明によれば、あらかじめ設定された作業工程毎に作業時間を比較して、特定した改善箇所に対する改善方法を提示する場合と比較して、作業者が作業の具体的な改善方法を把握し易い。
請求項２に係る発明によれば、単位作業の作業時間又は回数を用いて単位作業データの抽出を行わない場合と比較して、作業者が作業の具体的な改善方法を把握し易い。
請求項３に係る発明によれば、ラベル毎の指標データを用いて単位作業データの抽出を行わない場合と比較して、改善される可能性のある単位作業データが抽出され易い。
請求項４に係る発明によれば、改善される可能性が高い作業工程を先に作業者に提示することができる。
請求項５に係る発明によれば、ラベル毎の指標データを用いて単位作業データの抽出を行わない場合と比較して、改善される可能性のある単位作業データを抽出し易い。
請求項６に係る発明によれば、撮影データを複数の工程に分割しない場合と比較して、改善される可能性のある単位作業データが抽出され易い。
請求項７に係る発明によれば、単位作業データの表す画像と指標データの表す画像とを比較可能な態様で表示しない場合と比較して、作業者が作業の具体的な改善方法を把握し易い。
請求項８に係る発明によれば、記憶された履歴により特定される単位作業データの画像を表示しない場合と比較して、過去に提示された内容が改善されているかを作業者が把握し易い。
【図面の簡単な説明】
【００１６】
【図１】作業支援システムの構成を例示する図
【図２】作業支援システムの機能構成を例示する図
【図３】情報処理装置のハードウェア構成を例示する図
【図４】情報処理装置の処理の流れを例示するフローチャート
【図５】分割基準データの内容を例示する図
【図６】主工程への分割処理の流れを例示するフローチャート
【図７】領域分割処理の内容を例示する図
【図８】サブ工程への分割処理の流れを例示するフローチャート
【図９】作業の流れを例示する図
【図１０】部分領域毎の画像の特徴量の変化を表すグラフ
【図１１】サブ工程に分割された状態を例示する図
【図１２】候補作業の選択処理の内容を説明するための図
【図１３】表示される画面を例示する図
【発明を実施するための形態】
【００１７】
［１］構成
図１は本実施形態に係る作業支援システム１の構成を示すブロック図である。作業支援システム１は、作業者の作業効率の向上を支援するためのシステムである。作業支援システム１は、複数の撮影装置１０及び情報処理装置２０を備える。撮影装置１０は、作業者による作業の様子を撮影する装置である。情報処理装置２０は、サーバ装置、スマートフォン、タブレット端末、又はノートブック型ＰＣ（Personal Computer）等のコンピュータ装置である。撮影装置１０は通信回線２により情報処理装置２０に接続されている。通信回線２は、例えばインターネットや移動体通信網、電話回線、ＬＡＮ（local Area Network）などのうちの少なくとも１つを含む。なお、図１には３つの撮影装置１０が図示されているが、撮影装置１０の数はこれより多くても少なくてもよい。
【００１８】
図２は作業支援システム１の機能構成を例示するブロック図である。図において、領域分割部２１は、作業者による作業の様子を撮影した撮影データが表す画像に対して領域分割処理を施し、該画像を複数の部分領域に分割する。撮影データ分割部２２は、部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで、撮影データを複数の単位作業データに分割する。この分割処理には、例えばオプティカルフロー、色ヒストグラム等が用いられる。この実施形態において、画像の特徴量は、例えば、色彩、輝度、等の画像の特徴が数値化されたものである。画像の特徴量の変化に関するパラメータは、例えば、オプティカルフローにおけるベクトルの変化量を示すパラメータである。
【００１９】
選択部２３は、複数の単位作業データのなかから、その特徴が予め定められた条件を満たすものを選択する。また、選択部２３は、単位作業データの特徴と指標データの特徴との差分が予め定められた閾値未満である場合、領域分割部２１に領域分割処理の再実行を指示する。この場合、領域分割部２１は、前回よりも分割の程度が細かくなるパラメータを用いて領域分割処理を再実行する。提示部２４は、選択部２３により選択された単位作業データを提示する。
【００２０】
抽出部２５は、撮影データが複数格納されたデータベース２９から、分割された単位作業データに付されたラベルに対応する指標データを抽出する。抽出された指標データは選択部２３による選択処理で用いられる。
【００２１】
工程分割部２６は、撮影データと、作業の区切りを特定するための画像を表す分割基準データとを比較し、比較結果を用いて該撮影データを複数の工程に分割する。分割された複数の工程のそれぞれにおいて、選択部２３により単位作業データが選択される。
【００２２】
記憶制御部２７は、選択部２３による選択の履歴を記憶する。記憶された履歴により特定される単位作業データの表す画像が、提示部２４により、選択された単位作業データの表す画像とともに表示される。
【００２３】
図３は情報処理装置２０のハードウェア構成を例示する図である。図において、メモリ２５１は各種データを記憶する。プロセッサ２５２はメモリ２５１に記憶されているプログラムに従いデータ処理を行う。通信ＩＦ２５３は外部の装置とネットワークを介したデータ通信を行うインターフェイスである。ＵＩ部２５４は例えばタッチスクリーンとキーとを備える。ＵＩ部２５４は情報処理装置２０に内蔵されていてもよく、また、外付けされて外部接続されるものであってもよい。
【００２４】
この例で、メモリ２５１に記憶されているプログラムをプロセッサ２５２が実行することにより、図２に示される機能が実装される。プログラムを実行しているプロセッサ２５２は、領域分割部２１、撮影データ分割部２２、選択部２３、提示部２４、抽出部２５、工程分割部２６及び記憶制御部２７の一例である。
【００２５】
［２］動作
次いで、この実施形態の動作を説明する。この実施形態では、作業者による作業の様子が撮影装置１０により撮影され、撮影された撮影データが情報処理装置２０により解析され、作業効率を上げるための情報が作業者に提示される。作業者による作業は、例えば、画像形成装置等の装置の部品を交換する作業、工場での部品の組み立て作業、等である。作業者による作業には、１又は複数の作業工程が含まれる。例えば、画像形成装置のカートリッジの交換作業には、作業工程として、装置のカバー（フロントパネル）を開く工程、カートリッジを取り出す工程、カートリッジを入れる工程、カバーを閉じる工程、の複数の工程が含まれる。また、作業工程は更に、複数のサブ工程を含む場合がある。例えば、装置のカバーを開く工程には、ドライバーを用意する、（１本目の）ネジを緩める、ネジを置く、（２本目の）ネジを緩める、ネジを置く、…といったように、複数のサブ工程が含まれる。
【００２６】
この実施形態では、ひとつの作業を複数の工程に分割した場合の各工程を「主工程」といい、主工程を更に分割した場合の各工程を「サブ工程」と呼ぶ。
【００２７】
作業者による一連の作業は、撮影装置１０により撮影され、撮影された作業を表す撮影データが情報処理装置２０に送信される。撮影データは、情報処理装置２０に設けられたデータベースに蓄積される。データベースに蓄積される撮影データには、作業の種別を示す種別ＩＤ、作業者を識別する作業者ＩＤ、及び撮影データの送信元である撮影装置１０を識別する装置ＩＤ等の各種の情報が付される。情報処理装置２０のデータベースには、異なるタイミング又は異なる場所で撮影された作業の撮影データが、種別ＩＤ及び作業者ＩＤ等の識別情報に紐付けられて蓄積される。
【００２８】
この実施形態では、撮影された撮影データが情報処理装置２０により解析されることにより、作業者の一連の作業が複数のサブ工程に分割される。更に、分割された複数のサブ工程の中から、作業効率が向上する余地があると推定されるサブ工程が選択され、作業者に提示される。
【００２９】
情報処理装置２０のユーザは、情報処理装置２０のＵＩ部２５４を用いて、作業種別を選択する。情報処理装置２０のユーザは、例えば、撮影された作業を行った作業者や、情報処理装置２０の管理者である。ＵＩ部２５４は作業者の操作内容に応じた情報を出力する。
【００３０】
図４は情報処理装置２０の処理の流れを例示するフローチャートである。ステップＳ１０１において、情報処理装置２０のプロセッサ２５２は、ＵＩ部２５４から出力される情報に従って作業種別を選択する。作業種別は作業者によって行われた作業の種別を示す情報であり、例えば、「ｘｘカートリッジの交換作業」である。
【００３１】
ステップＳ１０２において、情報処理装置２０は、撮影装置１０により撮影された、一連の作業の様子を表す撮影データを取得する。この取得処理は、例えば、撮影装置１０から出力される撮影データがリアルタイムに取得されてもよく、また、例えば、情報処理装置２０のデータベースに蓄積されたデータベースから、ユーザにより選択された作業種別等の識別情報に対応する撮影データが読み出されることにより取得されてもよい。
【００３２】
ステップＳ１０３において、情報処理装置２０は、取得された撮影データを、複数の工程（以下「主工程」という）に分割する処理（以下「主工程分割処理」という）を行う。この実施形態では、この分割処理において、作業の区切りを特定するための画像を表すデータ（以下「分割基準データ」という）が用いられる。分割基準データは、主工程毎に予め管理者等により登録されている。
【００３３】
図５は分割基準データの内容を例示する図である。図５の例では、カートリッジの交換作業として、主工程Ｐ１〜Ｐ４の４つの主工程が含まれる場合の分割基準データが例示されている。主工程Ｐ１は、カバーを開く工程であり、主工程Ｐ２は、カートリッジを取り出す工程であり、主工程Ｐ３は、カートリッジを入れる工程であり、主工程Ｐ４はカバーを閉じる工程である。図において、分割基準データＩ１は、作業が開始される前又は作業が開始された直後の状態を表す画像データである。分割基準データＩ２は、主工程Ｐ１が完了した状態を表す画像データである。分割基準データＩ３は、主工程Ｐ２が完了した状態を表す画像データである。分割基準データＩ４は、主工程Ｐ３が完了した状態を表す画像データである。分割基準データＩ５は、主工程Ｐ４が完了した状態を表す画像データである。すなわち、分割基準データＩ１〜Ｉ５は、主工程の区切り位置に対応するデータである。
【００３４】
図６は主工程への分割処理（図４のステップＳ１０３の処理）の流れを例示するフローチャートである。ステップＳ２０１において、情報処理装置２０のプロセッサ２５２は、主工程毎に予め登録された分割基準データを取得する。分割基準データは、情報処理装置２０のメモリ２５１から読み出されることにより取得されてもよく、また、他の装置から通信ＩＦ２５３により受信されることにより取得されてもよい。
【００３５】
ステップＳ２０２において、情報処理装置２０は、１つめの主工程を現在の主工程（以下「現工程」という）として設定する。次いで、情報処理装置２０は、ステップＳ２０３及びＳ２０４の処理を、解析対象である撮影データのフレームの数だけ繰り返す。ステップＳ２０３において、情報処理装置２０は、そのフレームの画像が現工程の前後の区切り位置のどちらの画像に近いかを判定することにより、主工程が移行したかを判定する。この実施形態では、情報処理装置２０は、そのフレームの画像を現工程の開始タイミングに対応する分割基準データと比較するとともに、現工程の終了タイミングに対応する分割基準データと比較し、終了タイミングの分割基準データのほうが類似度が高い場合に、主工程が移行したと判定する。具体的には、例えば、図５の例において、現工程が主工程Ｐ１である場合において、そのフレームの画像と分割基準データＩ１との類似度が、そのフレームの画像と分割基準データＩ２との類似度よりも低い場合、主工程Ｐ１から主工程Ｐ２に移行したと判定される。
【００３６】
主工程が移行したと判定された場合（ステップＳ２０３；ＹＥＳ）、情報処理装置２０はステップＳ２０４の処理に進む。一方、主工程が移行していないと判定された場合（ステップＳ２０３；ＮＯ）、情報処理装置２０はステップＳ２０４の処理をスキップし、次のフレームについてステップＳ２０３の処理を実行する。
【００３７】
ステップＳ２０４において、情報処理装置２０は、そのフレームを、次の主工程の開始フレームとして記録する。このように、情報処理装置２０により、撮影データに含まれる各フレームの特徴と分割基準データの特徴とが比較され、比較結果を用いて撮影データが複数の主工程に分割される。
【００３８】
図４の説明に戻る。情報処理装置２０は、ステップＳ１０４乃至Ｓ１０７の処理を、主工程の数だけ繰り返す。まず、ステップＳ１０４において、情報処理装置２０は、撮影データの表す画像に対して領域分割処理を施し、撮影データの表す画像を複数の領域（以下「部分領域」という）に分割する。分割された各部分領域はラベリングされる。
【００３９】
ステップＳ１０４においては、領域分割の細かさの程度（以下「粒度」という）を決めるパラメータが用いられる。この実施形態では、領域分割処理のパラメータは、領域分割処理の繰り返し回数が多くなるほどその粒度が細かくなるように、その値が設定される（図４のステップＳ１１１）。
【００４０】
図７は領域分割処理の内容を例示する図である。図において、（ａ）は撮影動画の視野を例示する図である。（ｂ）〜（ｄ）はラベリングされた各部分領域を例示する図である。（ｂ）は、この実施形態における１回目の領域分割処理によるラベリングの結果を例示する図である。（ｃ）は、２回目の領域分割処理によるラベリングの結果を例示する図である。（ｄ）は３回目の領域分割処理によるラベリングの結果を例示する図である。（ｂ）と（ｃ）とを比較すると明らかなように、１回目の領域分割処理よりも、２回目の領域分割処理の方が、領域分割の粒度が細かくなっている。また、３回目の領域分割処理は更に粒度が細かくなる。
【００４１】
図４の説明に戻る。ステップＳ１０５において、情報処理装置２０は、部分領域毎の画像の特徴量の変化に関するパラメータが予め定められた条件を満たすタイミングで、撮影データをサブ工程毎のデータ（以下「単位作業データ」という）に分割する。
【００４２】
図８はサブ工程への分割処理（図４のステップＳ１０５の処理）の流れを例示するフローチャートである。ステップＳ３０１において、情報処理装置２０は、ステップＳ３０１乃至ステップＳ３０３の処理を、フレームの数だけ繰り返す。まず、ステップＳ３０１において、情報処理装置２０は、部分領域毎の画像の特徴量の変化量を計算する。
【００４３】
情報処理装置２０は、ステップＳ３０２及びステップＳ３０３の処理を、部分領域の数だけ繰り返す。まず、ステップＳ３０２において、情報処理装置２０は、その部分領域の画像の特徴量の変化量が閾値以上であるか（予め定められた条件を満たすか）を判定する。変化量の判定には例えば、オプティカルフロー、色ヒストグラム等の手法が用いられる。変化量が閾値以上である場合（ステップＳ３０２；ＹＥＳ）、情報処理装置２０はステップＳ３０３の処理に進む。一方、閾値未満である場合（ステップＳ３０２；ＮＯ）、情報処理装置２０は、ステップＳ３０３の処理をスキップし、次の部分領域について、ステップＳ３０２の処理を実行する。
【００４４】
ステップＳ３０３において、情報処理装置２０は、そのフレームをその部分領域に対応付けられたサブ工程の開始として記録する。この実施形態では、複数の部分領域の各々は、作業に含まれる単位作業を識別するラベルに予め対応付けられており、複数の部分領域のそれぞれに予め割り当てられたラベルが撮影データに付与されることにより、撮影データが複数のサブ工程に分割される。ステップＳ３０３の処理を終えると、情報処理装置２０は次の部分領域について、ステップＳ３０２の処理を実行する。ステップＳ３０２乃至Ｓ３０３の処理が部分領域の数だけ繰り返されることにより、主工程が複数のサブ工程に分割される。
【００４５】
図９は、作業者による作業の流れを例示する図である。図９の例では、サブ工程Ｐ１０１〜Ｐ１０５の５つのサブ工程が順に行われた場合を例示している。サブ工程Ｐ１０１は、作業者がドライバーを用意する工程を示す。サブ工程Ｐ１０２は、作業者がネジを緩める工程を示す。サブ工程Ｐ１０３は、作業者がネジを置く工程を示す。サブ工程Ｐ１０４は、作業者がネジを緩める工程を示す。サブ工程Ｐ１０５は、作業者がネジを置く工程を示す。
【００４６】
図１０は、図９に例示される作業が撮影された撮影データが、図７の（ｃ）に例示される態様で複数の部分領域に分割された場合において、部分領域毎の画像の特徴量の変化を表すグラフである。図において、サブ工程Ｐ１０１では、ラベルＬ１に対応する部分領域の画像特徴量の変化量が大きいと判定されることにより、サブ工程Ｐ１０１にはラベルＬ１が付される。サブ工程Ｐ１０２では、ラベルＬ３に対応する部分領域の画像特徴量の変化量が大きいと判定されることにより、サブ工程Ｐ１０２にはラベルＬ３が付される。このようにして、変化量に応じたラベルが各サブ工程に付される。なお、ひとつのサブ工程に複数のラベルが付されてもよい。
【００４７】
図１１は、撮影データがサブ工程に分割された単位作業データの内容を例示する図である。（ａ）〜（ｃ）において、上段のグラフは撮影データがサブ工程に分割された内容を例示するグラフである。また、下段はその撮影データに対応する指標データの内容を例示するグラフである。指標データは、データベースに蓄積された単位作業データであって、その特徴が予め定められた条件を満たす（例えば、作業時間が短い、作業回数が少ない、等）データである。図において、横軸は時刻を示す。グラフ中の数値は、サブ工程の作業時間を示す。（ａ）では、ラベリングされたサブ工程Ｐ３０１、Ｐ３０２、及びＰ３０３の３つのサブ工程が含まれており、サブ工程Ｐ３０１、サブ工程Ｐ３０２、サブ工程Ｐ３０３、サブ工程Ｐ３０２、サブ工程Ｐ３０１の順にサブ工程が行われたと判定されている。すなわち、サブ工程Ｐ３０１、サブ工程Ｐ３０２はそれぞれ複数回に分断されて作業されている。
【００４８】
図１１において、領域分割の粒度は（ａ）が最も粗く、（ｃ）が最も細かくなっている。図１１の（ａ）におけるサブ工程Ｐ３０３は、（ｂ）においてサブ工程Ｐ４０１、Ｐ４０２に細分されている。また、サブ工程Ｐ４０１は、（ｃ）において更にサブ工程Ｐ５０１、Ｐ５０２に細分されている。
【００４９】
図４の説明に戻る。ステップＳ１０６において、情報処理装置２０は、サブ工程への分割結果を示すデータを記録する。この記録は、情報処理装置２０に設けられたデータベースに対し行われる。この実施形態では、各作業の時間及び／又は回数が記録される。例えば、図１１の（ａ）の例では、サブ工程Ｐ３０１の作業時間は「４８」であり、作業回数は「２」である。サブ工程Ｐ３０２の作業時間は「３５」であり、作業回数は「２」である。サブ工程Ｐ３０３の作業時間は「３６」であり、作業回数は「１」である。
【００５０】
図４のステップＳ１０７において、情報処理装置２０は、分割された複数のサブ工程の中からそのサブ工程に対応する単位作業データの特徴が予め定められた条件を満たすものを探索する。単位作業データの特徴は、例えば、作業時間又は作業回数である。ステップＳ１０７で探索される単位作業データは、改善される効率が高いサブ工程として作業者又は管理者等のユーザに提示される。以下の説明では、説明の便宜上、改善される効率が高いと推定されるサブ工程を「候補作業」と称する。
【００５１】
この実施形態では、サブ工程毎に予め準備された指標データを用いて探索処理が行われる。指標データは情報処理装置２０のデータベースに蓄積された過去の撮影データの中から選択される。
【００５２】
図１２はステップＳ１０７の候補作業の抽出処理を説明するための図である。図において、（ａ）は、評価対象である単位作業データ（以下「評価対象データ」という）のそれぞれに付されたラベルと各単位作業データの作業時間とを例示する図である。図において、サブ工程Ｐ２０１にはラベルＬ２１が付されており、その作業時間は４０（秒）である。サブ工程Ｐ２０２にはラベルＬ２２が付されており、サブ工程Ｐ２０２は３回に分けて実行されている。サブ工程Ｐ２０２の作業時間は２８（秒）である。
【００５３】
図１２の（ｂ）は情報処理装置２０により指標データとして選択された単位作業データを例示する図である。この実施形態では、情報処理装置２０は、自装置のデータベースに記録された過去の撮影データの中から、ステップＳ１０５で分割されたサブ工程の単位作業データに付されたラベルに対応する指標データを抽出する。この動作例では、合計の作業時間が短い等の予め定められた指標に基づいた単位作業データが指標データとして抽出される。
【００５４】
情報処理装置２０は、撮影データが分割された単位作業データの特徴と、その単位作業データに付与されたラベルに対応する指標データの特徴とを比較し、両者の差分が予め定められた閾値以上となる（予め定められた条件を満たす）単位作業データを特定する。
【００５５】
図１２の（ｃ）は、評価対象データと指標データとのラベル毎の比較結果を例示する図である。この例では、サブ工程のそれぞれについて、作業の回数、及び作業の合計時間が比較され、両者の差分が多い順にランク付けされている。この実施形態では、情報処理装置２０は、指標データと比較して、作業の回数及び／又は作業の合計時間の多い部分領域に対応する作業を、候補作業として特定する。
【００５６】
図１２の例において、作業の回数や順番について指標データと差分がなかった場合、候補作業は選択されない。この場合、情報処理装置２０は、次の主工程について図４のステップＳ１０４乃至Ｓ１０７の処理を実行する。ステップＳ１０４乃至Ｓ１０７の処理が主工程の数だけ繰り返し実行されることにより、候補作業が１又は複数特定される。なお、撮影データや指標データの内容によっては、候補作業が特定されない場合もある。
【００５７】
図４の説明に戻る。ステップＳ１０８において、情報処理装置２０は、予めユーザにより設定された最小単位の粒度で領域分割が実施されたかを判定する。最小単位は、管理者等のユーザにより情報処理装置２０に予め設定されている。最小単位で領域分割されたと判定された場合（ステップＳ１０８；ＹＥＳ）、情報処理装置２０はステップＳ１１０の処理に進む。一方、最小単位での領域分割が未だ実施されていない場合（ステップＳ１０８；ＮＯ）、情報処理装置２０はステップＳ１０９の処理に進む。
【００５８】
ステップＳ１０９において、情報処理装置２０は、予め設定された数の候補作業が見つかったかを判定する。候補作業の数は、管理者等のユーザにより情報処理装置２０に予め設定されている。予め定められた数の候補作業が見つかった場合（ステップＳ１０９；ＹＥＳ）、情報処理装置２０はステップＳ１１０の処理に進む。一方、予め定められた数の候補作業が未だ見つかっていない場合（ステップＳ１０９；ＮＯ）、情報処理装置２０はステップＳ１１１の処理に進む。
【００５９】
ステップＳ１１１において、情報処理装置２０は、ステップＳ１０４で用いられるパラメータの値を変更する。ステップＳ１１１の処理を終えると、情報処理装置２０は、ステップＳ１０４の処理に戻る。すなわち、この実施形態では、情報処理装置２０は、評価対象データと指標データとの差分が予め定められた閾値未満である場合、領域分割処理を前回実行した場合のパラメータ値よりも、分割の細かさの程度（粒度）が細かくなる値を用いて、分割処理を再度実行する。
【００６０】
ステップＳ１１０において、情報処理装置２０は、ステップＳ１０７で探索された候補作業を表す情報をＵＩ部２５４に表示することにより、候補作業を提示する。なお、提示の方法は表示に限られない。例えば、音声により候補作業が提示されてもよい。
【００６１】
図１３はステップＳ１１０においてＵＩ部２５４に表示される画面を例示する図である。図１３の例では、画面Ｓｃ１は、表示領域Ａ１１〜Ａ１５を有する。表示領域Ａ１１には、評価対象である撮影データの表す動画像、及び、指標データの表す動画像（ベンチマーク作業）が表示される。表示領域Ａ１２には、全工程に含まれるサブ工程毎の作業時間が表示される。表示領域Ａ１３には、評価対象である作業の作業時間と指標データに対応する作業（ベンチマーク作業）の作業時間とが比較可能な態様で表示される。
【００６２】
表示領域Ａ１４には、候補作業として抽出されたサブ工程のリストが表示される。ユーザは、表示されたリストに含まれるサブ工程のいずれかを選択する操作を行うことが可能である。表示領域Ａ１５には、表示領域Ａ１４において選択されたサブ工程について評価対象である作業とベンチマーク作業とが比較可能な態様で表示される。ユーザはこの画面により、どのサブ工程を改善すべきであるかを把握する。また、ユーザは、この画面により、例えばサブ工程を複数回に分けて行うのではなく一度にまとめて行うことで作業時間が短縮される、といったように、作業をどのように改善すればよいかを具体的に把握し易い。
【００６３】
ところで、従来の作業支援システムでは、撮影データを複数の工程に分割する際の分割の細かさの程度（以下「粒度」という）が大きすぎると、具体的な改善内容が把握し難い場合があった。一方、粒度が細かすぎると提示される候補作業の数が多くなりすぎたり、また改善効果が限られてしまったりする場合があった。
【００６４】
それに対しこの実施形態では、作業工程を作業の粒度により階層に分け、上の階層から順に作業工程ごとの回数と時間を記録する。また、過去のデータの中から合計の作業時間の短い等の指標に基づいた指標データを抽出し、指標データと比較して、作業の回数及び／又は作業の回数の多い部分領域に対応する作業を、候補作業として作業者等に提示する。これにより、作業の具体的な改善方法をユーザが把握し易い。
【００６５】
また、この実施形態では、予め定められた数の候補作業が見つからなかった場合は、各サブ工程において更に細かいサブ工程にブレークダウンして、各工程の指標データと比較することにより特定される候補作業を作業者に提示する。このように、この実施形態では、ユーザに作業工程の登録を要求することなく、作業者が改善すべき作業が、より効果の高い作業から順に提示される。
【００６６】
また、この実施形態では、全体の作業を複数の主工程に区分することにより、効率化し得る作業をより正確に提示し易い。例えば、ネジを緩める動作とネジを締める動作は、緩めた上で何か別の作業が行われるはずであり、共通の部分領域に対する作業であっても、連続して行われることはない。ここで、ネジを外してパーツを外した状態になったときに工程を一区切りにすることにより、ネジを外すまでの作業と、外した後の作業とを分けて、それぞれの主工程における効率化が推進される。
【００６７】
［３］変形例
上述した実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した実施形態及び以下に示す各変形例は、必要に応じて組み合わせて実施されてもよい。
【００６８】
（１）上述の実施形態では、主工程の分割処理（図４のステップＳ１０３の処理）において、各主工程の前後の区切り位置の分割基準データとフレームの画像データとを比較することにより、主工程に分割する処理を行った。主工程が移行したかの判定方法は、上述した実施形態で示したものに限られない。例えば、情報処理装置２０が、各フレームの画像の特徴量と、次の工程との区切り位置に対応する分割基準データの特徴量との類似度を計算し、類似度が予め定められた閾値以上になった場合に主工程が移行したと判定してもよい。
【００６９】
（２）上述の実施形態では、部分領域毎の画像の特徴量の変化量に従って撮影データが複数のサブ工程に分割された。サブ工程への分割方法は上述した実施形態で示したものに限られない。例えば、情報処理装置２０が、部分領域毎の画像特徴量の変化率を計算し、変化率が予め定められた閾値以上となったときに、その部分領域に対応するサブ工程の開始と特定してもよい。
【００７０】
（３）上述の実施形態では、選択された候補作業を提示する方法として、図１３に示される画面が表示される場合を例示した。候補作業の提示方法は上述した実施形態で示したものに限られない。例えば、ベンチマーク作業の動画像が表示されず、候補作業の動画像が表示される際に、ベンチマーク作業の動画像が表示されなくてもよい。
【００７１】
（４）上述の実施形態において、サブ工程への分割処理の結果を示すデータと、候補作業を表すデータとが組み合わせて記録されてもよい。この場合、そのユーザの作業について再度分析を行う際に、ベンチマーク作業とともに前回提示された候補作業がどれであるかがわかるように表示されてもよい。すなわち、情報処理装置２０が、候補作業の選択履歴をデータベースに記憶しておき、候補作業の動画像を表示する際に、その候補作業に対応する履歴により特定される単位作業データの表す画像をあわせて表示してもよい。
【００７２】
（５）上述の実施形態において、候補作業として提示された作業のフィードバックを作業者が入力するようにしてもよい。例えば、効果が高かった場合や実際には効率化に役立たなかった場合にその旨を示すデータを、候補作業を表すデータに紐付けて記録しておき、次回からの分析において、過去に効果の高かった作業が優先的に提示され、効果が低かった作業は提示されないように制御されてもよい。
【００７３】
（６）上述した実施形態において、情報処理装置２０のプロセッサ２５２により実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録され状態で提供されてもよい。
【符号の説明】
【００７４】
１…作業支援システム、２…通信回線、１０…撮影装置、２０…情報処理装置、２１…領域分割部、２２…撮影データ分割部、２３…選択部、２４…提示部、２５…抽出部、２６…工程分割部、２７…記憶制御部、２９…データベース、２５１…メモリ、２５２…プロセッサ、２５３…通信ＩＦ、２５４…ＵＩ部。
【図１】
2019135576.tif 000003
【図２】
2019135576.tif 000004
【図３】
2019135576.tif 000005
【図４】
2019135576.tif 000006
【図５】
2019135576.tif 000007
【図６】
2019135576.tif 000008
【図７】
2019135576.tif 000009
【図８】
2019135576.tif 000010
【図９】
2019135576.tif 000011
【図１０】
2019135576.tif 000012
【図１１】
2019135576.tif 000013
【図１２】
2019135576.tif 000014
【図１３】
2019135576.tif 000015