(57)【要約】【課題】作業者の動線を詳細に把握する。【解決手段】作業エリアにおける作業者の動線を管理するための作業動線記録システムであって、作業者が装着し、所定時間間隔で作業者エリアの画像を撮像する撮像部と、画像に基づいて作業エリアに対して設定された第１の３次元座標系における作業者の３次元位置を推定する作業者位置推定部と、作業者位置推定部が推定した第１の３次元座標系における作業者の３次元位置を時系列に記憶する記憶部と、作業エリアのＣＡＤデータから生成される作業エリアのＣＡＤ画像と、撮像部が撮像した作業エリアの画像と、に基づいて、時系列に記憶された第１の３次元座標系における作業者の３次元位置を、作業エリアのＣＡＤデータにおいて設定された第２の３次元座標系における作業者の３次元位置に変換する変換部と、第２の３次元座標系における作業者の３次元位置に基づいて、作業エリアのＣＡＤ画像上に作業者の動線を表示する表示制御部と、を備える。【選択図】図１
2020173698.tif 000002
【特許請求の範囲】
【請求項１】
作業エリアにおける作業者の動線を管理するための作業動線記録システムであって、
前記作業者が装着し、所定時間間隔で前記作業エリアの画像を撮像する撮像部と、
前記画像に基づいて前記作業エリアに対して設定された第１の３次元座標系における前記作業者の３次元位置を推定する作業者位置推定部と、
前記作業者位置推定部が推定した前記第１の３次元座標系における前記作業者の３次元位置を時系列に記憶する記憶部と、
前記作業エリアのＣＡＤデータから生成される前記作業エリアのＣＡＤ画像と、前記撮像部が撮像した前記作業エリアの画像と、に基づいて、時系列に記憶された前記第１の３次元座標系における前記作業者の３次元位置を、前記作業エリアのＣＡＤデータにおいて設定された第２の３次元座標系における前記作業者の３次元位置に変換する変換部と、
前記第２の３次元座標系における前記作業者の３次元位置に基づいて、前記作業エリアのＣＡＤ画像上に前記作業者の動線を表示する表示制御部と、
を備える作業動線記録システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業動線記録システムに関する。
【背景技術】
【０００２】
製品を加工・製造する作業者の動線を記録・分析し、生産効率の向上や製品の品質向上のために活用することが行われている。
【０００３】
例えば、特許文献１では、天井等に設けられたカメラが撮像した画像から、作業者の動線を抽出し、抽出された動線を、加工装置の位置等に関する情報を含むエリアマップと関連付けて記録している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１０３６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、作業者の動線を詳細に把握できない可能性がある。
【０００６】
そこで、本明細書開示の作業動線記録システムは、作業者の動線を詳細に把握することを課題とする。
【課題を解決するための手段】
【０００７】
かかる課題を解決するために、本明細書に開示された作業動線記録システムは、作業エリアにおける作業者の動線を管理するための作業動線記録システムであって、前記作業者が装着し、所定時間間隔で前記作業エリアの画像を撮像する撮像部と、前記画像に基づいて前記作業エリアに対して設定された第１の３次元座標系における前記作業者の３次元位置を推定する作業者位置推定部と、前記作業者位置推定部が推定した前記第１の３次元座標系における前記作業者の３次元位置を時系列に記憶する記憶部と、前記作業エリアのＣＡＤデータから生成される前記作業エリアのＣＡＤ画像と、前記撮像部が撮像した前記作業エリアの画像と、に基づいて、時系列に記憶された前記第１の３次元座標系における前記作業者の３次元位置を、前記作業エリアのＣＡＤデータにおいて設定された第２の３次元座標系における前記作業者の３次元位置に変換する変換部と、前記第２の３次元座標系における前記作業者の３次元位置に基づいて、前記作業エリアのＣＡＤ画像上に前記作業者の動線を表示する表示制御部と、を備える。
【発明の効果】
【０００８】
本明細書開示の作業動線記録システムによれば、作業者の動線を詳細に把握することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態に係る作業動線記録システムの概略構成図である。
【図２】図２（Ａ）は作業エリアについて説明する図であり、図２（Ｂ）は、空間認識装置を装着した作業者を説明する図である。
【図３】図３（Ａ）は、作業記録データの一例を示す図であり、図３（Ｂ）は、作業エリアのＣＡＤデータから生成されたＣＡＤ画像を示す図である。
【図４】図４は、空間認識装置の処理部が実行する動線記録処理の一例を示すフローチャートである。
【図５】図５（Ａ）は第１の３次元座標系について説明するための図であり、図５（Ｂ）は、環境地図情報の一例を示す図であり、図５（Ｃ）及び図５（Ｄ）は、動線データの一例を示す図である。
【図６】図６は、動線データの一例を示す図である。
【図７】図７は、情報処理装置の処理部が実行する作業実績データ作成処理の一例を示すフローチャートである。
【図８】図８（Ａ）及び図８（Ｂ）は、作業実績データの一例を示す図である。
【図９】図９は、作業エリアのＣＡＤ画像上に作業者の動線を表示する例を示す図である。
【図１０】図１０は、空間認識装置の処理部が実行する表示処理の一例を示すフローチャートである。
【図１１】図１１は、空間認識装置の表示部に表示される動線の一例を示す図である。
【図１２】図１２は、第２実施形態に係る作業動線記録システムの概略構成を示す図である。
【図１３】図１３（Ａ）は、工具データの一例を示す図であり、図１３（Ｂ）は、作業領域情報の一例を示す図である。
【図１４】図１４は、第２実施形態に係る空間認識装置が実行する動線記録処理の一例を示すフローチャートである。
【図１５】図１５は、第２実施形態に係る作業動線記録システムで記録される動線データの一例を示す図である。
【図１６】図１６は、第２実施形態に係る情報処理装置の処理部が実行する作業実績データ作成処理の一例を示すフローチャートである。
【図１７】図１７は、第２実施形態に係る作業動線記録システムで記録される作業実績データの一例を示す図である。
【図１８】図１８は、第２実施形態に係る作業動線記録システムで記録される作業実績データの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、添付図面を参照しつつ説明する。ただし、図面中、各部の寸法、比率等は、実際のものと完全に一致するようには図示されていない場合がある。また、図面によっては細部が省略されて描かれている場合もある。
【００１１】
≪第１実施形態≫
図１は、第１実施形態に係る作業動線記録システム１００の概略構成図である。作業動線記録システム１００は、図２（Ａ）の平面図に示すような作業エリアＷＡにおいて作業を行う作業者Ｗ１の動線（作業エリアＷＡ内における作業者Ｗ１の動き（位置）を時系列に表した線）を記録するためのシステムである。本実施形態では、図２（Ａ）に示すように、作業エリアＷＡには、５台の工作機械Ｍ１〜Ｍ５が設置されているものとする。
【００１２】
図１に示すように、作業動線記録システム１００は、空間認識装置１０と、情報処理装置２０と、作業記録装置３０と、を備える。
【００１３】
空間認識装置１０は、例えば、図２（Ａ）及び図２（Ｂ）に示すように、作業エリアＷＡで作業する作業者Ｗ１に装着されるヘッドマウントディスプレイである。空間認識装置１０は、図１に示すように、撮像部１１と、処理部１３と、記憶部１５と、通信部１７と、表示部１９と、を備える。
【００１４】
撮像部１１は、ステレオカメラであって、例えば、作業エリアＷＡの画像を撮像する。本第１実施形態では、撮像部１１は、空間認識装置１０を装着した作業者Ｗ１の視線方向を撮像する。これにより、作業者Ｗ１が作業エリアＷＡ内で作業を行っている場合、作業エリアＷＡ内に設置された設備や、作業者Ｗ１が使用している工具等の画像が撮像部１１により撮像された画像内に含まれることになる。撮像部１１は、例えば、所定の時間間隔で、作業者の視線方向を撮像し、撮像した画像（具体的には、ステレオカメラの右カメラで撮像した画像と左カメラで撮像した画像）を処理部１３に出力する。なお、撮像部１１は、作業エリアＷＡ内に配置された設備等が含まれる画像を撮像できるのであれば、例えば、作業者Ｗ１の視線方向と交差する方向を撮像してもよい。ただし、第２実施形態で詳細に述べるが、作業者Ｗ１が使用している工具等を特定するために、撮像部１１は、作業者Ｗ１の視線方向を撮像することが好ましい。
【００１５】
処理部１３は、例えば、中央処理制御装置（Central Processing Unit：ＣＰＵ）、各種プログラムやマップ等を予め記憶した読出専用メモリ（Read Only Memory：ＲＯＭ）、ＣＰＵの演算結果等を一時記憶するランダムアクセスメモリ（Random Access Memory：ＲＡＭ）、入力インターフェース、出力インターフェース等を備えるマイクロコンピュータである。処理部１３は、ＲＯＭに記憶されたプログラムをＣＰＵが実行することにより、各種処理を実行する。例えば、処理部１３は、所定の時間間隔（例えば３秒）で、撮像部１１が撮像した画像に基づいて作業エリアＷＡにおける作業者Ｗ１の位置を推定し、記憶部１５に時刻と共に記録する動線記録処理を実行する。より具体的には、処理部１３は、所定の時間間隔で、撮像部１１が撮像した画像に基づいて、作業エリアＷＡに対して設定された３次元座標系（以後、第１の３次元座標系という）における作業者Ｗ１の３次元位置（３次元座標値）を推定し、時刻と共に記憶部１５に記録する。動線記録処理の詳細については後述する。また、処理部１３は、撮像部１１が撮像している画像に作業者Ｗ１の動線を重畳して、表示部１９に表示する表示処理を行う。処理部１３は、作業者位置推定部の一例である。
【００１６】
記憶部１５は、例えばハードディスクドライブ等の記憶装置であり、第１実施形態では、環境地図情報１５１及び動線データ１５３を記憶する。
【００１７】
環境地図情報１５１は、例えば、撮像部１１が撮像した画像から抽出された特徴点に関する情報である。動線データ１５３は、作業エリアＷＡにおける作業者Ｗ１の位置を時系列に記録したデータである。環境地図情報１５１及び動線データ１５３の詳細は後述する。
【００１８】
通信部１７は、例えばインターネット、ＬＡＮ（Local Area Network）等のネットワークＮＷを介して情報処理装置２０と通信する。通信部１７は、例えば、記憶部１５に記憶されている環境地図情報１５１及び動線データ１５３を情報処理装置２０に送信する。また、情報処理装置２０から、記憶部２５に記憶されたＣＡＤ（Computer Aided Design）データ２５１及び作業実績データ２５３を受信する。
【００１９】
作業記録装置３０は、例えばパーソナルコンピュータやタブレットコンピュータであって、通信部３１及びハードディスクドライブ等の記憶部３２を備える。また、作業記録装置３０は、ディスプレイ等の表示部（不図示）、キーボード、マウス、タッチパネル等の入力部（不図示）、並びにＣＰＵ、ＲＯＭ、及びＲＡＭ等を含む処理部（不図示）を備える。
【００２０】
作業記録装置３０は、作業者Ｗ１が作業エリアＷＡで行った作業の情報を記録するための端末装置である。作業者Ｗ１は、作業エリアＷＡで作業を行った場合、その作業内容及び時間等の情報を作業記録装置３０に入力する。入力されたデータは、作業記録データ３２１として、記憶部３２に記録される。
【００２１】
ここで、作業記録データ３２１は、例えば、図３（Ａ）に示すように、作業内容、作業設備、使用工具、作業開始時間、及び作業終了時間等のフィールドを備える。作業内容のフィールドには、作業者Ｗ１が行った作業の内容が格納される。作業設備のフィールドには、作業者Ｗ１が作業を行った設備の情報が格納される。使用工具のフィールドには、作業者Ｗ１が作業に使用した工具の情報が格納される。作業開始時間及び作業終了時間のフィールドには、作業者Ｗ１が作業を開始した時刻及び終了した時刻がそれぞれ格納される。
【００２２】
なお、作業記録データ３２１は、作業記録装置３０の記憶部３２ではなく、作業記録装置３０が接続された生産管理システムのサーバ等に記憶されていてもよい。
【００２３】
通信部３１は、記憶部３２に記憶された作業記録データ３２１を情報処理装置２０に送信する。
【００２４】
情報処理装置２０は、例えばパーソナルコンピュータであって、通信部２３、処理部２１、記憶部２５、及び表示部２７を備える。通信部２３は、上述したネットワークＮＷを介して、空間認識装置１０と通信する。通信部２３は、例えば、空間認識装置１０から、環境地図情報１５１及び動線データ１５３を受信する。また、通信部２３は、空間認識装置１０にＣＡＤデータ２５１及び作業実績データ２５３を送信する。また、通信部２３は、作業記録装置３０から、作業記録データ３２１を受信する。
【００２５】
記憶部２５は、例えばハードディスクドライブ等の記憶装置であり、ＣＡＤデータ２５１及び作業実績データ２５３を記憶する。
【００２６】
ＣＡＤデータ２５１は、図２（Ａ）に示す作業エリアＷＡの３次元ＣＡＤデータである。ＣＡＤデータ２５１は、作業エリアＷＡ内に配置された設備について、ＣＡＤデータ２５１に設定された３次元座標系（以下、第２の３次元座標系という）における位置や寸法等の情報を含む。処理部２１は、ＣＡＤデータ２５１に基づいて、図３（Ｂ）に示すような、作業エリアＷＡのＣＡＤ画像を生成することができる。
【００２７】
作業実績データ２５３は、ＣＡＤデータ２５１において設定されている第２の３次元座標系における作業者Ｗ１の３次元位置（３次元座標値）を時系列に記録したデータである。作業実績データ２５３の詳細は後述する。
【００２８】
処理部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等を含み、ＲＯＭに記憶されたプログラムをＣＰＵが実行することにより、各種処理を実行する。例えば、処理部２１は、記憶部２５に記憶されているＣＡＤデータ２５１と、空間認識装置１０から受信した動線データ１５３と、に基づいて作業実績データ２５３を作成する作業実績データ作成処理を実行する。また、処理部２１は、作業実績データ２５３に基づいて、作業エリアＷＡのＣＡＤ画像に作業者Ｗ１の動線を重畳した画像を表示部２７に表示する。処理部２１は、変換部及び表示制御部の一例である。
【００２９】
（動線記録処理）
次に、図４のフローチャートを参照して、空間認識装置１０の処理部１３が実行する動線記録処理について説明する。
【００３０】
図４において、処理部１３は、動線の記録を開始する指示を作業者Ｗ１から受け付けるまで待機する（ステップＳ１１）。処理部１３は、動線の記録を開始する指示を作業者Ｗ１から受け付けると（ステップＳ１１／ＹＥＳ）、撮像部１１による撮像を開始する（ステップＳ１３）。例えば、作業者Ｗ１が動線の記録を開始するために空間認識装置１０に設けられた所定のボタンを押したり、作業者Ｗ１が音声により動線の記録の開始を指示すると、処理部１３は、撮像部１１による撮像を開始する。
【００３１】
次に、処理部１３は、作業エリアＷＡに対して３次元座標系（第１の３次元座標系）を設定する（ステップＳ１５）。具体的には、ステレオカメラである撮像部１１が撮像した２つの画像（視差画像）から抽出された特徴点から算出できる、作業者Ｗ１と抽出された特徴点との距離情報に基づいて、図５（Ａ）に示すように、動線記録処理開始時の作業者Ｗ１の位置（より詳細には、撮像部１１の位置）を原点とする第１の３次元座標系を設定する。
【００３２】
次に、処理部１３は、環境地図情報１５１を作成し、記憶部１５に記憶する（ステップＳ１７）。具体的には、処理部１３は、Visual SLAM（Simultaneous Localization and Mapping）により、作業者Ｗ１に対する特徴点の相対位置を求め、特徴点の第１の３次元座標系における３次元位置（３次元座標値）を算出する。より具体的には、処理部１３は、撮像部１１により撮像した画像から特徴点を抽出し、作業者Ｗ１と抽出した特徴点との距離情報に基づいて、作業者Ｗ１に対する特徴点の相対位置を求める。処理部１３は、図５（Ｂ）に示すように、抽出された特徴点の特徴量と、第１の３次元座標系における特徴点の３次元位置（第１の３次元座標系のＸ座標、Ｙ座標、Ｚ座標の座標値）とを、環境地図情報１５１として、記憶部１５に記憶する。
【００３３】
次に、処理部１３は、作業者Ｗ１の初期位置（第１の３次元座標系における３次元座標値）を時刻と共に、記憶部１５の動線データ１５３に記憶する（ステップＳ２１）。例えば、処理部１３は、図５（Ｃ）に示すように、時刻ｔ０での作業者Ｗ１の第１の３次元座標系における３次元位置（３次元座標値）を、実時刻と共に、動線データ１５３に記録する。
【００３４】
次に、処理部１３は、ステップＳ２１の処理を終えてから、所定時間（例えば３秒）が経過するまで待機する（ステップＳ２３）。所定時間が経過すると（ステップＳ２３／ＹＥＳ）、処理部１３は、撮像部１１から画像を取得する（ステップＳ２４）。そして、処理部１３は、撮像部１１から取得した画像に基づいて、現時刻における作業者Ｗ１の第１の３次元座標系における３次元位置（３次元座標値）を推定する（ステップＳ２５）。具体的には、処理部１３は、前時刻に撮像部１１が撮像した画像から抽出された特徴点と、現時刻に撮像部１１が撮像した画像から抽出された特徴点とを対応付け、対応付けた特徴点から、現時刻での作業者Ｗ１の第１の３次元座標系における３次元位置（３次元座標値）を推定する。
【００３５】
次に、処理部１３は、ステップＳ２５で推定した作業者Ｗ１の３次元位置に基づいて、第１の３次元座標系における特徴点の３次元位置を推定し、特徴点の特徴量と、特徴点の３次元座標値とを、環境地図情報１５１として、記憶部１５に記憶する（ステップＳ２６）。
【００３６】
次に、処理部１３は、ステップＳ２５で推定した作業者Ｗ１の３次元位置を時刻と共に動線データ１５３に記録する（ステップＳ２７）。これにより、例えば、図５（Ｄ）に示すように、第１の３次元座標系における時刻ｔ１での作業者Ｗ１の３次元位置が、動線データ１５３に記録される。次に、処理部１３は、所定時間が経過するまで待機する（ステップＳ２９）。
【００３７】
所定時間が経過すると（ステップＳ２９／ＹＥＳ）、処理部１３は、作業者Ｗ１から動線の記録を終了する指示を受け付けたか否かを判断する（ステップＳ３１）。動線の記録を終了する指示を受け付けた場合（ステップＳ３１／ＹＥＳ）、処理部１３は、図４の処理を終了する。一方、動線の記録を終了する指示を受け付けていない場合（ステップＳ３１／ＮＯ）、動線の記録を終了する指示を受け付けるまで、ステップＳ２４〜Ｓ３１の処理を繰り返す。これにより、図６に示すように、作業エリアＷＡ内の作業者Ｗ１の位置（第１の３次元座標系における３次元位置）を時系列に記録したデータ（動線データ１５３）を取得することができる。
【００３８】
次に、上述した動線記録処理によって得られた動線データ１５３から、作業者Ｗ１が行った作業及び作業者Ｗ１が作業を行った設備の情報を動線と共に記録した作業実績データ２５３を作成する作業実績データ作成処理について説明する。作業実績データ２５３では、時間に対する作業者Ｗ１の位置は、ＣＡＤデータ２５１に設定されている第２の３次元座標系における３次元位置で表現される。
【００３９】
（作業実績データ作成処理）
図７は、情報処理装置２０の処理部２１が実行する作業実績データ作成処理について、図７のフローチャート及びその他図面を参照して説明する。
【００４０】
図７の処理では、まず、情報処理装置２０の処理部２１は、通信部２３を介して、作業記録装置３０の記憶部３２に記憶されている作業記録データ３２１を取得する（ステップＳ１５１）。
【００４１】
次に、処理部２１は、動線データ１５３に格納されている、第１の３次元座標系における作業者Ｗ１の３次元位置（３次元座標値）を、作業エリアＷＡのＣＡＤデータ２５１に設定されている第２の３次元座標系での３次元位置（３次元座標値）に変換し、作業実績データ２５３として記憶部２５に登録する（ステップＳ１５２）。具体的には、処理部２１は、環境地図情報１５１に含まれる特徴点と、ＣＡＤデータ２５１から生成された作業エリアＷＡのＣＡＤ画像（図３（Ｂ）参照）に含まれる特徴点との間で、特徴量が同一又は類似する特徴点同士を対応付ける。処理部２１は、対応付けられた特徴点の第１の３次元座標系における３次元座標値と、第２の３次元座標系における３次元座標値との対応関係から、第１の３次元座標系における作業者Ｗ１の３次元位置（３次元座標値）を、第２の３次元座標系における作業者Ｗ１の３次元位置（３次元座標値）に変換することができる。
【００４２】
作業実績データ２５３は、図８（Ａ）に示すように、時刻、位置、及び作業のフィールドを含む。時刻及び位置のフィールドは、位置のフィールドに、作業者Ｗ１の第２の３次元座標系における３次元位置が格納される点を除き、動線データ１５３と同一である。作業のフィールドには、作業エリアＷＡで所定の作業が行われた場合に、当該作業が行われた設備の情報が格納される。図８（Ａ）の例では、作業エリアＷＡ内において工具交換又は切粉回収の作業が行われた場合に、各作業が行われた設備の情報が格納される。
【００４３】
次に、処理部２１は、作業実績データ２５３から１レコードを選択する（ステップＳ１５３）。例えば、処理部２１は、時刻ｔ０のレコードを選択する。
【００４４】
次に、処理部２１は、作業記録データ３２１（図３（Ａ）参照）において、ステップＳ１５３で選択したレコードにおける時刻を、作業開始時間と作業終了時間との間に含むレコードが存在するか否かを判断する（ステップＳ１５５）。例えば、時刻ｔ０のレコードであれば、実時刻０９：１８：２５を、作業開始時間と作業終了時間との間に含むレコードが作業記録データ３２１内に存在するか否かを判断する。
【００４５】
ステップＳ１５３で選択したレコードにおける時刻を、作業開始時間と作業終了時間との間に含むレコードが作業記録データ３２１に存在しない場合（ステップＳ１５５／ＮＯ）、ステップＳ１５９に移行する。
【００４６】
一方、選択したレコードにおける時刻を作業開始時間と作業終了時間との間に含むレコードが作業記録データ３２１に存在する場合（ステップＳ１５５／ＹＥＳ）、処理部２１は、作業実績データ２５３において作業のフィールドの設備の項目を更新する（ステップＳ１５７）。例えば、図８（Ａ）の時刻ｔ５６のレコードにおいて、実時刻１０：２３：２３は、図３（Ａ）に示す作業記録データ３２１の１行目のレコードの作業開始時間（１０：２３：２３）と作業終了時間（１０：２７：２３）との間に含まれる。この場合、処理部２１は、作業記録データ３２１の１行目のレコードの作業内容（工具交換）及び作業設備（Ｍ１）を取得する。そして、作業実績データ２５３の作業情報において、取得した作業内容（工具交換）と一致する作業内容の設備の項目に、図３（Ａ）の作業記録データ３２１から取得した設備（Ｍ１）の情報を登録する（図８（Ｂ）参照）。
【００４７】
次に、処理部２１は、作業実績データ２５３に含まれる全てのレコードを処理したか否かを判断する（ステップＳ１５９）。全てのレコードを処理していない場合（ステップＳ１５９／ＮＯ）、ステップＳ１５３に戻る。一方、全てのレコードを処理した場合（ステップＳ１５９／ＹＥＳ）、図７の処理を終了する。
【００４８】
図７の処理により、図８（Ｂ）に示すように、作業者Ｗ１の作業内容及び作業を行った設備が作業者Ｗ１の動線とセットで記録されるため、作業分析の情報として活用することができる。
【００４９】
また、情報処理装置２０の処理部２１は、作業実績データ２５３に基づいて、図９に示すように、ＣＡＤデータ２５１から生成される作業エリアＷＡのＣＡＤ画像に各時刻における作業者Ｗ１の３次元位置を示す動線Ｌ１を重畳させた画像を表示部２７に表示する。これにより、作業者Ｗ１の動きを視覚化することができる。また、作業実績データ２５３は、作業者Ｗ１の位置を３次元座標値によって記録しているため、作業者Ｗ１の水平方向の動きだけでなく、垂直方向の動き（例えば、立つ、かがむ等）を把握することができ、作業者Ｗ１の身体的負荷等の分析に役立てることができる。
【００５０】
なお、空間認識装置１０の撮像部１１が撮像した画像に、作業者Ｗ１の動線を重畳して表示してもよい。図１０は、空間認識装置１０の処理部１３が実行する表示処理の一例を示すフローチャートである。
【００５１】
図１０において、処理部１３は、ＡＲ（Augmented Reality）技術によって作業エリアＷＡのＣＡＤ画像と、撮像部１１によって撮像される実画像との位置を合わせる（ステップＳ６１）。より具体的には、処理部１３は、作業エリアＷＡのＣＡＤ画像に含まれる特徴点と、実画像に含まれる特徴点との間で、特徴量が同一又は類似する特徴点同士を対応付け、ＣＡＤ画像を回転させたり、拡大縮小させることによって特徴点同士の位置を合わせる。
【００５２】
次に、処理部１３は、作業実績データ２５３に含まれる第２の３次元座標系での作業者Ｗ１の３次元位置（３次元座標値）を、実画像における３次元位置（第３の３次元座標系での３次元座標値）へと変換する（ステップＳ６３）。３次元座標値の変換は、図７のステップＳ１５２で行った方法と同様の方法により行うことができる。
【００５３】
次に、処理部１３は、変換後の第３の３次元座標系における３次元座標値に基づいて、撮像部１１が撮像した画像上に作業者Ｗ１の動線Ｌ１を表示する（ステップＳ６５）。これにより、例えば、図１１に示すように、表示部１９には、撮像部１１が撮像した画像上に作業者Ｗ１の動線Ｌ１を重畳した画像が表示される。
【００５４】
以上、詳細に説明したように、本第１実施形態によれば、作業動線記録システムは、作業エリアＷＡにおける作業者Ｗ１の動線を管理するためのシステムであって、作業者Ｗ１が装着する空間認識装置１０に設けられ、所定時間間隔で作業者の視線方向の画像を撮像する撮像部１１と、撮像部１１が撮像した画像に基づいて作業エリアＷＡに対して設定された第１の３次元座標系における作業者Ｗ１の３次元位置を推定する処理部１３と、処理部１３が推定した第１の３次元座標系における作業者Ｗ１の３次元位置を時系列に記憶する記憶部１５と、作業エリアＷＡのＣＡＤデータ２５１から生成される作業エリアＷＡのＣＡＤ画像と、撮像部１１が撮像した作業エリアＷＡの画像と、に基づいて、時系列に記憶された第１の３次元座標系における作業者Ｗ１の３次元位置を、作業エリアＷＡのＣＡＤデータ２５１において設定された第２の３次元座標系における作業者Ｗ１の３次元位置に変換し、第２の３次元座標系における作業者Ｗ１の３次元位置に基づいて、作業エリアＷＡのＣＡＤ画像上に作業者の動線を表示する処理部２１と、を備える。
【００５５】
作業者Ｗ１の位置を３次元座標値によって時系列に記録するため、作業者Ｗ１の水平方向の動きだけでなく、垂直方向の動きを把握することができる。したがって、作業者Ｗ１の動線を詳細に把握することができる。
【００５６】
また、作業動線記録システム１００では、作業者Ｗ１が装着する空間認識装置１０に設けられた撮像部１１（ステレオカメラ）の画像を用いて、作業エリアＷＡ内での作業者Ｗ１の現在位置をリアルタイムで推定し記録できるため、作業エリアＷＡ内に電波送信カメラなどを設置する必要がない。そのため、作業エリアＷＡが広範囲にわたる場合でも、天井等に複数のカメラを設置することなく作業者Ｗ１の動線を記録することができ、カメラを設置するスペース等を削減することができる。また、カメラの設置コストを削減することができる。さらに、ステレオカメラを用いた場合、作業者Ｗ１の位置検出精度はミリ単位であり、ビーコン等による位置検出精度（メートル単位）と比較して、非常に高い。そのため、記録された作業者Ｗ１の３次元座標値に基づいて、作業者Ｗ１が作業領域内に入ったか否かを判断でき、作業者Ｗ１の作業情報等を記録することができる。そのため、作業者Ｗ１又は作業者Ｗ１の作業を観測する観測者が、作業者Ｗ１の作業内容を別途記録する必要がない。
【００５７】
≪第２実施形態≫
図１２は、第２実施形態に係る作業動線記録システム１００Ａを示す図である。第２実施形態に係る作業動線記録システム１００Ａは、作業記録装置３０を含まない点、空間認識装置１０の記憶部１５に工具データ１５５が記憶されている点、及び、情報処理装置２０の記憶部２５に作業領域情報２５２が記憶されている点が、第１実施形態の作業動線記録システム１００と異なる。
【００５８】
空間認識装置１０の記憶部１５に記憶される工具データ１５５は、例えば、図１３（Ａ）に示すように、工具ＩＤ、工具名称、及び画像データ等のフィールドを有する。工具ＩＤのフィールドには、工具を一意に識別する識別子が格納される。工具名称のフィールドには、工具の名称が格納される。画像データのフィールドには、工具ＩＤで識別される工具のＣＡＤ画像が格納される。なお、工具のＣＡＤ画像に代えて、工具の写真が格納されていてもよい。
【００５９】
情報処理装置２０の記憶部２５に記憶される作業領域情報２５２は、作業エリアＷＡ内で作業者Ｗ１が作業を行う領域に関する情報であり、図１３（Ｂ）に示すように、作業領域ＩＤ、範囲、設備、及び作業内容のフィールドを有する。作業領域ＩＤのフィールドには、各作業領域を一意に識別する識別子が格納される。範囲は、作業領域ＩＤで識別される作業領域を６面体により定義するために、ＣＡＤデータ２５１において設定されている第２の３次元座標系における６面体の８つの頂点の座標値が位置１〜位置８のフィールドに格納されている。設備のフィールドには、作業領域ＩＤで識別される作業領域で使用される設備の情報が格納される。また、作業内容のフィールドには、作業領域ＩＤで識別される作業領域で行われる作業内容が格納される。
【００６０】
その他の構成は、第１実施形態に係る作業動線記録システム１００と同様であるため、詳細な説明を省略する。
【００６１】
（動線記録処理）
図１４は、第２実施形態に係る空間認識装置１０の処理部１３が実行する動線記録処理の一例を示すフローチャートである。
【００６２】
図１４において、ステップＳ１１１〜Ｓ１２６の処理は、図４のステップＳ１１〜Ｓ２６の処理とそれぞれ同一であるため、詳細な説明を省略する。
【００６３】
処理部１３は、環境地図情報１５１の作成及び記憶（ステップＳ１２６）が終了すると、工具データ１５５内に格納された工具のＣＡＤ画像とのパターンマッチングにより、撮像部１１が撮像した画像内に工具のＣＡＤ画像と一致する画像が含まれるか否かを判断する（ステップＳ１２７）。
【００６４】
工具のＣＡＤ画像と一致する画像が含まれない場合（ステップＳ１２７／ＮＯ）、処理部１３は、図４のステップＳ２７と同様に、時刻と共に第１の３次元座標系における作業者Ｗ１の３次元位置を動線データ１５３に記録する（ステップＳ１２９）。
【００６５】
一方、工具のＣＡＤ画像と一致する画像が含まれる場合（ステップＳ１２７／ＹＥＳ）、処理部１３は、工具データ１５５（図１３（Ａ）参照）に基づいて、工具のＣＡＤ画像から工具を特定し、時刻と共に、作業者Ｗ１の３次元位置及び特定した工具の情報を動線データ１５３に記録する（ステップＳ１３１）。これにより、図１５に示すように、時系列に作業者Ｗ１の位置と作業者Ｗ１が使用した工具の情報が記録された動線データ１５３を得ることができる。
【００６６】
次に、処理部１３は、所定時間が経過するまで待機する（ステップＳ１３３）。
【００６７】
所定時間が経過すると（ステップＳ１３３／ＹＥＳ）、処理部１３は、作業者Ｗ１から動線の記録を終了する指示を受け付けたか否かを判断する（ステップＳ１３５）。動線の記録を終了する指示を受け付けた場合（ステップＳ１３５／ＹＥＳ）、処理部１３は、図１４の処理を終了する。一方、動線の記録を終了する指示を受け付けていない場合（ステップＳ１３５／ＮＯ）、動線の記録を終了する指示を受け付けるまで、ステップＳ１２４〜Ｓ１３５の処理を繰り返す。
【００６８】
図１４に示す処理を行うことにより、図１５に示すように、「工具」の情報を含む動線データ１５３が取得できる。
【００６９】
（作業実績データ作成処理）
図１６は、第２実施形態に係る情報処理装置２０の処理部２１が実行する作業実績データ作成処理の一例を示すフローチャートである。
【００７０】
図１６の処理では、まず、情報処理装置２０の処理部２１は、図７のステップＳ１５２と同様に、動線データ１５３に格納されている、第１の３次元座標系における作業者Ｗ１の３次元位置（３次元座標値）を、作業エリアＷＡのＣＡＤデータ２５１に設定されている第２の３次元座標系での３次元位置（３次元座標値）に変換し、作業実績データ２５３として記憶部２５に登録する（ステップＳ５１）。これにより、作業者Ｗ１の時間に対する第２の３次元座標系での３次元位置と、工具の情報とが記録された作業実績データ２５３（図１７参照）が得られる。
【００７１】
次に、処理部２１は、作業実績データ２５３から１レコードを選択する（ステップＳ５３）。例えば、処理部２１は、時刻ｔ０のレコードを選択する。
【００７２】
次に、処理部２１は、選択したレコードにおける作業者Ｗ１の位置が、作業領域情報２５２において定義された作業領域に含まれるか否かを判断する（ステップＳ５５）。具体的には、処理部２１は、選択したレコードにおける作業者Ｗ１の位置（時刻ｔ０のレコードであれば、（Ｘ２０，Ｙ２０，Ｚ２０））が、図１３（Ｂ）に示した作業領域情報２５２において、各作業領域を規定する位置１〜位置８で定義される６面体の内部に存在するか否かを判断する。作業者Ｗ１の位置が作業領域に含まれない場合（ステップＳ５５／ＮＯ）、ステップＳ５９に移行する。
【００７３】
一方、選択したレコードにおける作業者Ｗ１の位置が作業領域に含まれる場合（ステップＳ５５／ＹＥＳ）、作業実績データ２５３において作業のフィールドの設備の項目を更新する（ステップＳ５７）。例えば、図１７の時刻ｔ５６のレコードにおいて、作業者Ｗ１の位置（Ｘ２５６，Ｙ２５６，Ｚ２５６）が図１３（Ｂ）の作業領域ＩＤ「Ｒ１」で定義される作業領域に含まれているとする。この場合、処理部２１は、作業領域ＩＤ「Ｒ１」で定義される作業領域で使用される設備（工作機械Ｍ１）、及び作業内容（工具交換）を取得する。そして、作業実績データ２５３の作業情報において、取得した作業内容（工具交換）と一致する作業内容の設備の項目に、図１３（Ｂ）の作業領域情報から取得した設備（工作機械Ｍ１）の情報を登録する（図１８参照）。
【００７４】
次に、処理部２１は、作業実績データ２５３に含まれる全てのレコードを処理したか否かを判断する（ステップＳ５９）。全てのレコードを処理していない場合（ステップＳ５９／ＮＯ）、ステップＳ５３に戻る。一方、全てのレコードを処理した場合（ステップＳ５９／ＹＥＳ）、図１６の処理を終了する。
【００７５】
第２実施形態に係る作業動線記録システム１００Ａでは、生産管理システム等の作業記録装置３０に記録された作業記録データ３２１を用いずに、図１８に示すように、「設備」及び「工具」を含む作業実績データを作成することができる。
【００７６】
なお第１実施形態において、第２実施形態と同様に、作業実績データ２５３が「工具」のフィールドを備えていてもよい。この場合、処理部２１は、作業記録データ３２１から「工具」の情報を取得すればよい。
【００７７】
なお、上記第１及び第２実施形態では、空間認識装置１０において、動線データ１５３を記録し、情報処理装置２０に送信していたが、空間認識装置１０で撮像した画像を情報処理装置２０に送信し、情報処理装置２０において、作業者Ｗ１の第１の３次元座標系における３次元座標値を推定し、動線データ１５３を記録するようにしてもよい。この場合、情報処理装置２０の処理部２１は、作業者位置推定部、変換部、及び表示制御部の一例である。
【００７８】
上記実施形態は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、これらの実施例を種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施例が可能であることは上記記載から自明である。
【符号の説明】
【００７９】
１０  空間認識装置
１１  撮像部
１３  処理部
１５  記憶部
２０  情報処理装置
２１  処理部
１００，１００Ａ  作業動線記録システム
【図１】
2020173698.tif 000003
【図２】
2020173698.tif 000004
【図３】
2020173698.tif 000005
【図４】
2020173698.tif 000006
【図５】
2020173698.tif 000007
【図６】
2020173698.tif 000008
【図７】
2020173698.tif 000009
【図８】
2020173698.tif 000010
【図９】
2020173698.tif 000011
【図１０】
2020173698.tif 000012
【図１１】
2020173698.tif 000013
【図１２】
2020173698.tif 000014
【図１３】
2020173698.tif 000015
【図１４】
2020173698.tif 000016
【図１５】
2020173698.tif 000017
【図１６】
2020173698.tif 000018
【図１７】
2020173698.tif 000019
【図１８】
2020173698.tif 000020