(57)【要約】【課題】現地作業を通じての技能レベルの向上を図る。【解決手段】作業支援システムは、作業者の視点位置を検出して視点位置データをサーバ装置に送信する携帯端末と、ネットワークを介して携帯端末から送信された視点位置データを受信するサーバ装置と、を備える。サーバ装置は、携帯端末から受信した作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部６４と、作業曲線に対して作業工程内の各作業手順内に基準点を設け、第１の基準点の視点位置と第２の基準点の視点位置の間の作業者の視点位置の移動が基準時間内に行われるかによって作業者の作業習熟度を判定する判定部６５と、を備える。【選択図】図６
2020009276.tif 000002
【特許請求の範囲】
【請求項１】
作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、
前記生成部が生成した前記視点位置データから前記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
前記作業曲線に対して作業工程内の各作業手順内に設定された第１の基準点と第２の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、前記作業者の作業習熟度を判定する判定部と、を備える作業支援システム。
【請求項２】
前記第１の基準点と前記第２の基準点の視点位置は、作業手順において確認が必須の作業箇所に対する視点位置である請求項１に記載の作業支援システム。
【請求項３】
前記第１の基準点と前記第２の基準点の視点位置は、作業手順における作業開始時の視点位置である請求項１に記載の作業支援システム。
【請求項４】
前記基準時間は、熟練者の視点位置が前記第１の基準点の視点位置から前記第２の基準点の視点位置まで移動するのに要する時間である請求項１に記載の作業支援システム。
【請求項５】
さらに前記判定部の判定結果に基づいて作業手順書を作成する作業手順作成部を有する請求項１に記載の作業支援システム。
【請求項６】
作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、
前記生成部が生成した前記視点位置データから前記視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
一工程内の作業手順毎に、前記作業曲線作成部で作成された作業曲線と予め設定された基準曲線パターンとを比較して前記作業者の作業習熟度を判定する判定部と、
を備える作業支援システム。
【請求項７】
作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
前記作業曲線に対して予め設定された第１の基準点と第２の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部と、
を備える作業支援システム用のサーバ装置。
【請求項８】
作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、
作業手順毎に、前記作業曲線作成部で作成された作業曲線と予め設定された基準曲線パターンとを比較して前記作業者の作業習熟度を判定する判定部と、
を備える作業支援システム用のサーバ装置。
【請求項９】
コンピュータを、
作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部、
前記作業曲線に対して予め設定された第１の基準点と第２の基準点との間での視点位置の移動時間に基づいて、前記作業者の作業習熟度を判定する判定部、
として機能させるプログラム。
【請求項１０】
コンピュータを、
作業者の視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部、
前記作業曲線作成部で作成された作業曲線と予め設定された基準曲線パターンとを比較して前記作業者の作業習熟度を判定する判定部、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援システム、作業支援システム用のサーバ装置およびプログラムに関する。
【背景技術】
【０００２】
現地作業者の作業を支援するために、遠隔作業者が現地作業者と携帯端末を通じて映像を共有して作業支援を行う作業支援システムが知られている（例えば、特許文献１）。
【０００３】
この作業支援システムは、現地作業者の携帯端末と、遠隔作業者の携帯端末と、サーバとを備える。現地作業者は、携帯端末のカメラを用いて、作業対象の機器を撮影し、その撮影映像を、遠隔作業者の携帯端末へ送信して映像を共有する。これにより、現地と遠隔地との両者で映像を共有しながら遠隔連携作業が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−３６８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の遠隔作業者が作業支援を行う場合、作業支援者が必要となる。また、作業支援は行われるものの、現地作業の状況が記録されておらず、作業者の技能の定量的評価、育成に反映されていない。
【０００６】
本発明は、上述の事情に鑑みてなされたものであり、作業支援者がいなくても作業に対応することができ、現地作業者の技能レベルを判定可能とし、技能レベルの向上に寄与することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の作業支援システムは、作業者の作業中の視点位置を検出して視点位置データを生成する生成部と、生成部が生成した視点位置データから視点位置の時間変化を示す作業曲線を作成する作業曲線作成部と、作業曲線に対して作業工程内の各作業手順内に設定された第１の基準点と第２の基準点の間の作業者の視点位置の移動が基準時間内に行われるかに基づいて、作業者の作業習熟度を判定する判定部と、を備える。
【発明の効果】
【０００８】
本発明によれば、現地作業の状況を作業者の視点位置から検出して作業者の作業習熟度を判定できる。この判定を活用することにより技能レベルの向上を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施の形態に係る作業支援システムの構成を示す図
【図２】本発明の第１の実施の形態に係るＨＭＤの外観構成を例示する図
【図３】（ａ）、（ｂ）は、本発明の第１の実施の形態に係る携帯端末の構成を示す図
【図４】本発明の第１の実施の形態に係るサーバ装置の機能的構成を示す図
【図５】本発明の第１の実施の形態に係るサーバ装置のハードウェア構成を示す図
【図６】図４に示すサーバ装置の映像情報処理部の機能的構成を示す図
【図７】作業者の視点分布の一例を示す図
【図８】作業者の作業中の視点を示す作業曲線の一例を示す図
【図９】図４に示す作業履歴データベースの構成例を示す図
【図１０】図４に示す作業者習熟度データベースの構成例を示す図
【図１１】（ａ）、（ｂ）、（ｃ）は、作業手順書の変更の一例を示す図
【図１２】作業手順書の表示を変更する処理の流れを示す図
【図１３】携帯端末とサーバ装置の処理の流れを示す図
【図１４】本発明の第３の実施の形態に係る作業支援システムの構成を示す図
【図１５】本発明の第３の実施の形態に係る携帯端末とサーバ装置の処理の流れを示す図
【図１６】本発明の第３の実施の形態に係るサーバ装置の処理の流れを示す図
【発明を実施するための形態】
【００１０】
以下、本発明の作業支援システム及びサーバ装置の実施の形態について図面を参照して詳細に説明する。
【００１１】
（第１の実施の形態）
本実施の形態の作業支援システムは、図１に示すように、作業場所４にいる作業者が携帯して作業の状況を送信するとともに作業指示を受信する携帯端末１と、作業者が装着するヘッドマウント装置（ＨＭＤ：Head Mounted Display）５と、携帯端末１とネットワーク３を介してデータを送受信するサーバ装置２と、を備える。サーバ装置２は、携帯端末１から供給された情報を記憶するとともに供給された情報に基づいて作業者の作業習熟度を判定し、保守作業に必要とされる作業手順書を読み出して携帯端末１に提供する。また、ＨＭＤ５は、携帯端末１に有線あるいは無線により接続されている。
【００１２】
ＨＭＤ５は、図２に示すように、メガネ型であり、作業者が見る方向を撮影する視野カメラ６、作業者の目の動きを撮影するアイカメラ７、表示部８を備える。
【００１３】
視野カメラ６は、作業者が見ている視野を撮影するために作業者の前方に向けてメガネのフレームに設置されたビデオカメラである。ビデオカメラで撮影された視野映像は携帯端末１に送られる。
【００１４】
アイカメラ７は、作業者の目の領域を撮影するためにメガネのフレームに取り付けられている。アイカメラ７は、撮影した目の映像を、携帯端末１に送信する。後述するように、携帯端末１は、この映像を画像処理することによって作業者の視線がどこにあるかを特定する。
【００１５】
表示部８は、メガネのレンズ部分に配置されており、携帯端末１から送られてきた画像を表示する。表示部８は、作業者が作業場所４で作業対象物の保守、修理等の作業をしている時に作業の手順を示す作業手順書を表示する。表示部８は、透過型の液晶表示パネル、有機ＥＬ表示パネル等の透過型の表示パネルから構成される。したがって、作業者が見ている現実空間に表示画像が重ね合わされた状態となり、作業者は、表示部８に表示された画像と表示部８を透過して見える画像との両方を見ることができ、現実の作業をしながら表示部８に写し出された画像を見ることができる。ＨＭＤ５は、さらにマイク、ヘッドフォンを有するヘッドセットを備えてもよい。また、ＨＭＤ５は、携帯端末１と一体となった構成でもよい。
【００１６】
図１に示す携帯端末１は、図３（ａ）に示すように、各種制御を行う制御部１１と、データを記憶する記憶部１２と、サーバ装置２とデータを送受信するための通信部１３と、ＨＭＤ５とデータ通信を行う入出力部１４と、作業時間入力、検査結果入力等を行う操作部１５と、を備える。
【００１７】
制御部１１は、プロセッサを備え、記憶部１２に記憶されている動作プログラムを実行することにより、作業を支援するための種々の作業を実行する。例えば、制御部１１は、アイカメラ７で撮影された目の映像を処理し、作業者の視線の位置を示す視点位置座標を求め、この視点位置座標を表すデータ（以下、視点位置データという）を視野カメラ６の映像に重畳して合成した画像をサーバ装置２に送る。また、制御部１１は、作業の手順を記載した作業手順書をサーバ装置２から受信し、記憶部１２に記憶するとともに、ＨＭＤ５の表示部８に表示する。
記憶部１２は、制御部１１が実行する制御プログラムを記憶する。また、記憶部１２は、視野カメラ６、アイカメラ７で撮影された映像の記憶、作業手順書の記憶のための記憶部としても機能する。
【００１８】
通信部１３は、ネットワーク３を介してサーバ装置２との間で通信を行う。
入出力部１４は、ＨＭＤ５との間でデータを送受信する入出力インタフェースである。
操作部１５は、制御部１１に種々の指示を入力する装置であり、キーボード、操作ボタン、音声入力機器などを備える。
【００１９】
上記ハードウェア構成により、携帯端末１は、図３（ｂ）に示すように、機能的に、各種情報を処理する情報処理部２０と、情報処理された情報を記憶する記憶部２１と、を有する。
【００２０】
情報処理部２０は、作業者の視野映像、視点位置データを処理する画像処理部２２、作業手順書をＨＭＤ５の表示部８に表示するための作業手順表示部２３を有している。
画像処理部２２は、アイカメラ７で撮影された目の動きの映像を画像処理して、視点位置データを生成する生成部と、視点位置データを視野カメラ６の映像に重畳して画像を合成する合成部からなり、合成された映像をサーバ装置２に送る。
作業手順表示部２３は、サーバ装置２から受信した作業手順書を記憶部２１の作業手順記憶部２５に記憶するとともに、ＨＭＤ５の表示部８に表示する。
記憶部２１は、画像処理部２２で処理された視野映像、視点位置データを記憶する映像記憶部２４と、作業手順書を記憶する作業手順記憶部２５を有している。
【００２１】
携帯端末１は、作業時に作業者が操作部１５から入力する作業時間、作業結果等のデータ、作業者の作業時の映像、視点位置データを、ネットワーク３を介してサーバ装置２に送信する。
【００２２】
サーバ装置２は、図４に示すように、情報を処理する情報処理部３０と、ネットワーク３を介して携帯端末１からのデータを受信するネットワーク入力部３１と、携帯端末１にデータを出力するネットワーク出力部３２と、データベース３７〜４０を備えている。情報処理部３０は、作業者の作業時の映像データ・視点位置データを処理する映像情報処理部３３と、作業対象・作業内容等の作業者の作業履歴を作成する作業履歴作成部３４と、作業者の作業習熟度を表すデータベースを作成する習熟度データベース作成部３５と、作業手順書を作成する作業手順作成部３６と、を備えている。また、データベースは、作業者の作業中の映像情報・視点位置データを記憶する映像情報データベース３７と、作業対象・作業内容等の履歴を記憶する作業履歴データベース３８と、作業者別の作業習熟度を記憶する作業者習熟度データベース３９と、作業手順書を記憶する作業手順データベース４０と、を備えている。
【００２３】
作業履歴作成部３４は、作業者が作業時に携帯端末１に入力した作業場所、作業対象、作業開始日時、作業終了日時、保守・メンテナンス作業の検査結果の情報を携帯端末１から取得し、これらの履歴情報を作業履歴データベース３８に記録するとともに作業者習熟度データベース３９に反映させる。
【００２４】
作業履歴データベース３８は、保守・メンテナンス作業の実績の確認・評価に用いられ、最新の作業実績を確認するために、現場での検査項目についての作業が完了するごとにデータが保存される。データは、機種別、作業者別、工程別に管理される。
【００２５】
作業手順作成部３６は、携帯端末１に対して作業指示するための作業手順書を作成する。作業手順作成部３６は、作業者習熟度データベース３９に記録された習熟度判定に基づき、作業手順データベース４０を参照して判定された習熟度に応じた作業手順書を作成し、携帯端末１に送信する。
【００２６】
作業手順データベース４０は、作業別にどのような作業をどのように進めるべきかを示す作業手順書を作業種別に格納するデータベースである。作業手順書は、作業工程ごとに複数の作業手順に分かれており、各作業手順には作業内容が示されている。
【００２７】
習熟度データベース作成部３５は、作業履歴データベース３８に記録された作業場所、作業対象、工程毎の作業時間等の情報、後述する作業者の作業視点に基づく作業習熟度の判定、管理者が入力する評価情報を作業者習熟度データベース３９に反映させる。
【００２８】
映像情報処理部３３は、携帯端末１から送られてきた視野カメラ６の映像データとアイカメラ７の視点位置データを取得して、視点の分布データ、作業曲線を作成する。さらに視点分布データ、作業曲線の分析を行い、後述するように作業者の作業視点に基づく作業習熟度を判定して、映像情報データベース３７に記憶する。
映像情報処理部３３の詳細については、さらに後述する。
【００２９】
映像情報データベース３７は、携帯端末１から送られてきた視野カメラ６の映像データとアイカメラ７の視点位置データ、視点分布作成部６３で作成された視点分布データ、作業曲線作成部６４で作成された作業者の作業視点の時間変化を示す作業曲線を記憶する。
【００３０】
図１に示すサーバ装置２は、図５に例示するように、ハードウェア的には、制御部５１と、記憶部５２と、表示部５３と、入力部５４と、通信部５５と、を備える。
【００３１】
制御部５１は、プロセッサを備え、記憶部５２に記憶されている動作プログラムを実行することにより、図４に示した各機能を実現するための処理を行う。
記憶部５２は、制御部５１が実行する制御プログラムを記憶する。また、記憶部５２は、図４に示す各種データベース３７〜４０としても機能する。
【００３２】
表示部５３は、操作画面、映像などを表示する。
入力部５４は、制御部５１に種々の指示を入力する装置であり、キーボード、操作ボタン、音声入力機器などを備える。
通信部５５は、ネットワーク３を介して携帯端末１との間で通信を行う。通信部５５は、制御部５１と協働して、図４に示すネットワーク入力部３１とネットワーク出力部３２を構成する。
【００３３】
映像情報処理部３３の機能は、図６に示すように、視点位置データの位置座標を変換する座標変換部６１と、映像データから作業対象物の位置を抽出する作業対象物認識抽出部６２と、作業者の視点の分布を示す視点分布データを作成する視点分布作成部６３と、作業者の視点の時間的変化を示す作業曲線を作成する作業曲線作成部６４と、作業者の視点分布データを基準視点分布と比較したり、作業者の作業曲線を基準曲線と比較して作業習熟度を判定する判定部６５と、を備える。
【００３４】
座標変換部６１に入力される視点位置データの位置座標は、視野カメラ６で撮影された視野に対するものであるので、頭を動かしたりして視野が変わった場合と視野が変わらない場合では作業対象物の同じ場所を見ていたとしても視点位置の座標は異なる。そこで、作業対象物認識抽出部６２によって作業対象物を抽出し、抽出された作業対象物の位置を基準として視点位置座標を絶対座標に変換する。
【００３５】
作業対象物認識抽出部６２は、視点位置座標変換のために作業対象物を抽出すべく、視野カメラ６により取得された画像から、作業対象物をパターンマッチングで認識する。パターンマッチングは、映像情報データベース３７に予め記憶された作業対象物の基準パターンに基づいて行われる。
【００３６】
座標変換部６１は、パターンマッチングにより作業対象物の特徴点が検出されると、この特徴点を基準として、視点位置の座標を絶対座標に変換する。
変換された視点位置座標データは映像情報データベース３７に記憶されるとともに、視点分布作成部６３、作業曲線作成部６４に送られる。
【００３７】
視点分布作成部６３は、視野カメラ６の映像にアイカメラ７の視点位置データを重畳した情報から一工程の作業中の作業者の視点がどこに集中していたかを表す、図７に示すような作業視点の分布を作成する。
【００３８】
作業視点分布は、作業者の視線の停留時間の分布であり、作業対象物の画像が複数の区画に分けられて、視線の停留時間の長さに応じて各区画が濃淡で表示される。各区画は、その区画内での視線の停留時間が長いほど濃く表示され、停留時間が短くなるほど薄く表示される。ここで、視線の停留時間は一工程内における停留時間の合計である。分布の解像度は任意に設定できるものとする。
【００３９】
また、比較のため、熟練作業者による同一工程作業時の視点位置データを予め取得しておき、所得された視点位置データから視点分布を作成して基準視点分布として映像情報データベース３７に記憶しておく。図７において、左側の視点分布は作業者の視点分布であり、右側の視点分布は熟練者による基準視点分布を示している。保守・メンテナンス作業において同じ仕様の対象物であっても作業者によって作業時間に大きな差異が生じる場合がある。作業時間の遅い作業者は作業時間の早い作業者に比べ、作業対象物がどこにあるのか迷うことにより作業者の見る範囲が広くばらついたり、逆にある箇所に偏よったりする傾向にある。作成された視点分布は映像情報データベース３７に記憶されるとともに、作業履歴データベース３８に連動し、作業者習熟度データベース３９の作成の参考とされる。また、後述する判定部６５において基準視点分布と比較判定される。
【００４０】
作業曲線作成部６４は、作業時間中の作業者の時系列の視点の変化を示す作業曲線を作成する。作業曲線は、例として図８に示すように、横軸を時間、縦軸を横方向の視点（視点位置座標のＸ座標）とした曲線と、縦軸を縦方向の視点（視点位置座標のＹ座標）とした曲線である。すなわち、同じ時間軸に対して２つの曲線が作成される。図８の上の曲線が縦軸を横方向の視点としたもの、下の曲線が縦軸を縦方向の視点としたものである。また、曲線のうち、実線で表されたものが作業者の視点を示す実績曲線であり、破線で表されたものが熟練作業者の視点を示す基準曲線である。
【００４１】
判定部６５は、視点分布作成部６３で作成された作業者の視点分布を熟練者の基準視点分布と比較する。複数に区分けされた区画ごとに存在する視線の停留時間を熟練者の基準視点分布の対応する区画の視線の停留時間と比較する。作業者の視線の停留時間と熟練者の視線の停留時間の差が所定値を超える区画が複数存在し、その数が所定数を超える場合は、作業者の視点が広くばらついていると判定される。また、作業者の視線の停留時間と熟練者の視線の停留時間の差が極端に大きい区画が存在する場合は、作業者の視点が１箇所に偏っていると判定される。判定結果は、習熟度データベース作成部３５に送られ、習熟度判定の参考とされ、作業者習熟度データベース３９に記録される。
【００４２】
また判定部６５は、作業曲線作成部６４で作成された作業者の実績曲線を熟練者の基準曲線と比較して習熟度を判定する。この基準曲線と実績曲線を比較することによって、どの作業が未習熟であるか、習熟度合いがどの程度なのかを知ることができる。実際の作業における習熟度を詳細に知ることができることにより、作業者の習熟度の評価を行いやすくなり、実際の作業における有効なフィードバックが可能となり、さらに適切な教育へのフィードバックが可能となる。
【００４３】
習熟度判定のために基準とされる熟練者の作業曲線である基準曲線は、熟練者の視点位置データを予め取得して作成されたものであり、予め記憶されている。基準曲線には、一工程内の作業手順ごとに比較判定のための基準点が設定されている。基準点は、各作業手順において、確認が必須の重要な作業箇所に対する視点位置であって、作業にとってポイントとなる視点位置を示す。この基準点は各作業手順に少なくとも１つ設けられる。例えば、各作業手順における作業開始時の視点位置である。この基準点における基準曲線の視点位置が作業者の作業時の視点を示す実績曲線と比較される。具体的には、作業者が基準点における基準曲線の視点位置に所定の基準時間内に到達したか比較判定される。ここで基準時間とは、熟練者が１つの基準点から次の基準点に移動するまでに要する時間である。
【００４４】
作業者の視点位置が基準曲線の基準点における視点位置に基準時間内に移動していれば、作業者はその作業手順の作業を滞りなく完了したと判定される。すなわち作業者はその作業をマスターしていると判定される。作業者の視点が熟練者の基準曲線より遅れて移動した場合、作業者はその作業手順の作業に時間がかかり、手間取ったと判定される。すなわち作業者はその作業をまだ十分にマスターしていないと判定される。逆に作業者の視点が熟練者の基準曲線より早く移動した場合、作業者はその作業手順の作業を熟練者より手早く完了したと判定される。すなわち作業者はその作業を十分にマスターしていると判定される。ただし、あまりにも早く移動した場合は、作業が適切になされていない可能性もあり、作業者が入力した作業結果を参照する必要がある。
【００４５】
基準点での比較は縦軸を横方向の視点（視点位置座標のＸ座標）とした曲線と、縦軸を縦方向の視点（視点位置座標のＹ座標）とした曲線の双方で比較判定され、双方ともが一致している必要がある。一方の座標のみが一致する場合は、横方向あるいは縦方向に作業の見落としがあるものと考えられる。
【００４６】
この比較判定について図８の作業曲線を例に具体的に説明する。図８において、期間Ａ，Ｂ，Ｃは、それぞれ一工程内の作業手順１，２，３の熟練者による作業時間である基準時間を示す。基準曲線上の黒丸で表された点が基準点であり、この基準点に対応する実績曲線上の位置が白丸で示されている。Ｐ１は熟練者の作業手順１の作業開始位置を示し、Ｐ２は熟練者の作業手順２の作業開始位置を示し、Ｐ３は熟練者の作業手順３の作業開始位置を示している。また、Ｐ４は熟練者の作業手順３の作業終了位置を示している。Ｐ１からＰ２までの間が期間Ａ、Ｐ２からＰ３までの間が期間Ｂ、Ｐ３からＰ４までの間が期間Ｃである。ここで、作業手順１，２に関して、基準時間は、作業時間に次の作業手順に移行するまでの時間を加えた時間である。作業手順３は、一工程内の最後の作業であるため、基準時間は作業開始から作業終了までの時間としている。
【００４７】
これに対して、期間ａ，ｂ，ｃは、それぞれ一工程内の作業手順１，２，３の作業者による作業時間に次の作業手順に移行するまでの時間を加えた実績時間を示す。Ｐ１’はＰ１と同じ視点位置であり、作業者の作業手順１の作業開始位置を示し、Ｐ２’はＰ２と同じ視点位置であり、作業者の作業手順２の作業開始位置を示し、Ｐ３’はＰ３と同じ視点位置であり、作業者の作業手順３の作業開始位置を示している。また、Ｐ４’はＰ４と同じ視点位置であり、作業者の作業手順３の作業終了位置を示している。Ｐ１’からＰ２’までの間が期間ａ、Ｐ２’からＰ３’までの間が期間ｂ、Ｐ３’からＰ４’までの間が期間ｃである。
【００４８】
この例では、作業手順２の作業者の作業時間ｂは基準時間Ｂと同じである。すなわち、作業者の視点位置が基準曲線の基準点における視点位置に対応する位置Ｐ３’に基準時間Ｂ内に移動しており、作業者はその作業手順の作業を滞りなく完了したと判定される。よって作業手順２について作業者は作業をマスターしていると判断される。また、作業手順３の作業者の作業時間ｃは基準時間Ｃよりも短い。すなわち、作業者の視点が熟練者の基準曲線より早く移動しており、作業者はその作業手順の作業を熟練者より手早く完了したと判定される。よって作業手順３について作業者は作業を十分マスターしていると判断される。これに対して、作業手順１の作業者の作業時間ａは、基準時間Ａよりも長い。すなわち、作業者の視点が熟練者の基準曲線より遅れて移動しており、作業者はその作業手順の作業に時間がかかり、手間取ったと判定される。よって作業者は作業手順１について作業をマスターしていないと判断される。
【００４９】
上述のように、視点分布、作業曲線は判定部６５に送られ、作業者の作業習熟度が判定され、判定結果は習熟度データベース作成部３５に送られる。
習熟度データベース作成部３５は、これらの情報に加え、作業履歴データベース３８に記録された情報に基づき作業者習熟度データベース３９に記録する。
【００５０】
作業履歴データベース３８は、作業者別に作業者の作業時間、作業対象、作業結果、作業映像を作業履歴として、図９に示すように、作業時間として作業を開始した日時、作業を終了した日時、作業対象として作業対象の機種、型名が記録されるとともに、各工程における状況が記録される。
【００５１】
作業者習熟度データベース３９は、図１０に示すように、作業者ごとに機種別に技能を管理するスキルマップのマスタ表である。工程に分かれて習熟度の評価が記録される。
習熟度データベース作成部３５は、判定部６５の視点による判定、作業履歴データベース３８から読み出された作業時間、同一工程の作業の経験回数、最終作業日からの経過日数、過去の判定結果等を一覧として表示する。管理者は、この実績一覧、視点分布、作業曲線をもとに作業者の習熟度を評価し、評価結果を一覧とともに作業者習熟度データベース３９に記録する。
評価は「Ａ：作業を一人でできる且つ作業を人に教えられる」「Ｂ：作業を一人でできるが、作業を人に教えられない」「Ｃ：作業を一人でできない」「Ｄ：作業をしたことがない」の４段階に区分して記録される。マスタ表の配列として作業者、機種、工程は任意に組み替えることができる。
【００５２】
このように、作業者習熟度データベース３９の記録は、一工程の作業時間だけで判断されるものではなく、作業者の作業中の視点、すなわち視点分布、作業曲線、視点位置データに基づく判定も含めて判断されていることから、より細かな教育への対応が可能である。
【００５３】
作業者習熟度データベース３９に記録された習熟度の判定結果は、作業手順作成部３６において判定結果に応じた作業者別の作業手順書を作成することに利用される。その一例として図１１に示すように、作業手順作成部３６は、作業工程１について熟練度に応じて３パターンの作業手順書を作成する。まだ作業に慣れていない初心者、例えば作業者習熟度データベース３９に記録された管理者の評価がＣ，Ｄである作業者に対しては、図１１（ａ）に示すように、熟練度パターン１の作業手順書が提供される。熟練度パターン１の作業手順書には、作業手順１から作業手順３までの各手順が記載されている。ある程度慣れた作業者、例えば作業者習熟度データベース３９に記録された管理者の評価がＢである作業者に対しては、図１１（ｂ）に示すように、熟練度パターン２の作業手順書が提供される。熟練度パターン２の作業手順書には、ある程度の熟練者であれば常識的な手順について表示が省略されている。ここでは、作業手順１が省略されている。習熟度の高い熟練者、例えば作業者習熟度データベース３９に記録された管理者の評価がＡである作業者に対しては、図１１（ｃ）に示すように、熟練度パターン３の作業手順書が提供される。熟練度パターン３の作業手順書には、習熟度の高い熟練者であれば手引きがなくても大丈夫な作業について表示が省略されている。ここでは作業手順１に加えて作業手順２の表示が省略されている。ただし、品質、安全上漏れが許されないような重要項目に対しては最低限の表示がされる。このように、習熟度に応じて作業手順書の内容が変更されることにより、初心者はより丁寧な説明を参照することによって迷わずに作業することができる。また熟練者は、余計な作業手順の記載が省略されることによって、必要な作業手順だけを瞬時に参照することができ、作業効率が高まる。
作業手順の表示について、作業曲線の比較判定の結果、マスターしていないと判定された作業手順の表示は省略されず、マスターしたと判定された作業手順の表示は省略されてもよい。また、上記では、作業手順の記載の表示、非表示としたが、作業手順の説明を部分的に表示、非表示としてもよい。また、表示、非表示とするのではなく、簡略に説明がなされたもの、詳細に説明がなされたものをいくつか用意しておき、判定結果に応じて選択してもよい。
この習熟度判定結果に基づき、作業手順書は作成される。したがって、熟練者になるほど作業手順書に表示される作業手順は減少するが、熟練者でも久しぶりの作業により忘れや、作業の遅れが発生する場合は作業手順の表示を増加させる。また、習熟度判定結果は、その作業の経験回数、前回の作業からの経過時間に応じて変更されてもよい。
作業者による実作業終了後に視点位置データにより判定した結果が作業者習熟度データベース３９に記憶され、作業者習熟度データベース３９に記憶されたこれまでの作業回数、前回からの作業経過時間、これまでの習熟度判定結果等に基づき、作業手順書の内容は変更される。
これに対して、リアルタイムにおいて作業者の作業中の視点位置データから作業手順書の内容を動的に変更することも可能である。
【００５４】
作業者の作業中における視点データから作業中の作業の習熟度を判定して作業手順書の表示にリアルタイムに反映させる例を、図８の作業曲線と図１２のフローチャートにしたがって示す。
ここでは、作業手順ごとに基準曲線に設定された基準点における基準視点位置と時間が作業者の作業時の視点を示す実績曲線と比較され、作業手順書の手順内容の増減が判断される。
【００５５】
まず、熟練作業者の基準曲線の一工程における最初の作業手順１の作業位置Ｐ１から次の作業手順の作業位置であるＰ２に作業者の視点が移動したかどうか判断される（ステップＳ１０１）。この判断は熟練者が作業手順１に要する基準時間より多少短い時間が経過してから開始される。あまりに時間が短い場合、作業が適切に行われていないおそれがあるからである。作業者の視点がＰ２に移動した場合（ステップＳ１０１：Ｙｅｓ）、次に基準時間−αが経過したかどうか判断される（ステップＳ１０２）。ここで基準時間−αは、作業者が熟練者以上に作業をマスターしていると判定される基準となる時間であり、基準時間よりもαだけ短い時間である。ただし、前述の作業が適切に行われていないと判断される時間より長い時間である。基準時間−αが経過していない場合（ステップＳ１０２：Ｎｏ）、熟練者以上に作業をマスターしていると判断されて作業手順書の表示が非表示とされ（ステップＳ１０３）、作業手順２の作業位置Ｐ２から次の作業手順３の作業位置Ｐ３に作業者の視点が移動したかどうか判断される（ステップＳ１０８）。基準時間−αが経過していた場合（ステップＳ１０２：Ｙｅｓ）、作業手順１をマスターしていると判断されて作業手順書の表示が減少され（ステップＳ１０４）、作業手順２の作業位置Ｐ２から次の作業手順３の作業位置Ｐ３に作業者の視点が移動したかどうか判断される（ステップＳ１０８）。作業者の視点が作業位置Ｐ１から作業位置Ｐ２に移動していない場合（ステップＳ１０１：Ｎｏ）、熟練者が作業手順１に要する基準時間が経過したかどうか判断される（ステップＳ１０５）。基準時間が経過していない場合（ステップＳ１０５：Ｎｏ）、引き続き作業者の視点が作業位置Ｐ２に移動したかどうかが判断される。基準時間が経過した場合（ステップＳ１０５：Ｙｅｓ）、作業者がその作業をマスターしていないと判断され、作業手順書の表示が増加され（ステップＳ１０６）、引き続き作業者の視点が作業位置Ｐ２に移動したかどうかが判断される（ステップＳ１０７）。作業位置Ｐ２に移動したと判断された場合（ステップＳ１０７：Ｙｅｓ）、次の作業手順３の作業位置Ｐ３に作業者の視点が移動したかどうかが判断される（ステップＳ１０８）。
【００５６】
作業者の視点がＰ３に移動した場合（ステップＳ１０８：Ｙｅｓ）、基準時間−αを経過したかどうか判断される（ステップＳ１０９）。基準時間−αが経過していない場合（ステップＳ１０９：Ｎｏ）、熟練者以上に作業をマスターしていると判断されて作業手順書の表示が非表示とされ（ステップＳ１１０）、作業手順３の作業終了位置Ｐ４に作業者の視点が移動したかどうか判断される（ステップＳ１１５）。基準時間−αが経過していた時（ステップＳ１０９：Ｙｅｓ）は、作業手順２をマスターしていると判断されて作業手順書の表示が減少され（ステップＳ１１１）、作業手順３の作業終了位置Ｐ４に作業者の視点が移動したかどうか判断される（ステップＳ１１５）。作業者の視点が作業位置Ｐ２から作業位置Ｐ３に移動していない場合（ステップＳ１０８：Ｎｏ）、熟練者が作業手順２に要する基準時間が経過したかどうか判断される（ステップＳ１１２）。基準時間が経過していない場合（ステップＳ１１２：Ｎｏ）、引き続き作業者の視点が作業位置Ｐ３に移動したかどうかが判断される。基準時間が経過した場合（ステップＳ１１２：Ｙｅｓ）、作業者がその作業をマスターしていないと判断され、作業手順書の表示が増加され（ステップＳ１１３）、引き続き作業者の視点が作業位置Ｐ３に移動したかどうかが判断される（ステップＳ１１４）。作業位置Ｐ３に移動したと判断された場合（ステップＳ１１４：Ｙｅｓ）、作業手順３の終了位置Ｐ４に作業者の視点が移動したかどうかが判断される（ステップＳ１１５）。
【００５７】
作業者の視点がＰ４に移動した場合（ステップＳ１１５：Ｙｅｓ）、基準時間−αが経過したかどうか判断される（ステップＳ１１６）。基準時間−αが経過していない場合（ステップＳ１１６：Ｎｏ）、熟練者以上に作業をマスターしていると判断して作業手順書の表示が非表示とされ（ステップＳ１１７）、この工程の処理は終了される。基準時間−αが経過していた場合（ステップＳ１１６：Ｙｅｓ）、作業手順３をマスターしていると判断されて作業手順書の表示が減少され（ステップＳ１１８）、この工程の処理は終了される。作業者の視点が作業位置Ｐ３から作業終了位置Ｐ４に移動していない場合（ステップＳ１１５：Ｎｏ）、熟練者が作業手順３に要する基準時間が経過したかどうか判断される（ステップＳ１１９）。基準時間が経過していない場合（ステップＳ１１９：Ｎｏ）、引き続き作業者の視点が作業終了位置Ｐ４に移動したかどうかが判断される。基準時間が経過した場合（ステップＳ１１９：Ｙｅｓ）、作業者がその作業をマスターしていないと判断され、作業手順書の表示が増加され（ステップＳ１２０）、引き続き作業者の視点が作業終了位置Ｐ４に移動したかどうかが判断される（ステップＳ１２１）。作業終了位置Ｐ４に移動したと判断された場合（ステップＳ１２１：Ｙｅｓ）、この工程の処理は終了される。
【００５８】
図８を例とした場合、作業位置Ｐ１からＰ２への移動の基準時間である期間Ａ内に作業者の視点位置はＰ２に移動しておらず（ステップＳ１０１：Ｎｏ）、期間Ａ経過後にＰ２に対応するＰ２’に移動している。基準時間経過時において作業者の視点はＰ２に移動していないので（ステップＳ１０５：Ｙｅｓ）、その作業をマスターしてないと判断され、作業手順書の表示は増加される（ステップＳ１０６）。このように、作業の実績が遅れている時、詳細な作業手順書が表示される。
作業位置Ｐ２（Ｐ２’）への移動が確認されたところで（ステップＳ１０７：Ｙｅｓ）、次に作業位置Ｐ３へ移動したかどうかが判断される（ステップＳ１０８）。作業位置Ｐ３（Ｐ３’）への移動は基準時間内に確認されることから（ステップＳ１０８：Ｙｅｓ、ステップＳ１０９：Ｙｅｓ）、作業手順書の表示を減少させる（ステップＳ１１１）。このように、作業が順調にすすんでいる時は位置と時間に差が生じないため作業手順書の表示は少なくなる。そして次の基準点である作業終了位置Ｐ４に移動したかどうかが判断される（ステップＳ１１５）。ここでは基準時間より短い基準時間−α内で作業終了位置Ｐ４（Ｐ４’）へ視点が移動している（ステップＳ１１５：Ｙｅｓ、ステップＳ１１６：Ｎｏ）。作業が基準時間−α内で終了した場合、作業手順書は非表示とされる（ステップＳ１１７）。以上により作業の進捗、作業者の熟練度に合わせた動的な作業手順書の表示は可能となる。
【００５９】
上記の例において、基準点は各作業手順の最初の位置のみに設定された。しかし、たまたま視点がその位置にあっただけでそれ以外の視点は熟練者の視点と異なっている場合も生じ得る。この場合、作業者はその作業手順をマスターしていないにも関わらず、マスターしていると誤って判断される。そこで、基準点が作業手順の最初の位置だけでなく、特徴点となる複数位置に設定されてもよい。ここで、基準点となるのは、作業手順において作業者が必ず確認をする必要がある重要な作業箇所の視点位置である。
例えば図８において、作業手順１の作業開始位置以外に作業終了位置と中間位置の２箇所が基準点として追加されている。作業手順２において、作業終了位置と中間位置として２箇所の合計３箇所、作業手順３において、作業終了位置と中間位置の２箇所が基準点として追加設定されている。
各基準点の間は熟練者による基準時間が設定されており、判断対象の基準点が増えること以外は図１２のフローチャートと同様の流れで判断がなされる。
これによって、作業者がその作業手順についてマスターしているのかがより確実に判断される。また、作業者がその作業手順の中でどの部分についてまだ未習熟であるのかより細かに判断できる。
【００６０】
次に本システムにおいて作業者が作業を行うときの携帯端末１への入力とこのときのサーバ装置２の動作処理について、図１３のフローチャートを参照して説明する。
作業場所４にいる作業者は、作業開始に合わせて携帯端末１を起動して、サーバ装置２にログインする（ステップＳ２０１）。サーバ装置２は携帯端末１のログインによりユーザ認証を行い、担当作業者が作業対象物について作業を開始することを認識する（ステップＳ２０２）。作業者は、保守・メンテナンス作業の対象物の機種を選択する（ステップＳ２０３）。サーバ装置２は、ログインした作業者と選択された作業対象物から作業者が作業する保守・メンテナンス作業の項目を対応づけ、検査結果の記録及び作業時間の記録を開始する（ステップＳ２０４）。作業者はアイカメラ７と視野カメラ６を起動する（ステップＳ２０５）。サーバ装置２は携帯端末１から送られてくる映像データ・視点位置データを記録する（ステップＳ２０６）。アイカメラ７、視野カメラ６の起動を忘れると携帯端末１への試験入力を不可能とすることで、アイカメラ７、視野カメラ６の稼動漏れを防止する。
現地の作業者が作業を開始し（ステップＳ２０７）、作業者の保守・メンテナンス作業が完了すると（ステップＳ２０８：Ｙｅｓ）、サーバ装置２は作業者の作業時間の記録、作業者の映像データ・視点位置データの記録を終了する（ステップＳ２０９）。
また作業者は携帯端末１をログアウトし現地作業を終了する（ステップＳ２１０）。
【００６１】
（第２の実施の形態）
第１の実施の形態では、作業手順ごとに基準点を設けて、基準点における熟練者の基準視点位置と作業者の視点を比較して熟練度を判定した。これに対して一工程内の作業手順毎に作業曲線を区分けして、作業手順毎の熟練者の視点位置の軌跡を基準曲線パターンとして、この作業手順毎の基準曲線パターンと作業者の視点位置の軌跡である作業曲線を作業手順毎にパターン比較して熟練度を判定してもよい。
作業者の作業曲線と基準曲線パターンが一致していれば、その作業についてマスターしていると判定される。縦軸の動きは同じではあるものの、横軸である時間軸と一致しておらず、曲線が時間軸方向に延びている場合は、作業内容は理解されているものの作業に時間がかかっていると判定される。逆に曲線が時間軸方向に縮んでいる場合は、その作業を十分マスターしていると判断される。ただし、あまりにも時間が短縮されている場合は作業が丁寧になされていない可能性もあり、作業者が作業の際に入力した作業結果を参照する必要がある。作業曲線が基準パターンと一致しない場合は、作業をマスターしていないと判定される。
【００６２】
（第３の実施の形態）
第１の実施の形態は、他の作業者による作業支援を受けずに作業者が一人で作業する場合であったが、図１４に示すように、作業者が遠隔作業者による作業支援を受けている場合の映像データ、作業時間等の作業状況の記録について説明する。
【００６３】
作業場所７１に作業者Ｕ１が作業しており、別の作業場所７２に作業者Ｕ２が作業している。作業者Ｕ１は携帯端末７３を所持し、ＨＭＤ７５を装着している。同様に、作業者Ｕ２は携帯端末７４を所持し、ＨＭＤ７６を装着している。ＨＭＤ７５，７６は、図２と同様の構成であり、視野カメラ６、アイカメラ７、表示部８を有している。
作業者Ｕ１は、携帯端末７３とサーバ装置７０の間でネットワークを介して送受信が可能であり、作業者Ｕ２は、携帯端末７４とサーバ装置７０の間でネットワークを介して送受信が可能である。作業者Ｕ１と作業者Ｕ２は、携帯端末７３と携帯端末７４の間でサーバ装置７０を通じて送受信が可能である。
【００６４】
作業者Ｕ１は、現在作業中の作業内容に不明な箇所が発生すると作業者Ｕ２の携帯端末７４にサーバ装置７０を介して連絡をする。作業者Ｕ１は、作業者Ｕ１の視点データが含まれた作業箇所の映像データを作業者Ｕ２の携帯端末７４に送り、作業者Ｕ１と作業者Ｕ２は映像データを共有する。作業者Ｕ２は送られてきた映像データに基づき、作業者Ｕ１に作業指示を行う。
【００６５】
サーバ装置７０は、第１の実施の形態と同様に、携帯端末７３の起動時から作業者Ｕ１の作業時間のデータと映像データを記録している。しかしながら、作業支援を受けている場合と作業支援を受けていない場合では、両者のデータは異なってくるため、同じ基準で作業習熟度を判定することができない。そこで、サーバ装置７０は、作業支援を受けている場合、作業支援を受けていない場合と区別して作業時間のデータと映像データを記録する。
【００６６】
作業支援を受ける場合の作業者Ｕ１の携帯端末７３、作業者Ｕ２の携帯端末７４、サーバ装置７０の処理の流れが、図１５に示される。
【００６７】
作業場所７１において作業者Ｕ１は、現地の作業開始に合わせて携帯端末７３を起動してサーバ装置７０にログインする(ステップＳ４０１)。サーバ装置７０は携帯端末７３のログインによりユーザ認証を行う（ステップＳ４０２）。同様に作業場所７２において作業者Ｕ２は、携帯端末７４よりサーバ装置７０にログインし（ステップＳ４０３）、サーバ装置７０はユーザ認証を行う（ステップＳ４０４）。
【００６８】
現地の作業者Ｕ１は、保守・メンテナンス作業の対象物である保守機種を選択する（ステップＳ４０５）。作業対象物が選択されるとサーバ装置７０は検査データおよび作業時間の記録を開始する（ステップＳ４０６）。作業者Ｕ１はアイカメラ７と視野カメラ６を起動する（ステップＳ４０７）。サーバ装置７０は視野カメラ６からの映像データと現地の作業者Ｕ１の視点の時間的変化を示す視点位置データを記録する（ステップＳ４０８）。アイカメラ７と視野カメラ６の起動を忘れると携帯端末７３への試験入力を不可能とすることでアイカメラ７および視野カメラ６の稼動漏れを防止する。
【００６９】
同様に作業者Ｕ２も作業対象物である保守機種を選択する（ステップＳ４０９）ことにより、作業時間の記録が開始され、作業者からの検査結果等の入力が記録される（ステップＳ４１０）。さらに作業者はアイカメラ７と視野カメラ６を起動する（ステップＳ４１１）。サーバ装置７０は視野カメラ６からの映像データと作業者Ｕ２の視点の時間的変化を示す視点位置データを記録する（ステップＳ４１２）。
【００７０】
作業者Ｕ１は、作業内容について不明な箇所が発生した場合、作業者Ｕ２へ連絡する（ステップＳ４１３）。この連絡は電話もしくは本システムの携帯端末１を利用してもよい。作業者Ｕ２は作業者Ｕ１の連絡を受けると携帯端末７４を送信モードにする（ステップＳ４１４）。
【００７１】
作業者Ｕ１のアイカメラ７と視野カメラ６の映像データは、作業者Ｕ１の携帯端末７３からサーバ装置７０を介して作業指示者である作業者Ｕ２の携帯端末７４に送られる（ステップＳ４１５）。作業者Ｕ２は作業者Ｕ１から送られてきた映像データに基づき携帯端末７４を通して作業者Ｕ１に作業を指示する（ステップＳ４１６）。映像データには作業者Ｕ１の視点位置データが含まれていることから、作業者Ｕ２は、作業者Ｕ１が作業対象物に対してどこを見ているのかが分かる。よって作業者Ｕ２は作業者Ｕ１に対してより的確に作業指示を行うことができる。サーバ装置７０は、携帯端末７４から送信モードであることを受けて、作業者Ｕ１が作業者Ｕ２から作業支援を受けている状態であると判断し、作業者Ｕ１の作業時間および映像データ・視点位置データを通常作業の状態と区別して記録する(ステップＳ４１７）。また、サーバ装置７０は、作業者Ｕ２は作業を指示している状態であると判断し、作業者Ｕ２の作業時間および映像データ・視点位置データを通常作業の状態と区別して記録する。
作業者Ｕ１が作業を行い（ステップＳ４１８）、作業を完了すると（ステップＳ４１９）、作業者Ｕ２は作業者Ｕ１の連絡を受け、携帯端末７４を通常モードに戻し、自身の作業に戻る（ステップＳ４２０）。
作業者Ｕ１の保守・メンテナンス作業が完了するとサーバ装置７０は作業者Ｕ１の作業時間の記録、作業者Ｕ１の映像データ・視点データの記録を終了する（ステップＳ４２１）。
また作業者Ｕ１は携帯端末７３をログアウトし現地作業を終了する（ステップＳ４２２）。
同様に作業者Ｕ２の保守・メンテナンス作業が完了すると（ステップＳ４２３：Ｙｅｓ）、サーバ装置７０は作業者Ｕ２の作業時間の記録、作業者Ｕ２の映像データ・視点データの記録を終了する（ステップＳ４２４）。
作業者Ｕ２は携帯端末７４をログアウトし現地作業を終了する（ステップＳ４２５）。
【００７２】
上記の場合、サーバ装置７０は、作業者Ｕ２の携帯端末７４から送信モードの通知を受けて作業者Ｕ１の作業時間および映像データ・視点データの記録を通常状態と区別して記録していた。
これに対して、他の例として、図１６に示すように、サーバ装置７０が作業者Ｕ１から直接連絡を受けることにより記録の区別を変更する処理の流れを示す。
【００７３】
作業者Ｕ１が携帯端末７３からサーバ装置７０にログインすると、サーバ装置７０はユーザ認証を行なう（ステップＳ５０１）。作業が開始されると、サーバ装置７０は、保守・メンテナンスの作業で入力された検査データと検査の工程ごとの作業時間を記録する（ステップＳ５０２）。並行してサーバ装置７０は、作業者Ｕ１の視野映像のデータと視点位置データを記録する（ステップＳ５０３）。作業者Ｕ１が作業途中で不明点やトラブルの発生により指示を仰ぐ時受信モードに切り替えて携帯端末７３からサーバ装置７０を介して作業者Ｕ２の携帯端末７４に連絡をする（ステップＳ５０４：Ｙｅｓ）。サーバ装置７０はこの連絡を受けて作業者Ｕ１からの作業時間と映像データを通常モードと区別して記録する（ステップＳ５０５）。この受信モードの切り替えによりサーバ装置７０は通常作業時間と遠隔指示を受けながらの作業時間を区別して作業時間を記録する（ステップＳ５０６）。並行してサーバ装置７０は、作業者Ｕ１の視野映像のデータと視点位置データを通常モードと区別して記録する（ステップＳ５０７）。遠隔作業指示が終了すると携帯端末７４は受信モードを通常モードに切り替えて、サーバ装置７０に通知し、サーバ装置７０は作業支援終了を判断する（ステップＳ５０８：Ｙｅｓ）。サーバ装置７０はこの連絡を受けて作業者Ｕ１からの作業時間と映像データ・視点位置データの記録を通常モードに戻す（ステップＳ５０９）。作業者Ｕ１の作業が完了すると、サーバ装置７０はこの連絡を受けて作業完了を判断し（ステップＳ５１０：Ｙｅｓ）、作業者Ｕ１からの作業時間と映像データ・視点位置データの記録を終了する。
【００７４】
本実施の形態において、図８の作業手順書は視覚的な作業手順を提示するものであったが、音声にて携帯端末から提示するものであってもよい。作業の状況、作業者によって視覚的パターンの作業手順のみ、音声パターンの作業手順のみ、または視覚的パターンと音声パターンの両方を選択することができる。
【００７５】
本実施の形態では、保守・メンテナンス作業について説明したが、本発明はこれに限らず、組み立て作業等種々の作業に適用可能であり、実施の形態に限定されない。本実施の形態では、視点分布作成、作業曲線作成、習熟度判定をサーバ装置が行っているが、これに限らず、携帯端末内で行ってもよい。
【００７６】
本実施の形態においては、ＨＭＤ５と携帯端末１とサーバ装置２を備えるシステムを例示したが、同様の機能を実現できるならば、システム構成は任意である。例えば、固定カメラを用いて、作業者の目の画像を取得する等してもよい。また、全ての画像処理を１台の端末で実施してもよい。また、コンピュータをこれらの装置として機能させるプログラムを配布し、このプログラムを実行することにより、システムを実現してもよい。
【符号の説明】
【００７７】
１，７３，７４  携帯端末、２，７０  サーバ装置、３  ネットワーク、４，７１，７２  作業場所、５，７５，７６  ＨＭＤ、６  視野カメラ、７  アイカメラ、８  表示部、１１  制御部、１２  記憶部、１３  通信部、１４  入出力部、１５  操作部、２０  情報処理部、２１  記憶部、２２  画像処理部、２３  作業手順表示部、２４  映像記憶部、２５  作業手順記憶部、３０  情報処理部、３１  ネットワーク入力部、３２  ネットワーク出力部、３３  映像情報処理部、３４  作業履歴作成部、３５  習熟度データベース作成部、３６  作業手順作成部、３７  映像情報データベース、３８  作業履歴データベース、３９  作業者習熟度データベース、４０  作業手順データベース、５１  制御部、５２  記憶部、５３  表示部、５４  入力部、５５  通信部、６１  座標変換部、６２  作業対象物認識抽出部、６３  視点分布作成部、６４  作業曲線作成部、６５  判定部。
【図１】
2020009276.tif 000003
【図２】
2020009276.tif 000004
【図３】
2020009276.tif 000005
【図４】
2020009276.tif 000006
【図５】
2020009276.tif 000007
【図６】
2020009276.tif 000008
【図７】
2020009276.tif 000009
【図８】
2020009276.tif 000010
【図９】
2020009276.tif 000011
【図１０】
2020009276.tif 000012
【図１１】
2020009276.tif 000013
【図１２】
2020009276.tif 000014
【図１３】
2020009276.tif 000015
【図１４】
2020009276.tif 000016
【図１５】
2020009276.tif 000017
【図１６】
2020009276.tif 000018