(57)【要約】      （修正有）【課題】作業対象物に識別情報を付さずに、作業情報の提供ができる作業情報提供装置、作業情報提供方法、およびプログラムを提供する。【解決手段】映像を撮影し、映像を取得する撮影部１０４と、カレント作業識別情報で識別される作業に対応する終了条件情報を取得し、当該終了条件情報と、撮影部１０４が取得した映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断部１０８と、判断部１０８が、作業が終了したとの判断を行った場合、作業の次の作業を助けるヘルプ情報を取得するヘルプ情報取得部１０９と、ヘルプ情報取得部１０９が取得したヘルプ情報を出力するヘルプ情報出力部１１０と、カレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新部１１１とを具備する作業情報提供装置１により、作業を支援するために、適切に情報を提示できる。【選択図】図１
2009289112.tif 000002
【特許請求の範囲】
【請求項１】
一の作業に関する情報であり、作業の終了を判断するための情報である終了条件情報を有する作業情報を、一連の作業の分だけ有する作業情報群を格納し得る作業情報群格納部と、
作業者が行うべき作業を助ける情報であり、作業対象に関する映像を含む情報であるヘルプ情報を、一連の作業の分だけ有するヘルプ情報群を格納し得るヘルプ情報群格納部と、
作業者が現在行っている作業を識別する情報であるカレント作業識別情報を保持しているカレント作業識別情報格納部と、
映像を撮影し、映像を取得する撮影部と、
前記カレント作業識別情報で識別される作業に対応する終了条件情報を取得し、当該終了条件情報と、前記撮影部が取得した映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断部と、
前記判断部が、作業が終了したとの判断を行った場合、前記作業の次の作業を助けるヘルプ情報を取得するヘルプ情報取得部と、
前記ヘルプ情報取得部が取得したヘルプ情報を出力するヘルプ情報出力部と、
前記カレント作業識別情報格納部のカレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新部とを具備する作業情報提供装置。
【請求項２】
作業を行ったことにより発生した音の情報である作業音情報を取得する作業音取得部をさらに具備し、
前記終了条件情報は、
音情報を含み、
前記判断部は、
前記作業音取得部が取得した作業音情報と前記終了条件情報が有する音情報との比較をも行い、作業者が現在行っている作業が終了したか否かを判断する請求項１記載の作業情報提供装置。
【請求項３】
作業を行う際に作業者が使用する工具から当該工具を識別する工具識別子を取得する工具識別子取得部をさらに具備し、
前記終了条件情報は、
工具識別子を含み、
前記判断部は、
前記終了条件情報が有する工具識別子と前記工具識別子取得部が取得した工具識別子とをも用いて、作業者が現在行っている作業が終了したか否かを判断する請求項１または請求項２記載の作業情報提供装置。
【請求項４】
前記工具識別子で識別される工具を用いて行われた作業に関する情報である作業結果情報を取得する作業結果情報取得部をさらに具備し、
前記終了条件情報は、
作業結果情報に関する情報を含み、
前記判断部は、
前記終了条件情報が有する作業結果情報に関する情報と前記作業結果情報取得部が取得した作業結果情報とをも用いて、作業者が現在行っている作業が終了したか否かを判断する請求項３記載の作業情報提供装置。
【請求項５】
前記作業情報は、
作業手順を示す情報であり、映像を含む情報である１以上の作業手順情報を含み、
前記撮影部が取得した映像と、前記作業手順情報を用いて、異常な作業が行われたか否かを判断する異常作業判断部と、
前記異常作業判断部が異常な作業が行われたと判断した場合、その旨を示す情報である警告情報を出力する警告情報出力部とをさらに具備する請求項１から請求項４いずれか記載の作業情報提供装置。
【請求項６】
作業の結果を示す情報であり、前記撮影部が取得した映像を含む情報である作業結果情報を構成する作業結果情報構成部と、
前記作業結果情報構成部が構成した作業結果情報と、前記作業情報群格納部に格納されている作業情報群を比較し、差のある部分である特異作業情報を取得する特異作業情報取得部と、
前記特異作業情報取得部が取得した特異作業情報を出力する特異作業情報出力部とをさらに具備する請求項１から請求項４いずれか記載の作業情報提供装置。
【請求項７】
前記特異作業情報取得部は、
前記作業情報群が有する作業情報に含まれる終了条件情報を用いて、前記作業結果情報を２以上の作業に分割し、２以上の部分作業結果情報を取得する部分作業結果情報取得手段と、
前記部分作業結果情報取得手段が取得した２以上の各部分作業結果情報と、当該各部分作業結果情報に対応する作業情報であり前記作業情報群が有する各作業情報とを比較し、同一または類似するか否かを判断する類似判断手段と、
前記類似判断手段が同一でもなく、類似でもないと判断した場合、当該部分作業結果情報の全部または一部を取得する非類似部分取得手段とを具備する請求項６記載の作業情報提供装置。
【請求項８】
前記類似判断手段は、
各部分作業結果情報が有する映像と、各作業情報が有する映像とを用いて、部分作業結果情報と作業情報が同一または類似するか否かを判断する請求項７記載の作業情報提供装置。
【請求項９】
前記類似判断手段は、
各部分作業結果情報が有する作業時間情報と、各作業情報が有する作業時間情報とを用いて、部分作業結果情報と作業情報が同一または類似するか否かを判断する請求項７記載の作業情報提供装置。
【請求項１０】
撮影部、判断部、ヘルプ情報取得部、ヘルプ情報出力部、およびカレント作業識別情報更新部とを用いて実現される作業情報提供方法であって、
前記撮影部により、映像を撮影し、映像を取得する撮影ステップと、
前記判断部により、記憶媒体のカレント作業識別情報で識別される作業に対応する終了条件情報を記憶媒体から取得し、当該終了条件情報と、前記撮影ステップで取得された映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断ステップと、
前記ヘルプ情報取得部により、前記判断ステップで、作業が終了したとの判断を行った場合、前記作業の次の作業を助けるヘルプ情報を取得するヘルプ情報取得ステップと、
前記ヘルプ情報出力部により、前記ヘルプ情報取得ステップで取得したヘルプ情報を出力するヘルプ情報出力ステップと、
前記カレント作業識別情報更新部により、前記カレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新ステップとを具備する作業情報提供方法。
【請求項１１】
コンピュータを、
映像を撮影し、映像を取得する撮影部と、
カレント作業識別情報で識別される作業に対応する終了条件情報を記憶媒体から取得し、当該終了条件情報と、前記撮影部が取得した映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断部と、
前記判断部が、作業が終了したとの判断を行った場合、前記作業の次の作業を助けるヘルプ情報を記憶媒体から取得するヘルプ情報取得部と、
前記ヘルプ情報取得部が取得したヘルプ情報を出力するヘルプ情報出力部と、
前記カレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機によってつくられた情報を、実際の情景や情景を取得した映像上に重ね合わせて表示する技術である拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ、以下ＡＲと記載する。）技術を用いて、作業者が行う作業を支援する作業情報提供装置等に関するものである。
【背景技術】
【０００２】
従来、予め用意した情景の情報およびこの情景内に存在するものであって、作業者が作業を行う対象となる作業対象設備の配置情報を用いることにより、所定の作業対象設備に対して作業者が行うべき作業行為に対応する情報を作業対象設備に関連づけて表示するように構成した情報重畳装置と、作業者の作業行為を同定する作業行為同定手段と、予め想定した作業者の作業行為の対象もしくは内容またはそれらの組み合わせからなる作業行為情報を記録した記録媒体と、作業行為と予め想定した作業行為情報とを比較する比較手段と、比較した結果に応じて作業者の作業行為を支援する支援情報を作業者に提供する情報提供手段とを備えた作業情報提供装置があった（例えば、特許文献１参照）。かかる作業情報提供装置は、実際の作業者の作業行為を同定し、予め想定された作業行為と比較してそれに応じた情報を作業者に提示することで、誤りの防止効果をより高めることを目的としている。
【０００３】
また、ＡＲを適用したシステム構成の例は、特許文献２で開示されている。そのシステム構成の例を図１９、図２０に示す。図１９において、５００１はハーフミラー、５００２は投影機、５００３は位置検出器、５００４はワークステーション、５０１１は両面ミラー、５０１２はカメラである。図１９では、観察者（ユーザ）に装着された位置検出器５００３によって、観察者の視線方向が同定され、この視線方向に応じてワークステーション５００４が投影機５００２を通して情報を生成し、この情報はハーフミラー５００１上で、観察者が見ている実空間の情景と重ね合わされて表示される。また、図２０では、観測者の眼と共役な位置に配置されたカメラ５０１２によって、両面ミラー５０１１に写った実空間画像が撮影される。図１９と同様に、観測者に装着された位置検出器５００３によって観測者の視線方向が同定され、この視線方向に応じてワークステーション５００４が、カメラ５０１２によって取得した情景映像上に、情報を重ね合わせ、この映像が投影機５００２から両面ミラー５０１１を通して観測者に提示される。
【特許文献１】特開２００１−２８２３４９号公報（第１頁、第１図等）
【特許文献２】特開平１０−１１２８３１号公報（第１頁、第１図等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の作業情報提供装置においては、作業の対象となる対象物に何らかのマークを付さなければならなかった。
【課題を解決するための手段】
【０００５】
本第一の発明の作業情報提供装置は、一の作業に関する情報であり、作業の終了を判断するための情報である終了条件情報を有する作業情報を、一連の作業の分だけ有する作業情報群を格納し得る作業情報群格納部と、作業者が行うべき作業を助ける情報であり、作業対象に関する映像を含む情報であるヘルプ情報を、一連の作業の分だけ有するヘルプ情報群を格納し得るヘルプ情報群格納部と、作業者が現在行っている作業を識別する情報であるカレント作業識別情報を保持しているカレント作業識別情報格納部と、映像を撮影し、映像を取得する撮影部と、前記カレント作業識別情報で識別される作業に対応する終了条件情報を取得し、当該終了条件情報と、前記撮影部が取得した映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断部と、前記判断部が、作業が終了したとの判断を行った場合、前記作業の次の作業を助けるヘルプ情報を取得するヘルプ情報取得部と、前記ヘルプ情報取得部が取得したヘルプ情報を出力するヘルプ情報出力部と、前記カレント作業識別情報格納部のカレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新部とを具備する作業情報提供装置である。
【０００６】
かかる構成により、作業の対象となる対象物にマークを付さずに、作業情報の提供ができる。
【０００７】
また、本第二の発明の作業情報提供装置は、第一の発明に対して、作業を行ったことにより発生した音の情報である作業音情報を取得する作業音取得部をさらに具備し、前記終了条件情報は、音情報を含み、前記判断部は、前記作業音取得部が取得した作業音情報と前記終了条件情報が有する音情報との比較をも行い、作業者が現在行っている作業が終了したか否かを判断する作業情報提供装置である。
【０００８】
かかる構成により、音の情報を用いて、作業の終了検知ができる。
【０００９】
また、本第三の発明の作業情報提供装置は、第一、第二いずれかの発明に対して、作業を行う際に作業者が使用する工具から当該工具を識別する工具識別子を取得する工具識別子取得部をさらに具備し、前記終了条件情報は、工具識別子を含み、前記判断部は、前記終了条件情報が有する工具識別子と前記工具識別子取得部が取得した工具識別子とをも用いて、作業者が現在行っている作業が終了したか否かを判断する作業情報提供装置である。
【００１０】
かかる構成により、所定の工具を使用したことを認識することにより、作業の終了検知ができる。
【００１１】
また、本第四の発明の作業情報提供装置は、第三の発明に対して、前記工具識別子で識別される工具を用いて行われた作業に関する情報である作業結果情報を取得する作業結果情報取得部をさらに具備し、前記終了条件情報は、作業結果情報に関する情報を含み、前記判断部は、前記終了条件情報が有する作業結果情報に関する情報と前記作業結果情報取得部が取得した作業結果情報とをも用いて、作業者が現在行っている作業が終了したか否かを判断する作業情報提供装置である。
【００１２】
かかる構成により、所定の工具を使用したこと、およびその工具による作業が完了したことを、精度高く検知できる。
【００１３】
また、本第五の発明の作業情報提供装置は、第一から第四いずれかの発明に対して、前記作業情報は、作業手順を示す情報であり、映像を含む情報である１以上の作業手順情報を含み、前記撮影部が取得した映像と、前記作業手順情報を用いて、異常な作業が行われたか否かを判断する異常作業判断部と、前記異常作業判断部が異常な作業が行われたと判断した場合、その旨を示す情報である警告情報を出力する警告情報出力部とをさらに具備する作業情報提供装置である。
【００１４】
かかる構成により、標準的な作業手順に照らし、異常な作業を検知できる。
【００１５】
また、本第六の発明の作業情報提供装置は、第一から第四いずれかの発明に対して、作業の結果を示す情報であり、前記撮影部が取得した映像を含む情報である作業結果情報を構成する作業結果情報構成部と、前記作業結果情報構成部が構成した作業結果情報と、前記作業情報群格納部に格納されている作業情報群を比較し、差のある部分である特異作業情報を取得する特異作業情報取得部と、前記特異作業情報取得部が取得した特異作業情報を出力する特異作業情報出力部とをさらに具備する作業情報提供装置である。
【００１６】
かかる構成により、例えば、熟練工の作業手順を、平均的な作業手順と比較し、熟練工のノウハウを取得できる。
【００１７】
また、本第七の発明の作業情報提供装置は、第六の発明に対して、前記特異作業情報取得部は、前記作業情報群が有する作業情報に含まれる終了条件情報を用いて、前記作業結果情報を２以上の作業に分割し、２以上の部分作業結果情報を取得する部分作業結果情報取得手段と、前記部分作業結果情報取得手段が取得した２以上の各部分作業結果情報と、当該各部分作業結果情報に対応する作業情報であり前記作業情報群が有する各作業情報とを比較し、同一または類似するか否かを判断する類似判断手段と、前記類似判断手段が同一でもなく、類似でもないと判断した場合、当該部分作業結果情報の全部または一部を取得する非類似部分取得手段とを具備する作業情報提供装置である。
【００１８】
かかる構成により、例えば、熟練工の作業手順を、平均的な作業手順と比較し、熟練工のノウハウを取得できる。
【発明の効果】
【００１９】
本発明による作業情報提供装置によれば、作業者に対して、作業を支援するための情報を提示できる。
【発明を実施するための最良の形態】
【００２０】
以下、作業情報提供装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００２１】
（実施の形態１）
【００２２】
本実施の形態において、ＡＲ技術を用いて、作業者が行う作業を支援する作業情報提供装置について説明する。具体的には、作業対象に何らマークを付与することなしに、作業者の作業の終了検知を行い、作業の終了後に、次の作業を支援する情報を出力する作業情報提供装置について説明する。また、本作業情報提供装置は、作業の終了検知のために、例えば、部品が筐体に嵌った際に出す音の情報を用いたり、使用する工具を識別する情報を用いたり、工具を用いた作業結果を用いたりする。
【００２３】
図１は、本実施の形態における作業情報提供装置１のブロック図である。
【００２４】
作業情報提供装置１は、作業情報群格納部１０１、ヘルプ情報群格納部１０２、カレント作業識別情報格納部１０３、撮影部１０４、作業音取得部１０５、工具識別子取得部１０６、作業結果情報取得部１０７、判断部１０８、ヘルプ情報取得部１０９、ヘルプ情報出力部１１０、カレント作業識別情報更新部１１１を具備する。なお、撮影部１０４、作業音取得部１０５、工具識別子取得部１０６、および作業結果情報取得部１０７を、作業情報取得部１１と言っても良い。作業情報取得部１１は、作業に関する情報を取得する手段の集合である。
【００２５】
作業情報群格納部１０１は、作業情報群を格納し得る。作業情報群は、終了条件情報を有する作業情報を、一連の作業の分だけ有する情報である。作業情報は、一の作業に関する情報である。作業情報は、例えば、作業対象を撮影した映像（画像の集合）である。終了条件情報は、作業の終了を判断するための情報である。また、終了条件情報は、例えば、作業の終了を判断するための作業対象を撮影した画像（静止画でも、動画でも良い）である。終了条件情報は、音情報を含んでも良い。音情報とは、通常、作業を行った場合に発生する音の情報である。音情報は、実際の作業場で記録した音情報であることが好適である。作業情報群格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。作業情報群格納部１０１に作業情報群が記憶される過程は問わない。例えば、記録媒体を介して作業情報群が作業情報群格納部１０１で記憶されるようになってもよく、通信回線等を介して送信された作業情報群が作業情報群格納部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された作業情報群が作業情報群格納部１０１で記憶されるようになってもよい。
【００２６】
ヘルプ情報群格納部１０２は、ヘルプ情報群を格納し得る。ヘルプ情報群は、ヘルプ情報の集合である。ヘルプ情報群は、ヘルプ情報を、一連の作業の分だけ有する。ヘルプ情報は、作業者が行うべき作業を助ける情報であり、作業対象に関する映像を含む情報である。ヘルプ情報は、作業対象に関する映像だけではなく、文字列や音声によるガイダンスなどを含んでも良いことは言うまでもない。ヘルプ情報群格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。ヘルプ情報群格納部１０２にヘルプ情報群が記憶される過程は問わない。例えば、記録媒体を介してヘルプ情報群がヘルプ情報群格納部１０２で記憶されるようになってもよく、通信回線等を介して送信されたヘルプ情報群がヘルプ情報群格納部１０２で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたヘルプ情報群がヘルプ情報群格納部１０２で記憶されるようになってもよい。
【００２７】
カレント作業識別情報格納部１０３は、カレント作業識別情報を保持している。カレント作業識別情報は、作業者が現在行っている作業を識別する情報である。カレント作業識別情報は、例えば、作業を識別するＩＤ（数値）である。カレント作業識別情報の初期値は、例えば、「１」である。カレント作業識別情報の初期値は、作業の開始の段階でのカレント作業識別情報である。カレント作業識別情報格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００２８】
撮影部１０４は、映像を撮影し、映像を取得する。撮影部１０４は、例えば、ＣＣＤカメラで実現され得る。また、撮影部１０４は、３Ｄステレオカメラで実現されることは好適である。
【００２９】
作業音取得部１０５は、作業音情報を取得する。作業音情報とは、作業を行ったことにより発生した音の情報である。作業音情報は、例えば、部品が筐体に収まった時に発生する「カチッ」という音の情報や、ネジを締め上げた際に発生する「ギュ」という音の情報である。作業音取得部１０５は、例えば、マイクと、そのドライバーにより実現され得る。マイクは、例えば、作業者が身に付けている。
【００３０】
工具識別子取得部１０６は、工具識別子を取得する。工具識別子とは、工具を識別する情報である。工具識別子取得部１０６は、作業を行う際に作業者が使用する工具から工具識別子を取得する。工具識別子は、例えば、工具に貼付されたＲＦＩＤタグに格納されている。また、工具識別子は、例えば、工具に貼り付けられた二次元バーコードが示す情報である。工具識別子取得部１０６は、ＲＦＩＤタグリーダーや、バーコードリーダー等で実現され得る。
【００３１】
作業結果情報取得部１０７は、作業結果情報を取得する。作業結果情報は、一の作業が完了した場合の、作業対象や工具などの状態を示す情報である。作業結果情報は、例えば、工具識別子で識別される工具を用いて行われた作業に関する情報である。作業結果情報は、例えば、レンチでネジ締めした場合のトルク「１０」などの数値や、２つの部品が結合したことを示す情報（部品の状態を示す情報の一例）などである。なお、作業結果情報取得部１０７は、例えば、工具（例えば、トルクレンチ）からトルクの情報を受信する。つまり、例えば、工具が通信機能を有する。なお、作業対象の部品が、自らの状態を取得し、送信する機能を有しても良い。作業結果情報取得部１０７は、通常、無線通信手段で実現される。
【００３２】
判断部１０８は、カレント作業識別情報で識別される作業に対応する終了条件情報を取得する。次に、判断部１０８は、撮影部１０４が取得した映像を有する判断情報を構成する。次に、判断部１０８は、終了条件情報と判断情報とを比較する。そして、判断部１０８は、比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する。
【００３３】
また、判断部１０８は、終了条件情報が音情報を有する場合、以下のように動作する。つまり、判断部１０８は、作業音取得部１０５が取得した作業音情報と終了条件情報が有する音情報との比較を行い、作業者が現在行っている作業が終了したか否かを判断する。判断部１０８は、通常、作業音取得部１０５が取得した作業音情報と終了条件情報が有する音情報との類似度が一定以上の類似度であれば、作業が終了したと判断する。
【００３４】
また、判断部１０８は、終了条件情報が工具識別子を有する場合、以下のように動作する。つまり、判断部１０８は、終了条件情報が有する工具識別子と工具識別子取得部１０６が取得した工具識別子とを用いて、作業者が現在行っている作業が終了したか否かを判断する。判断部１０８は、例えば、工具識別子取得部１０６が、終了条件情報が有する工具識別子を一度、読み取り、その後、読み取れなくなった場合（作業が終了し、当該工具が不要になった場合）、作業が終了したと判断する。また、判断部１０８は、終了条件情報が有する工具識別子を読み取れた場合、作業が終了したと判断しても良い。
【００３５】
判断部１０８は、終了条件情報が作業結果情報に関する情報を有する場合、以下のように動作する。つまり、判断部１０８は、終了条件情報が有する作業結果情報に関する情報と作業結果情報取得部１０７が取得した作業結果情報とを用いて、作業者が現在行っている作業が終了したか否かを判断する。判断部１０８は、例えば、終了条件情報が有する作業結果情報に関する情報と、作業結果情報取得部１０７が取得した作業結果情報が一致、または、所定の類似度（差が「１」以内など）である場合、作業が終了したと判断する。判断部１０８は、通常、ＭＰＵやメモリ等から実現され得る。判断部１０８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３６】
ヘルプ情報取得部１０９は、判断部１０８が、作業が終了したとの判断を行った場合、作業の次の作業を助けるヘルプ情報を取得する。また、ヘルプ情報取得部１０９は、作業開始時に、最初の作業（カレント作業識別情報に対応する作業）のヘルプ情報を取得しても良い。ヘルプ情報取得部１０９は、通常、ＭＰＵやメモリ等から実現され得る。ヘルプ情報取得部１０９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３７】
ヘルプ情報出力部１１０は、ヘルプ情報取得部１０９が取得したヘルプ情報を出力する。ここでの出力は、観察者（ユーザ）が見ている実空間の情景と重ね合わされた、ヘルプ情報の表示を含む。また、出力とは、他のディスプレイへの表示、音声出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。ヘルプ情報出力部１１０は、投影機やスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。ヘルプ情報出力部１１０は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。ヘルプ情報出力部１１０は、上述した公知のＡＲ技術により実現され得る。
【００３８】
カレント作業識別情報更新部１１１は、カレント作業識別情報格納部１０３のカレント作業識別情報を次の作業を識別する情報に更新する。カレント作業識別情報更新部１１１は、ヘルプ情報出力部１１０がヘルプ情報を出力する前後（次の作業に移る場合）に、カレント作業識別情報を次の作業を識別する情報に更新する。カレント作業識別情報更新部１１１は、通常、ＭＰＵやメモリ等から実現され得る。カレント作業識別情報更新部１１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００３９】
次に、作業情報提供装置１の動作について図２のフローチャートを用いて説明する。
【００４０】
（ステップＳ２０１）ヘルプ情報取得部１０９は、カレント作業識別情報格納部１０３からカレント作業識別情報を取得する。
【００４１】
（ステップＳ２０２）ヘルプ情報取得部１０９は、ステップＳ２０１で取得されたカレント作業識別情報に対応する作業のヘルプ情報を、ヘルプ情報群格納部１０２から取得する。
【００４２】
（ステップＳ２０３）ヘルプ情報出力部１１０は、ステップＳ２０２で取得したヘルプ情報を、ユーザが見ている実空間の情景と重ね合わせて、出力する。ヘルプ情報が動画を含む場合、当該動画を繰り返し出力することは好適である。
【００４３】
（ステップＳ２０４）撮影部１０４は、映像を取得する。
【００４４】
（ステップＳ２０５）作業音取得部１０５は、作業音情報を取得する。なお、作業音情報が取得できない場合、または取得したが利用しない場合もあり得る。
【００４５】
（ステップＳ２０６）工具識別子取得部１０６は、工具識別子を取得する。なお、工具識別子が取得できない場合、または取得したが利用しない場合もあり得る。
【００４６】
（ステップＳ２０７）作業結果情報取得部１０７は、作業結果情報を取得する。なお、作業結果情報が取得できない場合、または取得したが利用しない場合もあり得る。
【００４７】
（ステップＳ２０８）判断部１０８は、判断処理を行う。判断処理について、図３のフローチャートを用いて説明する。
【００４８】
（ステップＳ２０９）判断部１０８は、ステップＳ２０８における判断処理の結果、作業終了であるか否かを判断する。作業終了であればステップＳ２１０に行き、作業終了でなければステップＳ２０４に戻る。
【００４９】
（ステップＳ２１０）カレント作業識別情報更新部１１１は、カレント作業識別情報を次に進め、カレント作業識別情報格納部１０３のカレント作業識別情報を、次のカレント作業識別情報に更新する。
【００５０】
（ステップＳ２１１）ヘルプ情報取得部１０９は、ステップＳ２０９で更新したカレント作業識別情報に対応する作業（次の作業）が存在するか否かを判断する。次の作業が存在すればステップＳ２０２に行き、次の作業が存在しなければ処理を終了する。
【００５１】
なお、図２のフローチャートにおいて、１以上存在する各作業において、ヘルプ情報が存在することが前提となっているが、ヘルプ情報が存在しない作業があっても良いことは言うまでもない。
【００５２】
次に、ステップＳ２０８の判断処理について、図３のフローチャートを用いて説明する。
【００５３】
（ステップＳ３０１）判断部１０８は、カレント作業識別情報に対応する作業情報が有する終了条件情報を、作業情報群格納部１０１から取得する。
【００５４】
（ステップＳ３０２）判断部１０８は、撮影部１０４が取得した映像と、ステップＳ３０１で取得した終了条件情報を比較する処理を行う。比較処理について、図４のフローチャートを用いて説明する。
【００５５】
（ステップＳ３０３）判断部１０８は、ステップＳ３０２における比較処理の結果が、条件に合致するか否か（終了条件情報を満たすか否）を判断する。合致すればステップＳ３０４に行き、合致しなければステップＳ３１４に行く。
【００５６】
（ステップＳ３０４）判断部１０８は、カレント作業識別情報に対応する作業情報が音情報を有するか否かを判断する。音情報を有せばステップＳ３０５に行き、音情報を有さなければステップＳ３０７に行く。
【００５７】
（ステップＳ３０５）判断部１０８は、作業音取得部１０５が取得した作業音情報と、作業情報が有する音情報とを比較する。２つの音情報の比較とは、例えば、スペクトル分析した結果の比較である。２つの音情報を比較するアルゴリズムは問わない。２つの音情報を比較し、類似度を算出する（類似しているか否かを判断する）処理は、公知技術であるので詳細な説明を省略する。
【００５８】
（ステップＳ３０６）判断部１０８は、ステップＳ３０５における比較の結果、条件に合致するか否か（終了条件情報を満たすか否）を判断する。合致すればステップＳ３０８に行き、合致しなければステップＳ３１０に行く。なお、条件に合致する、とは、例えば、２つの音情報の類似度が一定以上であり、類似していることを言う。また、条件に合致する、とは、２つの音情報が有する特徴点（特徴的な情報）が一致する、または近似することを言う。その他、２つの音情報が条件に合致するか否かを判断するアルゴリズムは問わない。
【００５９】
（ステップＳ３０７）判断部１０８は、カレント作業識別情報に対応する作業情報が工具識別子を有するか否かを判断する。工具識別子を有せばステップＳ３０５に行き、工具識別子を有さなければステップＳ３０７に行く。
【００６０】
（ステップＳ３０８）判断部１０８は、ユーザが工具識別子で識別される工具を使用したか否かを判断する。この工具使用判断処理について、図６のフローチャートを用いて判断する。
【００６１】
（ステップＳ３０９）判断部１０８は、ステップＳ３０８における判断の結果、工具を使用した場合はステップＳ３１０に行き、工具をしていない場合はステップＳ３１４に行く。
【００６２】
（ステップＳ３１０）判断部１０８は、カレント作業識別情報に対応する作業情報が作業結果情報を有するか否かを判断する。作業結果情報を有せばステップＳ３０５に行き、作業結果情報を有さなければステップＳ３０７に行く。
【００６３】
（ステップＳ３１１）判断部１０８は、カレント作業識別情報に対応する作業情報に含まれる作業結果情報と、作業結果情報取得部１０７が取得した作業結果情報を比較する。
【００６４】
（ステップＳ３１２）判断部１０８は、ステップＳ３１１における比較の結果、両者が合致する（一致または、所定の範囲で類似する）、との判断の場合はステップＳ３１３に行き、合致しないとの判断の場合はステップＳ３１４に行く。
【００６５】
（ステップＳ３１３）判断部１０８は、判断結果として、「作業終了（例えば「１」）」を代入する。上位処理にリターンする。
【００６６】
（ステップＳ３１４）判断部１０８は、判断結果として、「作業未終了（例えば「０」）」を代入する。上位処理にリターンする。
【００６７】
なお、図３のフローチャートにおいて、一度に、映像を用いた判断、音情報を用いた判断、工具識別子を用いた判断、および作業結果情報を用いた判断のすべてが「合致」との判断の場合のみ、判断結果を「作業終了」とした。しかし、映像を用いた判断、音情報を用いた判断、工具識別子を用いた判断、および作業結果情報を用いた判断のいずれかが「合致」との判断の場合、判断結果を「作業終了」としても良い。また、所定の時間内に、映像を用いた判断、音情報を用いた判断、工具識別子を用いた判断、および作業結果情報を用いた判断のすべて、または２以上の判断が「合致」との判断の場合、判断結果を「作業終了」としても良い。
【００６８】
次に、ステップＳ３０２の比較処理について、図４のフローチャートを用いて説明する。
【００６９】
（ステップＳ４０１）判断部１０８は、カレント作業識別情報に対応する終了条件情報の中の１以上の画像を取得する。ここで取得できる１以上の画像とは、動画（２以上の画像）または静止画（一つの画像）である。
【００７０】
（ステップＳ４０２）判断部１０８は、ステップＳ４０１で取得した画像が一つであるか否かを判断する。一つであればステップＳ４０３に行き、一つでなければステップＳ４１３に行く。
【００７１】
（ステップＳ４０３）判断部１０８は、カウンタｉに１を代入する。
【００７２】
（ステップＳ４０４）判断部１０８は、撮影部１０４が取得した映像であり、作業が終了したか否かを判断するための映像の中に、ｉ番目の静止画が存在するか否かを判断する。ｉ番目の静止画が存在すればステップＳ４０５に行き、ｉ番目の静止画が存在しなければステップＳ４１２に行く。
【００７３】
（ステップＳ４０５）判断部１０８は、撮影部１０４が取得した映像の中の、ｉ番目の静止画を取得する。
【００７４】
（ステップＳ４０６）判断部１０８は、ステップＳ４０５で取得したｉ番目の静止画と、ステップＳ４０１で取得した画像との位置合わせを行う。判断部１０８は、例えば、２つの静止画に対して輪郭抽出処理を行い、共通する輪郭（図形）を検知し、当該共通する輪郭（図形）の位置を合わせるように、一方または、両方の静止画の座標を移動する。このステップの処理により、２つの静止画上のオブジェクトが重なった状態になる。なお、かかる処理は公知の画像処理技術であるので、詳細な説明を省略する。
【００７５】
（ステップＳ４０７）判断部１０８は、ステップＳ４０６で位置合わせをした場合に、２つの静止画が重なる領域（共通箇所）を切り出す。ここでは、領域を共通にする２つの静止画（同じ領域を撮影した２つの静止画）が取り出される。
【００７６】
（ステップＳ４０８）判断部１０８は、ステップＳ４０７で切り出した２つの静止画の類似度を算出する。なお、静止画の類似度を算出する方法は公知技術であるので、詳細な説明を省略する。
【００７７】
（ステップＳ４０９）判断部１０８は、ステップＳ４０８で算出した類似度が閾値（予め格納されている）より大きいか否かを判断する。閾値より大きい場合はステップＳ４１０に行き、閾値以下の場合はステップＳ４１１に行く。なお、ここで、判断部１０８は、類似度が閾値以上であるか否かを判断しても良い。
【００７８】
（ステップＳ４１０）判断部１０８は、結果に「合致（例えば「１」）」を代入する。上位処理にリターンする。
【００７９】
（ステップＳ４１１）判断部１０８は、カウンタｉを１、インクリメントする。ステップＳ４０４に行く。
【００８０】
（ステップＳ４１２）判断部１０８は、結果に「不合致（例えば「０」）」を代入する。上位処理にリターンする。
【００８１】
（ステップＳ４１３）判断部１０８は、動画比較処理を行う。動画比較処理とは、２つの動画を比較し、両者が類似しているか否か（作業が完了しているか否か）を判断する処理である。上位処理にリターンする。動画比較処理について、図５のフローチャートを用いて説明する。
【００８２】
次に、ステップＳ４１３の動画比較処理について、図５のフローチャートを用いて説明する。図５のフローチャートにおいて、図４のフローチャートと同様の処理について、説明を省略する。
【００８３】
（ステップＳ５０１）判断部１０８は、カウンタｉに１を代入する。
【００８４】
（ステップＳ５０２）判断部１０８は、カウンタｊに１を代入する。
【００８５】
（ステップＳ５０３）判断部１０８は、カレント作業識別情報に対応する終了条件情報内に、ｉ番目の画像が存在するか否かを判断する。ｉ番目の画像が存在すればステップＳ４０４に行き、ｉ番目の画像が存在しなければステップＳ５０７に行く。
【００８６】
（ステップＳ５０４）判断部１０８は、カウンタｉを１、インクリメントする。ステップＳ５０３に戻る。
【００８７】
（ステップＳ５０５）判断部１０８は、カウンタｊを１、インクリメントする。ステップＳ４０４に戻る。
【００８８】
（ステップＳ５０６）判断部１０８は、結果に「不合致（例えば「０」）」を代入する。上位処理にリターンする。
【００８９】
（ステップＳ５０７）判断部１０８は、結果に「合致（例えば「１」）」を代入する。上位処理にリターンする。
【００９０】
なお、図５のフローチャートにおいて、図４のフローチャートと比較して、ｉがｊになっていたりする。
【００９１】
次に、ステップＳ３０８の工具使用判断処理について、図６のフローチャートを用いて判断する。
【００９２】
（ステップＳ６０１）判断部１０８は、フラグに「０」を代入する。フラグとは、工具の使用状態を示すフラグであり、ここでは、「０」は未使用、「１」は使用を示す。
【００９３】
（ステップＳ６０２）判断部１０８は、工具識別子を受信したか否かを判断する。工具識別子を受信すればステップＳ６０３に行き、工具識別子を受信しなければステップＳ６０９に行く。
【００９４】
（ステップＳ６０３）判断部１０８は、フラグに「１」を代入する。
【００９５】
（ステップＳ６０４）判断部１０８は、予め決められた所定時間、ＷＡＩＴする（待つ）。
【００９６】
（ステップＳ６０５）判断部１０８は、工具識別子を受信しないか否かを判断する。工具識別子を受信しなければステップＳ６０６に行き、工具識別子を受信すればステップＳ６０７に行く。
【００９７】
（ステップＳ６０６）判断部１０８は、結果に「使用（例えば「１」）」を代入する。上位処理にリターンする。
【００９８】
（ステップＳ６０７）判断部１０８は、タイムアウトか否か（予め決められた時間が経過したか否か）を判断する。タイムアウトであればステップＳ６０８に行き、タイムアウトでなければステップＳ６０５に戻る。
【００９９】
（ステップＳ６０８）判断部１０８は、結果に「未使用（例えば「０」）」を代入する。上位処理にリターンする。
【０１００】
（ステップＳ６０９）判断部１０８は、タイムアウトか否か（予め決められた時間が経過したか否か）を判断する。タイムアウトであればステップＳ６１０に行き、タイムアウトでなければステップＳ６０２に戻る。
【０１０１】
（ステップＳ６１０）判断部１０８は、結果に「未使用（例えば「０」）」を代入する。上位処理にリターンする。
【０１０２】
以下、本実施の形態における作業情報提供装置１の具体的な動作について説明する。
【０１０３】
今、作業情報群格納部１０１は、図７に示す作業情報群管理表を保持している。作業情報群管理表は、作業情報群を管理する表であり、各レコードが作業情報である。作業情報群管理表は、「ＩＤ」「作業名」「終了条件情報」を有するレコードを、１以上保持している。「ＩＤ」は、レコードを識別するＩＤであり、表管理のために存在する。「作業名」は、作業の内容を示す名称である。「終了条件情報」は、「画像」「音情報」「工具識別子」「作業結果情報」を有する。「画像」は、静止画または動画である。「終了条件情報」は、「音情報」「工具識別子」「作業結果情報」の属性値を含まない場合もあり得る。図７（以下の図８も同様）において、ファイルの図柄は静止画、フィルムの図柄は動画、音符付きのファイルの図柄は音情報を示す。
【０１０４】
また、ヘルプ情報群格納部１０２は、図８に示すヘルプ情報群管理表を保持している。ヘルプ情報群管理表は、ヘルプ情報を管理する表であり、「ＩＤ」「ヘルプ情報」を有するレコードを、１以上保持している。「ヘルプ情報」は、「ヘルプ映像」「ヘルプ音声」「ヘルプ文字列」の属性を有する。「ヘルプ情報」は、「ヘルプ音声」「ヘルプ文字列」の属性値を含まない場合もあり得る。「ヘルプ映像」は、通常、動画であり、ユーザが見ている実空間の情景と重ね合わせて、出力される映像である。「ヘルプ音声」は、スピーカーから出力される音声であり、一度だけ出力されても、作業中に繰り返し出力されても良い。「ヘルプ文字列」は、ユーザが見ている実空間の情景の外であり、かつ、ユーザが見える領域に出力されることは好適である。
【０１０５】
また、カレント作業識別情報格納部１０３のカレント作業識別情報は「１」である。カレント作業識別情報「１」は、カレントの作業が、一番最初であることを示す。カレント作業識別情報は、図７、図８の「ＩＤ」の値に対応する。
【０１０６】
かかる状況において、ユーザは、ＡＲを利用するための必要な装備を装着し、作業情報提供装置１の起動を指示した、とする。
【０１０７】
すると、ヘルプ情報取得部１０９は、カレント作業識別情報格納部１０３からカレント作業識別情報「１」を取得する。
【０１０８】
次に、ヘルプ情報取得部１０９は、取得されたカレント作業識別情報「１」に対応する作業のヘルプ情報（図８の「ＩＤ＝１」のヘルプ情報）を、ヘルプ情報群格納部１０２から取得する。ここで取得したヘルプ情報は、「ヘルプ映像」と「ヘルプ音声」である。
【０１０９】
そして、ヘルプ情報出力部１１０は、取得したヘルプ情報を、ユーザが見ている実空間の情景と重ね合わせて、出力する。かかる処理は、公知のＡＲの技術である。また、ヘルプ情報出力部１１０は、音声ガイダンス「４つのナットをはずしてください。はずす順序は問いません。」を音声出力する。
【０１１０】
次に、作業音取得部１０５は、作業音情報を取得する。また、工具識別子取得部１０６は、工具識別子を取得する。作業結果情報取得部１０７は、作業結果情報を取得しようとする。ただし、ここでは、作業結果情報取得部１０７は、作業結果情報を取得できない。
【０１１１】
次に、判断部１０８は、判断処理を行う。しかし、判断処理の結果、作業が未終了である、と判断される。ユーザは、ヘルプ情報に従った作業を行っていないからである。
【０１１２】
そして、ユーザは、ユーザが見ている実空間の情景と重ね合わせて、出力されているヘルプ情報を見ながら作業を遂行する。ユーザは、工具識別子「１２０８」の情報が格納されたＲＦＩＤタグが添付された工具を使用して、「ナットはずし」の作業を行う、とする。
【０１１３】
そして、判断部１０８が判断処理を行い、作業が未終了である、と判断されている間は、映像、作業音情報、工具識別子、および作業結果情報の取得が繰り返される。
【０１１４】
そして、「ナットはずし」の作業が完了した段階で取得された映像、工具識別子「１２０８」などが、現在、メモリ上に存在する、とする。なお、工具識別子「１２０８」は、一度、受信できる状態になった後、受信できない状態になった、とする（図６参照）。
【０１１５】
そして、判断部１０８は、図８「ＩＤ＝１」のレコードのヘルプ映像と、メモリ上に存在する映像とを比較し（図５の動画比較処理の動作による）、比較結果を「合致」とする。
【０１１６】
次に、判断部１０８は、メモリ上に存在する工具識別子「１２０８」と、図７「ＩＤ＝１」の終了条件情報が有する工具識別子「１２０８」を比較し、合致する、と判断する。
【０１１７】
そして、判断部１０８は、判断処理の結果、判断結果を「作業終了」とする。
【０１１８】
次に、カレント作業識別情報更新部１１１は、カレント作業識別情報を「２」とし、カレント作業識別情報格納部１０３のカレント作業識別情報「２」を、次のカレント作業識別情報に更新する。
【０１１９】
次に、ヘルプ情報取得部１０９は、更新したカレント作業識別情報に対応する作業（次の作業）が存在するか否かを判断する。次に作業「筐体Ｘはずし」は存在するので、ヘルプ情報取得部１０９は、カレント作業識別情報「２」に対応する作業のヘルプ情報を、図８のヘルプ情報群管理表から取得する。ここで取得したヘルプ情報は、「ヘルプ映像」と「ヘルプ文字列」である。
【０１２０】
ヘルプ情報出力部１１０は、取得したヘルプ映像を、ユーザが見ている実空間の情景と重ね合わせて、出力する。また、ヘルプ情報出力部１１０は、ヘルプ文字列「筐体Ｘをとりはずして下さい。」をヘルプ映像の出力の邪魔にならない領域に出力する。
【０１２１】
そして、ユーザは、ユーザが見ている実空間の情景と重ね合わせて、出力されているヘルプ情報の映像と、ヘルプ文字列「筐体Ｘをとりはずして下さい。」を見ながら作業を遂行する。そして、ユーザは、筐体Ｘをとりはずした、とする。
【０１２２】
次に、撮影部１０４は、映像を取得する。作業音取得部１０５は、作業音情報を取得する。また、工具識別子取得部１０６は、工具識別子を取得しようとする。しかし、ここでは、工具識別子取得部１０６は、工具識別子を取得できない。また、作業結果情報取得部１０７は、作業結果情報を取得しようとする。ただし、ここでは、作業結果情報取得部１０７は、作業結果情報を取得できない。
【０１２３】
次に、判断部１０８は、以下のように判断処理を行う。まず、判断部１０８は、取得した映像と、終了条件情報が有する映像を用いて、両方の動画が合致するか否かを判断する。かかる判断処理の例は、図５の動画比較処理である。そして、動画比較処理の結果、両画像は合致した、とする。そして、判断部１０８は、判断処理の結果、作業終了であると、判断する。
【０１２４】
次に、カレント作業識別情報更新部１１１は、カレント作業識別情報を「３」とし、カレント作業識別情報格納部１０３のカレント作業識別情報「３」を、次のカレント作業識別情報に更新する。
【０１２５】
次に、ヘルプ情報取得部１０９は、更新したカレント作業識別情報に対応する作業（次の作業）が存在するか否かを判断する。次に作業「サイド枠はずし」は存在するので、ヘルプ情報取得部１０９は、カレント作業識別情報「３」に対応する作業のヘルプ情報を、図８のヘルプ情報群管理表から取得する。ここで取得したヘルプ情報は、「ヘルプ映像」のみである。
【０１２６】
ヘルプ情報出力部１１０は、取得したヘルプ映像を、ユーザが見ている実空間の情景と重ね合わせて、出力する。
【０１２７】
そして、ユーザは、ユーザが見ている実空間の情景と重ね合わせて、出力されているヘルプ情報を見ながら作業を遂行する。そして、ユーザは、サイド枠をとりはずした、とする。
【０１２８】
次に、撮影部１０４は、映像を取得する。また、作業音取得部１０５は、作業音情報を取得する。また、工具識別子取得部１０６は、工具識別子を取得しようとする。しかし、ここでは、工具識別子取得部１０６は、工具識別子を取得できない。また、作業結果情報取得部１０７は、作業結果情報を取得しようとする。ただし、ここでは、作業結果情報取得部１０７は、作業結果情報を取得できない。
【０１２９】
次に、判断部１０８は、取得した映像と、終了条件情報が有する映像を用いて、両方の動画が合致するか否かを判断する。かかる判断処理の例は、図５の動画比較処理である。そして、動画比較処理の結果、両画像は合致した、とする。そして、判断部１０８は、判断処理の結果、作業終了であると、判断する。
【０１３０】
次に、カレント作業識別情報更新部１１１は、カレント作業識別情報を「４」とし、カレント作業識別情報格納部１０３のカレント作業識別情報「４」を、次のカレント作業識別情報に更新する。
【０１３１】
そして、次々に、ユーザは、出力されているヘルプ情報に従いながら、「ＩＤ＝３８」の作業「ナットしめ」までたどり着いた、とする。つまり、カレント作業識別情報更新部１１１は、カレント作業識別情報を「３８」とし、カレント作業識別情報格納部１０３のカレント作業識別情報「３８」を、次のカレント作業識別情報に更新した、とする。
【０１３２】
次に、ヘルプ情報取得部１０９は、更新したカレント作業識別情報に対応する作業（次の作業）が存在するか否かを判断する。次に作業「ナットしめ」は存在するので、ヘルプ情報取得部１０９は、カレント作業識別情報「３８」に対応する作業のヘルプ情報を、図８のヘルプ情報群管理表から取得する。ここで取得したヘルプ情報は、「ヘルプ映像」「ヘルプ音声」「ヘルプ文字列」である。
【０１３３】
そして、ヘルプ情報出力部１１０は、取得したヘルプ映像を、ユーザが見ている実空間の情景と重ね合わせて、出力する。また、ヘルプ情報出力部１１０は、音声ガイダンス「ゆっくりとナットをしめて下さい。」と出力する。さらに、ヘルプ情報出力部１１０は、文字列「ゆっくりとナットをしめて下さい。」と出力する。なお、音声と文字列の両方を出力するのは、識字力の無い作業者や耳の不自由な作業者等にとっても、使いやすい作業情報提供装置とするためである。
【０１３４】
そして、ユーザは、ユーザが見ている実空間の情景と重ね合わせて、出力されているヘルプ映像や文字列を見ながら、また、音声ガイダンスを聞きながら、作業を遂行する。そして、ユーザは、工具識別子「２２１５」のトルクレンチを用いて、ナットをトルク「１０」まで締めた、とする。なお、トルクレンチには、工具識別子「２２１５」が格納されたＲＦＩＤタグが貼付されている、とする。また、トルクレンチは、トルクの値を、例えば、ブルートゥース（登録商標）の通信手段により送信する、とする。
【０１３５】
次に、撮影部１０４は、ナットが締め終わった映像を取得する。また、作業音取得部１０５は、作業音情報（「ギュッ」という音が格納された情報）を取得する、とする。また、工具識別子取得部１０６は、トルクレンチから、工具識別子「２２１５」を受信した、とする。さらに、作業結果情報取得部１０７は、トルクレンチから、作業結果情報（トルク「１０」）を受信した、とする。
【０１３６】
次に、判断部１０８は、取得した映像と、終了条件情報が有する静止画を用いて、両方の画像（動画と静止画）が合致するか否かを判断する。かかる判断処理の例は、図４の処理である。そして、処理の結果、両画像は合致した、とする。
【０１３７】
また、判断部１０８は、作業音取得部１０５が取得した作業音情報と、作業情報が有する音情報とを比較し、類似する（合致する）、と判断した、とする。
【０１３８】
次に、判断部１０８は、図６のフローチャートに従って、ユーザが工具識別子「２２１５」で識別される工具を使用したか否かを判断する。ここで、判断部１０８は、ユーザが工具識別子「２２１５」で識別される工具を使用した、と判断した、とする。
【０１３９】
次に、判断部１０８は、カレント作業識別情報に対応する作業情報に含まれる作業結果情報「１０」と、作業結果情報取得部１０７が取得した作業結果情報「１０」を比較する。そして、両者は一致するので、判断部１０８は、判断結果として、「作業終了（例えば「１」）」を代入する（作業終了であると、判断する）。
【０１４０】
次に、カレント作業識別情報更新部１１１は、カレント作業識別情報を「３９」とし、カレント作業識別情報格納部１０３のカレント作業識別情報「３９」を、次のカレント作業識別情報に更新する。以降、すべての作業が終了するまで、上記で説明した処理を繰り返す。
【０１４１】
以上、本実施の形態によれば、作業の対象となる対象物にマークを付さずに、作業情報の提供ができる。
【０１４２】
また、本実施の形態によれば、音の情報を用いて、容易に作業の終了検知ができる。そのため、高速に、精度高く作業の終了を検知でき、適切に次の作業を支援するヘルプ情報をユーザに提示できる。
【０１４３】
また、本実施の形態によれば、所定の工具を使用したことを認識することにより、作業の終了検知が精度高くできる。そのため、さらに高速に、かつ精度高く作業の終了を検知でき、適切に次の作業を支援するヘルプ情報をユーザに提示できる。
【０１４４】
また、本実施の形態によれば、作業の結果である作業対象の状態、工具の状態を用いた作業の終了検知が可能になる。そのため、高速に、精度高く作業の終了を検知でき、適切に次の作業を支援するヘルプ情報をユーザに提示できる。
【０１４５】
なお、本実施の形態によれば、映像による作業終了検知、音情報による作業終了検知、工具識別子によるによる作業終了検知、作業結果情報による作業終了検知をすべて行い、すべて条件に合致した場合に、作業が終了したと判断したが、いずれか１以上の検知方法を組み合わせて、作業の終了検知を行っても良い。
【０１４６】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における作業情報提供装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、映像を撮影し、映像を取得する撮影部と、カレント作業識別情報で識別される作業に対応する終了条件情報を記憶媒体から取得し、当該終了条件情報と、前記撮影部が取得した映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断部と、前記判断部が、作業が終了したとの判断を行った場合、前記作業の次の作業を助けるヘルプ情報を記憶媒体から取得するヘルプ情報取得部と、前記ヘルプ情報取得部が取得したヘルプ情報を出力するヘルプ情報出力部と、前記カレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新部として機能させるためのプログラムである。
【０１４７】
また、上記プログラムにおいて、コンピュータを、作業を行ったことにより発生した音の情報である作業音情報を取得する作業音取得部としてさらに機能させ、前記終了条件情報は、音情報を含み、前記判断部を、前記作業音取得部が取得した作業音情報と前記終了条件情報が有する音情報との比較をも行い、作業者が現在行っている作業が終了したか否かを判断するものとして機能させるためのプログラムであることは好適である。
【０１４８】
また、上記プログラムにおいて、コンピュータを、作業を行う際に作業者が使用する工具から当該工具を識別する工具識別子を取得する工具識別子取得部としてさらに機能させ、前記終了条件情報は、工具識別子を含み、前記判断部を、前記終了条件情報が有する工具識別子と前記工具識別子取得部が取得した工具識別子とをも用いて、作業者が現在行っている作業が終了したか否かを判断するものとして機能させるためのプログラムであることは好適である。
【０１４９】
また、上記プログラムにおいて、コンピュータを、前記工具識別子で識別される工具を用いて行われた作業に関する情報である作業結果情報を取得する作業結果情報取得部としてさらに機能させ、前記終了条件情報は、作業結果情報に関する情報を含み、前記判断部を、前記終了条件情報が有する作業結果情報に関する情報と前記作業結果情報取得部が取得した作業結果情報とをも用いて、作業者が現在行っている作業が終了したか否かを判断するものとして機能させるためのプログラムであることは好適である。
【０１５０】
また、上記プログラムにおいて、前記作業情報は、作業手順を示す情報であり、映像を含む情報である１以上の作業手順情報を含み、コンピュータを、前記撮影部が取得した映像と、前記作業手順情報を用いて、異常な作業が行われたか否かを判断する異常作業判断部と、前記異常作業判断部が異常な作業が行われたと判断した場合、その旨を示す情報である警告情報を出力する警告情報出力部としてさらに機能させるためのプログラムであることは好適である。
【０１５１】
（実施の形態２）
【０１５２】
本実施の形態において、ＡＲ技術を用いて、作業者が行う作業を支援する作業情報提供装置２について説明する。本実施の形態における作業情報提供装置２は、作業情報提供装置１に加えて、遂行された作業手順と格納されている手順が異なることを検知し、警告やヘルプ情報を提示する機能を有する。また、作業情報提供装置２は、いわゆるスキルドワーカーなどのユーザの作業と、格納されている作業情報との差を提示する機能も有する。なお、前記差の提示は、作業の遂行中であるとは限らない。
【０１５３】
図９は、本実施の形態における作業情報提供装置２のブロック図である。作業情報提供装置２は、作業情報群格納部１０１、ヘルプ情報群格納部１０２、カレント作業識別情報格納部１０３、作業情報取得部１１、判断部１０８、ヘルプ情報取得部１０９、ヘルプ情報出力部１１０、カレント作業識別情報更新部１１１、異常作業判断部２０１、警告情報出力部２０２、作業結果情報構成部２０３、作業結果情報蓄積部２０４、特異作業情報取得部２０５、特異作業情報出力部２０６を具備する。作業情報取得部１１は、撮影部１０４、作業音取得部１０５、工具識別子取得部１０６、作業結果情報取得部１０７を具備する。
【０１５４】
特異作業情報取得部２０５は、部分作業結果情報取得手段２０５１、類似判断手段２０５２、非類似部分取得手段２０５３を具備する。
【０１５５】
異常作業判断部２０１は、撮影部１０４が取得した映像と、作業手順情報を用いて、異常な作業が行われたか否かを判断する。なお、ここで、作業情報は、作業手順情報を含む、とする。作業手順情報とは、作業手順を示す情報であり、映像を含む情報である、とする。「撮影部１０４が取得した映像と、作業手順情報を用いて」とは、音情報や工具識別子などをも用いても良い趣旨である。異常作業判断部２０１は、通常、ＭＰＵやメモリ等から実現され得る。異常作業判断部２０１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１５６】
警告情報出力部２０２は、異常作業判断部２０１が異常な作業が行われたと判断した場合、その旨を示す情報である警告情報を出力する。警告情報とは、単に警告をするための情報（ブザー音などでも良い）でも良いし、作業を助ける情報（実施の形態１で説明したヘルプ情報と同様の情報）も含んでも良い。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。警告情報出力部２０２は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。警告情報出力部２０２は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【０１５７】
作業結果情報構成部２０３は、作業の結果を示す情報であり、撮影部１０４が取得した映像を含む情報である作業結果情報を構成する。作業結果情報は、作業音取得部１０５が取得した音情報や、工具識別子取得部１０６が取得した工具識別子や、作業結果情報取得部１０７が取得した作業結果情報を含んでも良い。作業結果情報のデータ構造は問わない。作業結果情報構成部２０３は、通常、ＭＰＵやメモリ等から実現され得る。作業結果情報構成部２０３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１５８】
作業結果情報蓄積部２０４は、作業結果情報構成部２０３が構成した作業結果情報を記憶媒体に蓄積する。記憶媒体は、不揮発性の記憶媒体、揮発性の記憶媒体を問わない。蓄積は、一時的な蓄積でも良い。作業結果情報蓄積部２０４は、通常、ＭＰＵやメモリ等から実現され得る。作業結果情報蓄積部２０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１５９】
特異作業情報取得部２０５は、作業結果情報構成部２０３が構成した作業結果情報と、作業情報群格納部１０１に格納されている作業情報群を比較し、差のある部分である特異作業情報を取得する。特異作業情報を取得するアルゴリズムの例は、後述する。特異作業情報取得部２０５は、通常、ＭＰＵやメモリ等から実現され得る。特異作業情報取得部２０５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１６０】
部分作業結果情報取得手段２０５１は、作業情報群が有する作業情報に含まれる終了条件情報を用いて、作業結果情報を２以上の作業に分割し、２以上の部分作業結果情報を取得する。作業結果情報を２以上の作業に分割するアルゴリズムの具体例は、後述する。部分作業結果情報取得手段２０５１は、通常、ＭＰＵやメモリ等から実現され得る。部分作業結果情報取得手段２０５１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１６１】
類似判断手段２０５２は、部分作業結果情報取得手段２０５１が取得した２以上の各部分作業結果情報と、当該各部分作業結果情報に対応する作業情報であり作業情報群が有する各作業情報とを比較し、同一であるか否か、または類似するか否かを判断する。また、例えば、類似判断手段２０５２は、各部分作業結果情報が有する映像と、各作業情報が有する映像とを用いて、部分作業結果情報と作業情報が同一または類似するか否かを判断しても良い。また、例えば、類似判断手段２０５２は、各部分作業結果情報が有する作業時間情報と、各作業情報が有する作業時間情報とを用いて、部分作業結果情報と作業情報が同一または類似するか否かを判断しても良い。例えば、類似判断手段２０５２は、２つの作業時間情報（両方とも、時間を示す数値である）の差が閾値以上であれば、両作業は非類似である、と判断する。類似判断手段２０５２は、通常、ＭＰＵやメモリ等から実現され得る。類似判断手段２０５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１６２】
非類似部分取得手段２０５３は、類似判断手段２０５２が同一でもなく、類似でもないと判断した場合（非類似であると判断した場合）、当該部分作業結果情報の全部または一部を取得する。非類似部分取得手段２０５３は、通常、ＭＰＵやメモリ等から実現され得る。非類似部分取得手段２０５３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１６３】
特異作業情報出力部２０６は、特異作業情報取得部２０５が取得した特異作業情報を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラム等への処理結果の引渡し等を含む概念である。特異作業情報出力部２０６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。特異作業情報出力部２０６は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【０１６４】
次に、作業情報提供装置２の動作について図１０のフローチャートを用いて説明する。図１０のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。
【０１６５】
（ステップＳ１００１）異常作業判断部２０１は、異常判断処理を行う。異常判断処理について、図１１のフローチャートに説明する。なお、異常判断処理とは、ユーザが異常な作業を行ったか否かを判断する処理である。異常な作業とは、予め格納されている作業手順情報が示す作業手順と異なる作業である。
【０１６６】
（ステップＳ１００２）異常作業判断部２０１は、ステップＳ１００１における異常判断処理の結果、異常な作業が行われた否かを判断する。異常な作業が行われればステップＳ１００３に行き、異常な作業が行われなければステップＳ２０９に行く。
【０１６７】
（ステップＳ１００３）警告情報出力部２０２は、警告情報をする。警告情報は、例えば、予め警告情報出力部２０２が保持している。なお、警告情報出力部２０２は、異常の種類（後述する作業手順異常、音情報異常、工具異常、および作業結果異常など）によって、異なる警告情報を出力することは好適である。
【０１６８】
なお、図１０のフローチャートにおいて、異常判断処理や警告情報出力処理は、作業の遂行と並行して行わなくても良く、格納されている作業情報群を用いて行っても良い。かかる場合、ユーザの教育的な効果が期待できる。
【０１６９】
また、図１０のフローチャートにおいて、作業結果情報構成部２０３は、撮影部１０４が取得した映像を含む情報である作業結果情報を構成し、作業結果情報蓄積部２０４は、作業結果情報構成部２０３が構成した作業結果情報を記憶媒体（図示しない）に蓄積しておくことは好適である。特に、熟練の作業者の作業結果を示す作業結果情報を蓄積しておくことは好適である。
【０１７０】
次に、ステップＳ１００１の異常判断処理について、図１１のフローチャートに説明する。図１１のフローチャートにおいて、図３のフローチャートと同一のステップについて、説明を省略する。
【０１７１】
（ステップＳ１１０１）異常作業判断部２０１は、撮影部１０４が取得したユーザの作業の映像と、作業情報群格納部１０１に格納されている作業情報（マニュアルの情報）のうちの映像とを比較する処理を行う。かかる比較処理は、比較対象の映像は異なるが、処理内容は、図５で説明した動画比較処理と同様である。
【０１７２】
（ステップＳ１１０２）異常作業判断部２０１は、ステップＳ１１０１における比較処理の結果、両映像が合致（同一または類似）すると判断した場合はステップＳ３０２に行き、合致しない（非類似である）と判断した場合はステップＳ１１０３に行く。
【０１７３】
（ステップＳ１１０３）異常作業判断部２０１は、「作業手順異常（例えば、「−１」）」を取得し、変数「結果」に代入する。作業手順異常とは、作業の手順や、作業内容が正常ではないことを示す情報である。上位処理にリターンする。
【０１７４】
（ステップＳ１１０４）異常作業判断部２０１は、「正常（例えば、「０」）」を取得し、変数「結果」に代入する。上位処理にリターンする。
【０１７５】
（ステップＳ１１０５）異常作業判断部２０１は、「音情報異常（例えば、「−２」）」を取得し、変数「結果」に代入する。音情報異常とは、作業の完了時に発生する音（例えば、部品が筐体にしっかり嵌った際に発生する「カチッ」という音）が発生しなかったことであり、作業が十分に遂行されていないことを示す情報である。上位処理にリターンする。
【０１７６】
（ステップＳ１１０６）異常作業判断部２０１は、異常作業判断部２０１は、「工具異常（例えば、「−３」）」を取得し、変数「結果」に代入する。工具異常とは、適切な工具を用いて作業が行われなかったことを示す情報である。上位処理にリターンする。
【０１７７】
（ステップＳ１１０７）異常作業判断部２０１は、「正常（例えば、「０」）」を取得し、変数「結果」に代入する。上位処理にリターンする。
【０１７８】
（ステップＳ１１０８）異常作業判断部２０１は、異常作業判断部２０１は、「作業結果異常（例えば、「−４」）」を取得し、変数「結果」に代入する。作業結果異常とは、作業が完了した場合の状態になっていないことを示す情報である。上位処理にリターンする。
【０１７９】
次に、作業情報提供装置２が特異作業情報を取得する動作について、図１２のフローチャートを用いて説明する。なお、ユーザの作業結果情報は、作業結果情報蓄積部２０４が蓄積し、記憶媒体（図示しない）に格納されている情報である。
【０１８０】
（ステップＳ１２０１）特異作業情報取得部２０５は、カウンタｉに１を代入する。
【０１８１】
（ステップＳ１２０２）特異作業情報取得部２０５の部分作業結果情報取得手段２０５１は、ｉ番目の作業結果情報を取得する処理を行う。ｉ番目の作業結果情報を取得する処理（作業結果情報取得処理という）について、図１３のフローチャートを用いて説明する。なお、ｉ番目の作業結果情報とは、作業群の中のｉ番目の作業に対応する作業結果情報である。
【０１８２】
（ステップＳ１２０３）類似判断手段２０５２は、ステップＳ１２０２で、ｉ番目の作業結果情報を取得できたか否かを判断する。取得できればステップＳ１２０４に行き、取得できなければ処理を終了する。
【０１８３】
（ステップＳ１２０４）類似判断手段２０５２は、ｉ番目の作業結果情報が示す作業の作業時間を取得する。この作業時間は、作業時間情報である。類似判断手段２０５２は、作業結果情報が示す映像のフィールド数から作業時間を決定し、作業時間情報を取得しても良いし、作業結果情報に含まれる作業時間情報を取得しても良い。
【０１８４】
（ステップＳ１２０５）類似判断手段２０５２は、作業情報群格納部１０１に格納されているｉ番目の作業情報を取得する。
【０１８５】
（ステップＳ１２０６）類似判断手段２０５２は、ｉ番目の作業結果情報に含まれる映像と、ｉ番目の作業情報に含まれる映像とを比較する処理を行う。この比較処理の内容は、図５に示す動画比較処理と同様である。なお、図５に示す動画比較処理と、本ステップの動画比較処理は、比較する動画は異なる。
【０１８６】
（ステップＳ１２０７）非類似部分取得手段２０５３は、ステップＳ１２０６における比較結果が不合致であるか否かを判断する。不合致であればステップＳ１２０８に行き、不合致でなければステップＳ１２１０に行く。
【０１８７】
（ステップＳ１２０８）非類似部分取得手段２０５３は、非類似部分の映像を切り出す処理を行う。非類似部分の映像とは、作業結果情報の中の映像と、作業情報群格納部１０１の作業情報に含まれる映像とが非類似の部分の映像である。非類似部分の映像は、通常、作業結果情報の中の映像であるが、作業情報群格納部１０１の作業情報に含まれる映像でも良い。非類似部分の映像が作業結果情報の中の映像である場合は、例えば、ユーザがマニュアル（作業情報群格納部１０１の作業情報）に無い作業を行った場合である。非類似部分の映像が作業情報群格納部１０１の作業情報に含まれる映像である場合は、例えば、ユーザがマニュアル（作業情報群格納部１０１の作業情報）に存在する作業情報に対応する作業を行わなかった場合である。非類似部分の切り出し処理について、図１４のフローチャートを用いて説明する。
【０１８８】
（ステップＳ１２０９）特異作業情報出力部２０６は、ステップＳ１２０８で切り出された映像を出力する。ここでの出力は、記録媒体への蓄積も含む概念である。
【０１８９】
（ステップＳ１２１０）特異作業情報取得部２０５は、カウンタｉを１、インクリメントする。ステップＳ１２０２に戻る。
【０１９０】
次に、ステップＳ１２０２の作業結果情報取得処理について、図１３のフローチャートを用いて説明する。
【０１９１】
（ステップＳ１３０１）部分作業結果情報取得手段２０５１は、作業情報群格納部１０１に格納されている画像であり、（ｉ＋１）番目の作業の初期画像（（ｉ＋１）番目の作業の開始時の画像）を、作業情報群格納部１０１から読み出す。
【０１９２】
（ステップＳ１３０２）部分作業結果情報取得手段２０５１は、（ｉ＋１）番目の作業の初期画像を取得できたか否かを判断する。初期画像を取得できればステップＳ１３０３に行き、初期画像を取得できなければステップＳ１３０６に行く。
【０１９３】
（ステップＳ１３０３）部分作業結果情報取得手段２０５１は、ユーザの作業結果情報に含まれる映像の中の画像であり、（ｉ＋１）番目の作業の初期画像と所定以内の類似度の（同一または類似する）画像を取得する。部分作業結果情報取得手段２０５１は、ユーザの作業結果情報に含まれる映像の中の画像を、順次、取得し、初期画像との類似度を算出し、検査することにより、類似度の画像を取得する。
【０１９４】
（ステップＳ１３０４）部分作業結果情報取得手段２０５１は、ステップＳ１３０３で画像が取得できたか否かを判断する。画像を取得できればステップＳ１３０５に行き、画像を取得できなければステップＳ１３０７に行く。
【０１９５】
（ステップＳ１３０５）部分作業結果情報取得手段２０５１は、（ｉ＋１）番目の作業の初期画像と所定以内の類似度の画像の前までの画像群（映像）を取得する。この画像群（映像）は、作業結果情報である。上位処理にリターンする。
【０１９６】
（ステップＳ１３０６）部分作業結果情報取得手段２０５１は、ユーザの作業結果情報に含まれる映像であり、最後までの映像を取得する。この映像は、作業結果情報である。上位処理にリターンする。
【０１９７】
（ステップＳ１３０７）部分作業結果情報取得手段２０５１は、作業情報群格納部１０１の中の作業情報であり、ｉ番目の作業情報が示す作業の作業時間を取得する。
【０１９８】
（ステップＳ１３０８）部分作業結果情報取得手段２０５１は、作業時間＋αの時間分の映像を、ユーザの作業結果情報に含まれる映像から取得する。この映像は、作業結果情報である。また、αとは、予め決められており、部分作業結果情報取得手段２０５１が予め保持している。上位処理にリターンする。
【０１９９】
次に、ステップＳ１２０８の非類似部分の切り出し処理について、図１４のフローチャートを用いて説明する。
【０２００】
（ステップＳ１４０１）非類似部分取得手段２０５３は、ユーザの作業結果情報に含まれる映像の中で、不合致となったポイント（始点）を取得する。
【０２０１】
（ステップＳ１４０２）非類似部分取得手段２０５３は、カウンタｉに１を代入する。
【０２０２】
（ステップＳ１４０３）非類似部分取得手段２０５３は、ユーザの作業結果情報に含まれる映像の中で、始点以降の画像であり、ｉ番目の画像が存在するか否かを判断する。ｉ番目の画像が存在すればステップＳ１４０４に行き、ｉ番目の画像が存在しなければステップＳ１４０８に行く。
【０２０３】
（ステップＳ１４０４）非類似部分取得手段２０５３は、作業情報群格納部１０１の中の映像であり、現ポイントから所定幅（例えば、１０秒分など）の映像を取得する。なお、１０秒分の映像は、例えば、３００フレーム（３０フレーム／秒の場合）である。
【０２０４】
（ステップＳ１４０５）非類似部分取得手段２０５３は、ステップＳ１４０３で取得したｉ番目の画像と、ステップＳ１４０４で取得した映像を比較する。ｉ番目の画像（静止画）と映像の比較とは、ｉ番目の画像と、映像に含まれる各静止画との類似／非類似の判断である。なお、２つの画像を比較する場合に、上述したように、輪郭抽出を行い、いずれかの画像、または両画像の位置を補正する処理を行うことは好適である。
【０２０５】
（ステップＳ１４０６）非類似部分取得手段２０５３は、ステップＳ１４０４で取得した映像の中に、ステップＳ１４０３で取得したｉ番目の画像と一定以上の類似度の静止画が存在しないか否かを判断する。一定以上の類似度の静止画が存在しなければステップＳ１４０７に行き、一定以上の類似度の静止画が存在すればステップＳ１４０９に行く。
【０２０６】
（ステップＳ１４０７）非類似部分取得手段２０５３は、カウンタｉを１、インクリメントする。ステップＳ１４０３に戻る。
【０２０７】
（ステップＳ１４０８）非類似部分取得手段２０５３は、ユーザの作業結果情報に含まれる映像の中で、不合致となったポイント（始点）の画像から、最後の画像までの映像を取得する。この映像が非類似部分の映像である。上位処理にリターンする。
【０２０８】
（ステップＳ１４０９）非類似部分取得手段２０５３は、ユーザの作業結果情報に含まれる映像の中で、不合致となったポイント（始点）の画像から、類似度が一定以上の静止画直前までの映像を取得する。この映像が非類似部分の映像である。上位処理にリターンする。
【０２０９】
なお、図１４のフローチャートは、ユーザがマニュアル（作業情報群格納部１０１の作業情報）に無い作業を行った際に、非類似部分（ユーザが独自に行った作業部分）の映像を取得する場合のアルゴリズムである。
【０２１０】
ユーザがマニュアル（作業情報群格納部１０１の作業情報）に存在する作業情報に対応する作業を行わなかった場合は、作業情報群格納部１０１の作業情報に含まれる映像に存在し、かつ、ユーザが行った作業についての情報である作業結果情報に含まれる映像に無い映像を、作業情報群格納部１０１の作業情報に含まれる映像から取得する。この処理は、図１４のフローチャートでの処理と同様であり、２つの映像（作業情報群格納部１０１の作業情報に含まれる映像、作業結果情報に含まれる映像）が逆になっているだけであるので、説明を省略する。
【０２１１】
また、作業情報群格納部１０１の作業情報に対応する作業時間情報と、作業結果情報から取得できる作業時間情報の差が、所定以上の時間差が存在する場合に、当該作業結果情報（一つの作業に対応する情報）に含まれる映像を、非類似部分の映像として取得しても良い。
【０２１２】
以下、本実施の形態における作業情報提供装置２の具体的な動作について説明する。
【０２１３】
今、作業情報群格納部１０１は、図１５に示す作業情報群管理表を保持している。作業情報群管理表は、作業情報群を管理する表であり、各レコードが作業情報である。作業情報群管理表は、「ＩＤ」「作業名」「作業手順情報」「終了条件情報」を有するレコードを、１以上保持している。「作業手順情報」は、作業手順を示す情報であり、映像を含む情報である属性値を保持する属性である。「作業手順情報」は、正常な作業（適正な作業）を撮影した映像であることが好適である。「終了条件情報」の「画像」は、「作業手順情報」の一部、または全部でも良い。
【０２１４】
また、警告情報出力部２０２は、図１６に示す警告情報管理表を保持している。警告情報管理表は、異常の種類に対応する警告情報を管理する表であり、「ＩＤ」「異常の種類」「警告情報」を有するレコードを、１以上保持している。警告情報のデータ構造は、テキスト、動画、静止画、音声、およびそれらの組み合わせ等、問わない。
【０２１５】
また、カレント作業識別情報格納部１０３のカレント作業識別情報は「１」である。カレント作業識別情報「１」は、カレントの作業が、一番最初であることを示す。カレント作業識別情報は、図７、図８の「ＩＤ」の値に対応する。
【０２１６】
かかる状況において、まず、未熟な作業者であるユーザは、ＡＲを利用するための必要な装備を装着し、作業情報提供装置２の起動を指示した、とする。
【０２１７】
そして、作業情報提供装置２は、実施の形態１で説明した作業情報提供装置１と同様に、各作業の終了を検知し、次の作業を支援するためにヘルプ情報を出力する。および、作業情報提供装置２は、以下に述べるように、正常ではない作業を行った場合に、自動検知し、警告情報を出力する。
【０２１８】
つまり、作業情報提供装置２の異常作業判断部２０１は、作業情報群格納部１０１に格納されている作業手順情報（図１６参照）に含まれる映像と、ユーザが行った作業の情報である作業結果情報に含まれる映像を比較し、作業手順に従った作業を行っているか否かを判断する。
【０２１９】
また、異常作業判断部２０１は、一の作業が終了するごとに、取得された音情報が正常か否か、また、使用された工具が適正か否か、また、作業の結果を示す作業結果情報が適正か否かを判断する。
【０２２０】
そして、以上の判断の結果、すべてが正常である場合に、正常であると判断し、一の判断結果が異常（不適正）である場合には、警告情報出力部２０２は、異常である旨を示す警告情報を出力する。なお、警告情報出力部２０２は、図１６の表を参照し、異常の種類に応じた警告情報を取得し、出力することは好適である。また、音情報、工具、作業の結果については、正常か否かが判断されない作業も存在することは言うまでもない。
【０２２１】
また、熟練した作業者であるユーザが、ＡＲを利用するための必要な装備を装着し、作業情報提供装置２の起動を指示した、とする。
【０２２２】
かかる場合、作業情報提供装置２は、以下に説明するように、熟練作業者の作業とマニュアル（作業情報群格納部１０１に格納されている作業手順情報が示す作業）との差を検出し、両者が非類似の部分の映像を取得し、出力する。
【０２２３】
つまり、特異作業情報取得部２０５の部分作業結果情報取得手段２０５１は、熟練作業者の作業を撮影した映像から、一作業単位の映像を取得する。そして、類似判断手段２０５２は、当該一作業単位の映像と、作業情報群格納部１０１に格納されている作業手順情報に含まれる一作業単位の映像を比較する。
【０２２４】
次に、類似判断手段２０５２は、両映像が類似するか、非類似であるか否かを判断する。そして、非類似であり、例えば、熟練の作業者が、作業情報群格納部１０１に格納されている作業手順情報に含まれない作業を行っている場合、図１４のフローチャートの動作に従って、その映像を抽出する。
【０２２５】
そして、特異作業情報出力部２０６は、抽出された映像を出力する。
【０２２６】
以上、本実施の形態によれば、作業中に、正常でない作業を検出し、それを警告したり正したりするための警告情報を出力できる。その結果、初心者の作業者でも、容易に作業が遂行できる。
【０２２７】
また、本実施の形態によれば、熟練の作業者のノウハウを自動的に取得できる。その結果、作業者の教育に寄与できる。
【０２２８】
なお、本実施の形態における作業情報提供装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、映像を撮影し、映像を取得する撮影部と、カレント作業識別情報で識別される作業に対応する終了条件情報を記憶媒体から取得し、当該終了条件情報と、前記撮影部が取得した映像を有する判断情報とを比較し、当該比較した結果に基づいて、作業者が現在行っている作業が終了したか否かを判断する判断部と、前記判断部が、作業が終了したとの判断を行った場合、前記作業の次の作業を助けるヘルプ情報を記憶媒体から取得するヘルプ情報取得部と、前記ヘルプ情報取得部が取得したヘルプ情報を出力するヘルプ情報出力部と、前記カレント作業識別情報を次の作業を識別する情報に更新するカレント作業識別情報更新部として機能させるためのプログラムである。
【０２２９】
また、上記プログラムにおいて、前記作業情報は、作業手順を示す情報であり、映像を含む情報である１以上の作業手順情報を含み、コンピュータを、前記撮影部が取得した映像と、前記作業手順情報を用いて、異常な作業が行われたか否かを判断する異常作業判断部と、前記異常作業判断部が異常な作業が行われたと判断した場合、その旨を示す情報である警告情報を出力する警告情報出力部としてさらに機能させるためのプログラムであることは好適である。
【０２３０】
また、上記プログラムにおいて、コンピュータを、作業の結果を示す情報であり、前記撮影部が取得した映像を含む情報である作業結果情報を構成する作業結果情報構成部と、前記作業結果情報構成部が構成した作業結果情報と、前記作業情報群格納部に格納されている作業情報群を比較し、差のある部分である特異作業情報を取得する特異作業情報取得部と、前記特異作業情報取得部が取得した特異作業情報を出力する特異作業情報出力部としてさらに機能させるためのプログラムであることは好適である。
【０２３１】
また、上記プログラムにおいて、前記特異作業情報取得部は、前記作業情報群が有する作業情報に含まれる終了条件情報を用いて、前記作業結果情報を２以上の作業に分割し、２以上の部分作業結果情報を取得する部分作業結果情報取得手段と、前記部分作業結果情報取得手段が取得した２以上の各部分作業結果情報と、当該各部分作業結果情報に対応する作業情報であり前記作業情報群が有する各作業情報とを比較し、同一または類似するか否かを判断する類似判断手段と、前記類似判断手段が同一でもなく、類似でもないと判断した場合、当該部分作業結果情報の全部または一部を取得する非類似部分取得手段とを具備するものとして、コンピュータを機能させるためのプログラムであることは好適である。
【０２３２】
また、図１７は、本明細書で述べたプログラムを実行して、上述した実施の形態の作業情報提供装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１７は、このコンピュータシステム３４０の概観図であり、図１８は、コンピュータシステム３４０の内部構成を示す図である。
【０２３３】
図１７において、コンピュータシステム３４０は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２を含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４、マイク３４５、スピーカー３４６、カメラ３４７とを含む。
【０２３４】
図１８において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５と、ＭＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０２３５】
コンピュータシステム３４０に、上述した実施の形態の作業情報提供装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ３４１に、上述した実施の形態の作業情報提供装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０２３６】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２３７】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２３８】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２３９】
以上のように、本発明にかかる作業情報提供装置は、作業者に対して、作業を支援するための情報を提示できる、という効果を有し、作業支援装置等として有用である。
【図面の簡単な説明】
【０２４０】
【図１】実施の形態１における作業情報提供装置のブロック図
【図２】同作業情報提供装置の動作について説明するフローチャート
【図３】同判断処理の動作について説明するフローチャート
【図４】同比較処理の動作について説明するフローチャート
【図５】同動画比較処理の動作について説明するフローチャート
【図６】同工具使用判断処理の動作について説明するフローチャート
【図７】同作業情報群管理表を示す図
【図８】同ヘルプ情報群管理表を示す図
【図９】実施の形態２における作業情報提供装置のブロック図
【図１０】同作業情報提供装置の動作について説明するフローチャート
【図１１】同異常判断処理の動作について説明するフローチャート
【図１２】同作業情報提供装置の動作について説明するフローチャート
【図１３】同作業結果情報取得処理の動作について説明するフローチャート
【図１４】同非類似部分の切り出し処理について説明するフローチャート
【図１５】同作業情報群管理表を示す図
【図１６】同警告情報管理表を示す図
【図１７】同コンピュータシステムの概観図
【図１８】同コンピュータシステムの内部構成を示す図
【図１９】同従来の作業情報提供装置の一例を説明する図
【図２０】同従来の作業情報提供装置の一例を説明する図
【符号の説明】
【０２４１】
１、２  作業情報提供装置
１１  作業情報取得部
１０１  作業情報群格納部
１０２  ヘルプ情報群格納部
１０３  カレント作業識別情報格納部
１０４  撮影部
１０５  作業音取得部
１０６  工具識別子取得部
１０７  作業結果情報取得部
１０８  判断部
１０９  ヘルプ情報取得部
１１０  ヘルプ情報出力部
１１１  カレント作業識別情報更新部
２０１  異常作業判断部
２０２  警告情報出力部
２０３  作業結果情報構成部
２０４  作業結果情報蓄積部
２０５  特異作業情報取得部
２０６  特異作業情報出力部
２０５１  部分作業結果情報取得手段
２０５２  類似判断手段
２０５３  非類似部分取得手段
【図１】
2009289112.tif 000003
【図２】
2009289112.tif 000004
【図３】
2009289112.tif 000005
【図４】
2009289112.tif 000006
【図５】
2009289112.tif 000007
【図６】
2009289112.tif 000008
【図７】
2009289112.tif 000009
【図８】
2009289112.tif 000010
【図９】
2009289112.tif 000011
【図１０】
2009289112.tif 000012
【図１１】
2009289112.tif 000013
【図１２】
2009289112.tif 000014
【図１３】
2009289112.tif 000015
【図１４】
2009289112.tif 000016
【図１５】
2009289112.tif 000017
【図１６】
2009289112.tif 000018
【図１７】
2009289112.tif 000019
【図１８】
2009289112.tif 000020
【図１９】
2009289112.tif 000021
【図２０】
2009289112.tif 000022