(57)【要約】  作業者の作業を効果的に支援する技術を提供する。作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識部と、対象物の認識結果と、対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、階層構造に関連するルールと、に基づいて決定した情報を画像に重畳して表示させる表示制御部と、を備える。
2017169907.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる表示制御手段と、
を備える作業支援装置。
【請求項２】
前記表示制御手段は、前記認識結果に基づいて、該対象物に対応する認識用データが前記データベースのどの階層に位置するかを確認し、確認結果と、前記階層構造に関連するルールとに基づいて、表示させる前記情報を決定する、請求項１に記載の作業支援装置。
【請求項３】
前記表示制御手段は、同一階層に、認識された異なる対象物に関連する認識用データが複数含まれる場合、当該階層より上位の階層における、複数の前記認識用データの上位の認識用データに対応する対象物に関連する情報を、前記画像に重畳して表示させる、請求項１または２に記載の作業支援装置。
【請求項４】
前記表示制御手段は、ある対象物に対する認識結果が複数ある場合、過去に認識された認識結果を用いて、前記対象物に対応する認識用データを推定し、推定した認識用データに基づいて、表示させる前記情報を決定する、請求項１から３の何れか１項に記載の作業支援装置。
【請求項５】
前記認識手段は、過去に認識された認識結果を用いて、前記データベースに含まれる認識用データの範囲を決定し、前記決定した範囲の認識用データを用いて、前記対象物を認識する、請求項１から３の何れか１項に記載の作業支援装置。
【請求項６】
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示制御手段は、
ある対象物に対する認識結果が複数ある場合、該対象物に対応する認識用データがどの認識用データであるかを選択可能に表示させ、
前記受付手段によって受け付けられた内容に応じて、表示させる前記情報を決定する、請求項１から３の何れか１項に記載の作業支援装置。
【請求項７】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる、作業支援方法。
【請求項８】
前記情報は、前記認識結果に基づいて該対象物に対応する認識用データが前記データベースのどの階層に位置するかを確認し、確認結果と前記階層構造に関連するルールとに基づいて決定される、請求項７に記載の作業支援方法。
【請求項９】
前記画像に重畳して表示させる前記情報は、同一階層に、認識された異なる対象物に関連する認識用データが複数含まれる場合、当該階層より上位の階層における、複数の前記認識用データの上位の認識用データに対応する対象物に関連する情報である、請求項７または８に記載の作業支援方法。
【請求項１０】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
【請求項１１】
前記情報は、前記認識結果に基づいて該対象物に対応する認識用データが前記データベースのどの階層に位置するかを確認し、確認結果と前記階層構造に関連するルールとに基づいて決定される、請求項１０に記載の記録媒体。
【請求項１２】
前記表示させる処理は、同一階層に、認識された異なる対象物に関連する認識用データが複数含まれる場合、当該階層より上位の階層における、複数の前記認識用データの上位の認識用データに対応する対象物に関連する情報を、前記画像に重畳して表示させる処理である、請求項１０または１１に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、作業支援装置、作業支援方法および記録媒体に関する。
【背景技術】
【０００２】
作業者の支援に拡張現実感技術を用いる方法が、例えば、特許文献１に記載されている。特許文献１に記載の技術では、作業領域の全景を撮影した全景画像中の、作業者の視野を撮影した視野画像の位置を特定し、特定された位置により指定された情報を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／０９７４１３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、例えば、機器全体を撮影した画像に、機器の全体の画像と機器内に含まれる部品の画像とが認識可能な状態で含まれていた場合、認識結果に基づいて対象物に関連する情報を表示すると認識された全ての対象物に関する情報が表示されてしまう。しかしながら、これら全ての対象物に関する情報が必ずしも作業者が見たい情報であるとは限らない。したがって、例えば、作業者の視野の範囲が広範囲の場合、特許文献１に記載の技術では、作業者が見たい情報が表示されないまたは作業者が見たい情報以外の情報がたくさん表示されてしまう場合があるため、作業者の支援を効果的に行うことができない可能性がある。【０００５】
本開示は上記課題に鑑みてなされたものであり、その目的は、作業者の作業を効果的に支援する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一態様に係る作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる表示制御手段と、を備える。【０００７】
また、本開示の一態様に係る作業支援方法は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる。【０００８】
なお、上記作業支援装置または作業支援方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
【発明の効果】
【０００９】
本開示によれば、作業者の作業を効果的に支援することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施の形態に係る作業支援装置の機能構成の一例を示す機能ブロック図である。
【図２】第１の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。
【図３】第２の実施の形態に係る作業支援装置の機能構成の一例を示す機能ブロック図である。
【図４】認識用データベースの一例を示す図である。
【図５】カメラが撮影した撮影画像の一例を示す図である。
【図６】表示装置が表示する表示画面の一例を示す図である。
【図７】撮影画像および表示画面の一例を示す図である。
【図８】第２の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。
【図９】第３の実施の形態に係る作業支援装置の機能構成の一例を示す機能ブロック図である。
【図１０】第３の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。
【図１１】第３の実施の形態に係る作業支援装置の処理の流れの他の一例を示すフローチャートである。
【図１２】本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１１】
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る作業支援装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る作業支援装置１０は、認識部１１と、表示制御部１２とを備える。
【００１２】
認識部１１は、ウェアラブル端末に搭載されたカメラより取得された画像を入力とする。認識部１１は、入力された画像に含まれる対象物を認識する。認識部１１は、対象物の認識に用いられる認識用データが記憶されているデータベースを用いて、認識を行う。このデータベースには、認識用データが階層構造で記憶されている。認識部１１は、カメラより取得された画像と、対象物の認識結果とを表示制御部１２に供給する。
【００１３】
表示制御部１２は、認識部１１から供給された、対象物の認識結果と、データベースと、階層構造に関連するルールとに基づいて、表示させる情報を決定する。表示制御部１２は、認識部１１から供給された対象物の認識結果を用いて、該認識された対象物に対応する認識用データが、データベース内のどの階層に位置するのかを確認する。例えば、認識された対象物に対応する認識用データが、第２階層に３つあり、第２階層より上位層の第１階層に１つあるとする。そして、この第１階層の認識用データは、第２階層の３つの認識用データの全ての上位階層の認識用データであるとする。そして、階層構造に関連するルールが、「認識された複数の対象物の夫々に対応する認識用データが同一階層に複数含まれる場合、該階層より上位の階層における、複数の認識用データの上位の認識用データが示す対象物に関連する情報を表示」であるとする。表示制御部１２は、第２階層に３つの認識用データがあるため、この３つの認識用データが含まれる第２階層より上位の階層である第１階層における、この３つの認識用データの上位の認識用データが示す対象物に関連する情報を、表示させる情報であると決定する。また、例えば、階層構造に関連するルールが、「認識された複数の対象物の夫々に対応する複数の認識用データのうち、関連付けられた認識用データの集合毎に、階層が最も上位の認識用データが示す対象物に関連する情報を表示」であるとする。この場合、第１階層の認識用データは、第２階層の３つの認識用データの全ての上位階層の認識用データであるため、表示制御部１２は、第１階層の認識用データが示す対象物に関連する情報を表示させる情報であると決定する。ここで、対象物に関連する情報とは、認識用データが示す対象物を説明する情報であってもよいし、該対象物に対して行われる操作の計画（例えば、点検計画など）であってもよいし、該対象物に対する操作の順序を示す情報であってもよい。また、対象物に関連する情報は、これに限定されるものではなく、例えば、対象物の位置等であってもよい。
【００１４】
そして、表示制御部１２は、決定した情報を、カメラより取得された画像に重畳して、例えば、表示装置に表示させる。表示制御部１２は、カメラより取得された実際の画像上に、決定した情報をＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）表示するよう、表示装置を制御する。これにより表示装置は、実際の画像上に決定した情報を重畳して表示することができる。なお、表示制御部１２は、カメラより取得された画像上に決定した情報を、例えば液晶ディスプレイによって実現される表示装置に表示することにより作業者に視認させてもよい。また表示装置がハーフミラーの場合、カメラより取得される画像は、ハーフミラーを透過して作業者に視認されるため、表示制御部１２は、決定した情報を該ハーフミラーに反射させる。これにより、作業者は、ハーフミラーを透過して作業者が視認する画像（撮影された画像）上に決定した情報が重畳された画面を視認することができる。また、表示制御部１２は、カメラより取得された画像と該画像に重畳して表示する決定した情報とを、網膜に直接投影することにより、表示される内容を作業者に視認させてもよい。なお、本実施の形態および以下に説明する他の実施の形態においては表示装置に画像を表示するとして説明を行う。
【００１５】
図２は、本実施の形態に係る作業支援装置１０の処理の流れの一例を示すフローチャートである。図２に示す通り、認識部１１が、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する（ステップＳ１）。そして、表示制御部１２が対象物の認識結果と、対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、階層構造に関連するルールと、に基づいて表示装置に表示させる情報を決定し、決定した情報を画像に重畳して表示装置に表示させる（ステップＳ２）。以上により作業支援装置１０は、処理を終了する。
【００１６】
例えば、機器全体を撮影した画像に、機器の全体の画像と機器内に含まれる部品の画像とが認識可能な状態で含まれていた場合において、認識部１１によって認識された対象物に関連する情報をそのまま表示する場合、認識された全ての対象物に関する情報が表示されてしまう。しかしながら、本実施の形態に係る作業支援装置１０によれば、認識用データがデータベースにおいて、どのような関係性を有しているか、また、どの階層に位置するのかを、確認することができる。そして、このような階層構造に関連するルールを用いることにより、表示制御部１２は、例えば、機器全体が認識された場合は、該機器に関する情報を表示装置に表示させる内容であると決定することができる。これにより、表示制御部１２は、画像内に含まれる対象物に関連する情報のうち、決定した情報を含むオブジェクトを表示装置にＡＲ表示させることができる。これにより、作業支援装置１０は、作業者により適切な情報を提供することができる。したがって、作業支援装置１０は、作業者の作業を効果的に支援することができる。
【００１７】
＜第２の実施の形態＞
上述した第１の実施の形態を基本とする第２の実施の形態について説明する。図３は、本実施の形態に係る作業支援装置１００の機能構成の一例を示す機能ブロック図である。図３に示す通り、作業支援装置１００は、認識部１１０と、表示制御部１２０と、記憶部１３０とを備える。また、作業支援装置１００は、カメラ２０と、表示装置３０とに接続している。なお、作業支援装置１００は、カメラ２０および／または表示装置３０を内蔵する構成であってもよい。
【００１８】
カメラ２０は、ウェアラブル端末に搭載されている。ウェアラブル端末の形態は、腕時計型、眼鏡型、指輪型、靴型、懐中型、ペンダント型等が挙げられるが、これに限定されるものではない。カメラ２０が取得した画像は、作業支援装置１００に送信される。
【００１９】
表示装置３０は、作業支援装置１００から送信された指示に基づき、スクリーンに画像を表示する。表示装置３０は、例えば、液晶ディスプレイやハーフミラー等によって実現される。なお、作業支援装置１００は表示装置３０に接続していなくてもよく、上述した通り、網膜に直接画像を投影することにより、画像を作業者に視認させる構成であってもよい。
【００２０】
また、カメラ２０と表示装置３０とは一体となって形成されていてもよい。
【００２１】
記憶部１３０は、対象物の認識に用いられる認識用データが階層構造で記憶されている認識用データベース（単に、データベースとも呼ぶ）１３１と、該認識用データベース１３１の階層構造に関連するルール１３２とを格納する。認識用データベース１３１とルール１３２とは別々の記憶部に格納されるものであってもよい。また、記憶部１３０は、作業支援装置１００に内蔵されてもよいし、作業支援装置１００とは別個の記憶装置で実現されるものであってもよい。
【００２２】
記憶部１３０に格納された認識用データベース１３１について、図４を参照して説明を行う。図４は、認識用データベース１３１の一例を示す図である。認識用データベース１３１には、複数の認識用データが記憶されている。複数の認識用データは、階層構造を有している。図４に示す各認識用データは、説明の便宜上、該認識用データが示す対象物の名前（対象物名）を示しているが、該認識用データが示す対象物を特定する情報であればよい。
【００２３】
ここで、筐体Ａ１には、機器ａ１１と、機器ａ１２とが含まれ、筐体Ｂ１には、機器ｂ１１等が含まれるとする。そして、機器ａ１１には部品ｐ１−１と部品ｐ１−２とが含まれるとする。機器ａ１２には部品ｐ２−１と部品ｐ２−２とが含まれるとする。機器ｂ１１には部品ｐ１−１と部品ｐ１−２とが含まれるとする。
【００２４】
図４に示す通り、上位階層から第１階層、第２階層、・・・、とすると、第１階層には、筐体Ａ１を示す認識用データおよび筐体Ｂ１を示す認識用データが含まれる。
【００２５】
筐体Ａ１に含まれる機器ａ１１と機器ａ１２との夫々を示す認識用データは、筐体Ａ１の認識用データが含まれる階層（第１階層）の下位の階層である第２階層に含まれる。このとき、機器ａ１１の認識用データと機器ａ１２の認識用データとは、筐体Ａ１の認識用データの下位の階層として、筐体Ａ１の認識用データに関連付けられている。
【００２６】
また、機器ａ１１に含まれる部品ｐ１−１と部品ｐ１−２とは、機器ａ１１の認識用データが含まれる階層（第２階層）の下位の階層である第３階層に含まれ、上位階層に含まれる機器ａ１１の認識用データに関連付けられている。同様に、機器ａ１２に含まれる部品ｐ２−１と部品ｐ２−２とは、機器ａ１２の認識用データが含まれる階層（第２階層）の下位の階層である第３階層に含まれ、上位階層に含まれる機器ａ１２の認識用データに関連付けられている。機器ｂ１１に含まれる部品ｐ１−１と部品ｐ１−２とは、機器ｂ１１の認識用データが含まれる階層（第２階層）の下位の階層である第３階層に含まれ、上位階層に含まれる機器ｂ１１の認識用データに関連付けられている。
【００２７】
なお、図４に示す認識用データは一例であり、これに限定されるものではない。例えば、上位の階層に関連する下位の階層の数は、１つであってもよいし、複数であってもよい。また、筐体Ａ１および筐体Ｂ１の上位階層があってもよい。
【００２８】
各認識用データには、該認識用データが示す対象物に関連する情報が関連付けられている。例えば、筐体Ａ１に関連する情報として、筐体Ａ１を説明する情報、筐体Ａ１の位置を示す情報、筐体Ａ１に対して行われる操作の計画（例えば、点検計画など）、筐体Ａ１に対する操作の順序を示す情報等が挙げられるがこれに限定されるものではない。また、例えば、部品ｐ１−１に関する情報は、該部品ｐ１−１に対する作業手順の詳細を示す情報であってもよい。
【００２９】
なお、以降の説明において、例えば、認識用データベース１３１に含まれる（または、第１階層に含まれる）筐体Ａ１と述べた場合、筐体Ａ１の認識用データのことを指す。つまり、認識用データベース１３１に含まれる認識用データを、単に、対象物名のみで説明する。
【００３０】
記憶部１３０に含まれる、認識用データベース１３１の階層構造に関連するルール１３２は、表示制御部１２０が表示装置３０に表示させる情報（表示内容）を決定する際に用いられる。ルール１３２は、例えば、以下のようなものが挙げられるが、これに限定されるものではない。
（１）認識された複数の対象物の夫々に対応する複数の認識用データのうち、関連付けられた認識用データの集合毎に、階層が最も上位の認識用データが示す対象物に関連する情報を表示。
（２）認識された複数の対象物の夫々に対応する認識用データが同一階層に複数含まれる場合、該階層より上位の階層における、複数の認識用データの上位の認識用データが示す対象物に関連する情報を表示。
（３）認識された対象物に対応する認識用データを、関連性を有する集合毎に分けた場合において、該集合に含まれる認識用データが１つの場合、該認識用データが示す対象物に対する作業手順の詳細を表示。
【００３１】
認識部１１０は、上述した第１の実施の形態に係る認識部１１に相当する。認識部１１０は、カメラ２０から送信された画像（撮影画像と呼ぶ）を受信する。なお、認識部１１０は、カメラ２０が撮影した撮影画像を、カメラ２０から取得する構成であってもよいし、カメラ２０が撮影した撮影画像を記憶する記憶装置から取得する構成であってもよい。
【００３２】
認識部１１０は、認識用データベース１３１を参照し、該撮影画像から、該撮影画像に含まれる対象物を認識する。そして、認識部１１０は、認識結果を表示制御部１２０に供給する。認識部１１０が表示制御部１２０に供給する認識結果は、例えば、対象物が認識用データベース１３１に格納された認識用データの何れに認識されたのかを示す情報である。
【００３３】
表示制御部１２０は、上述した第１の実施の形態に係る表示制御部１２に相当する。表示制御部１２０は、認識部１１０から認識結果を受け取る。表示制御部１２０は、認識結果と、認識用データベース１３１と、ルール１３２と、に基づいて、表示装置３０に表示させる表示内容を決定する。これについて、図５を参照して説明する。
【００３４】
図５は、カメラ２０が撮影した撮影画像の一例を示す図である。カメラ２０が撮影した撮影画像が、図５に示すような撮影画像であるとする。つまり、撮影画像には、図５に示すように、対象物Ｔ１〜Ｔ１１が含まれる。認識部１１０が、対象物Ｔ１を筐体Ａ１と認識し、対象物Ｔ２を機器ａ１１と認識し、対象物Ｔ３を機器ａ１２と認識し、対象物Ｔ９を機器ｂ１１と認識したとする。対象物Ｔ８である筐体Ｂ１は一部分しか含まれていないため、認識されていないとする。また、対象物Ｔ４および対象物Ｔ５はそれぞれ機器ａ１１に含まれる部品ｐ１−１および部品ｐ１−２であるが、小さすぎて認識されていないとする。同様に対象物Ｔ６、Ｔ７、Ｔ１０およびＴ１１も認識されていないとする。
【００３５】
この場合、図４を参照すると、認識された機器ａ１１、機器ａ１２、および機器ｂ１１は、第２階層に含まれる。また、筐体Ａ１は、第１階層に含まれる。そして、表示制御部１２０は、ルール１３２のうち、上述した（１）に基づいて、表示装置３０に表示させる表示内容を決定するとする。
【００３６】
機器ａ１１、機器ａ１２、筐体Ａ１は、図４に示す通り関連付けられている。これを１つの集合とみなし、機器ｂ１１を他のひとつの集合とみなすと、集合毎に階層が最も上位の認識用データは、筐体Ａ１を示す認識用データと、機器ｂ１１を示す認識用データとである。よって、表示制御部１２０は、筐体Ａ１に関連する情報と、機器ｂ１１に関連する情報とを表示装置３０に表示させる表示内容であるとして決定する。
【００３７】
そして、表示制御部１２０は、決定した表示内容を含むＡＲ表示用画像を生成する。ＡＲ表示用画像とは、撮影画像上にＡＲ表示する画像である。本例の場合、ＡＲ表示用画像は、筐体Ａ１に関連する情報を表すオブジェクトと、機器ｂ１１に関連する情報を表すオブジェクトとを含む画像である。そして、表示制御部１２０は、この生成したＡＲ表示用画像を、撮影画像上に重畳して表示装置３０に表示させる指示を表示装置３０に送信する。これにより、表示装置３０は、ＡＲ表示用画像をＡＲ表示した表示画面を表示することができる。
【００３８】
図６に表示装置３０が表示する表示画面の一例を示す。図６に示すように、表示画面には、図５に示した撮影画像上に、筐体Ａ１に関連する情報を表すオブジェクトｏ１１と、機器ｂ１１に関連する情報を表すオブジェクトｏ１２とが重畳して表示される。
【００３９】
なお、上記ルール１３２は、組み合わせて用いられてもよい。例えば、表示制御部１２０は、（２）を採用することにより、機器ａ１１、機器ａ１２、筐体Ａ１を含む集合において、筐体Ａ１に関連する情報を表示装置３０に表示させ、（３）を採用することにより、機器ｂ１１に対する作業手順の詳細を表示装置３０に表示させることができる。
【００４０】
また、図７を参照して、表示制御部１２０が上述したルール１３２のうち（２）を採用して、表示内容を決定した場合の例について説明を行う。図７は、撮影画像および表示画面の一例を示す図である。図７においては、撮影画像を上側に、表示画面を下側に示している。
【００４１】
カメラ２０が撮影した撮影画像が、図７の上側に示すような撮影画像である場合、該撮影画像には、対象物として部品ｐ２−１と部品ｐ２−２とが含まれているとする。そして、認識部１１０が、この２つの対象物を、部品ｐ２−１および部品ｐ２−２と認識したとする。図４に示す通り、部品ｐ２−１の認識用データおよび部品ｐ２−２の認識用データは、第３階層に含まれ、これらの上位階層は、機器ａ１２である。撮影画像には、機器ａ１２の全体が写っていないため、認識結果に機器ａ１２が含まれない。
【００４２】
表示制御部１２０は、認識結果と認識用データベース１３１とから、部品ｐ２−１および部品ｐ２−２が同一階層（第３階層）に含まれること、およびこれらが共通する認識用データ（機器ａ１２の認識用データ）を上位階層として有していることを特定する。そして、表示制御部１２０は、上述した（２）に基づき、機器ａ１２に関連する情報を表示内容として決定する。
【００４３】
そして、表示制御部１２０は、機器ａ１２に関連する情報を表すオブジェクトｏ１３を含むＡＲ表示用画像を生成し、該ＡＲ表示用画像を図７の上側に示す撮影画像に重畳して、表示装置３０に表示させる。これにより、表示装置３０は、図７の下側に示すような表示画像を表示することができる。
【００４４】
カメラ２０が撮影した画像に、対応する認識用データが同一階層に属する、複数の対象物が含まれる場合、作業者は個々の対象物ではなく、対象物を含む全体を確認している可能性が高い。しかしながら、全体を表す対象物が画像内に含まれない場合、認識結果にこの全体を表す対象物が含まれない。本実施の形態によれば、上述した通り、表示制御部１２０が、認識結果だけでなく、階層構造を有する認識用データベース１３１および該階層構造に関連するルール１３２を用いて、表示装置３０に表示させる表示内容を決定する。これにより、作業支援装置１００は、作業者により適切な情報を提供することができる。したがって、作業支援装置１００は、作業者の作業を効果的に支援することができる。
【００４５】
図８は、本実施の形態に係る作業支援装置１００の処理の流れの一例を示すフローチャートである。図８に示す通り、まず、認識部１１０がカメラ２０から供給された画像（撮影画像）を受信する（ステップＳ１１）。そして、認識部１１０は、認識用データベース１３１を参照し、受信した撮影画像に含まれる対象物を認識する（ステップＳ１２）。
【００４６】
そして、表示制御部１２０が、認識結果と認識用データベース１３１とルール１３２とに基づいて、表示装置３０に表示させる表示内容を決定する（ステップＳ１３）。そして、表示制御部１２０は、決定した表示内容を含むＡＲ表示用画像を生成する（ステップＳ１４）。そして、表示制御部１２０は、ステップＳ１１で取得した撮影画像にステップＳ１４で生成したＡＲ表示用画像を重畳させて表示する指示を表示装置３０に送信する（ステップＳ１５）。
【００４７】
以上により、作業支援装置１００は、処理を終了する。これにより、表示装置３０は、カメラ２０が取得した撮影画像にＡＲ表示用画像を重畳させて表示した表示画面を表示することができる。
【００４８】
以上のように、本実施の形態に係る作業支援装置１００は、認識部１１０がカメラ２０より取得された画像から、当該画像に含まれる対象物を認識する。そして、表示制御部１２０が、対象物の認識結果と、認識用データベース１３１と、ルール１３２と、に基づいて決定した情報を画像に重畳して表示させる。認識用データベース１３１は階層構造を有したデータベースであるため、表示制御部１２０は、認識された対象物に対応する認識用データが、該認識用データベース１３１のどの階層に位置するのか、また、どのような関係性を有しているか、を特定することができる。そして、ルール１３２が階層構造に関連するルールであるため、表示制御部１２０は、表示装置３０に表示する情報を、階層構造に応じて決定することができる。
【００４９】
したがって、認識部１１０によって認識された対象物に関連する情報をそのまま表示する場合に比べ、作業支援装置１００は作業者の作業に適した情報を表示することができる。例えば、機器全体を撮影した画像に、機器の全体の画像と機器内に含まれる部品の画像とが認識可能な状態で含まれていた場合、認識結果に基づいて対象物に関連する情報を表示すると認識された全ての対象物に関する情報が表示されてしまう。しかしながら、本実施の形態に係る作業支援装置１００によれば、認識された対象物に関連する認識用データが認識用データベース１３１において、どのような関係性を有しているか、また、どの階層に位置するのかを、確認することができる。そして、このような階層構造に関連するルール１３２を用いることにより、表示制御部１２０は、例えば、機器全体が認識された場合は、該機器に関する情報を表示装置３０に表示させる内容であると決定することができる。これにより、表示制御部１２０は、画像内に含まれる対象物に関連する情報のうち、決定した情報を含むオブジェクトを表示装置３０にＡＲ表示させることができる。これにより、作業支援装置１００は、作業者により適切な情報を提供することができる。したがって、作業支援装置１００は、作業者の作業を効果的に支援することができる。
【００５０】
＜第３の実施の形態＞
作業者が作業を行う機器や部品の見た目は、同じである場合がある。例えば、サーバルームなどには、見た目が同じサーバ（機器）が複数設置されている場合がある。また、例えば、ある種別の機器が複数の場所に設置されている場合もある。このような場合、部品のみが含まれる画像からは、認識された部品がどの機器に含まれる部品なのかを特定することができない。本実施の形態では、このような場合にであっても、効果的に作業者の作業を支援する方法について説明する。
【００５１】
なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
【００５２】
図９は、本実施の形態に係る作業支援装置１０１の機能構成の一例を示す機能ブロック図である。図９に示す通り、本実施の形態に係る作業支援装置１０１は、認識部１１０と、表示制御部１２１と、受付部１４０と、記憶部１５０とを備える。また、作業支援装置１０１は、カメラ２０と、表示装置３０と、入力装置４０と、に接続している。なお、作業支援装置１０１は、カメラ２０、表示装置３０および入力装置４０の少なくとも何れかを内蔵する構成であってもよい。
【００５３】
入力装置４０は、作業者が指示を入力するための装置である。受付部１４０は、入力装置４０を介して入力された内容を受け付ける。受付部１４０は受け付けた内容を表示制御部１２１に供給する。
【００５４】
記憶部１５０は、認識用データベース１３１と、ルール１３２と、認識履歴１３３とを格納する。つまり、記憶部１５０は、第２の実施の形態における記憶部１３０の機能に加え、認識履歴１３３を格納する機能を有する。なお、認識用データベース１３１と、ルール１３２と認識履歴１３３とは、夫々別個の記憶部に格納されていてもよい。また、記憶部１５０は、作業支援装置１０１とは別個の記憶装置で実現されてもよい。
【００５５】
認識履歴１３３は、過去に認識された認識結果である。過去に認識された認識結果には対象物を認識する際に用いた画像を示す情報が関連付けられていてもよい。画像を示す情報は、画像名であってもよい。また、画像を示す情報には、日時情報が含まれていてもよい。この認識履歴１３３は、最新の認識結果のみであってもよい。また、この認識履歴１３３は、所定のタイミングで消去されてもよい。
【００５６】
表示制御部１２１は、上述した第２の実施の形態における表示制御部１２０の機能を有する。更に表示制御部１２１は、以下に説明する機能を有する。つまり、表示制御部１２１は、１つの対象物に対し、複数の認識結果があるか否かを確認する。そして、１つの対象物に対し、複数の認識結果がある場合、記憶部１５０を参照し、認識履歴１３３があるか否かを確認する。認識履歴１３３がある場合、表示制御部１２１は、認識結果と認識用データベース１３１とルール１３２と認識履歴１３３とに基づいて、表示装置３０に表示させる表示内容を決定する。
【００５７】
例えば、認識用データベース１３１が図４に示す認識用データを格納しており、撮影画像に対象物として部品ｐ１−１が含まれる場合、認識部１１０は、この部品ｐ１−１が機器ａ１１の部品ｐ１−１なのか、機器ｂ１１の部品ｐ１−１なのかを判断できない。したがって、認識部１１０はこの対象物に対して複数の認識結果（機器ａ１１の部品ｐ１−１、機器ｂ１１の部品ｐ１−１）を出力する。そして、認識履歴１３３によって表される過去に認識された認識結果が機器ａ１１である場合、表示制御部１２１は、作業者が機器ａ１１を見た後に、機器ａ１１に含まれる部品ｐ１−１を見たと推定することができる。これにより、表示制御部１２１は、撮影画像に含まれる部品ｐ１−１が機器ａ１１の部品ｐ１−１であると推定することができる。よって、表示制御部１２１は、機器ａ１１の部品ｐ１−１に関連する情報を、表示装置３０に表示させる表示内容として決定する。
【００５８】
また、表示制御部１２１は、１つの対象物に対し、複数の認識結果があり、且つ、認識履歴１３３が無い場合、この対象物が、該対象物の上位階層の対象物のうちの何れに関連する対象物なのかを作業者に選択させる選択画面を表示装置３０に表示させる。これにより、作業者は、受付部１４０を介して、選択内容を入力することができる。
【００５９】
例えば、上述した例と同様に、認識用データベース１３１が図４に示す認識用データを格納しており、撮影画像に対象物として部品ｐ１−１が含まれる場合を用いて説明する。認識部１１０は、この対象物に対して複数の認識結果（機器ａ１１の部品ｐ１−１、機器ｂ１１の部品ｐ１−１）を出力する。表示制御部１２１は、この複数の認識結果と、認識用データベース１３１とを参照し、複数の認識結果の夫々に対応する認識用データ（部品ｐ１−１の認識用データ）に関連する複数の認識用データが示す対象物（機器ａ１１および機器ｂ１１）を選択可能に表示装置３０に表示させる。そして、表示制御部１２１は、選択された内容に応じて、表示内容を決定する。例えば、作業者が機器ａ１１を選択した場合、表示制御部１２１は、機器ａ１１の部品ｐ１−１に関連する情報を、表示装置３０に表示させる表示内容として決定する。
【００６０】
図１０は、本実施の形態に係る作業支援装置１０１の処理の流れの一例を示すフローチャートである。なお、図１０において、図８を用いて説明した作業支援装置１００の処理と同様の処理については、同じ符号を付している。
【００６１】
図１０に示す通り、認識部１１０がカメラ２０から供給された撮影画像を受信し（ステップＳ１１）、認識用データベース１３１を参照し、受信した撮影画像に含まれる対象物を認識する（ステップＳ１２）。
【００６２】
表示制御部１２１は、認識部１１０から供給された認識結果を参照し、１つの対象物に対し、複数の認識結果があるか否かを確認する（ステップＳ２１）。１つの対象物に対し、複数の認識結果が無い場合、つまり、１つの対象物が１つの認識用データに対応している場合（ステップＳ２１にてＮＯ）、作業支援装置１０１は、上述した第２の実施の形態と同様にステップＳ１３からステップＳ１５を実行する。
【００６３】
１つの対象物に対し、複数の認識結果がある場合、（ステップＳ２１にてＹＥＳ）、表示制御部１２１は、認識履歴１３３があるか否かを確認する。つまり、認識を行った画像の前に取得された画像に対し認識を行ったか否かを、記憶部１５０を参照して確認する（ステップＳ２２）。認識履歴１３３がある場合（ステップＳ２２にてＹＥＳ）、表示制御部１２１は、認識履歴１３３を記憶部１５０から取得する（ステップＳ２３）。
【００６４】
表示制御部１２１は、認識結果と認識用データベース１３１とルール１３２と認識履歴１３３とに基づいて、表示装置３０に表示させる表示内容を決定する（ステップＳ２４）。
【００６５】
一方、認識履歴１３３が無い場合（ステップＳ２２にてＮＯ）、表示制御部１２１は複数の認識結果を用いて、複数の認識用データの夫々に関連する認識用データが示す対象物を選択する選択画面を表示装置３０に表示させる（ステップＳ２５）。例えば、表示制御部１２１は、複数の認識結果の夫々に対応する認識用データの上位階層に含まれる認識用データが示す対象物を、選択可能に表示装置３０に表示させる。そして、受付部１４０が、作業者によって入力装置４０を介して入力された内容（選択された内容）を受け付ける（ステップＳ２６）と、表示制御部１２１は、受け付けた内容に応じて、表示装置３０に表示させる表示内容を決定する（ステップＳ２７）。
【００６６】
そして、表示制御部１２１は、ステップＳ２４またはステップＳ２７にて決定した表示内容を含むＡＲ表示用画像を生成し（ステップＳ１４）、撮影画像に生成したＡＲ表示用画像を重畳させて表示する指示を表示装置３０に送信する（ステップＳ１５）。
【００６７】
以上により、作業支援装置１０１は、処理を終了する。これにより、表示装置３０は、カメラ２０が取得した撮影画像にＡＲ表示用画像を重畳させて表示した表示画面を表示することができる。
【００６８】
なお、ステップＳ１５の後、認識部１１０は、認識結果を認識履歴１３３として、記憶部１５０に格納してもよいし、ステップＳ２３の後やステップＳ２２にてＮＯの判定の後に認識結果を認識履歴１３３として記憶部１５０に格納してもよい。
【００６９】
作業者がある対象物を見た後に他の対象物を見た場合、この他の対象物は、その前に見た対象物に関連している可能性が高い。したがって、本実施の形態に係る作業支援装置１０１は、過去の認識結果を用いて、認識された対象物に対応する認識用データを特定することにより、作業者により適した情報を提供することができる。これにより、作業支援装置１０１は、作業者の作業を効果的に支援することができる。
【００７０】
また、作業者から入力された内容に応じて、表示装置３０に表示させる情報を決定することにより、作業支援装置１０１は、作業者により適した情報を提供することができる。
【００７１】
なお、表示制御部１２１は、認識履歴の有無に基づいて、対象物に関連する情報の内容（詳細）を決定してもよい。例えば、対象物に関連する情報に、対象物を説明する情報と、該対象物の操作順序を示す情報（例えば、この対象物は「３番目に操作する」等）とが含まれているとする。そして、撮影画像に、この対象物のみが含まれており、認識履歴が無い場合、作業者は３番目に作業すべき対象物を見ていることになる。このような場合、表示制御部１２１は、該対象物の操作順序を示す情報を、表示装置３０に表示させる情報として決定してもよい。
【００７２】
また、表示制御部１２１は、認識結果に基づいて、対象物に関連する情報の内容を決定してもよい。例えば、建物の外観の画像が認識用データとして、上位階層に格納されており、この建物に関連する情報として、この建物を説明する情報と建物の位置を示す情報とが含まれているとする。そして、認識結果にこの建物のみが含まる場合、作業者は該建物から離れた位置から該建物を見ていると考えられる。このような場合、表示制御部１２１は、この建物の位置を示す情報を、表示装置３０に表示させる情報として決定してもよい。また、カメラ２０が撮影した画像に、撮影位置を示す情報が含まれている場合、表示制御部１２１は、該撮影位置と建物の位置を示す情報を用いて、撮影位置から建物までの経路を算出し、該経路を表示装置３０に表示させる情報として決定してもよい。なお、この経路は、予め建物の位置を示す情報に含まれていてもよい。
【００７３】
また、表示制御部１２１が決定する、対象物に関連する情報の内容は、ルール１３２に定められていてもよい。例えば、上述した（３）には、認識された対象物に対応する認識用データを、関連性を有する集合毎に分けた場合において、該集合に含まれる認識用データが１つの場合、該認識用データが示す対象物に対する作業手順の詳細を表示と規定している。例えば、カメラ２０が撮影した撮影画像が、図５を用いて説明した撮影画像であり、認識部１１０が第２の実施の形態と同様に、対象物Ｔ１を筐体Ａ１と認識し、対象物Ｔ２を機器ａ１１と認識し、対象物Ｔ３を機器ａ１２と認識し、対象物Ｔ９を機器ｂ１１と認識したとする。図４に示す認識用データベース１３１を確認すると、機器ａ１１の認識用データ、機器ａ１２の認識用データおよび筐体Ａ１の認識用データは、図４に示す通り関連付けられている。これを１つの集合とみなし、機器ｂ１１を他のひとつの集合とみなす。機器ｂ１１の認識用データが含まれる集合には、機器ｂ１１の認識用データのみが含まれるため、表示制御部１２１は、が決定する表示内容である該機器ｂ１１に関連する情報を、機器ｂ１１に対する作業手順の詳細とする。これにより、表示制御部１２１は、このルール１３２に基づいて、表示装置３０に表示する内容を決定することができる。
【００７４】
また、表示制御部１２１は、対象物に関連する情報の内容は、認識結果と、認識用データベース１３１とに基づいて決定してもよい。例えば、認識結果によって示される対象物に対応する認識用データが認識用データベース１３１において、下位の階層に関連する認識用データを有さない認識用データの場合、対象物は例えば、図４に示す部品ｐ１−１となる。したがって、表示制御部１２１は、この対象物を説明する情報ではなく対象物に対する作業手順の詳細を、表示装置３０に表示させる情報として決定してもよい。
【００７５】
このように表示制御部１２１が、認識結果、認識履歴、認識用データベース１３１およびルール１３２の少なくとも何れかに基づいて、表示装置３０に表示させる情報の内容を決定することにより、作業支援装置１０１は、作業者により適した情報を提供することができる。
【００７６】
（変形例）
本実施の形態に係る作業支援装置１０１の処理は、図１１に示す流れであってもよい。図１１は、本実施の形態に係る作業支援装置１０１の処理の流れの他の一例を示すフローチャートである。なお、図１１において、図８および図１０の各処理と同様の処理については、同じ符号を付している。図１１を用いて説明する処理では、認識履歴１３３の有無を認識部１１０が対象物の認識を行う前に確認する。図１１に示す通り、認識部１１０がカメラ２０から供給された撮影画像を受信する（ステップＳ１１）。そして、認識部１１０が、記憶部１５０を参照して、認識履歴１３３があるか否かを確認する（ステップＳ２２）。認識履歴１３３がある場合（ステップＳ２２にてＹＥＳ）、認識部１１０は、認識履歴に基づいて、認識用データベース１３１のうち認識に使用する認識用データの範囲を決定する（ステップＳ３１）。
【００７７】
例えば、認識用データベース１３１が図４に示す認識用データを格納しており、認識履歴１３３によって表される過去に認識された認識結果が機器ａ１１である場合、認識部１１０は、機器ａ１１の認識用データに関連する複数の認識用データを、認識に使用する認識用データの範囲として決定する。認識部１１０は、例えば、図４では、機器ａ１１の上位階層の認識用データである筐体Ａ１と、機器ａ１１の下位階層の認識用データである部品ｐ１−１および部品ｐ１−２とを、認識に使用する認識用データであると決定する。また、認識部１１０は、機器ａ１１と上位階層の認識用データを共有する機器ａ１２も認識に使用する認識用データであると決定してもよい。
【００７８】
そして、認識部１１０は、ステップＳ３１で決定した範囲の認識用データを用いて、撮影画像の対象物を認識する（ステップＳ３２）。これにより、例えば、撮影画像に部品ｐ１−１が含まれており、認識履歴に機器ａ１１が含まれている場合、認識部１１０は、該部品ｐ１−１を機器ｂ１１に含まれる部品ｐ１−１ではなく、機器ａ１１に含まれる部品ｐ１−１と認識することができる。
【００７９】
一方、認識履歴１３３が無い場合（ステップＳ２２にてＮＯ）、認識部１１０は、図８に示すステップＳ１２と同様に、撮影画像に含まれる対象物を認識する（ステップＳ１２）。そして、表示制御部１２１は、１つの対象物に対し、複数の認識結果があるか否かを確認する（ステップＳ２１）。
【００８０】
１つの対象物に対し、複数の認識結果が無い場合（ステップＳ２１にてＮＯ）、または、ステップＳ３２終了後、表示制御部１２１は、認識結果と認識用データベース１３１とルール１３２とに基づいて、表示装置３０に表示させる表示内容を決定する（ステップＳ１３）。
【００８１】
１つの対象物に対し、複数の認識結果がある場合、（ステップＳ２１にてＹＥＳ）、表示制御部１２１は複数の認識結果を用いて、複数の認識用データの夫々に関連する認識用データが示す対象物を選択する選択画面を表示装置３０に表示させる（ステップＳ２５）。そして、受付部１４０が、作業者によって入力装置４０を介して入力された内容（選択された内容）を受け付ける（ステップＳ２６）と、表示制御部１２１は、受け付けた内容に応じて、表示装置３０に表示させる表示内容を決定する（ステップＳ２７）。
【００８２】
そして、表示制御部１２１は、ステップＳ１３またはステップＳ２７にて決定した表示内容を含むＡＲ表示用画像を生成し（ステップＳ１４）、撮影画像に生成したＡＲ表示用画像を重畳させて表示する指示を表示装置３０に送信する（ステップＳ１５）。
【００８３】
以上により、作業支援装置１０１は、処理を終了する。これにより、表示装置３０は、カメラ２０が取得した撮影画像にＡＲ表示用画像を重畳させて表示した表示画面を表示することができる。
【００８４】
なお、認識部１１０は、ステップＳ１５の後、認識結果を認識履歴１３３として、記憶部１５０に格納してもよいし、ステップＳ１２の後やステップＳ３２の後に認識結果を認識履歴１３３として記憶部１５０に格納してもよい。
【００８５】
作業者がある対象物を見た後に他の対象物を見た場合、この他の対象物は、その前に見た対象物に関連している可能性が高い。したがって、本変形例に記載の作業支援装置１０１のように、認識部１１０が認識履歴１３３を用いて、認識用データベース１３１の認識用データの範囲を決定することにより、認識率を高めることができる。したがって、作業支援装置１０１は、このような認識結果を用いて対象物に関連する情報を提供することができるため、作業者の作業をより効果的に支援することができる。
【００８６】
（ハードウェア構成について）
本開示の各実施形態において、各作業支援装置の各構成要素は、機能単位のブロックを示している。各作業支援装置の各構成要素の一部又は全部は、例えば図１２に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１２は、各作業支援装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【００８７】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各作業支援装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各作業支援装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【００８８】
各作業支援装置の実現方法には、様々な変形例がある。例えば、各作業支援装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各作業支援装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【００８９】
また、各作業支援装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【００９０】
各作業支援装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【００９１】
各作業支援装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００９２】
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる表示制御手段と、
を備える作業支援装置。
（付記２）
前記表示制御手段は、前記認識結果に基づいて、該対象物に対応する認識用データが前記データベースのどの階層に位置するかを確認し、確認結果と、前記階層構造に関連するルールとに基づいて、表示させる前記情報を決定する、付記１に記載の作業支援装置。
（付記３）
前記表示制御手段は、同一階層に、認識された異なる対象物に関連する認識用データが複数含まれる場合、当該階層より上位の階層における、複数の前記認識用データの上位の認識用データに対応する対象物に関連する情報を、前記画像に重畳して表示させる、付記１または２に記載の作業支援装置。
（付記４）
前記表示制御手段は、ある対象物に対する認識結果が複数ある場合、過去に認識された認識結果を用いて、前記対象物に対応する認識用データを推定し、推定した認識用データに基づいて、表示させる前記情報を決定する、付記１から３の何れか１つに記載の作業支援装置。
（付記５）
前記認識手段は、過去に認識された認識結果を用いて、前記データベースに含まれる認識用データの範囲を決定し、前記決定した範囲の認識用データを用いて、前記対象物を認識する、付記１から３の何れか１つに記載の作業支援装置。
（付記６）
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示制御手段は、
ある対象物に対する認識結果が複数ある場合、該対象物に対応する認識用データがどの認識用データであるかを選択可能に表示させ、
前記受付手段によって受け付けられた内容に応じて、表示させる前記情報を決定する、付記１から３の何れか１つに記載の作業支援装置。
（付記７）
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる、作業支援方法。
（付記８）
前記情報は、前記認識結果に基づいて該対象物に対応する認識用データが前記データベースのどの階層に位置するかを確認し、確認結果と前記階層構造に関連するルールとに基づいて決定される、付記７に記載の作業支援方法。
（付記９）
前記画像に重畳して表示させる前記情報は、同一階層に、認識された異なる対象物に関連する認識用データが複数含まれる場合、当該階層より上位の階層における、複数の前記認識用データの上位の認識用データに対応する対象物に関連する情報である、付記７または８に記載の作業支援方法。
（付記１０）
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物の認識結果と、前記対象物の認識に用いられる認識用データが階層構造で記憶されているデータベースと、前記階層構造に関連するルールと、に基づいて決定した情報を前記画像に重畳して表示させる処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
（付記１１）
前記情報は、前記認識結果に基づいて該対象物に対応する認識用データが前記データベースのどの階層に位置するかを確認し、確認結果と前記階層構造に関連するルールとに基づいて決定される、付記１０に記載の記録媒体。
（付記１２）
前記表示させる処理は、同一階層に、認識された異なる対象物に関連する認識用データが複数含まれる場合、当該階層より上位の階層における、複数の前記認識用データの上位の認識用データに対応する対象物に関連する情報を、前記画像に重畳して表示させる処理である、付記１０または１１に記載の記録媒体。
この出願は、２０１６年３月２９日に出願された日本出願特願２０１６−０６５６７０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００９３】
１０    作業支援装置
１１    認識部
１２    表示制御部
２０    カメラ
３０    表示装置
４０    入力装置
１００    作業支援装置
１０１    作業支援装置
１１０    認識部
１２０    表示制御部
１２１    表示制御部
１３０    記憶部
１３１    認識用データベース
１３２    ルール
１３３    認識履歴
１４０    受付部
１５０    記憶部
【図１】
2017169907.tif 000003
【図２】
2017169907.tif 000004
【図３】
2017169907.tif 000005
【図４】
2017169907.tif 000006
【図５】
2017169907.tif 000007
【図６】
2017169907.tif 000008
【図７】
2017169907.tif 000009
【図８】
2017169907.tif 000010
【図９】
2017169907.tif 000011
【図１０】
2017169907.tif 000012
【図１１】
2017169907.tif 000013
【図１２】
2017169907.tif 000014
【国際調査報告】
2017169907.tif 000015
2017169907.tif 000016