(57)【要約】作業者の作業を効果的に支援する技術を提供する。作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識部と、対象物が認識された時点におけるウェアラブル端末の向き、および、ウェアラブル端末の位置またはカメラの焦点距離を基準として、ウェアラブル端末の移動量を測定する測定部と、測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において対象物の隣に表示する表示部と、を備える。
2017169909.tif 000002
【特許請求の範囲】
【請求項１】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備える作業支援装置。
【請求項２】
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項１に記載の作業支援装置。
【請求項３】
前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、請求項１または２に記載の作業支援装置。
【請求項４】
前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、請求項１または２に記載の作業支援装置。
【請求項５】
前記表示手段は、前記基準における表示画面を含む平面上において第１の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第１の大きさを変化させた第２の大きさで視認されるように、前記関連情報を表示する、請求項１または２に記載の作業支援装置。
【請求項６】
前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、請求項１から５の何れか１項に記載の作業支援装置。
【請求項７】
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項１から６の何れか１項に記載の作業支援装置。
【請求項８】
画像を取得するカメラと、
前記画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備えるウェアラブル端末。
【請求項９】
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項８に記載のウェアラブル端末。
【請求項１０】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
【請求項１１】
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、請求項１０に記載の作業支援方法。
【請求項１２】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
【請求項１３】
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、請求項１２に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、作業支援装置、ウェアラブル端末、作業支援方法および記録媒体に関する。
【背景技術】
【０００２】
ウェアラブル端末に搭載されたカメラによって撮影された画像にコンテンツ情報を重畳して表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。例えば、特許文献１には、入力画像から空き領域を判定し、空き領域にコンテンツを表示する技術が開示されている。また、特許文献２には、現実画像に関連する架空画像を現実画像に重畳して表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１５３１６９号公報
【特許文献２】特開２０１４−１７４５１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、作業者がある装置に対して作業を行う場合、操作マニュアル等を参照しながら作業を行う場合がある。操作マニュアルが紙媒体の場合、作業者は作業対象の装置の横に、該操作マニュアルを置いて、操作マニュアルと装置とを交互に見ながら作業を行うことがある。【０００５】
特許文献１に記載の技術では、カメラの画角の変化について述べられていないため、画角が変更する度に、基準物の認識と空き領域の判定とを行う可能性がある。そのため、表示される内容および位置が、画角が変更する度に変わってしまう可能性がある。したがって、特許文献１の技術では、作業者が見たい情報が、該作業者が意図した領域に表示されない場合がある。例えば、上述した紙媒体の操作マニュアルを使用している場合と同様の動作を作業者が行った場合、特許文献１の技術では、作業者が頭を動かすたびに、作業マニュアルの表示位置が変わり、作業者に対し煩わしさを与えてしまう可能性がある。【０００６】
また、特許文献２に記載の技術では、使用者の頭部の動きを検出することにより、使用者が現実画像のどの部分を見ているのかを推定し、この頭部の動きに基づいて、吹き出しの表示位置を変更している。例えば、マニュアルなどを特許文献２に記載の技術で表示すると、吹き出しの部分が大きくなる場合がある。この吹き出しの部分に視線を合わせるように作業者が頭部を移動させた場合、この移動後の位置が現実画像上に含まれない可能性がある。この場合、特許文献２に記載の技術では、移動量が大きくなるため、撮像部が動作し、表示内容と表示位置とが再度定められることになる。したがって、特許文献２に記載の技術において、例えば、作業者が、作業対象の装置の横に該操作マニュアルを置いた状態と同じような状態で表示された操作マニュアルを見るために頭部を動かすと、架空画像の表示される内容および位置が変わる可能性がある。また、撮像部が動作しなかった場合であっても、移動量に基づいて、メモリに記憶した現実画像を参照し表示内容を変更しているため、視線の先が現実画像上に含まれない場合、何も表示されない、または、表示内容が変わってしまう可能性がある。したがって、特許文献２の技術では、作業者が見たい情報が、該作業者が意図した内容で意図した領域に表示されない場合があり、作業者に対し煩わしさを与えてしまう可能性がある。【０００７】
本開示は上記課題に鑑みてなされたものであり、その目的は、作業者の作業を効果的に支援する技術を提供することにある。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、を備える。【０００９】
また、本開示の一態様に係るウェアラブル端末は、画像を取得するカメラと、前記画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、を備える。【００１０】
また、本開示の一態様に係る作業支援方法は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する。【００１１】
なお、上記作業支援装置、ウェアラブル端末または作業支援方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
【発明の効果】
【００１２】
本開示によれば、作業者の作業を効果的に支援することができる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る作業支援装置の機能構成の一例を示す機能ブロック図である。
【図２】第１の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。
【図３】第２の実施の形態に係る作業支援装置を含むウェアラブル端末の構成の一例を示すブロック図である。
【図４】第２の実施の形態に係る作業支援装置を含むウェアラブル端末の利用シーンを説明するための図である。
【図５】第２の実施の形態に係るウェアラブル端末におけるカメラが撮影した撮影画像の一例を示す図である。
【図６】表示部が表示する表示画面の一例を示す図である。
【図７】測定部が測定する移動量を説明するための図である。
【図８】測定部が測定する移動量を説明するための図である。
【図９】カメラが撮影した撮影画像の一例を示す図である。
【図１０】表示部が表示する表示画面の一例を示す図である。
【図１１】測定部が測定する移動量を説明するための図である。
【図１２】表示部が表示する表示画面の一例を示す図である。
【図１３】表示部が表示する表示画面の他の一例を示す図である。
【図１４】表示部が表示する表示画面の他の一例を示す図である。
【図１５】表示部が表示する表示画面の他の一例を示す図である。
【図１６】第２の実施の形態に係る作業支援装置の処理の流れの一例を示すフローチャートである。
【図１７】変形例１における表示部が表示する表示画面の一例を示す図である。
【図１８】変形例１における表示部が表示する表示画面の一例を示す図である。
【図１９】変形例１における表示部が表示する表示画面の一例を示す図である。
【図２０】変形例２における表示部が表示する表示画面の一例を示す図である。
【図２１】変形例２における表示部が表示する表示画面の一例を示す図である。
【図２２】第３の実施の形態に係る作業支援装置を含むウェアラブル端末の構成の一例を示すブロック図である。
【図２３】表示部が表示する表示画面の他の一例を示す図である。
【図２４】本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１４】
＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る作業支援装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る作業支援装置１０は、認識部１１と、測定部１２と、表示部１３とを備える。
【００１５】
認識部１１は、ウェアラブル端末に搭載されたカメラより取得された画像を入力とする。認識部１１は、入力された画像に含まれる対象物を認識する。認識部１１は、カメラより取得された画像と、対象物の認識結果とを表示部１３に供給する。また、認識部１１は、認識したことを示す通知を測定部１２に供給する。
【００１６】
測定部１２は、認識部１１から通知を受け取ると、対象物が認識された時点におけるウェアラブル端末の位置、および、向きまたは焦点距離を基準とする。そして、この基準からウェアラブル端末が移動すると、測定部１２は、この移動を検知し、該ウェアラブル端末の移動量を測定する。そして、測定部１２は、移動量を表示部１３に供給する。
【００１７】
表示部１３は、認識部１１から認識結果と画像とを受け取る。また、表示部１３は、測定部１２から移動量を受け取る。表示部１３は、受け取った移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する。例えば、表示部１３は、認識結果から、認識された対象物に関連する関連情報を図示しない記憶部等より取得する。そして、認識部１１から受け取った画像から、認識された対象物の輪郭の座標群を特定し、該対象物の隣の領域を算出する。そして、表示部１３は、移動量に基づいて、移動後の表示画面を含む平面上における対象物の座標群を再計算し、対象物の隣に位置する関連情報の表示領域に、関連情報をＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：拡張現実）表示する。
【００１８】
なお、表示部１３は、例えば液晶ディスプレイによって実現される場合、該液晶ディスプレイに関連情報を表示することにより作業者に視認させてもよい。また表示部１３がハーフミラーによって実現される場合、表示部１３は、関連情報をハーフミラーに反射させることにより、関連情報を作業者に視認させてもよい。また、表示部１３は、関連情報を網膜に直接を投影することにより、該関連情報を作業者に視認させてもよい。なお、本実施の形態および以下に説明する他の実施の形態においては表示部１３が液晶ディスプレイであるとして説明を行う。
【００１９】
図２は、本実施の形態に係る作業支援装置１０の処理の流れの一例を示すフローチャートである。図２に示す通り、認識部１１が、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する（ステップＳ１）。そして、測定部１２が、対象物が認識された時点におけるウェアラブル端末の向き、および、ウェアラブル端末の位置またはカメラの焦点距離を基準として、ウェアラブル端末の移動量を測定する（ステップＳ２）。その後、表示部１３が測定された移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する（ステップＳ３）。以上により作業支援装置１０は、処理を終了する。
【００２０】
以上のように、本実施の形態に係る作業支援装置１０は、ウェアラブル端末の移動量に基づいて、対象物に関連する情報を対象物の隣に位置するように表示する。したがって、例えば、カメラを搭載したウェアラブル端末を装着した作業者が、作業時において、作業対象の対象物と、対象物に関連する関連情報が表示された領域とを交互に見ながら作業を行った場合であっても、関連情報は対象物の隣に表示される。よって、作業者は、関連情報があたかも対象物の隣に表示されている場合と同様に、関連情報を視認することができる。これにより、作業支援装置１０は、作業者に煩わしさを与えることなく、関連情報を作業者に視認させることができる。したがって、作業支援装置１０は、作業者の作業を効果的に支援することができる。
【００２１】
＜第２の実施の形態＞
上述した第１の実施の形態を基本とする第２の実施の形態について説明する。図３は、本実施の形態に係る作業支援装置１００を含むウェアラブル端末１の構成の一例を示すブロック図である。図３に示す通り、ウェアラブル端末１は、カメラ２０と、作業支援装置１００とを含む。作業支援装置１００は、認識部１１０と、測定部１２０と、表示部１３０と、記憶部１４０とを備える。また、作業支援装置１００は、カメラ２０に接続している。なお、記憶部１４０は、作業支援装置１００の外部に設けられてもよい。
【００２２】
図４は、本実施の形態に係るウェアラブル端末１の利用シーンを説明するための図である。図４に示す通り、作業者がウェアラブル端末１を装着し、対象物を見ると、ウェアラブル端末１に含まれるカメラ２０が対象物を撮影する。ウェアラブル端末１の作業支援装置１００は、カメラ２０によって撮影された画像を用いて、対象物を認識し、ウェアラブル端末１の移動量（つまり、作業者の頭の移動の量）を測定し、移動量に基づいて、対象物に関連する関連情報を対象物の隣に表示する。
【００２３】
本実施の形態では、このように、ウェアラブル端末１が、例えば、眼鏡型であるとして説明を行うが、ウェアラブル端末１の形態はどのようなものであってもよい。カメラ２０が取得した画像（撮影画像と呼ぶ）は、作業支援装置１００に送信される。ここで、カメラ２０が撮影した撮影画像の一例を図５に示す。図５は、本実施の形態に係るウェアラブル端末１におけるカメラ２０が撮影した撮影画像の一例を示す図である。図５に示す通り、撮影画像には、対象物が含まれる。なお、撮影画像は、図５に示す対象物の内部の計器のみが対象物として含まれる画像であってもよい。
【００２４】
以下、作業支援装置１００の各部について説明を行う。記憶部１４０は、対象物の認識に用いられる認識用データを記憶している。記憶部１４０が記憶する認識用データには、該認識用データが示す対象物に関連する情報が関連付けられている。対象物に関連する情報とは、例えば、該対象物を説明する情報、該対象物に対する操作マニュアル等が挙げられるがこれに限定されるものではない。また、認識用データには、該認識用データが示す対象物の大きさ、形状等、画像から該対象物の輪郭を特定可能な情報が関連付けられていてもよい。
【００２５】
認識部１１０は、上述した第１の実施の形態に係る認識部１１に相当する。認識部１１０は、カメラ２０から送信された撮影画像を受信する。なお、認識部１１０は、カメラ２０が撮影した撮影画像を、カメラ２０から取得する構成であってもよいし、カメラ２０が撮影した撮影画像を記憶する記憶装置から取得する構成であってもよい。
【００２６】
認識部１１０は、記憶部１４０を参照し、該撮影画像から、該撮影画像に含まれる対象物を認識する。そして、認識部１１０は、認識結果を撮影画像と共に表示部１３０に供給する。認識部１１０が表示部１３０に供給する認識結果は、記憶部１４０に格納された認識用データが示す対象物を表す情報であればよい。また、認識部１１０は、対象物を認識したことを示す通知（認識通知）を撮影画像と共に測定部１２０に供給する。
【００２７】
測定部１２０は、認識通知を受け取ると、対象物が認識された時点におけるウェアラブル端末１の位置および向きを基準とする。なお、測定部１２０は、対象物が認識された時点におけるカメラ２０の焦点距離および向きを基準としてもよい。本実施の形態では、ウェアラブル端末１を装着した作業者が視認可能な画角と、カメラ２０が撮影した画角とがほぼ同じになるようにカメラ２０の焦点距離が設定されているとして説明を行う。なお、基準の決定方法は特に限定されないが、測定部１２０は、対象物が認識された時点のウェアラブル端末１の位置情報と、ウェアラブル端末１の向きとから、該基準を算出することができる。以下では、対象物が認識された時点のウェアラブル端末１の位置を始点とし、該ウェアラブル端末１の方向へ向かう矢印によって上記基準を表すとする。なお、この基準を以下では基準位置や原点とも呼ぶが、これらは特に言及しない限り、基準によって表されるウェアラブル端末１の位置のみを示すものではなく、ウェアラブル端末１の位置および方向を示すとする。
【００２８】
測定部１２０は、その後、ウェアラブル端末１の移動量を測定する。測定部１２０は、ウェアラブル端末１の位置の変化量およびウェアラブル端末１の向きの変化量を移動量として測定する。測定部１２０は、例えば、モーションセンサによって実現される。
【００２９】
測定部１２０は、移動量を測定すると、移動量を測定する前の位置および方向と、移動量とを、表示部１３０に供給する。
【００３０】
表示部１３０は、認識部１１０から認識結果を撮影画像と共に受け取る。表示部１３０は、記憶部１４０と、認識結果とから、撮影画像に含まれる対象物を特定し、該対象物に関連する関連情報を取得する。そして、表示部１３０は、該関連情報をＡＲ表示する際、該関連情報の表示領域が表示画面上において対象物の隣に位置するように、該関連情報の表示領域を決定する。例えば、表示部１３０は、対象物の大きさから撮影画像上における対象物の輪郭の座標群を算出し、該輪郭の座標群の外側になるように、関連情報の表示領域を決定する。例えば、認識された対象物が、複数の部品を含む装置である場合、表示部１３０は、この装置の外周に沿った領域のうちの何れかの領域を表示領域として決定してもよい。また、例えば、認識された対象物が複数の部品を含む装置内の何れかの部品である場合、表示部１３０は、認識された対象物の外周に沿った領域のうちの何れかの領域を表示領域としてもよいし、認識された対象物と他の対象物との位置関係から、何も対象物が存在しない領域を表示領域としてもよい。
【００３１】
また、表示部１３０は、基準位置において表示部１３０が表示する表示画面を含む平面上において関連情報を表示した場合に、該関連情報が所定の大きさで視認される大きさに表示領域の大きさを決定してもよい。例えば、表示部１３０は、対象物を認識した時点におけるウェアラブル端末１の位置および方向において、該対象物の隣に関連情報を表示した場合に、該関連情報の大きさが所定の大きさ（例えば、２１０×２９７ミリ）となるように、表示領域の大きさを決定してもよい。
【００３２】
また、表示部１３０は、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ２０の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定してもよい。例えば、認識用データに、該認識用データが表す対象物の実世界上の大きさに対する縮尺が関連付けられており、対象物の実世界上の大きさが推定可能であるとする。なお、対象物の実世界上の大きさの推定方法は特に限定されない。表示部１３０は、推定した実世界上の対象物の大きさと、撮影画像とから該対象物を含む実世界上の、カメラ２０の光軸と水平な平面の位置を推定し、該平面上において、所定の大きさ（例えば、２１０×２９７ミリ）となるように、表示領域の大きさを決定してもよい。
【００３３】
以下では、表示部１３０が表示する表示画面上の関連情報のサイズの横幅が所定のサイズ（例えば２１０ミリ）であるとして説明を行う。
【００３４】
そして、表示部１３０は、決定した表示領域が、現時点の画角内に少なくとも一部分が含まれるか否かを確認する。表示部１３０は、現時点の画角内に決定した表示領域が少なくとも一部分含まれる場合、決定した大きさで該表示領域に関連情報を表示した際の該画角内に含まれる部分の画像（ＡＲ表示用画像）を生成する。そして、表示部１３０は、カメラ２０が撮影した撮影画像上に生成したＡＲ表示用画像を重畳して表示する。図６に表示部１３０が表示する表示画面の一例を示す。図６は、図５の撮影画像に、関連情報をＡＲ表示させた表示画面の一例である。図６に示す通り、表示画面には、対象物の右隣に、関連情報が表示される。関連情報は、表示画面を含む平面上では、所定の大きさであり、表示画面の画角内には、左側の一部のみが含まれる。なお、破線で示す通り、関連情報は対象物の左隣に表示されてもよい。
【００３５】
なお、例えば、現時点の画角内いっぱいに対象物が写っている場合、対象物の隣に位置する表示領域は、該画角内には含まれない。したがって、表示部１３０は、現時点の画角内に決定した表示領域は含まれないと確認する。この場合、表示部１３０は、関連情報の少なくとも一部分を表示画面に表示しない。
【００３６】
また、表示部１３０は、測定部１２０から移動量を測定する前の位置および方向と、移動量とを、受け取る。ここで、測定部１２０が測定する移動量について、図７および図８を用いて説明する。図７および図８は測定部１２０が測定する移動量を説明するための図である。図７および図８では、移動量として左右方向（鉛直方向に略垂直な方向）について説明するが、上下方向（鉛直方向に略平行な方向）の移動を含んでいてもよい。
【００３７】
基準位置は、図７に示す通り、ウェアラブル端末１を装着した作業者から対象物に向かう方向であるとする。そして、図７では、表示部１３０が上述のようにして決定した関連情報の表示領域を破線で示している。作業者が、表示領域側に顔を動かすと、ウェアラブル端末１の向きは、基準位置の方向から一点鎖線の矢印で示す方向に移動する。測定部１２０は、この向きの変化量（回転量）を移動量として測定する。
【００３８】
また、図８に示す通り、作業者が基準位置を決定した時点の作業者の位置から右方向に体ごと移動した場合、ウェアラブル端末１の方向は変わらないがウェアラブル端末１の位置が変化する。測定部１２０は、この位置の変化量を移動量として測定する。
【００３９】
表示部１３０は、測定部１２０から移動量を測定する前の位置および方向である基準位置と、移動量とを受け取る。そして、表示部１３０は、この移動量に基づいて、関連情報を表示する。図９および図１０を用いてその説明を行う。
【００４０】
まず、ウェアラブル端末１を装着した作業者が図７に示す状態で対象物を見ている状態の場合の表示画面が図６の状態であるとする。作業者は、作業対象の対象物に関連する情報を見るために、図７のように頭を右方向に回転させ、関連情報の表示領域の方を見たとする。このとき、カメラ２０が撮影する撮影画像は、図９に示すように、対象物が左側に移動した状態となる。表示部１３０は、移動量に基づいて、対象物の位置や対象物の輪郭の座標群を再計算する。また、表示部１３０は、再計算した対象物の位置や輪郭の座標群に基づいて、該対象物の隣に表示される関連情報の表示領域も再計算する。そして、再計算された領域が、移動後の画角内に少なくとも一部分が含まれるか否かを確認する。表示部１３０は、現時点の画角内に決定した表示領域が少なくとも一部分含まれる場合、既に決定している大きさで該表示領域に関連情報を表示した際の該画角内に含まれる部分の画像（ＡＲ表示用画像）を生成する。そして、表示部１３０は、カメラ２０が撮影した撮影画像上に生成したＡＲ表示用画像を重畳して表示する。図１０に表示部１３０が表示する表示画面の一例を示す。表示部１３０は、図１０に示すように、対象物の関連情報が関連情報の隣に位置するように表示画面に関連情報を表示する。
【００４１】
図６および図１０を比較すると、関連情報が、図６の状態から作業者が右方向に回転した状態で表示されていることがわかる。つまり、表示部１３０は、対象物の関連情報があたかも対象物の隣に固定されているかのように、該関連情報を表示している。
【００４２】
また、表示部１３０が、測定部１２０から、移動量を測定する前の位置および方向と、移動量とを受け取る場合の他の例について説明する。まず、表示部１３０が測定部１２０から受け取る移動量を測定する前の位置および方向と、移動量とを図１１を用いて説明する。なお、図１１では、図６に示すようにウェアラブル端末１の位置が変化しておらず、ウェアラブル端末１の向きのみが変化する場合について説明を行うが、ウェアラブル端末１の位置が変化してもよい。
【００４３】
図１１において、一点鎖線の矢印で示す１回目に移動した後のウェアラブル端末１の向きは、図６における移動後の向きと同じであるとする。つまり、ウェアラブル端末１を装着した作業者が、関連情報の表示領域の方を向いているとする。この位置から作業者が下方向に頭を向けると、測定部１２０はこの移動量を測定する。測定部１２０は、移動前の位置（一点鎖線の矢印の位置）と、この移動前の位置からの移動量（二点鎖線の矢印の位置までの変化量）とを、表示部１３０に供給する。
【００４４】
表示部１３０は、測定部１２０から測定した移動量と、移動量の測定前の位置とを受け取ると、この移動量に基づいて関連情報を表示する。具体的には、表示部１３０は、測定前の位置からの移動が、関連情報が表示された画角内から該関連情報に沿った移動であるか否かを判定する。そして、該関連情報に沿った移動である場合、表示部１３０は、移動量に基づいて、表示画面上における関連情報の表示位置において、該関連情報の表示内容を変更して表示する。
【００４５】
図１１において、２回目に移動した後のウェアラブル端末の向きで、表示部１３０が表示する表示画面の一例を図１２に示す。図１２は、図１０の状態からウェアラブル端末１を装着した作業者がスクロール方向（上下方向）に頭を動かした場合における表示画面の一例である。図１２に示す通り、図１０において関連情報が表示された位置に内容が異なる関連情報が表示されている。表示部１３０は、移動量に応じて、関連情報が下にスクロールされた状態になるように、該関連情報を表示している。なお、表示部１３０がこの関連情報を表示する状態において、カメラ２０が取得する画像には対象物が含まれないため、図１２に示す表示画面には対象物が含まれない。これにより、表示部１３０は、対象物の関連情報が、実世界上において、あたかも対象物の隣に固定して貼り付けられているかのように、該関連情報を表示することができる。
【００４６】
また、表示部１３０は、実世界上において、対象物の隣にあたかも関連情報が固定して貼り付けられていることを、より実世界に近い状態で表示してもよい。例えば、図７に示す通り移動量が角度である場合、実世界で対象物の隣に関連情報が貼り付けられているとすると、該関連情報は傾斜を有した状態で見える。したがって、表示部１３０は、図１３に示す通り、この傾斜も考慮して、関連情報を対象物の隣に表示してもよい。このように、本実施の形態に係る作業支援装置１００は、より実世界に近い状態を再現する表示を行うことができる。
【００４７】
また、図１０および図１２では、表示部１３０は関連情報の表示領域を横幅のみ所定の大きさにして表示したが、表示領域の縦の長さも所定の大きさにしてもよい。例えば、表示部１３０は、図１４に示す通り、実際の用紙を対象物の隣に貼り付けているかのように、関連情報を所定の大きさ（例えば、２１０×２９７ミリ）で表示してもよい。そして、ウェアラブル端末１の方向がスクロール方向に移動すると、表示部１３０は、作業者が次のページを見るかのように、図１４の表示画面に表示した内容の続きの内容を、同じ大きさで、図１５に示すように表示してもよい。これにより、作業者は、実際に作業の際に使用する、例えばマニュアルなどを見る場合と同じように、ＡＲ表示された関連情報を視認することができる。
【００４８】
図１６は、本実施の形態に係る作業支援装置１００の処理の流れの一例を示すフローチャートである。図１６に示す通り、まず、認識部１１０がカメラ２０から供給された画像（撮影画像）を受信する（ステップＳ１１）。そして、認識部１１０が、受信した撮影画像に含まれる対象物を認識する（ステップＳ１２）。
【００４９】
そして、測定部１２０が、対象物が認識された時点におけるウェアラブル端末１の位置および向きから基準位置を決定する（ステップＳ１３）。そして、表示部１３０が、対象物の関連情報をＡＲ表示する表示領域を決定する（ステップＳ１４）。
【００５０】
そして、表示部１３０は、対象物の表示領域の少なくとも一部分が、現時点の画角内に含まれるか否かを確認し（ステップＳ１５）、含まれる場合（ステップＳ１５にてＹＥＳ）、現時点の画角内において表示されるＡＲ表示用画像を生成する（ステップＳ１６）。そして、表示部１３０は、生成したＡＲ表示用画像を、撮影画像に重畳して表示する（ステップＳ１７）。
【００５１】
対象物の表示領域の少なくとも一部分が、現時点の画角内に含まれない場合（ステップＳ１５にてＮＯ）、表示部１３０は、撮影画像のみを表示する（ステップＳ１８）。撮影画像にＡＲ表示用画像を重畳して表示した後（ステップＳ１７終了後）、または、撮影画像を表示後（ステップＳ１８終了後）、ウェアラブル端末１は、自身が移動を検知したか否かを確認する。つまり、測定部１２０が移動量を測定したか否かを確認する（ステップＳ１９）。測定部１２０は、移動量を測定するまで待機する（ステップＳ１９にてＮＯ）。
【００５２】
一方、測定部１２０が移動量を測定した場合（ステップＳ１９にてＹＥＳ）、表示部１３０は移動方向が関連情報のスクロール方向か否かを確認する（ステップＳ２０）。スクロール方向ではない場合（ステップＳ２０にてＮＯ）、すなわち、図７および図８に示したような移動の場合、表示部１３０は移動量に基づいて、対象物の位置および表示領域を再計算する（ステップＳ２１）。そして、処理をステップＳ１５に戻し、再計算した表示領域が画角内に含まれる場合、表示部１３０は例えば図１０に示すように関連情報を対象物の隣に表示することができる。
【００５３】
移動方向がスクロール方向の場合（ステップＳ２０にてＹＥＳ）、すなわち、図１１に示したような移動の場合、表示部１３０は移動量に基づいて、対象物の表示内容を変更したＡＲ表示用画像を生成する（ステップＳ２２）。そして、処理をステップＳ１７に戻し、表示部１３０が生成したＡＲ表示用画像を表示する。
【００５４】
これにより、表示部１３０は、移動量に基づいて、関連情報の表示位置または表示内容を変更しながら、カメラ２０が取得した撮影画像にＡＲ表示用画像を重畳させて表示した表示画面を表示することができる。
【００５５】
以上のように、本実施の形態に係る作業支援装置１００は、認識部１１０がカメラ２０より取得された画像から、当該画像に含まれる対象物を認識する。そして、測定部１２０が、対象物が認識された時点におけるウェアラブル端末１の向き、および、ウェアラブル端末１の位置またはカメラ２０の焦点距離を基準として、ウェアラブル端末１の移動量を測定する。そして、表示部１３０が、測定された移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する。したがって、例えば、カメラを搭載したウェアラブル端末１を装着した作業者が、作業時において、作業対象の対象物と、対象物に関連する関連情報が表示された領域とを交互に見ながら作業を行った場合であっても、関連情報は対象物の隣に表示される。よって、作業者は、関連情報があたかも対象物の隣に表示されている場合と同様に、関連情報を視認することができる。これにより、作業支援装置１００は、作業者に煩わしさを与えることなく、関連情報を作業者に視認させることができ、高いリアル感を与えることができる。したがって、作業支援装置１００は、作業者の作業を効果的に支援することができる。
【００５６】
（変形例１）
次に、本実施の形態に係る作業支援装置１００の変形例１について説明する。上述した第２の実施の形態では、作業支援装置１００は、表示画面との距離が一定の状態における移動量を測定したが、測定部１２０は表示画面との距離の変化量も測定してもよい。このとき表示部１３０が表示する表示画面について説明する。
【００５７】
表示部１３０は、上述した通り、基準位置において表示部１３０が表示する表示画面を含む平面上において関連情報を表示した場合に、所定の大きさで視認される大きさに表示領域の大きさを決定するとする。そして、表示部１３０は決定した大きさで関連情報を表示する。そして、本変形例における表示部１３０は、対象物との距離が変化しても、表示画面上において、関連情報が所定の大きさで視認されるように、関連情報を表示する。これについて、図１７から図１９を参照して説明を行う。
【００５８】
まず、図１７は、対象物が認識された時点における表示画面の一例を示す。図１７に示す通り、関連情報は、対象物の隣に位置するように表示される。表示部１３０は、この関連情報を、例えば、実世界上において、対象物の隣に、２１０×２９７ミリのサイズの用紙が置かれているのと同じ大きさとなるように表示している。
【００５９】
この図１７の表示画面を表示した時点は、対象物が認識された時点であるため、該対象物の認識に用いた画像を撮影したウェアラブル端末１の位置と方向とが基準となる。この基準から、ウェアラブル端末１を装着した作業者が対象物から離れる方向に移動した場合、対象物との距離が遠くなる。そのため、図１８に示す通り、表示部１３０が表示する表示画面上において、対象物は、図１７に示す状態から小さくなる。この場合であっても、表示部１３０は、対象物の隣に関連情報を表示する。このとき、表示部１３０は、関連情報の大きさを図１７に表示した大きさから変更しない。つまり、本変形例において、表示部１３０は、表示画面上において所定の大きさ（２１０×２９７ミリ）で関連情報が視認されるように、関連情報を表示する。このときカメラのピントは、対象物に合っている場合が多い。したがって、表示部１３０は、表示画面に表示する関連情報にもピントが合うように関連情報を所定の大きさで表示する。
【００６０】
図１７の表示画面を表示した時点から対象物に近づいた場合も同様である。図１９は、基準から、ウェアラブル端末１を装着した作業者が対象物に近づく方向に移動した場合、対象物との距離が近くなる。そのため、図１９に示す通り、表示部１３０が表示する表示画面上において、対象物は、図１７に示す状態から大きくなる。この場合であっても、表示部１３０は、対象物の隣に関連情報を表示する。このとき、表示部１３０は、関連情報の大きさを図１７に表示した大きさから変更しない。この場合も、表示部１３０は、表示画面に表示する関連情報にもピントが合うように関連情報を所定の大きさで表示する。
【００６１】
上述した通り、ウェアラブル端末１の位置が変化し、カメラ２０と対象物との距離が変化する場合、この対象物との距離に応じてカメラ２０のピントも合せる場合、カメラ２０の焦点距離も変化する。つまり、本変形例における測定部１２０は、対象物が認識された時点におけるウェアラブル端末の向き、および、カメラ２０の焦点距離を基準とし、カメラ２０の焦点距離の基準からの変化量を、該カメラ２０を搭載したウェアラブル端末の移動量として測定すると言い換えることができる。このような場合であっても、作業支援装置１００は、焦点距離の変化に合わせて、ピントを合わせた所定の大きさの関連情報を対象物の隣に表示することができる。
【００６２】
つまり、実際にウェアラブル端末１を移動させなくとも、例えば、図示しない入力装置等から焦点距離を変更させる指示が入力された場合、作業支援装置１００は、該焦点距離の変更に従って変更させた焦点距離に基づいて、関連情報を表示することができる。
【００６３】
このような構成によれば、例えば、ウェアラブル端末１から遠くに位置する対象物を認識した場合であっても、作業支援装置１００は、対象物の隣に、作業者が視認可能な状態で関連情報を表示することができる。
【００６４】
（変形例２）
本実施の形態の変形例２について説明する。本変形例では、上述した変形例１と同様に、測定部１２０が表示画面との距離の変化量を測定する場合について説明する。ただし、本変形例では、上述した変形例１と異なり、表示部１３０が、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ２０の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定するとして説明する。これについて、図１７、図２０および図２１を参照して説明を行う。
【００６５】
まず、図１７は、上述と同様に対象物が認識された時点における表示画面である。表示部１３０は、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ２０の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定し、決定した大きさで関連情報を表示する。表示部１３０は、この関連情報を、例えば、実世界上において、対象物の隣に、２１０×２９７ミリのサイズの用紙が置かれているのと同じ大きさとなるように表示している。
【００６６】
そして、基準から、ウェアラブル端末１を装着した作業者が対象物から離れる方向に移動した場合、対象物との距離が遠くなる。そのため、図２０に示す通り、表示部１３０が表示する表示画面上において、対象物は、図１７に示す状態から小さくなる。ここで、表示部１３０が対象物を含む実世界上の平面上で所定の大きさで関連情報を表示するため、図２０に示す通り、関連情報は小さく表示される。
【００６７】
図１７の表示画面を表示した時点から対象物に近づいた場合も同様である。図２１は、基準から、ウェアラブル端末１を装着した作業者が対象物に近づく方向に移動した場合の表示画面の一例を示す図である。図２１に示す通り、表示部１３０が表示する表示画面上において、対象物とウェアラブル端末１との距離が近くなるため、対象物は、図１７に示す状態から大きくなる。表示部１３０が対象物を含む実世界上の平面上で所定の大きさで関連情報を表示するため、図２１に示す通り、関連情報も対象物と同様に大きく表示される。
【００６８】
このような構成によれば、作業支援装置１００は、実世界上において対象物の隣に、関連情報である例えば、操作マニュアル等を置いた場合と、同様の状態を再現することができる。
【００６９】
また、作業支援装置１００は、変形例１と変形例２とを組み合わせた構成であってもよい。例えば、表示部１３０は、対象物を認識した時点では関連情報が表示画面上において所定の大きさ（第１の大きさ）で視認されるようにし、焦点距離の変化に応じて、第１の大きさから変化させた第２の大きさで該関連情報が視認されるように、該関連情報を表示してもよい。
【００７０】
このような構成により、作業支援装置１００は、作業者の作業に応じてより適切なサイズで、関連情報を表示することができる。よって、作業支援装置１００は、作業者の作業をより効果的に支援することができる。
【００７１】
＜第３の実施の形態＞
次に、第３の実施の形態について図２２を参照して説明する。本実施の形態に係るウェアラブル端末２は、上述したウェアラブル端末１の作業支援装置１００に代えて、作業支援装置１０１を備え、更に、入力装置３０を備える。作業支援装置１０１は、上述した作業支援装置１００に受付部１５０を更に備える構成である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
【００７２】
図２２は、本実施の形態に係る作業支援装置１０１を含むウェアラブル端末２の構成の一例を示すブロック図である。図２２に示す通り、ウェアラブル端末２は、カメラ２０と、入力装置３０と、作業支援装置１０１とを含む。作業支援装置１０１は、認識部１１０と、測定部１２０と、表示部１３０と、記憶部１４０と、受付部１５０とを備える。また、作業支援装置１０１は、カメラ２０および入力装置３０に接続している。なお、入力装置３０は、ウェアラブル端末２とは別個の装置であってもよい。また、入力装置３０は、作業支援装置１０１に内蔵されていてもよい。
【００７３】
入力装置３０は、作業者が指示を入力するための装置である。受付部１５０は、入力装置３０を介して入力された内容を受け付ける。受付部１５０は受け付けた内容を表示部１３０に供給する。
【００７４】
受付部１５０が受け付ける内容は、例えば、表示内容を変更する指示である。表示内容を変更する指示とは、例えば、表示された関連情報を所定の方向にスクロールさせる指示である。受付部１５０は受け付けた指示を表示部１３０に供給する。そして、表示部１３０は、受付部１５０から受け取った指示に従って、表示内容を変更させて表示する。
【００７５】
表示部１３０が表示させる表示画面の一例を図２３に示す。ここでは、図１０に示す表示画面から、受付部１５０が下方向へのスクロール指示を受け取ったとする。このとき、表示部１３０は、関連情報の内容をスクロールさせて表示する。これにより、図２３に示す通り、関連情報を表示する領域には、スクロール後の関連情報が表示される。このように、表示部１３０は、スクロール指示に従った内容に表示内容を変更したＡＲ表示用画面を作成し、撮影画像に重畳して表示する。これにより、作業者は、簡単な操作で表示内容を変更した関連情報を確認することができる。よって、本実施の形態に係る作業支援装置１０１は、作業者の作業をより効果的に支援することができる。
【００７６】
（ハードウェア構成について）
本開示の各実施形態において、各作業支援装置の各構成要素は、機能単位のブロックを示している。各作業支援装置の各構成要素の一部又は全部は、例えば図２４に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２４は、各作業支援装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【００７７】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各作業支援装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各作業支援装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【００７８】
各作業支援装置の実現方法には、様々な変形例がある。例えば、各作業支援装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各作業支援装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【００７９】
また、各作業支援装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【００８０】
各作業支援装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【００８１】
各作業支援装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【００８２】
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備える作業支援装置。
（付記２）
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記１に記載の作業支援装置。
（付記３）
前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、付記１または２に記載の作業支援装置。
（付記４）
前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、付記１または２に記載の作業支援装置。
（付記５）
前記表示手段は、前記基準における表示画面を含む平面上において第１の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第１の大きさを変化させた第２の大きさで視認されるように、前記関連情報を表示する、付記１または２に記載の作業支援装置。
（付記６）
前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、付記１から５の何れか１つに記載の作業支援装置。
（付記７）
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記１から６の何れか１つに記載の作業支援装置。
（付記８）
画像を取得するカメラと、
前記画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備えるウェアラブル端末。
（付記９）
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記８に記載のウェアラブル端末。
（付記１０）
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
（付記１１）
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、付記１０に記載の作業支援方法。
（付記１２）
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
（付記１３）
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、付記１２に記載の記録媒体。
この出願は、２０１６年３月２９日に出願された日本出願特願２０１６−０６５６７１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８３】
１    ウェアラブル端末
２    ウェアラブル端末
１０    作業支援装置
１１    認識部
１２    測定部
１３    表示部
２０    カメラ
３０    入力装置
１００    作業支援装置
１０１    作業支援装置
１１０    認識部
１２０    測定部
１３０    表示部
１４０    記憶部
１５０    受付部
【図１】
2017169909.tif 000003
【図２】
2017169909.tif 000004
【図３】
2017169909.tif 000005
【図４】
2017169909.tif 000006
【図５】
2017169909.tif 000007
【図６】
2017169909.tif 000008
【図７】
2017169909.tif 000009
【図８】
2017169909.tif 000010
【図９】
2017169909.tif 000011
【図１０】
2017169909.tif 000012
【図１１】
2017169909.tif 000013
【図１２】
2017169909.tif 000014
【図１３】
2017169909.tif 000015
【図１４】
2017169909.tif 000016
【図１５】
2017169909.tif 000017
【図１６】
2017169909.tif 000018
【図１７】
2017169909.tif 000019
【図１８】
2017169909.tif 000020
【図１９】
2017169909.tif 000021
【図２０】
2017169909.tif 000022
【図２１】
2017169909.tif 000023
【図２２】
2017169909.tif 000024
【図２３】
2017169909.tif 000025
【図２４】
2017169909.tif 000026
【手続補正書】
【提出日】平成30年9月20日(2018.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備える作業支援装置。
【請求項２】
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項１に記載の作業支援装置。
【請求項３】
前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、請求項１または２に記載の作業支援装置。
【請求項４】
前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、請求項１または２に記載の作業支援装置。
【請求項５】
前記表示手段は、前記基準における表示画面を含む平面上において第１の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第１の大きさを変化させた第２の大きさで視認されるように、前記関連情報を表示する、請求項１または２に記載の作業支援装置。
【請求項６】
前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、請求項１から５の何れか１項に記載の作業支援装置。
【請求項７】
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項１から６の何れか１項に記載の作業支援装置。
【請求項８】
画像を取得するカメラと、
前記画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備えるウェアラブル端末。
【請求項９】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
【請求項１０】
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
をコンピュータに実行させるコンピュータプログラム。
【国際調査報告】
2017169909.tif 000027
2017169909.tif 000028
2017169909.tif 000029