(57)【要約】【課題】指示された目視目標位置へ頭部を向ける動作を行う作業者が無理な体勢となることを抑制する。【解決手段】取得／通信部２４は作業者の頭部の姿勢を表す情報を作業者側装置１２Ａから取得する。指示生成部３６は、指示された目視目標位置(作業対象位置)と作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、以下の指示情報を生成する。すなわち、指示情報は、作業者が現在の目視位置から目視目標位置へ頭部を向ける動作を、当該動作での作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する情報である。指示情報は作業者が視認する情報出力部２０(ＨＭＤ)に表示する前方画像に重畳される。【選択図】図１
2018056845.tif 000002
【特許請求の範囲】
【請求項１】
作業者の頭部の姿勢を表す情報を取得する取得部と、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する生成部と、
を含む作業支援装置。
【請求項２】
前記生成部は、前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域内か否かを判定し、前記目視目標位置の仰角が頭部の可動域内と判定した場合に、前記動作における前記作業者の頭部の方位角の変化に対する仰角の変化の傾きが一定になる移動経路で前記動作を指示する前記指示情報を生成する請求項１記載の作業支援装置。
【請求項３】
前記生成部は、前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域内か否かを判定し、前記目視目標位置の仰角が頭部の可動域外と判定した場合に、前記目視目標位置の仰角が頭部の可動域内に入るように前記作業者を移動させる移動動作を指示する前記指示情報を生成する請求項１記載の作業支援装置。
【請求項４】
前記生成部は、前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域外と判定した場合に、前記作業者の頭部の現在の方位角が、前記目視目標位置と方位角が１８０°異なる方向を含む所定範囲内か否かを判定し、前記作業者の頭部の現在の方位角が前記所定範囲外と判定した場合に、前記移動動作を指示する前記指示情報に先立ち、前記作業者を前記所定範囲内へ向ける回転動作を指示する前記指示情報を生成する請求項３記載の作業支援装置。
【請求項５】
作業者の周囲を撮影する撮影部、前記作業者の頭部の姿勢を検出する検出部、第１通信部及び前記作業者へ情報を出力する情報出力部を含み、前記作業者に装着される作業者側装置と、
前記作業者側装置と通信する第２通信部、画像を表示する表示部及び前記表示部に表示された画像に基づいて指示者が目視目標位置を入力するための入力部を含む指示者側装置と、
を含み、
前記作業者側装置又は前記指示者側装置に、
作業者の頭部の姿勢を表す情報を取得する取得部と、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する生成部と、
が設けられ、前記生成部が生成した指示情報が前記情報出力部によって作業者へ出力される作業支援システム。
【請求項６】
作業者の頭部の姿勢を表す情報を取得し、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する
処理をコンピュータが実行する作業支援方法。
【請求項７】
作業者の頭部の姿勢を表す情報を取得し、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する
処理をコンピュータに実行させるための作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は作業支援装置、作業支援システム、作業支援方法及び作業支援プログラムに関する。
【背景技術】
【０００２】
従来より、作業者が、遠隔地に位置している指示者の指示に従って作業を行うことを支援するシステムが提案されている。第１の技術は、水平方向に対する作業者の頭部の下向きの角度を検出し、検出した角度が所定の角度以上の場合に、撮影部によって撮影される画像を下方向に調整している。これにより、作業者が下を向いた場合にも、作業者の視線方向の画像が得られる。
【０００３】
また、第２の技術は、作業者による作業の部位を指示するための情報に基づいて、作業の部位を指示する指標を、表示ユニットの画面を通して観察できる作業対象物の光学像における対象部位に重ねて、表示ユニットに表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１１／０５８７０７号パンフレット
【特許文献２】特開２００８−１２４７９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
作業者が外部からの指示に従って作業を行う際には、指示された目視目標位置が作業者の現在の目視位置と方向が大きく相違している場合も生じ得る。このような場合、作業者は、指示された目視目標位置を目視できるように、目視目標位置へ頭部を向ける動作を行うことになる。
【０００６】
しかし、作業者の現在の目視位置から目視目標位置へ至る、例えば最短の移動経路で目視位置を移動させる動作を行った場合、当該動作の途中で、作業者が無理な体勢(例えば体軸の傾きが所定値以上の体勢)になってしまい、バランスを崩してしまう虞がある。これに対し、前述した第１の技術及び第２の技術は、上記の課題について何ら考慮されていない。
【０００７】
一つの側面では、本発明は、指示された目視目標位置へ頭部を向ける動作を行う作業者が無理な体勢とならない作業指示を出力することが目的である。
【課題を解決するための手段】
【０００８】
一つの実施態様では、取得部は、作業者の頭部の姿勢を表す情報を取得する。そして、生成部は、指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、以下の指示情報を生成する。すなわち、指示情報は、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する情報である。
【発明の効果】
【０００９】
一つの側面として、指示された目視目標位置へ頭部を向ける動作を行う作業者が無理な体勢とならない作業指示を出力できる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態に係る作業支援システムの一例の機能ブロック図である。
【図２】作業者側装置として機能する作業者側ヘッドマウントユニットの一例の概略ブロック図である。
【図３】指示者側装置として機能するコンピュータの一例の概略ブロック図である。
【図４】作業者側ヘッドマウントユニットの外観及び加速度センサの座標系の一例のイメージ図である。
【図５】撮影画像の一例のイメージ図である。
【図６】全方位画像(周辺画像)の一例のイメージ図である。
【図７】前方画像の一例のイメージ図である。
【図８】第１実施形態における作業者側処理の一例のフローチャートである。
【図９】第１実施形態における指示者側処理の一例のフローチャートである。
【図１０】第１実施形態における操作検出処理の一例のフローチャートである。
【図１１】作業者の仰角方向の可動域の一例を示すイメージ図である。
【図１２】作業者と作業対象位置との位置関係の一例を示すイメージ図である。
【図１３】図１０に示す位置関係の場合に前方画像に重畳される移動指示の一例のイメージ図である。
【図１４】作業者と作業対象位置との位置関係の一例を示すイメージ図である。
【図１５】作業者と作業対象位置との位置関係の一例を示すイメージ図である。
【図１６】作業者と作業対象位置との位置関係の一例を示すイメージ図である。
【図１７】図１２に示す位置関係の場合に前方画像に重畳される移動指示の一例のイメージ図である。
【図１８】図１３に示す位置関係の場合に前方画像に重畳される移動指示の一例のイメージ図である。
【図１９】図１４に示す位置関係の場合に前方画像に重畳される移動指示の一例のイメージ図である。
【図２０】前方画像に重畳される移動完了表示の一例のイメージ図である。
【図２１】前方画像に重畳される作業指示の一例のイメージ図である。
【図２２】第２実施形態における指示者側処理の一例のフローチャートである。
【図２３】第３実施形態に係る作業支援システムの一例の機能ブロック図である。
【図２４】第３実施形態において作業者側装置として機能する作業者側ヘッドマウントユニットの一例の概略ブロック図である。
【図２５】第３実施形態において指示者側装置として機能するコンピュータの一例の概略ブロック図である。
【図２６】第３実施形態における指示者側処理の一例のフローチャートである。
【図２７】第３実施形態における作業者側処理の一例のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１２】
〔第１実施形態〕
図１に示す作業支援システム１０Ａは、遠隔地に位置している指示者の指示に従って作業者が作業を行うことを支援するシステムであり、作業中の作業者に装着される作業者側装置１２Ａと、指示者によって操作される指示者側装置２２Ａと、を含んでいる。
【００１３】
作業者側装置１２Ａは、作業者の周囲を撮影する撮影部１４、作業者の頭部の姿勢を検出する検出部１６、指示者側装置２２Ａと無線通信を行う通信部１８及び作業者へ情報を出力する情報出力部２０を含んでいる。検出部１６、撮影部１４及び情報出力部２０は通信部１８と各々接続されている。
【００１４】
また、指示者側装置２２Ａは、作業者側装置１２Ａと無線通信を行う取得／通信部２４、画像を表示する表示部２６及び表示部２６に表示された画像に基づいて指示者が目視目標位置を入力するための入力部２８を含んでいる。なお、以下では目視目標位置を「作業対象位置」と称する。第１実施形態において、指示者側装置２２Ａは、画像生成部３０、操作検出部３及び指示生成部３６を更に含んでいる。取得／通信部２４は画像生成部３０及び指示生成部３６に接続されており、画像生成部３０は表示部２６に接続されており、指示生成部３６は操作検出部３２を介して入力部２８に接続されている。
【００１５】
取得／通信部２４は、作業者側装置１２Ａの通信部１８と無線通信を行うことで、撮影部１４によって撮影された作業者の周囲の撮影画像データと、検出部１６によって検出された作業者の頭部の姿勢を表す情報と、を作業者側装置１２Ａから取得する。なお、取得／通信部２４は、本発明における取得部の一例である。
【００１６】
画像生成部３０は、取得／通信部２４によって取得された撮影画像データに基づいて、周辺画像(全方位画像)及び前方画像を各々生成する。周辺画像(全方位画像)は、作業者の周囲の全方位に亘る状況を１フレームで表す画像であり、指示者側装置２２Ａの表示部２６に表示され、指示者が、作業者の周囲の作業現場全体を視認・把握し、作業対象位置等を指定するために用いられる。また、前方画像は、周辺画像から作業者の視点方向を中心とする所定範囲の画像を切り出して透視投影変換した画像であり、後述のように、指示生成部３６によって指示情報が重畳される。指示情報が重畳された前方画像は、取得／通信部２４によって作業者側装置１２Ａへデータが送信され情報出力部２０によって出力され、作業者が、前方画像に重畳された指示情報を視認・把握するために用いられる。
【００１７】
前述のように、表示部２６は画像生成部３０によって生成された周辺画像を表示する。操作検出部３２は、指示者が入力部２８を介して何らかの操作を入力すると、入力された操作を検出して指示生成部３６へ通知する。
【００１８】
指示生成部３６は、操作検出部３２から通知された指示者の操作に基づいて作業対象位置を検知し、作業対象位置と、取得／通信部２４によって取得された情報が表す作業者の頭部の姿勢に対応する目視位置と、を比較する。また指示生成部３６は、作業対象位置と作業者の目視位置とが相違している場合に、作業者が現在の目視位置から作業対象位置へ頭部を向ける動作において、当該動作での作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路を判定する。そして指示生成部３６は、判定した移動経路で前記動作を指示する指示情報を生成し、生成した指示情報を画像生成部３０によって生成された前方画像に重畳する。
【００１９】
作業者側装置１２Ａは、一例として、図２に示す作業者側ヘッドマウントユニット(ＨＭＵ)４０Ａによって実現される。作業者側ＨＭＵ４０Ａは、ＣＰＵ４２、メモリ４４、記憶部４６、撮影部１４の一例である複数台のヘッドマウントカメラ(ＨＭＣ)４８、検出部１６の一例である３軸の加速度センサ５０を含んでいる。また、作業者側ＨＭＵ４０Ａは、情報出力部２０の一例であるヘッドマウントディスプレイ(ＨＭＤ)５２及び通信部１８の一例である無線通信部５４を含んでいる。ＣＰＵ４２、メモリ４４、記憶部４６、ＨＭＣ４８、加速度センサ５０、ＨＭＤ５２及び無線通信部５４はバス５６を介して互いに接続されている。
【００２０】
遠隔地から作業者へ指示する指示者は、撮影部１４によって撮影された画像により、作業者の周囲の状況を全方位に亘って把握できることが望ましい。このため、撮影部１４の一例である複数台のＨＭＣ４８は、互いに画角が等しいカメラであり、作業者の周囲を全方位に亘って隙間なく撮影できるように、それぞれの撮影方向が調整された状態で作業者の頭部に装着される。また、個々のＨＭＣ４８として、広角レンズや魚眼レンズ等の画角が広い撮影レンズのカメラ(例えば、水平方向及び垂直方向の画角が共に180°以上)を用いれば、ＨＭＣ４８の台数を削減できることで、作業者側ＨＭＵ４０Ａを装着する作業者の負担を軽減できる。
【００２１】
一例として、水平方向及び垂直方向の画角が200°の魚眼レンズを介して撮影するＨＭＣ４８を用いれば、図４に示すように、作業者６０の頭部の前方と後方に各々１台、合計２台のＨＭＣ４８によって作業者６０の周囲を全方位に亘って撮影できる。図４に示す例では、２台のＨＭＣ４８が、作業中に作業者６０が被るヘルメット６２の前後に取り付けられている。この例において、２台のＨＭＣ４８によって撮影される撮影画像の一例を図５に示す。図５に示す撮影画像のデータは、水平方向及び垂直方向の解像度が共に2880画素、R,G,Bの３チャンネルのカラー画像で、JPEG形式で圧縮され、射影方式が立体射影方式のデータであるが、これに限定されるものではないことは言うまでもない。
【００２２】
また、一例として図４に示すように、加速度センサ５０は、ＨＭＣ４８と同様にヘルメット６２に取り付けられている等により、作業者６０がヘルメット６２を被った状態で作業者６０の頭部に装着される。加速度センサ５０は、図４に示すセンサ座標系の３軸(ｘs軸、ｙs軸及びｚs軸)の軸方向の加速度を検出し、ＣＰＵ４２は、加速度センサ５０によって検出された３軸の加速度から作業者６０の頭部の仰角及び方位角を算出する。
【００２３】
例えば、作業者６０の頭部の仰角は、以下のようにして算出できる。すなわち、加速度センサ５０によって検出されるｙs軸方向の加速度は、作業者６０の頭部が正立している状態では重力がｙs軸と逆方向に加わり最小値を示し、作業者６０の頭部が倒立している(180°反転した)状態では重力がｙs軸方向に加わり最大値を示す。このため、ｙs軸方向の加速度の最大値と最小値の差分からｙs軸方向の加速度の変化に対する仰角の変化の傾きを予め求めておき、ＣＰＵ４２は、この仰角の変化の傾きを用いることで、ｙs軸方向の加速度の検出値に対する仰角を算出することができる。また、作業者６０の頭部の方位角についても、センサ座標系の２軸(ｘs軸及びｚs軸)の軸方向の加速度を、上記で算出した仰角に基づいて水平な２方向の加速度へ補正し、補正後の水平な２方向の加速度の比率から算出することができる。
【００２４】
ＨＭＤ５２は、一例として図４に示すように、作業者６０がヘルメット６２を被った状態で作業者６０の眼部の前方に位置するように、ヘルメット６２に取り付けられている。作業者側装置１２Ａ(作業者側ＨＭＵ４０Ａ)は、指示情報が重畳された前方画像のデータを指示者側装置２２Ａから受信し、受信したデータが表す指示情報が重畳された前方画像をＨＭＤ５２に表示させる。一般に、ＨＭＤの表示方式としてはビデオシースルー型と光学シースルー型があるが、指示情報を表示画面内の該当位置に精度良く重畳表示可能なビデオシースルー型が好ましい。図４では単眼用のＨＭＤ５２を示しているが、ＨＭＤ５２は両眼用であってもよい。
【００２５】
記憶部４６はＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)、フラッシュメモリ等によって実現される。記憶部４６には、作業者側ＨＭＵ４０Ａを作業者側装置１２Ａとして機能させるための作業者側プログラム５８が記憶されている。ＣＰＵ４２は、記憶部４６から作業者側プログラム５８を読み出してメモリ４４に展開し、メモリ４４に展開した作業者側プログラム５８を順に実行することで、後述する作業者側処理を行う。これにより、作業者側プログラム５８を実行した作業者側ＨＭＵ４０Ａが、作業者側装置１２Ａとして機能することになる。
【００２６】
一方、指示者側装置２２Ａは、一例として、図３に示すコンピュータ６４Ａによって実現される。コンピュータ６４Ａは、ＣＰＵ６６、メモリ６８、作業支援プログラム７６を記憶した記憶部７０、モニタを含む表示部２６、キーボードやマウスを含む入力部２８及び取得／通信部２４の一例である無線通信部７２を含んでいる。ＣＰＵ６６、メモリ６８、記憶部７０、表示部２６、入力部２８及び無線通信部７２はバス７４を介して互いに接続されている。
【００２７】
記憶部７０はＨＤＤ、ＳＳＤ、フラッシュメモリ等によって実現される。記憶部７０には、コンピュータ６４Ａを指示者側装置２２Ａとして機能させるための作業支援プログラム７６が記憶されている。ＣＰＵ６６は、作業支援プログラム７６を記憶部７０から読み出してメモリ６８に展開し、作業支援プログラム７６が有するプロセスを順次実行する。
【００２８】
作業支援プログラム７６は、取得／通信プロセス７８、画像生成プロセス８０及び指示生成プロセス８２を含む。ＣＰＵ６６は、取得／通信プロセス７８を実行することで、図１に示す取得／通信部２４として動作する。またＣＰＵ６６は、画像生成プロセス８０を実行することで、図１に示す画像生成部３０として動作する。またＣＰＵ６６は、指示生成プロセス８２を実行することで、図１に示す指示生成部３６として動作する。これにより、作業支援プログラム７６を実行したコンピュータ６４Ａが、指示者側装置２２Ａとして機能することになる。なお、第１実施形態において、作業支援プログラム７６は本発明に係る作業支援プログラムの一例である。
【００２９】
なお、作業者側装置１２Ａの２台のＨＭＣ４８によって図５に示すような撮影画像が撮影された場合に、指示者側装置２２Ａの画像生成部３０によって生成される周辺画像(全方位画像)の一例を図６に、前方画像の一例を図７に示す。なお、図６に示す周辺画像のデータは、一例として、水平方向の解像度が4960画素、垂直方向の解像度が2880画素、R,G,Bの３チャンネルのカラー画像で、JPEG形式で圧縮され、正距円筒図法の画像のデータであるが、これに限定されるものではない。また、図７に示す前方画像のデータは、一例として、水平方向の解像度が1280画素、垂直方向の解像度が960画素、R,G,Bの３チャンネルのカラー画像で、JPEG形式で圧縮され、透視投影図法の画像のデータであるが、これに限定されるものではない。
【００３０】
次に第１実施形態の作用として、まず図８を参照し、作業者が作業者側装置１２Ａの電源を投入する等の操作を行ったことを契機として作業者側装置１２Ａで実行される作業者側処理を説明する。作業者側処理のステップ１００において、作業者側装置１２Ａは、加速度センサ５０によって検出された３軸の加速度から作業者の頭部の姿勢(目視位置の仰角及び方位角)を算出する。そして、算出した作業者の頭部の仰角及び方位角を表す情報を、ＨＭＣ４８で撮影された撮影画像データと共に、通信部１８によって指示者側装置２２Ａへ送信する。
【００３１】
ステップ１０２において、作業者側装置１２Ａは、指示情報が重畳された前方画像のデータを、通信部１８によって指示者側装置２２Ａから受信する。また、ステップ１０４において、作業者側装置１２Ａは、ステップ１０２で指示者側装置２２Ａから受信したデータが表す、指示情報が重畳された前方画像をＨＭＤ５２に表示させる。これにより、作業者は、ＨＭＤ５２に表示された前方画像に重畳されている指示情報を視認し、指示情報が表す指示を認識し、認識した指示に従って作業対象位置へ視点を移動させる動作などを行う。
【００３２】
次のステップ１０６において、作業者側装置１２Ａは、指示者側装置２２Ａから受信したデータが表す前方画像に、視点の移動が完了したことを意味する「移動完了表示」が重畳されているか否か判定する。ステップ１０６の判定が否定された場合はステップ１００に戻り、ステップ１０６の判定が肯定される迄ステップ１００〜ステップ１０６を繰り返す。従って、この間、作業者の頭部の姿勢を表す情報及び撮影画像データの送信、指示情報が重畳された前方画像のデータの受信及びＨＭＤ５２への表示が繰り返され、作業者は、指示に従って作業対象位置へ視点を移動させる動作などを行う。
【００３３】
作業者が作業対象位置へ視点を移動させる動作を完了したことが指示者側装置２２Ａによって検知されると、「移動完了表示」が重畳された前方画像のデータを指示者側装置２２Ａから受信することでステップ１０６の判定が肯定され、作業者側処理を終了する。作業者側処理を終了した後は、指示者側装置２２Ａから受信する前方画像に重畳される指示情報が、例えば、作業者が視点を移動させた作業対象に対して実施すべき作業(一例としては操作方法や手順等)を指示する指示情報に切り替わる。これにより、作業者は、視点を移動させた作業対象に対し、指示情報にて指示された作業を実施することになる。
【００３４】
次に図９を参照し、指示者が指示者側装置２２Ａに対して指示者側処理の実行を指示する等の操作を行ったことを契機として、指示者側装置２２Ａで実行される指示者側処理を説明する。指示者側処理のステップ１１０において、取得／通信部２４は、作業者側装置１２Ａから作業者の頭部の仰角及び方位角を表す情報及び撮影画像データを受信することで取得し、取得した情報をメモリ６８等に保存する。また、画像生成部３０は、取得／通信部２４によって取得された撮影画像データ(図５参照)から、周辺画像のデータ(図６参照)及び前方画像のデータ(図７参照)を各々生成し、生成した周辺画像及び前方画像のデータをメモリ６８等に保存する。
【００３５】
本実施形態では、画像生成部３０によって周辺画像のデータ及び前方画像のデータが一旦生成されると、図９に示す指示者側処理の実行と並列に、図１０に示す操作検出処理も指示者側装置２２Ａで実行される。以下、指示者側処理の次のステップ１１２以降の説明に先立ち、図１０に示す操作検出処理を説明する。
【００３６】
操作検出処理のステップ１５０において、操作検出部３２は、画像生成部３０によって生成された周辺画像を表示部２６に表示させる。これにより、指示者は、表示部２６に表示された周辺画像を視認することで作業現場全体の状況を把握し、作業者による作業の対象とする位置を特定し、特定した作業対象位置を入力部２８を介して周辺画像上で指定する作業対象位置指定操作を行うことができる。
【００３７】
次のステップ１５２において、操作検出部３２は、指示者による取消操作の実施を検知したか否か判定する。ステップ１５２の判定が否定された場合はステップ１５４へ移行する。ステップ１５４において、操作検出部３２は、指示者により前述の作業対象位置指定操作が以前に行われた際にメモリ６８等に保存した作業対象位置情報が残存しているか否か判定する。
【００３８】
ステップ１５４の判定が否定される場合としては、指示者による作業対象位置指定操作が未実施の場合や、作業者が、指示者が指定した最新の作業対象位置へ視点を移動する動作を既に完了している場合が挙げられる。ステップ１５４の判定が否定された場合はステップ１５６へ移行し、ステップ１５６において、操作検出部３２は、指示者による作業対象位置指定操作の実施を検知したか否か判定する。ステップ１５６の判定も否定された場合はステップ１５０に戻り、ステップ１５２,１５４,１５６の何れかの判定が肯定される迄、ステップ１５０〜ステップ１５６を繰り返す。
【００３９】
ここで、指示者によって作業対象位置指定操作が実施されると、ステップ１５６の判定が肯定されてステップ１５８へ移行し、ステップ１５８において、操作検出部３２は、作業対象位置指定操作が実施されたことを意味する指定操作通知を生成する。次のステップ１６０において、操作検出部３２は、指示者によって実施された作業対象位置指定操作を作業対象位置情報としてメモリ６８等に保存する。なお、作業対象位置情報には、指示者が周辺画像上で作業対象位置を指定したタイミングで表示部２６に表示していた周辺画像(以下「指定操作画像」という)のデータと、指定操作画像上での作業対象位置の２次元座標値と、が含まれる。
【００４０】
次のステップ１６２において、操作検出部３２は、指示者側処理(図９)で失敗通知又は完了通知が生成されたか否か判定する。なお、詳細は後述するが、失敗通知は、指定操作画像と最新の周辺画像とのマッチングに失敗した場合に生成され、完了通知は、作業者が作業対象位置へ視点を移動させる動作を完了したことを検知した場合に生成される。ステップ１６２の判定が否定された場合はステップ１５０に戻り、ステップ１５２,１６２の何れかの判定が肯定される迄ステップ１５０,１５２,１５４,１６２を繰り返す。
【００４１】
指示者により、作業者に与えた最新の指示を取り消す取消操作が実施された場合には、ステップ１５２の判定が肯定されてステップ１６４へ移行する。ステップ１６４において、操作検出部３２は、取消操作が実施されたことを意味する取消通知を生成し、ステップ１６６へ移行する。また、指示者側処理で失敗通知又は完了通知が生成された場合も、ステップ１６２の判定が肯定されてステップ１６６へ移行する。
【００４２】
上記のように、ステップ１６６へ移行するのは、完了通知、失敗通知及び取消通知の何れかが生成された場合である。ステップ１６６において、操作検出部３２は、生成された通知の内容を表示部２６に表示することで指示者に提示すると共に、作業対象位置情報をメモリ６８等から消去する終了処理を行い、操作検出処理を終了する。
【００４３】
続いて、指示者側処理(図９)のステップ１１２以降の処理を説明する。ステップ１１２において、指示生成部３６は、操作検出処理(図１０)で取消通知が生成されたか否か判定する。ステップ１１２の判定が肯定された場合はステップ１４８へ移行し、ステップ１４８において、指示生成部３６は、以下の終了処理を行う。
【００４４】
すなわち、指示生成部３６は、前方画像に「移動完了表示」を重畳して作業者側装置１２Ａへ送信し、撮影画像、周辺画像、前方画像の各画像のデータをメモリ６８等から消去する。また、指示生成部３６は、作業対象位置情報がメモリ６８等に保存されている場合は併せて消去する。そして、終了処理を完了すると指示者側処理を終了する。
【００４５】
一方、ステップ１１２の判定が否定された場合はステップ１１４へ移行し、ステップ１１４において、指示生成部３６は、操作検出処理で指定操作通知が生成されたか否か判定する。ステップ１１４の判定が否定された場合はステップ１４０へ移行し、ステップ１１０で生成した前方画像のデータを作業者側装置１２Ａへ送信し、ステップ１１０へ戻る。このとき作業者側装置１２Ａへ送信されるデータは、指示情報を重畳していない前方画像のデータである。そして、指示者によって作業対象位置指定操作が実施されていない間は、ステップ１１０,１１２,１１４,１４０が繰り返されることで、作業者側装置１２Ａでは前方画像のみがＨＭＤ５２に表示され、指示情報はＨＭＤ５２に表示されない。
【００４６】
また、指示者によって作業対象位置指定操作が実施されると、指定操作通知が生成されることでステップ１１４の判定が肯定され、ステップ１１６へ移行する。ステップ１１６において、指示生成部３６は、作業対象位置情報としてメモリ６８等に保存されている指定操作画像及び最新の周辺画像から特徴点を各々抽出し、両画像の特徴点の一致度が最大になる相対位置を探索して一致度を評価するマッチングを試行する。次のステップ１１８において、指示生成部３６は、指定操作画像と最新の周辺画像との特徴点の一致度の最大となる相対位置における一致度が閾値以上か否かに基づいて、指定操作画像と最新の周辺画像とのマッチングが成功したか否か判定する。
【００４７】
例えば、指示者が作業対象位置指定操作を実施した時点と比較して、作業現場の明るさが急に所定値以上変化した等の場合には、指定操作画像と最新の周辺画像との特徴点の一致度が閾値未満になる。この場合、指示者によって指定された作業対象位置を最新の周辺画像上で特定することができないので、ステップ１１８の判定が否定されてステップ１４６へ移行する。ステップ１４６において、指示生成部３６は、失敗通知を生成してステップ１４８へ移行し、ステップ１４８で前述の終了処理を行う。これにより、マッチングに失敗したことが指示者に通知される。
【００４８】
また、指定操作画像と最新の周辺画像とのマッチングが成功した場合は、ステップ１１８の判定が肯定されてステップ１２０へ移行する。ステップ１２０において、指示生成部３６は、先のステップ１１６のマッチングで指定操作画像と最新の周辺画像との特徴点の一致度が最大になった相対位置に基づき、最新の周辺画像上での作業対象位置を特定し、その２次元座標値を取得する。
【００４９】
次のステップ１２２において、指示生成部３６は、鉛直方向をＹ軸、Ｙ軸と直交する水平面に作業者の視点方向を投影した軸をＺ軸、Ｙ軸及びＺ軸に直交する軸をＸ軸とし、ＨＭＣ４８の配置から予め決定した点を原点とする直交座標系を設定する。そして、指示生成部３６は、例として図１２にも示すように、設定した直交座標系の原点を中心とする仮想球面８４を設定する。
【００５０】
次のステップ１２６において、指示生成部３６は、まず、直交座標系のＺ軸と仮想球面８４との交点を基準とする作業者の視点方向の仰角θ2を算出し、作業対象位置と作業者の視点方向との仰角差Δθ(＝θ1−θ2)を算出する。なお、θ1は作業対象位置の仰角である。また、作業者の視点方向の方位角φ2はＺ軸に一致するので、作業対象位置と作業者の視点方向との方位角差Δφ＝φ1である。そして、指示生成部３６は、作業対象位置と作業者の視点方向との仰角差Δθ及び方位角差Δφが各々所定角度以下か否かに基づいて、作業者が作業対象位置へ視点を移動させる動作が完了したか否か判定する。なお、ステップ１２６における所定角度としては、例えば５°程度の角度を用いることができる。
【００５１】
ステップ１２６の判定が否定された場合はステップ１２８へ移行し、ステップ１２８において、指示生成部３６は、作業対象位置の仰角の絶対値|θ1|が予め設定した仰角の閾値θth未満か否か判定する。
【００５２】
例として図１１に示すように、人間は、頭部を動かして水平方向に対する視点方向の仰角θを増加させていくと、仰角θが或る程度大きくなると体軸が鉛直方向に対して傾いてきて、バランスを崩し易くなる。本明細書では、体軸の傾きが生じないか、バランスを崩さない程度の僅かな傾きで済む仰角θの範囲を「頭部の可動域」と称し、頭部の可動域の外縁を閾値θthで規定している。閾値θthは、例えば水平方向を基準として±60°とすることができるが、±60°以外の値を用いてもよいし、水平方向に対して上側と下側とで閾値θthを変えてもよいし、可動域には個人差があるので作業者毎に閾値θthを調整してもよい。
【００５３】
作業対象位置の仰角の絶対値|θ1|が仰角の閾値θth未満の場合、作業者の現在の位置(水平面内の位置)から作業対象位置に視点を向けた場合に、作業者の頭部の最終的な姿勢は頭部の可動域内に収まると判断できる。しかしながら、例えば、作業者の現在の視点方向と作業対象位置との距離が仮想球面上で最短となる移動経路に沿って作業者の視点を移動させた場合、視点移動の途中における作業者の頭部の姿勢が一時的に頭部の可動域から外れる可能性も否定できない。
【００５４】
このため、ステップ１２８の判定が肯定された場合はステップ１３０へ移行し、ステップ１３０において、指示生成部３６は、方位角の変化に対する仰角の変化が一定になる移動経路での視点の移動を指示する指示情報を生成する。上記処理における移動経路の一例を図１２に移動経路８５として示し、指示情報の一例を前方画像に重畳された移動方向指示マーク８６として図１３に示す。移動方向指示マーク８６の水平方向に対する傾きρは、例えば作業者の視点方向が水平でＺ軸と重なる場合、前方画像において、tan(ρ)=tan(Δθ)／sin(Δφ)として表すことができる。
【００５５】
方位角の変化に対する仰角の変化が一定になる移動経路での視点の移動を指示する指示情報を生成することで、図１２に示す移動経路８５からも明らかなように、視点移動の途中における作業者の頭部の姿勢が一時的に頭部の可動域から外れることが防止される。また、方位角の変化に対する仰角の変化を一定にすることで、作業者が行う視点を移動させる動作が容易(仰角の変化速度が一定かつ最小)になり、当該動作を行う作業者の負担を抑制することができる。
【００５６】
ステップ１３０の処理を行うとステップ１３８へ移行し、ステップ１３８において、指示生成部３６は、生成した指示情報を前方画像に重畳する。これにより、図１３に示すように、移動方向指示マーク８６が重畳された前方画像が生成される。そして、次のステップ１４０において、移動方向指示マーク８６が重畳された前方画像が作業者側装置１２Ａへ送信されることで、移動方向指示マーク８６が重畳された前方画像が作業者側装置１２ＡのＨＭＤ５２に表示される。
【００５７】
従って、作業者は、前方画像に重畳された指示情報(移動方向指示マーク８６)に従い、方位角の変化に対する仰角の変化が一定になる移動経路(図１２に示す移動経路８５)で作業対象位置へ視点を移動させる動作を行う。そして、作業者が作業対象位置へ視点を移動させる動作が完了すると、ステップ１２６の判定が肯定されることになる。
【００５８】
また、作業対象位置の仰角の絶対値|θ1|が仰角の閾値θth以上の場合、作業者の現在の位置(水平面内の位置)から作業対象位置に視点を向けたとすると、作業者の頭部の最終的な姿勢が頭部の可動域から外れることになる。このため、まずは、作業対象位置に視点を向けた場合に作業者の頭部の最終的な姿勢が頭部の可動域内に収まる位置へ作業者を移動させる必要がある。すなわち、ステップ１２８の判定が否定された場合はステップ１３２へ移行し、ステップ１３２において、指示生成部３６は、作業対象位置と作業者の視点方向との方位角差Δφが180°±α以内か否か判定する。なお、所定角度αとしては、例えば５°程度の値を用いることができるが、これに限定されるものではない。
【００５９】
上記判定が否定された場合は、図１４に示すように、作業対象位置と作業者の視点方向との方位角差Δφが180°±α以内ではない状態であり、上記判定が肯定された場合は、図１５に示すように方位角差Δφが180°±α以内の状態である。図１４に示すように方位角差Δφ≠180°±α以内ではない状態では、作業者をそのまま前進させたとしても、作業対象位置に視点を向けた場合に作業者の頭部の最終的な姿勢が頭部の可動域内に収まる位置へ作業者が移動することは保証されない。
【００６０】
このため、ステップ１３２の判定が否定された場合はステップ１３４へ移行し、ステップ１３４において、指示生成部３６は、方位角差Δφが180°±α以内となる方向への移動(方位角φのみを変化させるその場での回転)を指示する指示情報を生成する。上記処理で指示される視点の移動経路の一例を図１４に移動経路８７として示し、指示情報の一例を前方画像に重畳された移動方向指示マーク８８として示す。
【００６１】
ステップ１３４の処理を行うとステップ１３８へ移行し、ステップ１３８において、指示生成部３６は、生成した指示情報を前方画像に重畳する。これにより、図１７に示すように、移動方向指示マーク８８が重畳された前方画像が生成される。そして、次のステップ１４０において、移動方向指示マーク８８が重畳された前方画像が作業者側装置１２Ａへ送信されることで、移動方向指示マーク８８が重畳された前方画像が作業者側装置１２ＡのＨＭＤ５２に表示される。
【００６２】
従って、作業者は、前方画像に重畳された指示情報(移動方向指示マーク８８)に従い、方位角差Δφが180°±α以内となる方向へ体の向きを変える動作を行い、この動作の間、作業者の視点は図１４に示す移動経路８７に沿って変化する。そして、方位角差Δφが180°±α以内となる方向へ体の向きを変える動作が完了すると、ステップ１３２の判定が肯定されることになる。
【００６３】
図１５に示すように方位角差Δφが180°±α以内の状態では、作業者をそのまま前進させることで、作業対象位置から遠ざかる方向へ作業者が移動する。従って、作業対象位置に視点を向けた場合に作業者の頭部の最終的な姿勢が頭部の可動域内に収まる位置へ作業者を移動させることができる。このため、ステップ１３２の判定が肯定された場合はステップ１３６へ移行し、ステップ１３６において、指示生成部３６は、作業者に対して前方への移動を指示する指示情報を生成する。上記処理で指示される視点の移動経路の一例を図１５に移動経路８９として示し、指示情報の一例を前方画像に重畳された移動方向指示マーク９０として示す。
【００６４】
ステップ１３６の処理を行うとステップ１３８へ移行し、ステップ１３８において、指示生成部３６は、生成した指示情報を前方画像に重畳する。これにより、図１８に示すように、移動方向指示マーク９０が重畳された前方画像が生成される。そして、次のステップ１４０において、移動方向指示マーク９０が重畳された前方画像が作業者側装置１２Ａへ送信されることで、移動方向指示マーク９０が重畳された前方画像が作業者側装置１２ＡのＨＭＤ５２に表示される。
【００６５】
従って、作業者は、前方画像に重畳された指示情報(移動方向指示マーク９０)に従い、前進方向へ移動する動作を行い、この動作の間、作業者の視点は図１５に示す移動経路８９に沿って変化する。そして、作業対象位置の仰角の絶対値|θ1|が仰角の閾値θth未満になる位置まで作業者が移動すると、ステップ１２８の判定が肯定されることになる。
【００６６】
そして、ステップ１２８の判定が肯定された場合はステップ１３０へ移行し、先に説明したように、ステップ１３０において、指示生成部３６は、方位角の変化に対する仰角の変化が一定になる移動経路での視点の移動を指示する指示情報を生成する。この処理における移動経路の一例を図１６に移動経路９１として示し、指示情報の一例を前方画像に重畳された移動方向指示マーク９２として図１９に示す。
【００６７】
作業対象位置へ視点を移動させる動作を作業者が完了すると、ステップ１２６の判定が肯定されてステップ１４２へ移行する。ステップ１４２において、指示生成部３６は、作業者が作業対象位置へ視点を移動させる動作が完了したことを意味する完了通知を生成すると共に、移動完了表示を重畳した前方画像を生成して作業者側装置１２Ａへ送信する。移動完了表示の一例を図２０に移動完了表示マーク９３として示す。作業者は、この移動完了表示マーク９３が重畳された前方画像がＨＭＤ５２に表示されることで、作業対象位置へ視点を移動させる動作が完了したことを認識することができる。
【００６８】
ステップ１４２の処理を行うと、ステップ１４８の終了処理を経て指示者側処理を終了する。図８〜１０のフローチャートは、作業者が作業対象位置へ視点を移動させる動作を完了した後の処理の記載を省略しているが、実際には、指示者により、作業対象の機器等の操作方法や作業手順といった作業者への具体的な作業指示が指示情報として入力される。指示者が入力した作業指示の作業者への伝達方法としては、公知の拡張現実技術を用いた作業対象への重畳表示が有効である。
【００６９】
一例として図２１には、前方画像に、作業対象を明示する図形９４(図２１は図形９４の一例として丸印を示す)や、具体的な操作方法を示す文字列９５を重畳表示した態様を示す。作業者は、前方画像に重畳された作業指示に従って、指示者が意図した通りの作業を行うことができる。
【００７０】
〔第２実施形態〕
次に第２実施形態を説明する。なお、第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、第２実施形態の作用について、第１実施形態と異なる部分を説明する。
【００７１】
第１実施形態では、作業対象位置と作業者の視点方向との仰角差Δθ及び方位角差Δφが各々所定角度以下か否かに基づいて、作業者が作業対象位置へ視点を移動させる動作が完了したか否か判定する態様を説明した。第２実施形態は、上記の仰角差Δθ及び方位角差Δφに対し、上記の所定角度とは別に、許容範囲を任意で設定可能としており、仰角差Δθ及び方位角差Δφが所定角度以下で無い場合にも、設定された許容範囲内であれば作業者の動作完了と判定する。
【００７２】
仰角差Δθ及び方位角差Δφに対する許容範囲は、指示者が作業対象位置指定操作を行う都度、指示者が設定するようにしてもよいし、作業者毎、或いは作業現場毎に設定の有無及び許容範囲の大きさを切り替えるようにしてもよい。また、上記の許容範囲は、仰角差Δθ及び方位角差Δφの両方に設定してもよいし、仰角差Δθ及び方位角差Δφの何れか一方にのみ設定してもよい。
【００７３】
図２２に示すように、第２実施形態に係る指示者側処理では、ステップ１２６において、指示生成部３６は、作業対象位置と作業者の視点方向との仰角差Δθ及び方位角差Δφが各々所定角度以下か否かを判定する。仰角差Δθ及び方位角差Δφの少なくとも一方が所定角度を超えている場合は、作業者が作業対象位置へ視点を移動させる動作が未完了と判断し、ステップ１２６の判定が否定されてステップ１７０へ移行する。
【００７４】
ステップ１７０において、指示生成部３６は、仰角差Δθ及び方位角差Δφの少なくとも一方に許容範囲が設定されているか否か判定する。仰角差Δθ及び方位角差Δφの何れにも許容範囲が設定されていない場合は、ステップ１７０の判定が否定されてステップ１２８へ移行する。この場合の処理は第１実施形態と同じである。
【００７５】
一方、仰角差Δθ及び方位角差Δφの少なくとも一方に許容範囲が設定されている場合は、ステップ１７０の判定が肯定されてステップ１７２へ移行する。ステップ１７２において、指示生成部３６は、仰角差Δθ及び方位角差Δφのうち許容範囲が設定されているパラメータについては設定された許容範囲内か否かを判定し、許容範囲が未設定のパラメータについては所定角度以下か否かを判定する。なお、許容範囲が未設定のパラメータに対する判定に用いる所定角度は、ステップ１２６の判定で用いた所定角度と同じでも相違していてもよい。
【００７６】
仰角差Δθ及び方位角差Δφの少なくとも一方が上記の判定条件を満足しなかった場合には、ステップ１７２の判定が否定されてのステップ１２８へ移行する。この場合の処理も第１実施形態と同じである。一方、仰角差Δθ及び方位角差Δφの両方が上記の判定条件を満足した場合には、作業者が作業対象位置へ視点を移動させる動作が完了したと判断されてステップ１７２の判定が肯定され、ステップ１４２へ移行して完了通知の生成等の処理が行われる。
【００７７】
上述したように、第２実施形態では、仰角差Δθ及び方位角差Δφのうち許容範囲が設定されているパラメータが設定された許容範囲内で、許容範囲が未設定のパラメータが所定角度以下であれば、作業者が視点を移動させる動作が完了したと判定する。これにより、例えば作業現場の状況が、作業者が作業対象に正対することが難しいなどの状況である場合にも、許容範囲を設定して視点移動動作の完了判定を緩やかにすることで、作業対象に対する作業に速やかに移行することが可能になる。
【００７８】
〔第３実施形態〕
次に第３実施形態を説明する。なお、第１実施形態と同一の部分には同一の符号を付して説明を省略する。第１及び第２実施形態では、指示者側装置２２Ａが前方画像及び指示情報を生成する態様を説明したが、第３実施形態では作業者側装置１２Ｂが前方画像及び指示情報を生成する。
【００７９】
すなわち、図２３に示すように、第３実施形態に係る作業支援システム１０Ｂは、作業者側装置１２Ｂと指示者側装置２２Ｂとを含んでいる。指示者側装置２２Ｂは、第１実施形態で説明した指示者側装置２２Ａと比較して、画像生成部３０及び指示生成部３６が省略され、取得／通信部２４に代えて通信部２３が設けられている。通信部２３は、作業者の頭部の姿勢を表す情報は取得せず、周辺画像のデータを作業者側装置１２Ｂから取得し、作業対象位置情報を作業者側装置１２Ｂへ送信する。
【００８０】
作業者側装置１２Ｂは、第１実施形態で説明した作業者側装置１２Ｂと比較して、画像生成部３０、取得部２５及び指示生成部３６が追加されている点で相違している。画像生成部３０は撮影部１４と通信部１８の間に設けられ、指示生成部３６に接続されている。作業者側装置１２Ｂの画像生成部３０は、第１実施形態と同様に、撮影部１４によって撮影された撮影画像データから周辺画像のデータ及び前方画像のデータを生成する。
【００８１】
取得部２５は検出部１６及び指示生成部３６に接続されており、検出部１６によって検出された作業者の頭部の姿勢を表す情報を取得し、取得した情報を指示生成部３６へ出力する。指示生成部３６は、通信部１８と情報出力部２０との間に設けられ、通信部１８が指示者側装置２２Ｂから受信した作業対象位置情報に基づいて指示情報を生成し、生成した指示情報を重畳した前方画像を情報出力部２０へ出力する。
【００８２】
作業者側装置１２Ｂは、一例として図２４に示す作業者側ＨＭＵ４０Ｂによって実現される。作業者側ＨＭＵ４０Ｂは、第１実施形態で説明した作業者側ＨＭＵ４０Ａと比較して、作業者側ＨＭＵ４０Ｂを作業者側装置１２Ｂとして機能させるための作業支援プログラム１８０が記憶部４６に記憶されている点で相違している。ＣＰＵ４２は、作業支援プログラム１８０を記憶部４６から読み出してメモリ４４に展開し、作業支援プログラム１８０が有するプロセスを順次実行する。
【００８３】
作業支援プログラム１８０は、画像生成プロセス８０、取得プロセス１８２及び指示生成プロセス８２を含む。ＣＰＵ４２は、画像生成プロセス８０を実行することで、図２３に示す画像生成部３０として動作する。またＣＰＵ４２は、取得プロセス１８２を実行することで、図２３に示す取得部２５として動作する。またＣＰＵ４２は、指示生成プロセス８２を実行することで、図２３に示す指示生成部３６として動作する。これにより、作業支援プログラム１８０を実行した作業者側ＨＭＵ４０Ｂが、作業者側装置１２Ｂとして機能することになる。なお、第３実施形態において、作業支援プログラム１８０は本発明に係る作業支援プログラムの一例である。
【００８４】
一方、指示者側装置２２Ｂは、一例として、図２５に示すコンピュータ６４Ｂによって実現される。コンピュータ６４Ｂは、第１実施形態で説明したコンピュータ６４Ａと比較して、作業支援プログラム７６に代えて指示者側プログラム１８４が記憶部４６に記憶されている点で相違している。ＣＰＵ６６は、記憶部７０から指示者側プログラム１８４を読み出してメモリ６８に展開し、メモリ６８に展開した指示者側プログラム１８４を順に実行する。これにより、指示者側プログラム１８４を実行したコンピュータ６４Ｂが指示者側装置２２Ｂとして機能することになる。
【００８５】
次に第３実施形態の作用として、まず図２６を参照し、第３実施形態に係る指示者側装置２２Ｂによって実行される指示者側処理を説明する。なお、指示者側装置２２Ｂが実行する操作検出処理については第１実施形態と同じであるので、説明を省略する。
【００８６】
指示者側処理のステップ１１０において、通信部２３は、作業者側装置１２Ｂから周辺画像のデータを受信し、メモリ６８等に保存する。メモリ６８等にデータが保存された周辺画像は、操作検出処理(図１０参照)のステップ１５０で表示部２６に表示される。次のステップ１１２において、操作検出部３２は、操作検出処理で取消通知が生成されたか否か判定する。ステップ１１２の判定が肯定された場合はステップ１１３へ移行し、ステップ１１３において、操作検出部３２は、取消通知を通信部２３によって作業者側装置１２Ｂへ送信させ、ステップ１４８へ移行する。
【００８７】
一方、ステップ１１２の判定が否定された場合はステップ１１４へ移行し、ステップ１１４において、操作検出部３２は、操作検出処理で指定操作通知が生成されたか否か判定する。ステップ１１４の判定が否定された場合はステップ１１７へ移行し、ステップ１１７において、操作検出部３２は、作業者側装置１２Ｂから失敗通知又は完了通知を受信したか否か判定する。ステップ１１７の判定が否定された場合はステップ１１１に戻り、ステップ１１２,１１７の何れかの判定が肯定される迄ステップ１１１,１１２,１１４〜１１７を繰り返す。
【００８８】
この間、指示者によって作業対象位置指定操作が実施されると、ステップ１１４の判定が肯定されてステップ１１５へ移行する。ステップ１１５において、操作検出部３２は、操作検出処理で一旦メモリ６８等に保存した作業対象位置情報を、通信部２３によって作業者側装置１２Ｂへ送信させ、ステップ１１７へ移行する。
【００８９】
また、作業者側装置１２Ｂへ取消通知を送信するか、作業者側装置１２Ｂから失敗通知又は完了通知を受信してステップ１１７の判定が肯定されると、ステップ１４８へ移行する。ステップ１４８において、操作検出部３２は、周辺画像のデータをメモリ６８等から消去し、作業対象位置情報がメモリ６８等に保存されている場合は併せて消去する終了処理を行い、指示者側処理を終了する。
【００９０】
次に図２７を参照し、第３実施形態に係る作業者側装置１２Ｂによって実行される作業支援処理を説明する。作業支援処理のステップ２００において、取得部２５は、加速度センサ５０によって検出された３軸の加速度を取得し、作業者の頭部の姿勢(目視位置の仰角及び方位角)を算出し、算出した作業者の頭部の姿勢を表す情報をメモリ４４等に保存する。また、画像生成部３０はＨＭＣ４８で撮影された撮影画像データを取得し、取得した撮影画像データから周辺画像のデータ及び前方画像のデータを生成し、撮影画像、周辺画像及び前方画像の各データをメモリ４４等に保存する。そして通信部１８は、画像生成部３０によって生成された周辺画像のデータを指示者側装置２２Ｂへ送信する。
【００９１】
次のステップ２０２において、指示生成部３６は、指示者側装置２２Ｂから取消通知を受信したか否か判定する。ステップ２０２の判定が肯定された場合はステップ２３６へ移行し、メモリ４４等に保存した各情報を消去する終了処理を行い、作業支援処理を終了する。また、ステップ２０２の判定が否定された場合はステップ２０４へ移行する。ステップ２０４において、指示生成部３６は、指示者側装置２２Ｂから作業対象位置情報を受信したか、或いは、作業対象位置情報を受信済みでメモリ４４等に保存されているか否かを判定する。
【００９２】
ステップ２０４の判定が否定された場合はステップ２３０へ移行し、ステップ２３０において、指示生成部３６は、ステップ２００で画像生成部３０によって生成されてメモリ４４等にデータが保存されている前方画像をＨＭＤ５２に表示させる。ステップ２３０の処理を行うとステップ２００に戻り、ステップ２０２の判定が肯定される迄か、又はステップ２０２の判定が否定された場合でもステップ２０４の判定が肯定される迄、ステップ２００,２０２,２０４,２３０を繰り返す。この間、ＨＭＤ５２には指示情報が重畳されていない前方画像が表示される。
【００９３】
また、指示者側装置２２Ｂから作業対象位置情報を受信するとステップ２０４の判定が肯定され、受信した作業対象位置情報をメモリ４４等に保存した後にステップ２０６へ移行する。次のステップ２０６〜２２８の処理は、第１実施形態で説明した指示者側処理(図９)のステップ１１６〜１３８と同じである。
【００９４】
すなわち、ステップ２０６において、指示生成部３６は、作業対象位置情報としてメモリ４４等に保存されている指定操作画像と最新の周辺画像とのマッチングを試行する。次のステップ２０８において、指示生成部３６は、指定操作画像と最新の周辺画像とのマッチングが成功したか否か判定する。指定操作画像と最新の周辺画像とのマッチングが成功した場合は、ステップ２０８の判定が肯定されてステップ２１０へ移行する。ステップ２１０において、指示生成部３６は、最新の周辺画像上での作業対象位置を特定し、その２次元座標値を取得する。
【００９５】
ステップ２１２において、指示生成部３６は、鉛直方向をＹ軸、Ｙ軸と直交する水平面に作業者の視点方向を投影した軸をＺ軸、Ｙ軸及びＺ軸に直交する軸をＸ軸とし、ＨＭＣ４８の配置から予め決定した点を原点とする直交座標及び仮想球面８４を設定する。ステップ２１６において、指示生成部３６は、作業対象位置と作業者の視点方向との仰角差Δθを算出し、作業対象位置と作業者の視点方向との仰角差Δθ及び方位角差Δφに基づいて、作業者が作業対象位置へ視点を移動させる動作が完了したか否か判定する。
【００９６】
ステップ２１６の判定が否定された場合はステップ２１８へ移行し、ステップ２１８において、指示生成部３６は、作業対象位置の仰角の絶対値|θ1|が予め設定した仰角の閾値θth未満か否か判定する。ステップ２１８の判定が肯定された場合はステップ２２０へ移行し、ステップ２２０において、指示生成部３６は、方位角の変化に対する仰角の変化が一定になる移動経路での視点の移動を指示する指示情報を生成する。
【００９７】
また、ステップ２１８の判定が否定された場合はステップ２２２へ移行し、ステップ２２２において、指示生成部３６は、作業対象位置と作業者の視点方向との方位角差Δφが180°±α以内か否か判定する。ステップ２２２の判定が否定された場合はステップ２２４へ移行し、ステップ２２４において、指示生成部３６は、方位角差Δφが180°±α以内となる方向への移動(方位角φのみを変化させるその場での回転)を指示する指示情報を生成する。また、ステップ２２２の判定が肯定された場合はステップ２２６へ移行し、ステップ２２６において、指示生成部３６は、作業者に対して前方への移動を指示する指示情報を生成する。
【００９８】
ステップ２２０,２２４,２２６の何れかの処理を行うとステップ２２８へ移行し、ステップ２２８において、指示生成部３６は、生成した指示情報を前方画像に重畳する。これにより、次のステップ２３０において、指示情報が重畳された前方画像がＨＭＤ５２に表示される。
【００９９】
作業対象位置へ視点を移動させる動作を作業者が完了すると、ステップ２１６の判定が肯定されてステップ２３２へ移行する。ステップ２３２において、指示生成部３６は、作業者が作業対象位置へ視点を移動させる動作が完了したことを意味する完了通知を通信部１８によって指示者側装置２２Ｂへ送信させる。また、指示生成部３６は、移動完了表示を重畳した前方画像を生成してＨＭＤ５２に表示させる。そして、ステップ２３６へ移行し、ステップ２３６において、指示生成部３６は、前述した終了処理を行って作業支援処理を終了する。
【０１００】
なお、上述した処理の途中で、指定操作画像と最新の周辺画像とのマッチングの失敗が生じた場合には、ステップ２０８の判定が否定されてステップ２３４へ移行する。ステップ２３４において、指示生成部３６は、失敗通知を通信部１８によって指示者側装置２２Ｂへ送信させ、ステップ２３６で前述した終了処理を行って作業支援処理を終了する。
【０１０１】
以上説明したように、上記の各実施形態では、取得／通信部２４又は取得部２５が、作業者の頭部の姿勢を表す情報を取得する。そして、指示生成部３６は、指示された目視目標位置(作業対象位置)と作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、以下の指示情報を生成する。すなわち、指示情報は、作業者が現在の目視位置から目視目標位置へ頭部を向ける動作を、当該動作での作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する情報である。これにより、指示された目視目標位置へ頭部を向ける動作を行う作業者が無理な体勢となることを抑制することができる。
【０１０２】
また、指示生成部３６は、作業者の現在の位置からの目視目標位置の仰角が頭部の可動域内か否かを判定する。そして、指示生成部３６は、目視目標位置の仰角が頭部の可動域内と判定した場合に、作業者の動作における作業者の頭部の方位角の変化に対する仰角の変化の傾きが一定になる移動経路で、目視目標位置へ頭部を向ける動作を指示する。これにより、作業者が目視目標位置へ頭部を向ける動作における仰角の変化速度が一定かつ最小になるので、上記動作を行う作業者の負担を抑制することができる。
【０１０３】
また、指示生成部３６は、作業者の現在の位置からの目視目標位置の仰角が頭部の可動域内か否かを判定する。そして、指示生成部３６は、目視目標位置の仰角が頭部の可動域外と判定した場合に、目視目標位置の仰角が頭部の可動域内に入るように作業者を移動させる移動動作を指示する指示情報を生成する。これにより、作業者の現在の位置からの目視目標位置の仰角が頭部の可動域外である場合にも、作業者が目視目標位置へ頭部を向ける動作を行う前に、目視目標位置の仰角が頭部の可動域内となる位置へ作業者を移動させることができる。従って、作業者の現在の位置からの目視目標位置の仰角が頭部の可動域外である場合にも、目視目標位置へ頭部を向ける動作を行う作業者が無理な体勢となることを確実に抑制することができる。
【０１０４】
また、指示生成部３６は、作業者の現在の位置からの目視目標位置の仰角が頭部の可動域外と判定した場合に、作業者の頭部の現在の方位角が、目視目標位置と方位角が１８０°異なる方向を含む所定範囲内か否かを判定する。そして、指示生成部３６は、作業者の頭部の現在の方位角が所定範囲外と判定した場合に、移動動作を指示する指示情報に先立ち、作業者を所定範囲内へ向ける回転動作を指示する指示情報を生成する。これにより、目視目標位置の仰角が頭部の可動域外で、作業者の頭部の現在の方位角も所定範囲外である場合に、作業者に移動動作を行わせる前に、移動動作によって目視目標位置の仰角が頭部の可動域内となる向きへ作業者を向けることができる。従って、目視目標位置の仰角が頭部の可動域内となる位置へ移動する移動動作における移動量が必要最小限で済み、作業者の負担を抑制することができる。
【０１０５】
なお、上記では、指示生成部３６が生成した指示情報を、前方画像に図形や文字列として重畳表示する態様を説明したが、これに限定されるものではなく、指示情報の一部は音声として出力し、音声により作業者に指示を与えるようにしてもよい。
【０１０６】
また、第１実施形態では、本発明に係る作業支援プログラムの一例である作業支援プログラム７６が、指示者側装置２２Ａとして機能するコンピュータ６４Ａの記憶部７０に予め記憶（インストール）されている態様を説明した。また、第３実施形態では、本発明に係る作業支援プログラムの一例である作業支援プログラム１８０が、作業者側装置１２Ｂとして機能する作業者側ＨＭＵ４０Ｂの記憶部４６に予め記憶（インストール）されている態様を説明した。しかし、これに限定されるものではなく、本発明に係る作業支援プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカード等の記録媒体に記録されている形態で提供することも可能である。
【０１０７】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１０８】
以上の実施形態に関し、更に以下の付記を開示する。
【０１０９】
（付記１）
作業者の頭部の姿勢を表す情報を取得する取得部と、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する生成部と、
を含む作業支援装置。
【０１１０】
（付記２）
作業者の周囲を撮影する撮影部、前記作業者の頭部の姿勢を検出する検出部、第１通信部及び前記作業者へ情報を出力する情報出力部を含み、前記作業者に装着される作業者側装置と、
前記作業者側装置と通信する第２通信部、画像を表示する表示部及び前記表示部に表示された画像に基づいて指示者が目視目標位置を入力するための入力部を含む指示者側装置と、
を含み、
前記作業者側装置又は前記指示者側装置に、
作業者の頭部の姿勢を表す情報を取得する取得部と、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する生成部と、
が設けられ、前記生成部が生成した指示情報が前記情報出力部によって作業者へ出力される作業支援システム。
【０１１１】
（付記３）
前記生成部は、前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域内か否かを判定し、前記目視目標位置の仰角が頭部の可動域内と判定した場合に、前記動作における前記作業者の頭部の方位角の変化に対する仰角の変化の傾きが一定になる移動経路で前記動作を指示する前記指示情報を生成する付記１記載の作業支援装置、又は、付記２記載の作業支援システム。
【０１１２】
（付記４）
前記生成部は、前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域内か否かを判定し、前記目視目標位置の仰角が頭部の可動域外と判定した場合に、前記目視目標位置の仰角が頭部の可動域内に入るように前記作業者を移動させる移動動作を指示する前記指示情報を生成する付記１記載の作業支援装置、又は、付記２記載の作業支援システム。
【０１１３】
（付記５）
前記生成部は、前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域外と判定した場合に、前記作業者の頭部の現在の方位角が、前記目視目標位置と方位角が１８０°異なる方向を含む所定範囲内か否かを判定し、前記作業者の頭部の現在の方位角が前記所定範囲外と判定した場合に、前記移動動作を指示する前記指示情報に先立ち、前記作業者を前記所定範囲内へ向ける回転動作を指示する前記指示情報を生成する付記４記載の作業支援装置、又は、付記４記載の作業支援システム。
【０１１４】
（付記６）
作業者の頭部の姿勢を表す情報を取得し、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する
処理をコンピュータが実行する作業支援方法。
【０１１５】
（付記７）
作業者の頭部の姿勢を表す情報を取得し、
指示された目視目標位置と前記作業者の頭部の現在の姿勢に対応する目視位置とが相違している場合に、前記作業者が現在の目視位置から前記目視目標位置へ頭部を向ける動作を、当該動作での前記作業者の頭部の姿勢変化が頭部の可動域内に維持される移動経路で指示する指示情報を生成する
処理をコンピュータに実行させるための作業支援プログラム。
【０１１６】
（付記８）
前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域内か否かを判定し、前記目視目標位置の仰角が頭部の可動域内と判定した場合に、前記動作における前記作業者の頭部の方位角の変化に対する仰角の変化の傾きが一定になる移動経路で前記動作を指示する前記指示情報を生成する付記６記載の作業支援方法、又は、付記７記載の作業支援プログラム。
【０１１７】
（付記９）
前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域内か否かを判定し、前記目視目標位置の仰角が頭部の可動域外と判定した場合に、前記目視目標位置の仰角が頭部の可動域内に入るように前記作業者を移動させる移動動作を指示する前記指示情報を生成する付記６記載の作業支援方法、又は、付記７記載の作業支援プログラム。
【０１１８】
（付記１０）
前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域外と判定した場合に、前記作業者の頭部の現在の方位角が、前記目視目標位置と方位角が１８０°異なる方向を含む所定範囲内か否かを判定し、
前記作業者の現在の位置からの前記目視目標位置の仰角が頭部の可動域外で、かつ前記作業者の頭部の現在の方位角が前記所定範囲外と判定した場合に、前記移動動作を指示する前記指示情報に先立ち、前記作業者を前記所定範囲内へ向ける回転動作を指示する前記指示情報を生成する付記９記載の作業支援方法、又は、付記９記載の作業支援プログラム。
【符号の説明】
【０１１９】
１０Ａ,１０Ｂ…作業支援システム、１２Ａ,１２Ｂ…作業者側装置、１４…撮影部、１６…検出部、１８…通信部、２０…情報出力部、２２Ａ,２２Ｂ…指示者側装置、２３…通信部、２４…取得／通信部、２５…取得部、２６…表示部、２８…入力部、３０…画像生成部、３２…操作検出部、３６…指示生成部、４０Ａ,４０Ｂ…作業者側ＨＭＵ、４２…ＣＰＵ、４４…メモリ、４６…記憶部、４８…ＨＭＣ、５０…加速度センサ、５２…ＨＭＤ、６４Ａ,６４Ｂ…コンピュータ、６６…ＣＰＵ、６８…メモリ、７０…記憶部、７６,１８０…作業支援プログラム、８４…仮想球面、８５…移動経路
【図１】
2018056845.tif 000003
【図２】
2018056845.tif 000004
【図３】
2018056845.tif 000005
【図４】
2018056845.tif 000006
【図５】
2018056845.tif 000007
【図６】
2018056845.tif 000008
【図７】
2018056845.tif 000009
【図８】
2018056845.tif 000010
【図９】
2018056845.tif 000011
【図１０】
2018056845.tif 000012
【図１１】
2018056845.tif 000013
【図１２】
2018056845.tif 000014
【図１３】
2018056845.tif 000015
【図１４】
2018056845.tif 000016
【図１５】
2018056845.tif 000017
【図１６】
2018056845.tif 000018
【図１７】
2018056845.tif 000019
【図１８】
2018056845.tif 000020
【図１９】
2018056845.tif 000021
【図２０】
2018056845.tif 000022
【図２１】
2018056845.tif 000023
【図２２】
2018056845.tif 000024
【図２３】
2018056845.tif 000025
【図２４】
2018056845.tif 000026
【図２５】
2018056845.tif 000027
【図２６】
2018056845.tif 000028
【図２７】
2018056845.tif 000029