(57)【要約】  登録された作業の教示画像を取得する教示画像取得手段と、教示画像取得手段により取得された作業の教示画像を、作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に作業の画像を重畳して表示する表示手段と、作業者の作業に関する撮像画像を取得する撮像画像取得手段と、撮像画像取得手段により取得された撮像画像と、教示画像取得手段により取得された作業の教示画像と、に基づき、指示画像を生成する生成手段と、を有し、表示手段は、生成手段により生成された指示画像を表示部に表示することで、現実空間に指示画像を更に重畳して表示することによって課題を解決する。
2017150292.tif 000002
【特許請求の範囲】
【請求項１】
登録された作業の教示画像を取得する教示画像取得手段と、
前記教示画像取得手段により取得された前記作業の教示画像を、前記作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に前記作業の画像を重畳して表示する表示手段と、
前記作業者の前記作業に関する撮像画像を取得する撮像画像取得手段と、
前記撮像画像取得手段により取得された前記撮像画像と、前記教示画像取得手段により取得された前記作業の教示画像と、に基づき、指示画像を生成する生成手段と、
を有し、
前記表示手段は、前記生成手段により生成された前記指示画像を前記表示部に表示することで、前記現実空間に前記指示画像を更に重畳して表示する表示システム。
【請求項２】
作業の作業画像を登録する登録手段と、
前記登録手段により登録された前記作業画像のうち教示画像を設定する設定手段と、
を更に有する請求項１記載の表示システム。
【請求項３】
登録された作業の教示画像を取得する教示画像取得手段と、
ネットワークを介して通信可能な表示装置により取得された撮像画像と、前記教示画像取得手段により取得された前記作業の教示画像と、に基づき、指示画像を生成する生成手段と、
前記生成手段により生成された指示画像を前記表示装置に送信する送信手段と、
を有する情報処理装置。
【請求項４】
情報処理装置が実行する情報処理方法であって、
登録された作業の教示画像を取得する教示画像取得ステップと、
ネットワークを介して通信可能な表示装置により取得された撮像画像と、前記教示画像取得ステップにより取得された前記作業の教示画像と、に基づき、指示画像を生成する生成ステップと、
前記生成ステップにより生成された指示画像を前記表示装置に送信する送信ステップと、
を含む情報処理方法。
【請求項５】
表示システムが実行する情報処理方法であって、
登録された作業の教示画像を取得する教示画像取得ステップと、
前記教示画像取得ステップにより取得された前記作業の教示画像を、前記作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に前記作業の画像を重畳して表示する第１の表示ステップと、
前記作業者の前記作業に関する撮像画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップにより取得された前記撮像画像と、前記教示画像取得ステップにより取得された前記作業の教示画像と、に基づき、指示画像を生成する生成ステップと、
前記生成ステップにより生成された前記指示画像を前記表示部に表示することで、前記現実空間に前記指示画像を更に重畳して表示する第２の表示ステップと、
を含む情報処理方法。
【請求項６】
コンピュータに、
登録された作業の教示画像を取得する教示画像取得ステップと、
ネットワークを介して通信可能な表示装置により取得された撮像画像と、前記教示画像取得ステップにより取得された前記作業の教示画像と、に基づき、指示画像を生成する生成ステップと、
前記生成ステップにより生成された指示画像を前記表示装置に送信する送信ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業場における作業に関して指示画像を重畳表示する表示システム、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、モニタ画面上に作業のガイドラインを重畳表示し、作業を支援する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９３８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ガイドラインをモニタ画面上に重畳表示するだけでは、経験の浅い作業者は、自身の作業がガイドラインにちゃんと沿った間違いのないものか判断するのが難しい。また、モニタに目線が奪われていると、実際の手もとの作業が疎かになる可能性もある。
いわゆる団塊の世代の退職により熟練作業者の技能を多くの後輩の作業者に分かりやすく正しく伝承させていきたいという課題がある。また、グローバル化に伴い、日本国内で行っていた作業を、作業の品質を落とさず、海外の作業者に行わせたいという課題もある。【０００５】
本発明は、作業者の作業支援を適切に行うことを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明の表示システムは、登録された作業の教示画像を取得する教示画像取得手段と、前記教示画像取得手段により取得された前記作業の教示画像を、前記作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に前記作業の画像を重畳して表示する表示手段と、前記作業者の前記作業に関する撮像画像を取得する撮像画像取得手段と、前記撮像画像取得手段により取得された前記撮像画像と、前記教示画像取得手段により取得された前記作業の教示画像と、に基づき、指示画像を生成する生成手段と、を有し、前記表示手段は、前記生成手段により生成された前記指示画像を前記表示部に表示することで、前記現実空間に前記指示画像を更に重畳して表示する。
【発明の効果】
【０００７】
本発明によれば、作業者の作業支援を適切に行うことができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、表示システムのシステム構成の一例を示す図である。
【図２】図２は、表示装置のハードウェア構成の一例を示す図である。
【図３】図３は、情報処理装置のハードウェア構成の一例を示す図である。
【図４Ａ】図４Ａは、教示画像テーブルの一例を示す図（その１）である。
【図４Ｂ】図４Ｂは、教示画像テーブルの一例を示す図（その２）である。
【図５】図５は、表示システムの教示画像や指示画像を表示する情報処理の一例を示すシーケンス図である。
【図６】図６は、表示システムの教示画像を設定する情報処理の一例を示すシーケンス図である。
【図７】図７は、指示画像の他の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
図１は、表示システムのシステム構成の一例を示す図である。図１に示されるように、表示システムは、システム構成として、表示装置５００と、情報処理装置５０１と、を含む。表示装置５００と、情報処理装置５０１とは、ネットワーク等を介して通信可能に接続されている。図１の例では表示装置５００のみが情報処理装置５０１と通信可能に接続されているが、複数の表示装置が情報処理装置５０１と通信可能に接続されていてもよい。情報処理装置５０１は、コンピュータの一例である。
表示装置５００は、作業者が装着する眼鏡型の表示デバイスである。本実施形態においては、エアバックの折りたたみ作業を行っている作業者が表示装置５００を装着して作業を行うものとする。
表示装置５００は、光透過型の表示装置であり、眼鏡のレンズ部分に相当する位置には、光透過型の表示部５２５が設けられている。表示装置５００を装着した作業者は、表示装置５００の表示部５２５を介して、現実空間において、視線の先に存在する物体を見ることができる。更に、表示部５２５には、情報処理装置５０１で生成された画像が表示されるので、表示装置５００を装着した作業者は、表示部５２５を通して見ている現実空間に、情報処理装置５０１で生成された画像が重畳された状態、即ち拡張現実空間（ＡＲ空間）を認識することができる。
また、表示装置５００には、表示部５２５に隣接する位置に撮像部５２７が設けられている。撮像部５２７は、表示装置５００の装着者の視線方向と、撮像部５２７の撮像方向とが一致する関係になるように設置されているものとする。これにより、撮像部５２７は、表示装置５００を装着する作業者がみている現実空間の作業の画像を撮像することができる。他の例として、撮像部５２７は、撮像方向と表示装置５００の装着者の視線方向とが一定の関係になるように設定されていてもよい。
【００１１】
情報処理装置５０１は、例えば、表示装置５００からの送信要求に応じて、熟練者による作業に係る登録された教示画像を取得し、表示装置５００に送信する。
画像５１１は、教示画像の一例である。図１の例では、エアバックの折り方の教示画像が表示装置５００の表示部５２５に表示されている。
また、情報処理装置５０１は、表示装置５００の撮像部５２７によって撮像された撮像画像と、前記教示画像とを比較し、比較の結果に応じて、前記作業者の作業を教示画像で示す動作に近づけるように指示画像を生成し、表示装置５００に送信する。
点線画像５１２、方向画像５１３は、指示画像の一例である。図１の例では、エアバックの正しい折る位置を示す点線画像５１２と、折る方向を示す方向画像５１３とが指示画像として作業者が実際に作業をしているエアバックに重畳して表示装置５００の表示部５２５に表示されている。図１では説明の簡略化のため、教示画像である画像５１１を表示部５２５の右上に表示すると共に、指示画像である点線画像５１２、方向画像５１３を実際のエアバックに重畳して表示している例を示した。しかしながら、表示システムは、教示画像である画像５１１を実際のエアバックに重畳して表示するようにしてもよい。そして、表示システムは、教示画像と実際のエアバックの画像との差分が閾値以上の場合、実際のエアバックに重畳表示している教示画像を消し、又は教示画像と共に、指示画像である点線画像５１２、方向画像５１３を実際のエアバックに重畳して表示するようにしてもよい。
教示画像と実際のエアバッグ画像との画像の差分の評価は、画像処理技術を用いて行う。例えば、教示画像と実際のエアバッグとの画像の類似度を算出して比較する。すなわち、情報処理装置５０１は、合格基準となる類似度を予め設定しておき、算出された類似度と合格基準の類似度との差分が所定の値（閾値）以上の場合には、上述の指示画像を表示すると判断する。なお、類似度を算出する際に特徴点の抽出がし易いように、エアバッグの生地において所定の複数の位置に柄や模様等をプリントしておいてもよい。
教示画像と実際のエアバッグ画像との比較は、所定のタイミングで行う。例えば、一折ごとの教示画像が予め用意されており、ユーザは実際のエアバッグを一折するごとに、画像マッチングの処理を情報処理装置５０１に対して指示する。このとき、ユーザが例えば音声で「チェック」と発声すると、撮像部５２７で実際のエアバッグ画像が撮像され、その画像データが情報処理装置５０１に送られて、予め用意された一折ごとの教示画像のうち、相当するタイミングのものとの画像マッチング処理により類似度が算出される構成であってもよい。教示画像は実際のエアバッグと同じものを用いて熟練の作業員が見本として折った場合の画像を用いてもよい。
なお、予め用意された一折ごとの教示画像と実際のエアバッグ画像とは、向きや倍率等が異なるが、画像の回転や拡大縮小を行って比較することが可能なテンプレートマッチング技術を用いれば類似度の算出は可能となる。ただし、比較する画像の向きが反対の場合、マッチング処理に時間を要するため、例えば、ユーザが「チェック」と発声する前に、適切な撮像の向きを示す教示画像を表示し、ユーザは作業中のエアバッグを撮像する際、その教示画像と同じ向きに実際のエアバッグの向きを合わせるような構成としてもよい。
さらに、マッチングのための画像を撮像するためのカメラは撮像部５２７に限られず、エアバッグの折り畳み台の真上に固定されたマッチングのための専用カメラを設ける構成であってもよい。表示装置５００に設けられた撮像５２７で実際のエアバッグ画像を撮像した場合、同じエアバックであってもユーザの姿勢によって撮像される角度が異なるため画像マッチングの精度が安定しないが、このような固定の専用カメラを用いれば画像マッチングの精度が安定する。また、折り畳み台の上におかれたエアバッグが鮮明になるように、例えばエアバッグが白色の場合、折り畳み台を黒色にしてもよい。
ところで、類似度の判定は以下のようにして行う。まず、実際のエアバッグ画像の輪郭と相当する教示画像の輪郭とを比較し、画像の向きや大きさを補正しながら位置合わせを行う。例えば、輪郭上にある複数の特徴点を抽出し、各特徴点を含む所定の領域ごとに、教示画像と実際のエアバッグ画像との類似度を算出して、所定の類似度以上の特徴点同士が重ね合わさるように実際のエアバッグ画像を回転させたり、拡大縮小したりして、２つの画像の位置合わせを行う。これにより、重ね合わさる特徴点は同じ座標空間上で同じ座標値を有する。
次に、位置合わせが行われた画像同士でエアバッグに付された模様の見え方を比較する。実際のエアバッグが教示画像どおりに折られていた場合には、実際のエアバッグ画像の模様の見え方と教示画像の模様の見え方とが一致する。一方、微妙に折り方が異なっていれば、模様の見え方は部分的にしか一致しない。この模様の見え方について画像マッチングを行い、教示画像と実際のエアバッグ画像との類似度を算出する。
ここで、算出された類似度と合格基準の類似度との差分が所定の値（閾値）以上の場合、情報処理装置５０１は上述の指示画像を表示する必要があると判断する。一方、類似度そのものを閾値としてもよい。すなわち、類似度が合格基準値（閾値）を超えている場合には、例えば「OK」のような表示を行ってもよい。
ところで、指示画像の生成は例えば以下のようにして行う。まず、上述のとおり輪郭を比較して２つの画像の位置合わせを行う。ここで、あるチェックのタイミングにおいて、教示画像におけるチェックポイントとなる折り目は決まっているので、実際のエアバッグ画像において相当する折り目を画像処理により検出する。折り目は、同じ座標空間上で線分として表わされるが、線分のズレを表わす角度に応じて、実際のエアバッグ画像における折り目が、教示画像の折り目に一致する方向を指示する矢印の画像を表示装置５００に表示する構成とすることができる。
又は、画像を所定の形状の領域（例えば格子状）に分割し、領域ごとに、教示画像と実際のエアバッグの画像の類似度を算出して、実際のエアバッグ画像において、類似度が所定の値よりも低い領域を示す矢印と共に、「見本（教示画像）を確認して下さい」のようなメッセージを表示装置５００に表示する構成であってもよく、特に限定されない。
作業者は、指示画像を見ることによって、エアバックの折り方等が間違っており、どのように折ればよいのか直感的に認識することができる。
つまり、表示システムによれば、作業者の作業支援を適切に行うことができ、結果的に作業結果の製品等の品質を一定に保つと共に、熟練者の作業の技能を継承させることができる。
【００１２】
図２は、表示装置５００のハードウェア構成の一例を示す図である。表示装置５００は、ハードウェア構成として、ＣＰＵ５２１と、ＲＯＭ５２２と、ＲＡＭ５２３と、通信Ｉ／Ｆ５２４と、表示部５２５と、マイク５２６と、撮像部５２７と、を有している。ＣＰＵ５２１は、ＲＯＭ５２２に記憶されたプログラムを読み出して各種処理を実行する。ＲＡＭ５２３は、ＣＰＵ５２１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＣＰＵ５２１がＲＯＭ５２２に格納されているプログラムを読み出し、このプログラムを実行することにより表示装置５００の機能及びシーケンス図の表示装置５００の処理が実現される。
通信Ｉ／Ｆ５２４は、ネットワークを介して、情報処理装置５０１との通信処理を行う。表示部５２５は、各種情報を表示する。マイク５２６は、表示装置５００を装着した作業者の発話等の音声を入力する。なお、音声は、ＣＰＵ５２１に送られ、ＣＰＵ５２１において音声認識処理が行われる。ＣＰＵ５２１は、音声認識の結果から、ユーザによる各種指示を受け付けることができる。撮像部５２７は、現実空間の撮影を行う。ＲＯＭ５２２は、記憶媒体の一例である。
【００１３】
図３は、情報処理装置５０１のハードウェア構成の一例を示す図である。情報処理装置５０１は、ＣＰＵ５３１と、ＲＯＭ５３２と、ＲＡＭ５３３と、通信Ｉ／Ｆ５３４と、表示部５３５と、入力部５３６と、ＨＤＤ５３７と、を有している。ＣＰＵ５３１、ＲＯＭ５３２、ＲＡＭ５３３及び通信Ｉ／Ｆ５３４は、それぞれＣＰＵ５２１、ＲＯＭ５２２、ＲＡＭ５２３及び通信Ｉ／Ｆ５２４と同様である。表示部５３５は、各種情報を表示する。入力部５３６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。ＨＤＤ５３７は、データや各種プログラム等を記憶する。ＣＰＵ５３１がＲＯＭ５３２又はＨＤＤ５３７に格納されているプログラムを読み出し、このプログラムを実行することにより情報処理装置５０１の機能及びシーケンス図の情報処理装置５０１の処理が実現される。ＲＯＭ５２２、又はＨＤＤ５３７は、記憶媒体の一例である。
【００１４】
次に、情報処理装置５０１がＨＤＤ５３７等に記憶しているデータについて図４Ａ及び図４Ｂを用いて説明する。但し、データを記憶する記憶先はＨＤＤ５３７に限られず、情報処理装置５０１が通信可能なネットワーク上のデータサーバ等であってもよい。
図４Ａで示される教示画像テーブルには、作業ＩＤと、作業ＩＤに対応する作業の教示画像と、が含まれる。作業の一例としては、以下では特に断らない限り、エアバックの折りたたみ作業がある。但し、作業はエアバックの折りたたみ作業に限定されるものではなく、電気溶接の作業、車体塗装の作業、車の組み立て作業、介護における入浴介護（入浴作業）、リハビリ作業等、様々なものがある。
図４Ａでは、教示画像デーブルには、１つの作業ＩＤに対して複数の教示画像が登録されているものとして説明を行った。しかし、図４Ｂに示されるように、教示画像テーブルには、作業ＩＤと、作業ＩＤで識別される作業を構成する複数の工程と、この工程の教示画像（例えば、この工程のポイントとなる教示画像１つ）と、が含まれるようにしてもよい。以下、説明の簡略化のため、教示画像デーブルは、図４Ｂのように構成されているものとして説明を行う。また、説明の簡略化のため、教示画像は表示部５２５に表示させる位置情報も含むものとして説明を行う。即ち、表示装置５００は、教示画像に含まれる位置情報に基づき、教示画像を表示部５２５に表示する。
教示画像の登録（又は設定）の一例は、後述する図６を用いて説明する。
【００１５】
図５は、表示システムの教示画像や指示画像を表示する情報処理の一例を示すシーケンス図である。
ＳＣ５００において、表示装置５００は、情報処理装置５０１に対して教示画像の取得要求を送信する。表示装置５００は、表示装置５００を装着した作業者の音声入力を介して作業者がこれから行おうとしている作業を特定してもよいし、表示装置ごとに予め作業が設定ファイル等に設定されている場合は、設定ファイルに設定されている作業を特定してもよい。また、表示装置５００は、表示装置５００を装着した作業者の音声入力を介して作業の工程を特定してもよいし、作業が開始されてからの時間を計測し、計測した時間に基づき自動的に作業の工程を特定してもよい。前記教示画像の取得要求には、表示装置５００が特定した作業を識別する作業ＩＤと、前記作業のどの工程かを識別する工程ＩＤと、が含まれる。
ＳＣ５０１において、情報処理装置５０１は、教示画像の取得要求に含まれる作業ＩＤと工程ＩＤとに基づいて、教示画像テーブルより前記作業ＩＤ及び工程ＩＤに対応する教示画像を取得する。ＳＣ５０１の処理は、教示画像取得の処理の一例である。
ＳＣ５０２において、情報処理装置５０１は、取得した教示画像を要求元の表示装置５００に送信する。
【００１６】
ＳＣ５０３において、表示装置５００は、取得した教示画像を表示部５２５に表示する。教示画像に含まれる位置情報が、実際のエアバックと重畳表示されるような位置情報であった場合、位置情報に基づき教示画像を表示部５２５に表示した結果、教示画像と実際の折っている途中のエアバックとが重畳して表示される。一方、教示画像に含まれる位置情報が、表示部５２５の所定の位置（例えば、図１に示したように、右上）を示していた場合、前記所定の位置に教示画像が表示される。
表示部５２５に現在行っている作業の工程のポイントとなる教示画像が表示されることによって、作業者は、前記作業の工程におけるポイントを理解して作業を行うことができる。
ＳＣ５０４において、表示装置５００は、撮像部５２７を介して作業者による前記作業の工程の撮像画像を取得する。ＳＣ５０４の処理は、撮像画像取得の処理の一例である。
ＳＣ５０５において、表示装置５００は、取得した撮像画像を情報処理装置５０１に送信する。
【００１７】
ＳＣ５０６において、情報処理装置５０１は、受信した撮像画像と、ＳＣ５０２で送信した教示画像と、を比較する。
ＳＣ５０７において、情報処理装置５０１は、比較の結果に応じて、指示画像を生成する。例えば、情報処理装置５０１は、前記撮像画像と、前記教示画像と、を画像認識処理し、画像認識処理の結果、画像の差分が設定された閾値以上である場合、指示画像を生成し、前記差分が設定された閾値より小さい場合、指示画像を生成しない。但し、このことは本実施形態を制限するものではなく、情報処理装置５０１は、前記差分が設定された閾値より小さい場合、作業が適切である旨の画像（例えば、ＯＫ等を表示する画像）を生成し、表示装置５００に送信するようにしてもよい。また、情報処理装置５０１は、前記差分が設定された閾値以上である場合、画像認識処理の結果等に応じて、例えば、図１に示したように、エアバックの正しい折る位置を示す点線画像５１２と、折る方向を示す方向画像５１３とを指示画像として生成する。例えば、情報処理装置５０１は、画像認識処理の結果、撮影画像全体に対する撮像画像に含まれる作業の対象とする物体（本実施形態の例では、エアバック）の位置等に基づき、指示画像を表示させる際の位置情報を含む指示画像を生成する。
ＳＣ５０８において、情報処理装置５０１は、生成した指示画像をＳ５０５で撮像画像を送信してきた表示装置５００に送信する。
ＳＣ５０９において、情報処理装置５０１は、受信した指示画像を指示画像に含まれる位置情報に基づき表示部５２５に表示する。
【００１８】
図６は、表示システムの教示画像を設定する情報処理の一例を示すシーケンス図である。
以下に示す処理においては、表示装置５００は、作業に応じた熟練者が装着しているものとする。
ＳＣ５２０において、表示装置５００は、撮像部５２７を介して熟練者による作業の各工程の作業画像を取得する。
ＳＣ５２１において、表示装置５００は、取得された作業画像を情報処理装置５０１に送信する。
ＳＣ５２２において、情報処理装置５０１は、受信した作業画像をＨＤＤ５３７等に記憶することで、作業画像を登録する。
ＳＣ５２３において、情報処理装置５０１は、例えば、入力部５３６等を介した操作者による設定操作に応じて、登録された作業画像のうち、作業における各工程のポイントとなる教示画像を設定する。情報処理装置５０１は、前記設定等に応じて、図４Ｂに示したような教示画像テーブルを生成する。
【００１９】
上述した例では、情報処理装置５０１が、複数の作業画像のうち、教示画像となる画像を選択する例を示した。しかし、表示装置５００が複数の作業画像のうち、教示画像となる画像を選択し、情報処理装置５０１に送信するようにしてもよい。この場合、情報処理装置５０１は、受信した教示画像等に基づき、図４Ｂに示したような教示画像デーブルを生成する。この場合、表示装置５００を装着した熟練者がどの作業のどの工程の教示画像かを音声等を介して表示装置５００に入力してもよいし、どの作業のどの工程の教示画像かは、情報処理装置５０１の操作者が入力部５３６等を介して入力、指定してもよい。
【００２０】
（変形例）
図７は、指示画像の他の例を示す図である。
上述した図１等では、エアバックの折りたたみ作業を例に、指示画像として、エアバックの正しい折る位置を示す点線画像５１２や折る方向を示す方向画像５１３を情報処理装置５０１が生成し、表示装置５００で表示する例を示した。
しかしながら、上述したように、作業は、エアバックの折りたたみ作業に限られない。図７には、作業の一例として入浴介護の場合の指示画像の一例を示す。
作業が入浴介護であり、工程としてまずは起き上がり介助であった場合、情報処理装置５０１は、起き上がり介助のポイントとなる教示画像を表示装置５００に送信する。そして、情報処理装置５０１は、表示装置５００より撮像画像を受信すると、前記撮像画像と、前記教示画像と、を画像認識処理し、画像認識処理の結果、画像の差分が設定された閾値以上である場合、指示画像を生成する。
即ち、図７の例では、情報処理装置５０１は、教示画像と実際の作業者の作業の撮像画像とから画像５１４に示すような指示画像を生成する。そして、情報処理装置５０１は、生成した指示画像を表示装置５００に送信する。
表示装置５００は、受信した指示画像を指示画像に含まれる位置情報に基づき表示部５２５に表示する。
介護支援の構成について、より具体的に説明すれば以下のとおりである。まず、被介護者はマーカーが付された専用のシャツを着る。マーカーは例えば脇や肩や腰、その他、胸部や腹部等に付されている。なお、このマーカー付きシャツは、被介護者の体格に応じた複数のサイズが用意されていてもよい。
例えば上述した起き上がり介助の場合、介護者は、脇の下に付されたマーカーが隠れるように手をあてがう必要がある。マーカーは脇の下の所定の範囲にわたって付されており、適切に手が添えられていない場合、マーカーが広範囲にわたってはみ出ることになる。そこで、情報処理装置５０１は、撮像部５２７が撮像した画像において、はみ出ているマーカーの量を検出し、所定の量以上のマーカーがはみ出ている場合には、「手の添え方を確認して下さい。」というような指示画像を生成し、表示装置５００に送信するようにしてもよい。表示装置５００は、指示画像を受信すると、指示画像を表示する。
又は、情報処理装置５０１は、同じタイミングにおける熟練介護者の教示画像と、実際の介護画像とで、マーカーのはみ出し方について画像マッチング処理を行い、その分析結果に応じた指示画像を生成するようにしてもよい。例えば、情報処理装置５０１は、脇周辺の画像を複数の領域に分割して、領域ごとにマーカーのはみ出し量を検出する構成とすることもできる。これにより、教示画像と比較して、はみ出し方の少ない領域、多い領域を検出できるため、同じようなはみ出し方に（各領域のはみ出し量が同じように）なるように手の添え方の方向や角度等を指示することが可能となる。
なお、教示画像は複数の体型（身長や体重、手の大きさ等）の熟練介護者のものを用意しておき、教示画像を表示させる際は、介護訓練中の見習い介護者の体型に近い熟練介護者の教示画像を表示させる構成としてもよい。このような構成とすることで、体格の違いに起因するマーカーのはみ出し方の違いの影響を低減することができる。
また、マーカーは、手を添える位置に付されるものに限られない。例えば、熟練の介護者の目線と経験の浅い介護者の目線とが異なることで介護作業の質に差が出る場合もある。このような場合、胸部や腹部の複数の箇所に点状の小さなマーカーを複数付しておき、情報処理装置５０１は、撮像画像に写っている複数のマーカーに基づき介護者の視線の適否を判定することができる。
より具体的には、情報処理装置５０１は、撮像部５２７で撮像された画像において、被介護者のシャツに付されたマーカーの位置が適切か否かを判定する。例えば、情報処理装置５０１は、撮像画像を複数の領域（格子状等）に分割し、胸部や腹部に付された各マーカーが所定の領域に位置しているかを判定する。所定の領域に位置しているか否かは、例えば、情報処理装置５０１は、熟練介護者の教示画像と比較し、領域ごとの画像の類似度や含まれるマーカーの数等に基づいて判定することができる。すなわち、ある領域について、熟練介護者の教示画像に含まれるマーカーが、見習い介護者の作業中の撮像画像においては含まれていなかったり、含まれていても設定された数より少なかったりした場合、視線がずれていると考えられる。そして、情報処理装置５０１は、各領域について、含まれるマーカーを分析することにより、教示画像と実際の介護画像とで含まれるマーカーが同じになるように、作業中の介護者に対して目線の向きを指示することが可能となる。
【００２１】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した実施形態では、表示システムは、画像認識技術を利用して教示画像や指示画像を生成し、表示装置５００で表示する例を示した。しかし、作業場等にマーカーを付し、撮像部５２７でマーカーを含む様に画像を撮像するようにしてもよい。そして、表示システムは、マーカーを位置合わせに用いて、教示画像や指示画像を表示するようにしてもよい。
【００２２】
以上、上述した実施形態によれば、作業者の作業支援を適切に行うことができる。その結果、作業結果の製品、サービス等の品質を一定に保つと共に、熟練者の作業の技能を継承させることができる。
また、上述した実施形態の処理によれば、表示システム内において、簡易な情報処理により、作業の教示画像、指示画像を現実空間に重畳表示することができるため、表示装置５００と情報処理装置５０１とのやり取りの量を減らすことができる。そのためネットワークの帯域の使用率を下げることができる。また、表示装置５００において、より簡易な情報処理により、作業の教示画像、指示画像を現実空間に重畳表示することができるため、表示装置５００のＣＰＵ５２１等の使用率を下げることができる。情報処理装置５０１も同様である。
【図１】
2017150292.tif 000003
【図２】
2017150292.tif 000004
【図３】
2017150292.tif 000005
【図４Ａ】
2017150292.tif 000006
【図４Ｂ】
2017150292.tif 000007
【図５】
2017150292.tif 000008
【図６】
2017150292.tif 000009
【図７】
2017150292.tif 000010
【手続補正書】
【提出日】平成29年10月23日(2017.10.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
登録された作業の教示画像を取得する教示画像取得手段と、
前記教示画像取得手段により取得された前記作業の教示画像を、前記作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に前記作業の画像を重畳して表示する表示手段と、
前記作業者の前記作業に関する撮像画像を取得する撮像画像取得手段と、
前記撮像画像取得手段により取得された前記撮像画像と、前記教示画像取得手段により取得された前記作業の教示画像と、に基づき、指示画像を生成する生成手段と、
を有し、
前記生成手段は、前記撮像画像取得手段により取得された前記撮像画像と前記教示画像取得手段により取得された前記作業の教示画像との差分に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成し、
前記表示手段は、前記生成手段により生成された前記指示画像を前記表示部に表示することで、前記現実空間に前記指示画像を更に重畳して表示する表示システム。
【請求項２】
前記生成手段は、前記撮像画像取得手段により取得された前記撮像画像と前記教示画像取得手段により取得された前記作業の教示画像との差分に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成しないことを決定した場合、現在の作業状況が良好であることを示す良好示唆情報を生成し、
前記表示手段は、前記生成手段により生成された前記良好示唆情報を前記表示部に表示する請求項１記載の表示システム。
【請求項３】
前記生成手段は、前記撮像画像取得手段により取得された前記撮像画像と前記教示画像取得手段により取得された前記作業の教示画像との類似度に基づき、前記撮像画像と前記作業の教示画像との差分を評価し、評価の結果に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成する請求項１又は２記載の表示システム。
【請求項４】
前記生成手段は、分割された領域ごとに前記撮像画像取得手段により取得された前記撮像画像と前記作業の教示画像との類似度を決定し、決定した類似度に基づき、前記分割された領域ごとに、前記撮像画像と前記作業の教示画像との差分を評価し、評価の結果に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成する請求項３記載の表示システム。
【請求項５】
作業の作業画像を登録する登録手段と、
前記登録手段により登録された前記作業画像のうち教示画像を設定する設定手段と、
を更に有する請求項１乃至４何れか１項記載の表示システム。
【請求項６】
登録された作業の教示画像を取得する教示画像取得手段と、
ネットワークを介して通信可能な表示装置により取得された撮像画像と、前記教示画像取得手段により取得された前記作業の教示画像と、に基づき、指示画像を生成する生成手段と、
前記生成手段により生成された指示画像を前記表示装置に送信する送信手段と、
を有し、
前記生成手段は、前記撮像画像と前記教示画像取得手段により取得された前記作業の教示画像との差分に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成する情報処理装置。
【請求項７】
表示システムが実行する情報処理方法であって、
登録された作業の教示画像を取得する教示画像取得ステップと、
前記教示画像取得ステップで取得された前記作業の教示画像を、前記作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に前記作業の画像を重畳して表示する第１の表示ステップと、
前記作業者の前記作業に関する撮像画像を取得する撮像画像取得ステップと、
前記撮像画像取得ステップで取得された前記撮像画像と、前記教示画像取得ステップで取得された前記作業の教示画像と、に基づき、指示画像を生成する生成ステップと、
前記生成ステップで生成された前記指示画像を前記表示部に表示することで、前記現実空間に前記指示画像を更に重畳して表示する第２の表示ステップと、
を含み、
前記生成ステップでは、前記撮像画像取得ステップで取得された前記撮像画像と前記教示画像取得ステップで取得された前記作業の教示画像との差分に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成する情報処理方法。
【請求項８】
情報処理装置が実行する情報処理方法であって、
登録された作業の教示画像を取得する教示画像取得ステップと、
ネットワークを介して通信可能な表示装置により取得された撮像画像と、前記教示画像取得ステップで取得された前記作業の教示画像と、に基づき、指示画像を生成する生成ステップと、
前記生成ステップで生成された指示画像を前記表示装置に送信する送信ステップと、
を含み、
前記生成ステップでは、前記撮像画像と前記教示画像取得ステップで取得された前記作業の教示画像との差分に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成する情報処理方法。
【請求項９】
コンピュータを、請求項６記載の情報処理装置の各手段として、機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
そこで、本発明の表示システムは、登録された作業の教示画像を取得する教示画像取得手段と、前記教示画像取得手段により取得された前記作業の教示画像を、前記作業を行う作業者が装着している表示装置の表示部に表示することで、現実空間に前記作業の画像を重畳して表示する表示手段と、前記作業者の前記作業に関する撮像画像を取得する撮像画像取得手段と、前記撮像画像取得手段により取得された前記撮像画像と、前記教示画像取得手段により取得された前記作業の教示画像と、に基づき、指示画像を生成する生成手段と、を有し、前記生成手段は、前記撮像画像取得手段により取得された前記撮像画像と前記教示画像取得手段により取得された前記作業の教示画像との差分に基づき、前記作業の教示画像の確認を指示する情報を含む前記指示画像を生成するか否かを決定し、当該指示画像を生成すると決定した場合、当該指示画像を生成し、前記表示手段は、前記生成手段により生成された前記指示画像を前記表示部に表示することで、前記現実空間に前記指示画像を更に重畳して表示する。
【国際調査報告】
2017150292.tif 000011
2017150292.tif 000012
2017150292.tif 000013
2017150292.tif 000014