(57)【要約】  作業支援システム（１）は、作業領域に作業指示画像を投影する投影装置と、作業対象物（３）を撮影する撮影装置と、作業対象物（３）に対する投影装置の位置を移動する移動部と、撮影装置が撮影した画像に基づいて、作業指示画像を投影する投影位置および投影位置に投影可能な投影装置の位置を決定するとともに、投影位置に応じた作業指示画像を生成する情報処理装置（１０）と、を備える。移動部は、情報処理装置（１０）により決定された投影装置の位置に投影装置を移動する。
2020240918.tif 000002
【特許請求の範囲】
【請求項１】
作業領域に作業指示画像を投影する投影装置と、
作業対象物を撮影する撮影装置と、
前記作業対象物に対する前記投影装置の位置を移動する移動部と、
前記撮影装置が撮影した画像に基づいて、前記作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するとともに、前記投影位置に応じた前記作業指示画像を生成する情報処理装置と、を備え、
前記移動部は、前記情報処理装置により決定された前記投影装置の位置に前記投影装置を移動する、
作業支援システム。
【請求項２】
前記作業対象物の周囲に設けられた案内部を備え、
前記移動部は、前記案内部に沿って前記投影装置を移動する、
請求項１に記載の作業支援システム。
【請求項３】
前記移動部は、前記案内部を移動する案内部移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記案内部移動装置を駆動して前記案内部を移動する、
請求項２に記載の作業支援システム。
【請求項４】
前記移動部は、前記作業対象物を移動する作業対象物移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記作業対象物移動装置を駆動して前記作業対象物を移動する、
請求項１から３のいずれか１項に記載の作業支援システム。
【請求項５】
前記移動部は、前記投影装置とともに前記撮影装置を移動する、
請求項１から４のいずれか１項に記載の作業支援システム。
【請求項６】
前記情報処理装置は、
撮影した前記作業対象物の画像を各作業工程の完了時の作業対象物のモデル画像と比較して現在の作業進捗の情報を取得する画像認識処理部と、
前記作業進捗の情報に基づいて次の作業工程の作業位置を求めるとともに、前記作業位置との間に遮蔽物が存在しない位置を前記投影装置の位置として求める位置決定部と、
を備える請求項１から５のいずれか１項に記載の作業支援システム。
【請求項７】
作業者の視界画像を撮影するウェアラブルカメラをさらに備え、
前記画像認識処理部は、前記ウェアラブルカメラの視界画像を前記撮影装置の撮影画像と比較して投影位置を求める、
請求項６に記載の作業支援システム。
【請求項８】
前記画像認識処理部は、前記撮影装置の撮影画像に基づいて作業対象物およびその近傍の表面上において作業指示画像を投影可能な平面を複数抽出し、抽出された前記平面の中から前記投影位置を求める、
請求項７に記載の作業支援システム。
【請求項９】
前記投影装置は、第１の投影装置および第２の投影装置を備え、
前記移動部は、前記第１の投影装置の位置を移動する第１の移動部と前記第２の投影装置の位置を移動する第２の移動部を備え、
前記情報処理装置は、撮影画像に基づいて作業領域に作業指示画像を投影可能な前記第１の投影装置の位置および前記第２の投影装置の位置を決定し、
前記第１および前記第２の移動部は、前記情報処理装置により決定された前記第１および前記第２の投影装置の位置に前記第１および前記第２の投影装置を移動する、
請求項１から８のいずれか１項に記載の作業支援システム。
【請求項１０】
前記情報処理装置は、前記第１の投影装置が投影する第１の作業指示画像および前記第２の投影装置が投影する第２の作業指示画像を生成する投影画像生成部を備え、
前記第１および前記第２の作業指示画像は、連続する作業工程における作業指示の画像である、
請求項９に記載の作業支援システム。
【請求項１１】
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示を投影する投影位置および前記投影位置に投影可能な投影装置の位置を決定するステップと、
決定された前記投影装置の位置に前記投影装置を移動するステップと、
前記投影位置に前記作業指示を投影するステップと、
を備える作業支援方法。
【請求項１２】
コンピュータに、
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示を投影する投影位置および前記投影位置に投影可能な投影装置の位置を決定するステップと、
決定された前記投影装置の位置に前記投影装置を移動するステップと、
前記投影位置に前記作業指示を投影するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、作業支援システム、作業支援方法およびプログラムに関する。
【背景技術】
【０００２】
従来、作業者の作業支援のために、作業領域に作業指示を投影する技術が知られている。【０００３】
さらに、作業領域が投影装置の死角になる場合を考慮して、作業領域に作業指示を投影できないと判定した場合に、作業者の位置と作業領域との間の領域であって、作業指示を投影できる領域を、投影対象に決定して作業指示を投影する技術が知られている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−７７５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら上述した特許文献１の技術において、作業対象物と投影装置の間に死角ができた際、死角とならない位置に作業指示の投影位置が変更されることから、作業指示の投影位置はその分制限される。場合によっては、作業者の作業視線から大きく離れた位置に作業指示が投影されることになり、作業効率の低下を招く可能性がある。【０００６】
本開示は、上述の事情に鑑みてなされたものであり、作業指示の投影位置を制限することなく、作業者に作業指示を投影することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本開示の作業支援システムは、作業領域に作業指示画像を投影する投影装置と、作業対象物を撮影する撮影装置と、作業対象物に対する投影装置の位置を移動する移動部と、撮影装置が撮影した画像に基づいて、作業指示画像を投影する投影位置および投影位置に投影可能な投影装置の位置を決定するとともに、投影位置に応じた作業指示画像を生成する情報処理装置と、を備える。移動部は、情報処理装置により決定された投影装置の位置に投影装置を移動する。
【発明の効果】
【０００８】
本開示によれば、投影位置に応じて投影装置が移動するので、作業指示の投影位置を制限することなく、作業者に作業指示を投影することができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の第１の実施の形態に係る作業支援システムの全体の構成を示す図
【図２】図１の一体型光学装置の構成を示す図
【図３Ａ】図１の一体型光学装置が案内部に取り付けられた状態を示す上面図
【図３Ｂ】図１の一体型光学装置が案内部に取り付けられた状態を示す断面図
【図４】図１の作業対象物移動装置の構成を示す図
【図５】図１の移動部の構成を示す図
【図６】図１の情報処理装置のハードウェア構成を示す図
【図７】図１の情報処理装置の機能的構成を示す図
【図８】図１の作業支援システムの動作処理を示す図
【図９】第２の実施の形態に係る作業支援システムの全体の構成を示す図
【図１０】図９の作業支援システムの動作処理を示す図
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態に係る作業支援システム、作業支援方法およびプログラムについて図面を参照して詳細に説明する。
【００１１】
（第１の実施の形態）
（作業支援システムの全体構成）
本実施の形態の作業支援システム１は、立体構造物の組立、修理、メンテナンス等の作業を支援するシステムである。作業支援システム１は、図１に示すように、作業者２の作業対象である作業対象物３を載置する作業台４と、後述する画像を投影する投影装置と作業対象物３を撮影する撮影装置を備える一体型光学装置５と、一体型光学装置５が移動するアーチ状のレールである案内部６と、作業台４を移動する作業対象物移動装置７と、案内部６を回転移動する案内部移動装置８と、作業者２に装着されて作業者２の視界画像を撮影するウェアラブルカメラ９と、作業指示の画像を投影する一体型光学装置５の位置の決定と投影する作業指示画像の生成を行い、作業支援システム１全体を制御する情報処理装置１０と、を備える。
【００１２】
作業対象物３は、作業者２が作業を行う対象である立体構造物である。例えば、組立作業を行う製造対象の製品である。
【００１３】
一体型光学装置５は、図２に示すように、投影装置１１と撮影装置１２を一体化した光学装置である。したがって、投影装置１１が投影光を発する投影点と撮影装置１２が撮影する撮影点は一致し、投影装置１１が投影する方向と撮影装置１２が撮影する方向は同じである。投影装置１１と撮影装置１２は一体となって移動し、投影装置１１が移動する位置は撮影装置１２が移動する位置と同じであり、撮影装置１２が撮影する画像は投影装置１１が投影する位置を示している。なお、一体化は、投影装置１１と撮影装置１２を物理的に接着したものであってもよい。物理的な接着法に関しては各装置の機能を損なわない手法であればどのような手法でも構わない。
【００１４】
撮影装置１２は、作業対象物３を含む周辺領域を測定範囲として測定を行うことで距離画像データを生成して作業対象物３の位置、形状等の表面情報を取得する距離画像測定装置である。距離画像測定装置は、例えば、近赤外線ＬＥＤ（Light Emitting Diode）とＣＭＯＳ（Complementary Metal Oxide Semiconductor）あるいはＣＣＤ（Charge Coupled Device）型のイメージセンサを備え、測定対象物に照射された近赤外線ＬＥＤからの近赤外線の反射光をイメージセンサが受光し、照射からセンサが受光するまでの時間差を各画素で測定することによって距離画像データを生成する。
【００１５】
投影装置１１は、作業対象物３あるいは作業対象物３が存在する作業領域に作業指示を投影するプロジェクタである。プロジェクタは、例えば、投影する距離、角度にかかわらず焦点を合わせることができるフォーカスフリーであるレーザ走査型プロジェクタである。ただし、フォーカスフリーであるプロジェクタ以外であってもあらゆる角度から適切に作業指示を投影できるのであれば問題なく使用できる。作業指示を投影する際は、プロジェクションマッピングの技術を用いることで、作業対象物３に凹凸面が存在していても、作業者２に見やすい作業指示を投影することができる。
【００１６】
一体型光学装置５は通信インタフェースを備え、有線通信または無線通信を介して、情報処理装置１０と通信可能に接続されている。撮影装置１２は、測定した距離画像データを情報処理装置１０に送信する。また、投影装置１１は、情報処理装置１０から作業指示の画像データを受信する。
【００１７】
一体型光学装置５は、図３（Ａ）に示すように、アーチ状の案内部６に設けられたレール上をスライドすることにより作業対象物３の周辺を移動することができ、図３（Ｂ）に示すように、接合部１３を介して案内部６と物理的に接合している。一体型光学装置５は、接合部１３を中心に回転可能に軸支されており、必要に応じて一体型光学装置５の姿勢の調整が可能である。
【００１８】
案内部６は一体型光学装置５を情報処理装置１０が決定した位置へと移動させるための半円のアーチ状のレールであり、一体型光学装置５が作業対象物３の全体を撮影するために作業対象物３の周囲を覆う位置に設けられる。材質は特に問わず、一体型光学装置５の重量に耐えられるものであればよい。
【００１９】
一体型光学装置５が案内部６上をスライドする機構は、例えば、図３（Ｂ）に示すように、ラックアンドピニオン方式で構成する。接合部１３に一体型光学装置５を案内部６に沿って移動するための一体型光学装置移動装置１４が接続される。一体型光学装置移動装置１４はモータを備え、モータの回転軸にピニオンギヤ１５が設けられる。一方、案内部６は、レールの延在する方向に沿ってラック１６が設けられる。モータの回転軸に設けられたピニオンギヤ１５はレールに設けられたラック１６に噛合する。モータが回転することによって、ピニオンギヤ１５はラック１６に沿って移動し、一体型光学装置５が取り付けられた接合部１３はレール上をスライドする。
【００２０】
あるいは、一体型光学装置５が案内部６上をスライドする機構は、回転ベルトによる移動機構であってもよい。レールが延在する方向に沿って回転ベルトが設けられ、レールの一端には回転ベルトを駆動するモータが設けられる。接合部１３は、回転ベルトに固定して取り付けられる。モータが回転することによって、回転ベルトは移動し、一体型光学装置５が取り付けられた接合部１３はレール上をスライドする。
【００２１】
作業対象物移動装置７は、作業対象物３を情報処理装置１０が決定した位置へと移動させるためのものである。作業対象物３は、作業対象物移動装置７の移動および回転に応じて移動する。
【００２２】
作業対象物移動装置７は、図４に示すように、作業対象物３を載置する作業台４を回転する回転機構１７と、作業台４を上下に移動する昇降機構１８と、を備える。作業台４は、作業対象物３を作業台４上に固定するために、作業対象物の材質、形状に合わせた材質、形状を備える。回転機構１７は、サーボモータ、ステッピング等の回転モータであり、モータの回転軸に作業台４が取り付けられる。作業台４は回転機構１７により回転移動する。昇降機構１８は、シリンダであり、回転機構１７の下部に設けられ、回転機構１７を昇降することによって、作業台４は上下に移動する。
【００２３】
案内部移動装置８は、案内部６の両端部が固定されたリング状の円盤を回転して案内部６を移動する。案内部移動装置８は、例えば、リング状の円盤の下部側面に円盤の周囲に沿って歯が設けられ、モータの回転軸に設けられたギヤに歯合している。モータが回転することによって、ギヤに歯合する歯が移動して、円盤が回転する。
【００２４】
一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８は、作業対象物３に対する一体型光学装置５の位置を移動する移動部として機能する。一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８は、図５に示すように、これらの装置を制御する移動制御装置１９に接続されている。移動制御装置１９は、通信インタフェースを備え、有線通信または無線通信を介して、情報処理装置１０と通信可能に接続されている。情報処理装置１０は、一体型光学装置５を移動するための位置情報を移動制御装置１９に送信する。移動制御装置１９は情報処理装置１０からの位置情報を受信して、一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８を駆動するための駆動制御信号をそれぞれ生成し、それぞれの装置に生成された駆動制御信号を送出する。一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８は、移動制御装置１９の駆動制御信号に応じて駆動され、一体型光学装置５、作業対象物３および案内部６を移動する。これによって、作業対象物３に対する一体型光学装置５の位置が移動し、作業者２が見やすい作業対象物３の表面上の位置に投影装置１１が作業指示の画像を投影できる。
【００２５】
ウェアラブルカメラ９は、作業者２の視界情報を入手するための装置である。例えば、作業者２が装着するメガネのフレームにカメラが取り付けられ、作業者２の前方視野を撮影する。ウェアラブルカメラ９の画角は作業者２の視野に合わせられている。ウェアラブルカメラ９は、通信インタフェースを備え、有線通信または無線通信を介して、情報処理装置１０と通信可能に接続されている。観測された作業者２の視界情報は、通信を介して情報処理装置１０と共有される。
【００２６】
情報処理装置１０は、情報を処理するサーバ装置である。情報処理装置１０は、一体型光学装置５の撮影装置１２が撮影した距離画像データから作業指示画像の投影位置を決定するとともに、投影する作業指示画像を作成する。情報処理装置１０は、通信インタフェースを備え、有線通信又は無線通信を介して撮影装置１２およびウェアラブルカメラ９から画像データを受信するとともに、作成した作業指示画像を投影装置１１に送信する。また、決定された位置情報に基づき、一体型光学装置５は移動される。
【００２７】
情報処理装置１０は、そのハードウェア構成として、図６に示されるように、プロセッサ２１と、主記憶部２２と、補助記憶部２３と、入力部２４と、出力部２５と、通信部２６と、を有する。主記憶部２２、補助記憶部２３、入力部２４、出力部２５および通信部２６はいずれも、内部バス２７を介してプロセッサ２１に接続される。
【００２８】
プロセッサ２１は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ２１は、補助記憶部２３に記憶されるプログラムを実行することにより、情報処理装置１０の種々の機能を実現して、後述の処理を実行する。
【００２９】
主記憶部２２は、ＲＡＭ（Random Access Memory）を含む。主記憶部２２には、補助記憶部２３からプログラムがロードされる。そして、主記憶部２２は、プロセッサ２１の作業領域として用いられる。
【００３０】
補助記憶部２３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）およびＨＤＤ（Hard Disk Drive）に代表される不揮発性メモリを含む。補助記憶部２３は、プログラムの他に、プロセッサ２１の処理に用いられる種々のデータを記憶する。補助記憶部２３は、プロセッサ２１の指示に従って、プロセッサ２１によって利用されるデータをプロセッサ２１に供給し、プロセッサ２１から供給されたデータを記憶する。なお、補助記憶部２３は、複数のプログラムを記憶してもよいし、主記憶部２２には、複数のプログラムがロードされてもよい。
【００３１】
入力部２４は、入力キーおよびポインティングデバイスに代表される入力デバイスを含む。入力部２４は、情報処理装置１０のユーザによって入力された情報を取得して、取得した情報をプロセッサ２１に通知する。
【００３２】
出力部２５は、ＬＣＤ（Liquid Crystal Display）およびスピーカに代表される出力デバイスを含む。出力部２５は、プロセッサ２１の指示に従って、種々の情報をユーザに提示する。
【００３３】
通信部２６は、外部の装置と通信するためのネットワークインタフェース回路を含む。通信部２６は、外部から信号を受信して、この信号により示されるデータをプロセッサ２１へ出力する。また、通信部２６は、プロセッサ２１から出力されたデータを示す信号を外部の装置へ送信する。
【００３４】
図６に示されるハードウェア構成が協働することで、情報処理装置１０は、種々の機能を発揮する。詳細には、情報処理装置１０は、その機能として、図７に示されるように、取得した画像データを処理する画像認識処理部３１と、作業指示画像を生成する投影画像生成部３２と、作業指示画像を投影する投影装置１１の位置を決定する位置決定部３３と、を備える。
【００３５】
画像認識処理部３１は、一体型光学装置５の撮影装置１２およびウェアラブルカメラ９より送信された画像に基づいて、（１）作業指示が投影可能な作業対象物３およびその近傍の表面上の候補地、（２）作業者２と作業対象物３の相対的な位置関係、（３）作業者２の視界情報、（４）現在の作業進捗、（５）輝度、の情報を取得する。
【００３６】
作業指示が投影可能な作業対象物３およびその近傍の表面上の候補地は、撮影装置１２の距離画像データから、作業対象物３の表面の形状を認識し、作業指示の投影が可能な平面部を検出することによって選定される。投影可能な平面部について、作業者２が作業指示内容を視認できる程度の面積を有することが必要である。また、平面部は、多少の凹凸があっても、作業者２が投影した際に視認できる程度であれば許容される。さらに、投影可能な平面部について、平面部の角度が求められ、角度情報として候補地の位置情報とともに記憶される。なお、作業指示を投影可能な作業対象物３の表面上の候補地を得る手法として、画像診断によるものだけでなく、ＣＡＤ（Computer Aided Design）の設計データを用いて候補地を選定してもよい。
【００３７】
作業者２と作業対象物３の相対的な位置関係は、撮影装置１２の距離画像データから求められる。撮影装置１２の距離画像データから生成される形状に基づいて人間の頭部が認識される。この認識された頭部の位置から作業者２の位置を特定する。
【００３８】
作業者２の視界情報は、ウェアラブルカメラ９によって撮影された画像から求められる。ウェアラブルカメラ９より送信された画像と一体型光学装置５が撮影した画像をパターンマッチングの技術を用いて比較し、一体型光学装置５が撮影した画像のうち、ウェアラブルカメラ９が撮影した画像の範囲を作業者２の視界情報として認識する。視界情報として、作業者の視点位置、視認可能位置等を含んでいる。
【００３９】
作業進捗の判断は、現状の作業進捗を一体型光学装置５で撮影し、補助記憶部２３に予め記憶されている各作業工程の完了時の作業対象物３のモデル画像とパターンマッチングの技術で比較を行うことで判断する。モデル画像は例えば３次元画像であり、作業対象物３の３次元位置情報を各作業工程の完了時の作業対象物３毎に備えている。撮影画像とモデル画像が一致すれば、そのモデル画像が表す作業工程が終了したものと判断される。画像認識処理部３１は、上記手法により取得した現在の作業進捗の情報を位置決定部３３へ送信する。
【００４０】
位置決定部３３は、画像認識処理部３１が取得した現在の作業進捗の情報に基づいて、次の作業工程を確認し、次の作業工程における作業位置を特定する。作業位置が特定されると、作業位置近傍に作業指示を投影可能な一体型光学装置５の位置および角度を決定する。すなわち、作業位置によっては、一体型光学装置５と作業位置近傍の間に例えば作業対象物３の筐体の一部が位置することにより、作業位置近傍に投影する際に、この筐体の一部が遮蔽物となって投影光が遮蔽され、作業位置近傍に投影できない場合がある。そこで、位置決定部３３は、作業位置近傍との間に遮蔽物が存在せず、作業位置近傍に投影可能な一体型光学装置５の位置を求める。位置決定部３３は、３次元モデル画像に基づいて、次の作業位置周辺との間に遮蔽物が存在しない方向を求め、その方向上の位置を一体型光学装置５の位置として特定する。
【００４１】
また、位置決定部３３は、次の作業位置と画像認識処理部３１が取得した作業者２と作業対象物３の相対位置関係に基づき、作業者２が作業しやすい位置、例えば作業者２の胸元の正面となる位置に作業対象物３を移動する移動方向および移動量を求める。ただし、作業対象物３に対する一体型光学装置５の位置が、作業位置近傍と一体型光学装置５との間に遮蔽物が存在しない関係を保つ範囲で、作業対象物３の移動方向および移動量は設定される。
【００４２】
決定された位置および角度は、移動制御装置１９に送信され、移動制御装置１９は一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８を駆動する。
【００４３】
投影画像生成部３２は、作業対象物３およびその周辺の投影位置に投影する作業指示画像を生成する。投影画像生成部３２は、画像認識処理部３１からの作業進捗情報に基づいて、次に作業する工程の作業指示情報を補助記憶部２３に予め記憶された各工程の作業指示情報から読み出す。投影画像生成部３２は、読み出された作業指示情報から画像認識処理部３１で求めた投影可能面に適した作業指示画像を生成する。作業指示情報は、例えば、次の作業位置の方向を矢印で示したり、作業位置を丸印で示すこと等により表示する作業位置情報、作業内容の手順を文字、写真画像、アニメーション等で表示する作業手順情報等を含む。また、投影画像生成部３２は、位置決定部３３からの位置および角度の情報に基づいて、一体型光学装置５から投影される投影光の出射角度を制御する制御信号を生成する。作業対象物３に対する一体型光学装置５の位置の移動に加えて、一体型光学装置５から投影される投影光の出射角度を調整することにより、目的の投影位置に作業指示画像を投影する。
【００４４】
次に、作業対象物３に対する作業を開始する時の作業支援システム１の作業指示情報の投影に至るまでの動作について、図８に基づいて説明する。
【００４５】
作業支援システム１が起動されると、情報処理装置１０は、作業対象物３が初期状態であることを確認するために、撮影装置１２に対して作業対象物３全体を撮影する指示を出し、撮影装置１２は撮影を行う（ステップＳ１０１）。このとき、作業台４および案内部６は、初期状態の位置に固定されている。情報処理装置１０は、撮影の指示を通信部２６を通じて一体型光学装置５の撮影装置１２に送信するとともに、一体型光学装置移動装置１４に対して一体型光学装置５が案内部６全体を移動する指示を送信する。一体型光学装置移動装置１４は、情報処理装置１０からの指示を受けて、一体型光学装置５を案内部６の一方の端部から他方の端部に向かって移動させる。一体型光学装置５が予め定められた初期位置に達すると、撮影装置１２は、作業対象物３を撮影する。撮影画像は、情報処理装置１０に送信される。情報処理装置１０の画像認識処理部３１は、受信した撮影画像を補助記憶部２３に予め記憶されている作業対象物３の画像とパターンマッチングを行い、作業対象物３が予め定められた位置に固定されていることを確認する。
【００４６】
初期状態が確認されると、画像認識処理部３１は、一体型光学装置５より受信された撮影画像から画像認識処理に必要な情報を得る（ステップＳ１０２）。必要な情報として、撮影画像に基づいて選定された作業指示を投影可能な作業対象物３の表面上の候補地の位置および角度、現在の作業進捗、作業者２と作業対象物３の相対位置等の情報を得る。画像認識処理部３１は、現在の作業進捗の情報を位置決定部３３に送信する。
【００４７】
位置決定部３３は、画像認識処理部３１が取得した現在の作業進捗の情報に基づいて次の作業工程の作業位置を求め、投影すべき作業指示に合わせた一体型光学装置５の位置および角度を決定する（ステップＳ１０３）。位置決定部３３は、作業指示情報が記憶された補助記憶部２３にアクセスして現在の作業進捗の情報から次の作業位置を検索する。作業指示情報には、次の作業工程と作業位置が記録されている。位置決定部３３は、検索された次の作業位置に基づき、その位置に作業指示画像を投影するための一体型光学装置５の位置および角度を決定する。
【００４８】
決定された位置および角度は、移動制御装置１９に送信される。移動制御装置１９は、一体型光学装置５を決定された位置および角度に移動させるために、一体型光学装置移動装置１４の移動量、案内部移動装置８の移動量および作業対象物移動装置７の移動量を決定する。決定された位置および角度によっては、一体型光学装置５の案内部６に沿った移動のみでは、到達することができない場合がある。この場合は、必要に応じて案内部移動装置８を駆動して案内部６を回転させる。さらに作業対象物移動装置７を駆動して作業台４を回転、昇降することによって、作業対象物３に対する一体型光学装置５の位置を目的の位置および角度に移動する。
【００４９】
移動量が決定されると、移動制御装置１９は、一体型光学装置移動装置１４を駆動して、一体型光学装置５を情報処理装置１０の位置決定部３３で決定した位置に移動させる（ステップＳ１０４）。その際、決定された移動量に基づいて、移動制御装置１９は、案内部移動装置８を駆動して、案内部６も移動させる。
【００５０】
そして同時に、移動制御装置１９は、位置決定部３３で決定した位置にしたがい作業対象物移動装置７を駆動して、作業台４を左右方向に回転、または上下方向に移動、あるいは左右方向に回転するとともに上下方向に移動して、作業対象物３を作業者が作業しやすい位置に移動させる（ステップＳ１０５）。
【００５１】
次に画像認識処理部３１は、ステップＳ１０２で選定した作業指示を投影可能な作業対象物３の表面上の候補地および作業進捗情報に基づいて、候補地の中から作業指示を投影する位置の絞り込みを行う（ステップＳ１０６）。ここでは、作業進捗情報から求めた次の作業工程の作業位置に近い候補地が抽出される。
【００５２】
次に画像認識処理部３１は、ウェアラブルカメラ９に対して作業者２の視界情報を取得する指示を行う（ステップＳ１０７）。ウェアラブルカメラ９は、画像認識処理部３１からの指示に応じて、作業者２の視界情報を取得するため、撮影を行い、画像認識処理部３１に撮影画像を送信する。ウェアラブルカメラ９より送信された画像は一体型光学装置５が撮影した画像とパターンマッチングが行われる。パターンマッチングを行うことにより、一体型光学装置５が撮影した撮影画像中における作業者２の目線の中心の位置、視野の範囲等の視界情報を取得する。
【００５３】
画像認識処理部３１は、取得した視界情報に基づき、作業指示の投影位置を最終決定する（ステップＳ１０８）。画像認識処理部３１は、ステップＳ１０６で決定された投影候補地が、作業位置に近く、ウェアラブルカメラ９で撮影された作業者２の視野の範囲に含まれるか、目線位置に近いかを判断する。さらに、作業者２から見た投影候補地の投影面の角度についても考慮される。作業者２から見た投影面が垂直に近いと、作業者２は投影された作業指示画像を視認しやすい。画像認識処理部３１は、ステップＳ１０２で取得した各候補地の平面部の角度情報に基づいて、作業者２から見た各候補地の平面部が作業指示画像を視認しやすい程度の角度であるか判断される。ステップＳ１０６で決定された投影候補地が、視野の範囲に含まれない、目線位置から離れている、作業者２が作業指示画像を視認しやすい程度の角度でない場合、他の投影候補地が選ばれ、同様の判断が行われる。条件を満たす場合、抽出された投影候補地を投影位置として最終決定する。あるいは抽出した投影候補地を多少修正したうえで投影位置が最終決定される。この処理により作業者２にとって真に見やすい位置に作業指示を投影可能とする。なお、投影位置を決定する要素として、撮影画像の輝度を考慮してもよい。投影面が明るすぎて画像が写り難い場合は、候補から除くことにより、作業者２が視認しやすい作業指示画像を提供できる。その後、画像認識処理部３１は、決定した作業指示投影箇所に適した投影画像を生成するため、投影画像生成部３２へ作業進捗情報を送信する。
【００５４】
情報処理装置１０の投影画像生成部３２は、画像認識処理部３１より送信された作業進捗情報に基づいて次の作業工程の作業指示画像を生成する（ステップＳ１０９）。作業指示画像は、投影する位置、角度、大きさ、表面の凹凸等を考慮して生成される。例えば、投影する位置に応じて次の作業箇所を示す矢印の位置を生成する。また、投影する角度に応じて、投影された画像の歪みを予め修正した画像を生成する。また、投影する面の大きさに応じて、作業指示情報の内容を変更する。例えば、投影する面が狭い場合、作業指示を文字のみとしたり、さらに表示する文章を短い文章に変更する。逆に投影する面が十分に広い場合、文字情報以外に写真画像、アニメーション等を表示したり、表示する文章を詳しい内容まで含む文章に変更する。また、表面の凹凸の状態に応じて、投影された画像の歪みを予め修正した画像を生成する。また、画像認識処理部３１が取得した撮影画像の輝度に基づき投影画像の輝度を調整する。
【００５５】
次に位置決定部３３は投影画像生成部３２が生成した作業指示画像に基づいて一体型光学装置５の詳細な位置を決定する（ステップＳ１１０）。ここでは、投影画像生成部３２で生成された画像を作業者２が見やすい位置に表示するために、投影装置１１の位置の調整が行われる。
【００５６】
位置決定部３３により一体型光学装置５の最終位置が決定されると、決定された位置情報が移動制御装置１９に送信される。移動制御装置１９は、決定された位置に応じて、一体型光学装置５および案内部６の移動量を求めて、一体型光学装置移動装置１４の駆動制御信号および案内部移動装置８の駆動制御信号を生成する。その後、案内部移動装置８に生成された駆動制御信号を加えることによって、案内部６は一体型光学装置５を位置決定部３３が決定した位置へ移動させる（ステップＳ１１１）。同時に一体型光学装置移動装置１４に生成された駆動制御信号を加えることによって、一体型光学装置５は位置決定部３３が最終決定した位置に移動する。
【００５７】
一体型光学装置５は、位置決定部３３が決定した位置へ移動後、投影画像生成部３２で生成された作業指示画像を作業対象物３へ投影する（ステップＳ１１２）。このとき、一体型光学装置５は、必要に応じて投影光の出射角度を調整して目的の投影位置に作業指示画像を投影する。
【００５８】
作業指示が投影された後、作業者２から次の作業工程の作業指示を求める指示があるとき、あるいは作業指示の投影から一定時間が経過すると、ステップＳ１０３に移行する。そしてステップＳ１０３以降の処理が行われ、全ての作業が完了するまで、あるいは作業者２から作業指示の投影の中止の指示があるまで、ステップＳ１０３〜ステップＳ１１２の処理が繰り返される。
【００５９】
このように作業指示を投影する一体型光学装置５を可動にすることによって、どのような作業対象物３においても作業者２にとって真に見やすい位置に作業指示を投影することができる。
【００６０】
（第２の実施の形態）
第１の実施の形態では、１台の一体型光学装置５が案内部６上を移動して次の作業工程の作業指示画像を投影した。作業者２が投影された作業指示画像に基づいて作業を完了すると、さらに次の作業工程の作業指示画像が投影される。このとき次の作業指示画像が投影されるまで、前述したステップＳ１０３〜ステップＳ１１２の処理が同様に行われる。
【００６１】
しかしながら、投影装置１１が１台であるため、作業指示画像を複数投影できず、次工程の作業指示画像の投影まで時間がかかり、作業者２が手待ちになるといったロスが発生することが考えられる。
【００６２】
そこで一体型光学装置５を複数台用意することで、次の作業工程の作業指示画像を予め投影し、作業者２がスムーズに次工程の作業に移行することを可能とする。
【００６３】
第２の実施の形態に係る作業支援システムは、図９に示すように、第１の案内部４６に加えて、第２の案内部５６が設けられている。なお、図９において、案内部は２本設けられているが、これに限らず３本以上の複数本備えてもよい。第１の案内部４６および第２の案内部５６上に、それぞれ、第１の一体型光学装置４５、第２の一体型光学装置５５が設けられる。第１の一体型光学装置４５は、第１の投影装置および第１の撮影装置（図示せず）を備え、第２の一体型光学装置５５は、第２の投影装置および第２の撮影装置（図示せず）を備える。第１の一体型光学装置４５の第１の投影装置は、直近の作業指示の画像である第１の作業指示画像を投影し、第２の一体型光学装置５５の第２の投影装置は、その次の作業工程の作業指示の画像である第２の作業指示画像を投影する。第１の一体型光学装置４５は第１の一体型光学装置移動装置（図示せず）によって第１の案内部４６上を移動する。第１の一体型光学装置移動装置、作業対象物移動装置７および案内部移動装置８は、作業対象物３に対する第１の一体型光学装置４５の位置すなわち第１の投影装置の位置を移動する第１の移動部として機能する。また、第２の一体型光学装置５５は第２の一体型光学装置移動装置（図示せず）によって第２の案内部５６上を移動する。第２の一体型光学装置移動装置、作業対象物移動装置７および案内部移動装置８は、作業対象物３に対する第２の一体型光学装置５５の位置すなわち第２の投影装置の位置を移動する第２の移動部として機能する。
【００６４】
次に、第２の実施の形態における、作業対象物３に対する作業を開始する時の作業支援システム１の作業指示画像の投影に至るまでの動作を図１０に示す。
【００６５】
作業支援システム１が起動されると、情報処理装置１０は、作業対象物３が初期状態であることを確認するために、第１の一体型光学装置４５の第１の撮影装置に対して作業対象物３全体を撮影する指示を出し、第１の撮影装置は作業対象物３の撮影を行う（ステップＳ２０１）。このとき、作業台４および第１および第２の案内部４６，５６は、初期状態の位置に固定されている。情報処理装置１０は、撮影の指示を通信部２６を通じて第１の一体型光学装置４５に送信する。第１の一体型光学装置４５は、情報処理装置１０からの指示を受けて、第１の一体型光学装置４５を第１の案内部４６の一方の端部から他方の端部に向かって移動させる。第１の一体型光学装置４５が予め定められた初期位置に達すると、第１の撮影装置は、作業対象物３を撮影する。撮影画像は、情報処理装置１０に送信される。情報処理装置１０の画像認識処理部３１は、受信した撮影画像を補助記憶部２３に予め記憶されている作業対象物３の画像とパターンマッチングにより比較を行い、作業対象物３が予め定められた位置に固定されていることを確認する。
【００６６】
初期状態が確認されると、画像認識処理部３１は、第１の一体型光学装置４５より受信された撮影画像から、投影候補地の選定情報、作業進捗情報、作業者２と作業対象物３の相対位置等の画像認識処理に必要な情報を得る（ステップＳ２０２）。画像認識処理部３１は、現在の作業進捗の情報を位置決定部３３に送信する。
【００６７】
位置決定部３３は、画像認識処理部３１が取得した現在の作業進捗の情報に基づいて作業の進捗状況を判断し、投影すべき作業指示にしたがって作業が行われる作業領域に投影可能な第１の一体型光学装置４５の位置および角度を決定する（ステップＳ２０３）。位置決定部３３は、補助記憶部２３にアクセスして現在の進捗情報から次の作業工程の作業位置を検索する。位置決定部３３は、次の作業位置から、画像を投影するための第１の一体型光学装置４５の位置および角度を決定する。決定された位置および角度は、移動制御装置１９に送信される。移動制御装置１９は、第１の一体型光学装置４５を決定された位置および角度に移動させるために、第１の一体型光学装置４５の移動量、第１の案内部４６の移動量および作業台４に載置された作業対象物３の移動量を決定する。
【００６８】
移動量が決定されると、移動制御装置１９は、第１の一体型光学装置４５を位置決定部３３で決定した位置に移動させる（ステップＳ２０４）。その際、決定された移動量に基づいて、第１の案内部４６も移動を行う。
【００６９】
そして同時に、移動制御装置１９は、位置決定部３３で決定した位置にしたがい、作業台４を左右方向に回転、または上下方向、あるいは左右方向に回転するとともに上下方向に移動して、作業対象物３を移動させる（ステップＳ２０５）。
【００７０】
次に画像認識処理部３１は、ステップＳ２０２で選定した作業指示を投影可能な作業対象物３の表面上の候補地および作業進捗情報に基づいて、作業指示を投影する投影候補地の絞り込みを行う（ステップＳ２０６）。
【００７１】
画像認識処理部３１は、ウェアラブルカメラ９に対して作業者２の視界情報を取得する指示を行う（ステップＳ２０７）。ウェアラブルカメラ９は、画像認識処理部３１からの指示に応じて、作業者２の視界情報を取得するため、撮影を行い、画像認識処理部３１に撮影画像を送信する。
【００７２】
画像認識処理部３１は、取得した視界情報に基づき、第１および第２の一体型光学装置４５，５５が投影する第１および第２の投影位置を最終決定する（ステップＳ２０８）。画像認識処理部３１はステップＳ２０６で絞り込まれた投影候補地が、作業位置に近く、ウェアラブルカメラ９で撮影された作業者２の視野の範囲に含まれるか、目線位置に近いかを判断する。さらに、作業者２から見た投影候補地の投影面の角度についても考慮される。ステップＳ２０６で絞り込まれた投影候補地が、視野の範囲に含まれない、目線位置から離れている、作業者２が作業指示画像を視認しやすい程度の角度でない場合、他の投影候補地が選ばれ、同様の判断が行われる。条件を満たす場合、抽出された投影候補地を投影位置として最終決定する。あるいは選ばれた投影候補地を多少修正したうえで第１の投影位置が最終決定される。この処理により作業者２にとって真に見やすい位置に作業指示を投影可能とする。なお、投影位置を決定する要素として、撮影画像の輝度をさらに考慮し、例えば投影面が明るすぎて画像が写り難い場合は、候補から除いてもよい。次に、第１の投影位置の次に作業者２の目線位置に距離が近い投影候補地が、第２の一体型光学装置５５が投影するその次の作業工程の作業指示の投影位置である第２の投影位置として抽出される。なお、一体型光学装置が３台以上の複数台存在する場合、投影位置の抽出は、一体型光学装置の数を上限として、同時に投影する連続する工程の作業指示の数だけ行われる。ウェアラブルカメラ９で撮影された作業者２の視界画像に含まれる投影候補地だけでは足りない場合、作業者２の視界画像に距離が近い投影候補地が抽出される。その後、画像認識処理部３１は、決定した複数の作業指示投影箇所に適した投影画像を生成するため、投影画像生成部３２へ作業進捗情報を送信する。
【００７３】
投影画像生成部３２は、画像認識処理部３１より送信された作業進捗情報に基づいて第１および第２の一体型光学装置４５，５５が投影する第１および第２の作業指示画像を生成する（ステップＳ２０９）。投影画像生成部３２は、第１の一体型光学装置４５が投影する直近の作業工程の作業指示の画像である第１の作業指示画像のみならず、同時に第２の一体型光学装置５５が投影する続く作業工程の作業指示の画像である第２の作業指示画像も生成する。なお、一体型光学装置が３台以上の複数台存在する場合、一体型光学装置の数を上限として、同時に投影する連続する作業工程の作業指示の数だけ作業指示画像が生成される。
【００７４】
次に位置決定部３３は、投影画像生成部３２が生成した作業指示画像に基づいて第１および第２の一体型光学装置４５，５５の詳細な位置すなわち第１および第２の投影装置の投影位置を決定する（ステップＳ２１０）。ここでは、投影画像生成部３２で生成された画像を作業者２が見やすい位置に表示するために、一体型光学装置４５，５５の位置の調整が行われる。
【００７５】
位置決定部３３により第１および第２の一体型光学装置４５，５５の最終位置が決定されると、決定された位置情報が移動制御装置１９に送信される。移動制御装置１９は、決定された位置に応じて、第１の一体型光学装置４５および第１の案内部４６の移動量を求めて、第１の一体型光学装置４５を移動するための駆動制御信号および第１の案内部４６を移動するための駆動制御信号を生成する。また、移動制御装置１９は、決定された位置に応じて、第２の一体型光学装置５５を移動するための駆動制御信号を生成する。ここで、第２の案内部５６は、第１の案内部４６と同じ移動機構によって第１の案内部４６と同じ移動量だけ移動する。したがって、第２の一体型光学装置５５を移動するための駆動制御信号は、第２の案内部５６の移動量を考慮して決定される。その後、第１および第２の案内部４６，５６は、位置決定部３３が決定した位置へ移動される（ステップＳ２１１）。同時に第１および第２の一体型光学装置４５，５５は位置決定部３３が最終決定した位置に移動する。
【００７６】
第１および第２の一体型光学装置４５，５５は、位置決定部３３が決定した位置へ移動後、投影画像生成部３２で生成された第１および第２の作業指示画像を作業対象物３へ投影する（ステップＳ２１２）。このとき、第１および第２の一体型光学装置４５，５５は、必要に応じてそれぞれ投影光の出射角度を調整して目的の投影位置に作業指示画像を投影する。
【００７７】
なお、上記第２の実施の形態において、第２の案内部５６は第１の案内部４６を移動する移動機構と同じ移動機構によって移動したが、別個の移動機構によって移動してもよい。この場合、第２の案内部５６は位置決定部３３で決定された位置に応じて第１の案内部４６と別個に移動量を決定して移動を行う。
【００７８】
また、第２の一体型光学装置５５が作業指示画像を投影する作業対象物３の表面上の位置は、投影候補地の中から、その作業指示がなされる作業場所に近い位置に決定してもよい。
【００７９】
また、案内部６を複数本設けるのではなく、案内部６に複数の一体型光学装置５を設けてもよく、さらに複数の一体型光学装置５が設けられた案内部６を複数本設けてもよい。また、投影装置が投影する画像を分割して複数の連続した工程の作業指示を同時に投影してもよい。
【００８０】
第２の実施の形態では、１つの作業工程の作業終了後にスムーズに次の作業工程へ作業者２が移行することを可能とするため、複数の連続した作業内容を、異なる位置に投影する。そのため、投影画像生成部３２は複数の異なる作業指示画像を同時に作成する。その後、生成した作業指示画像を位置決定部３３へ送信する。このように、複数の連続した工程の作業指示を同時に投影することにより、作業者２が速やかに次工程の作業に移行することが可能となり、作業の効率化が見込まれる。
【００８１】
上記実施の形態において、一体型光学装置５の姿勢は接合部１３を中心に上下に回転が可能に調整できる構成であった。これに限らず、一体型光学装置５の姿勢は接合部１３を中心に上下左右に回転自在に調整できる構成であってもよい。さらに、移動制御装置１９からの移動制御信号に応じて一体型光学装置５の姿勢は接合部１３を中心に上下左右に回転自在に制御されてもよい。
【００８２】
また、情報処理装置１０により決定された作業対象物３に対する一体型光学装置５の位置に移動するために、案内部６上で一体型光学装置５を移動可能とし、案内部６を移動可能とし、作業対象物３を移動可能としたが、これらのうち少なくとも１つを移動することにしてもよい。作業対象物３と一体型光学装置５の相対位置が作業位置近傍と一体型光学装置５の間に遮蔽物が存在しない位置となれば、いずれを移動してもよい。
【００８３】
また、案内部６を作業台４に設置してもよい。この場合、案内部移動装置８は不要となる。案内部６は作業台４の移動とともに移動することから、案内部６と作業対象物３の相対位置関係は変化しない。
【００８４】
また、情報処理装置１０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。
【００８５】
例えば、プロセッサ２１によって実行されるプログラムを、コンピュータ読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。このような記録媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read−Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto−Optical Disc）が考えられる。
【００８６】
また、プログラムをインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードしてもよい。
【００８７】
また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。
【００８８】
さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。
【００８９】
なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。
【００９０】
また、情報処理装置１０の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、回路を含む専用のハードウェアによって実現してもよい。
【００９１】
本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態および変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内およびそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
【００９２】
本出願は、２０１９年５月２８日に出願された、日本国特許出願特願２０１９−０９９７７５号に基づく。本明細書中に日本国特許出願特願２０１９−０９９７７５号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
【産業上の利用可能性】
【００９３】
本開示は、作業者の作業支援のために、作業領域に作業指示を投影する作業支援システムに広く適用することができる。
【符号の説明】
【００９４】
１  作業支援システム、２  作業者、３  作業対象物、４  作業台、５  一体型光学装置、６  案内部、７  作業対象物移動装置、８  案内部移動装置、９  ウェアラブルカメラ、１０  情報処理装置、１１  投影装置、１２  撮影装置、１３  接合部、１４  一体型光学装置移動装置、１５  ピニオンギヤ、１６  ラック、１７  回転機構、１８  昇降機構、１９  移動制御装置、２１  プロセッサ、２２  主記憶部、２３  補助記憶部、２４  入力部、２５  出力部、２６  通信部、２７  内部バス、３１  画像認識処理部、３２  投影画像生成部、３３  位置決定部、４５  第１の一体型光学装置、４６  第１の案内部、５５  第２の一体型光学装置、５６  第２の案内部。
【図１】
2020240918.tif 000003
【図２】
2020240918.tif 000004
【図３Ａ】
2020240918.tif 000005
【図３Ｂ】
2020240918.tif 000006
【図４】
2020240918.tif 000007
【図５】
2020240918.tif 000008
【図６】
2020240918.tif 000009
【図７】
2020240918.tif 000010
【図８】
2020240918.tif 000011
【図９】
2020240918.tif 000012
【図１０】
2020240918.tif 000013
【手続補正書】
【提出日】令和3年6月4日(2021.6.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記目的を達成するために、本開示の作業支援システムは、作業領域に作業指示画像を投影する投影装置と、作業対象物を撮影する撮影装置と、作業対象物の周囲に設けられた案内部と、案内部に沿って作業対象物に対する投影装置の位置を移動する移動部と、撮影装置が撮影した画像に基づいて、作業指示画像を投影する投影位置および投影位置に投影可能な投影装置の位置を決定するとともに、投影位置に応じた作業指示画像を生成する情報処理装置と、を備える。移動部は、案内部を移動する案内部移動装置を備え、情報処理装置により決定された投影装置の位置に基づいて案内部移動装置を駆動して案内部を移動する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
作業領域に作業指示画像を投影する投影装置と、
作業対象物を撮影する撮影装置と、
前記作業対象物の周囲に設けられた案内部と、
前記案内部に沿って前記作業対象物に対する前記投影装置の位置を移動する移動部と、
前記撮影装置が撮影した画像に基づいて、前記作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するとともに、前記投影位置に応じた前記作業指示画像を生成する情報処理装置と、を備え、
前記移動部は、前記案内部を移動する案内部移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記案内部移動装置を駆動して前記案内部を移動する、
作業支援システム。
【請求項２】
作業領域に作業指示画像を投影する投影装置と、
作業対象物を撮影する撮影装置と、
前記作業対象物に対する前記投影装置の位置を移動する移動部と、
前記撮影装置が撮影した画像に基づいて、前記作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するとともに、前記投影位置に応じた前記作業指示画像を生成する情報処理装置と、を備え、
前記移動部は、前記作業対象物を移動する作業対象物移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記作業対象物移動装置を駆動して前記作業対象物を移動する、
作業支援システム。
【請求項３】
前記作業対象物の周囲に設けられた案内部を備え、
前記移動部は、前記案内部に沿って前記投影装置を移動する、
請求項２に記載の作業支援システム。
【請求項４】
前記移動部は、前記案内部を移動する案内部移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記案内部移動装置を駆動して前記案内部を移動する、
請求項３に記載の作業支援システム。
【請求項５】
前記移動部は、前記投影装置とともに前記撮影装置を移動する、
請求項１から４のいずれか１項に記載の作業支援システム。
【請求項６】
前記情報処理装置は、
撮影した前記作業対象物の画像を各作業工程の完了時の作業対象物のモデル画像と比較して現在の作業進捗の情報を取得する画像認識処理部と、
前記作業進捗の情報に基づいて次の作業工程の作業位置を求めるとともに、前記作業位置との間に遮蔽物が存在しない位置を前記投影装置の位置として求める位置決定部と、
を備える請求項１から５のいずれか１項に記載の作業支援システム。
【請求項７】
作業者の視界画像を撮影するウェアラブルカメラをさらに備え、
前記画像認識処理部は、前記ウェアラブルカメラの視界画像を前記撮影装置の撮影画像と比較して投影位置を求める、
請求項６に記載の作業支援システム。
【請求項８】
作業領域に作業指示画像を投影する投影装置と、
作業対象物を撮影する撮影装置と、
前記作業対象物に対する前記投影装置の位置を移動する移動部と、
作業者の視界画像を撮影するウェアラブルカメラと、
前記撮影装置が撮影した画像に基づいて、前記作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するとともに、前記投影位置に応じた前記作業指示画像を生成する情報処理装置と、を備え、
前記情報処理装置は、
撮影した前記作業対象物の画像を各作業工程の完了時の作業対象物のモデル画像と比較して現在の作業進捗の情報を取得する画像認識処理部と、
前記作業進捗の情報に基づいて次の作業工程の作業位置を求めるとともに、前記作業位置との間に遮蔽物が存在しない位置を前記投影装置の位置として求める位置決定部と、を備え、
前記画像認識処理部は、前記ウェアラブルカメラの視界画像を前記撮影装置の撮影画像と比較して投影位置を求め、
前記移動部は、前記情報処理装置により決定された前記投影装置の位置に前記投影装置を移動する、
作業支援システム。
【請求項９】
前記画像認識処理部は、前記撮影装置の撮影画像に基づいて作業対象物およびその近傍の表面上において作業指示画像を投影可能な平面を複数抽出し、抽出された前記平面の中から前記投影位置を求める、
請求項７または８に記載の作業支援システム。
【請求項１０】
前記投影装置は、第１の投影装置および第２の投影装置を備え、
前記移動部は、前記第１の投影装置の位置を移動する第１の移動部と前記第２の投影装置の位置を移動する第２の移動部を備え、
前記情報処理装置は、撮影画像に基づいて作業領域に作業指示画像を投影可能な前記第１の投影装置の位置および前記第２の投影装置の位置を決定し、
前記第１および前記第２の移動部は、前記情報処理装置により決定された前記第１および前記第２の投影装置の位置に前記第１および前記第２の投影装置を移動する、
請求項１から９のいずれか１項に記載の作業支援システム。
【請求項１１】
前記情報処理装置は、前記第１の投影装置が投影する第１の作業指示画像および前記第２の投影装置が投影する第２の作業指示画像を生成する投影画像生成部を備え、
前記第１および前記第２の作業指示画像は、連続する作業工程における作業指示の画像である、
請求項１０に記載の作業支援システム。
【請求項１２】
案内部に沿って移動する投影装置が作業領域に作業指示画像を投影する作業支援方法であって、
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するステップと、
決定された前記投影装置の位置に基づいて前記案内部および前記投影装置を移動するステップと、
前記投影位置に前記作業指示画像を投影するステップと、
を備える作業支援方法。
【請求項１３】
作業領域に作業指示画像を投影する作業支援方法であって、
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示画像を投影する投影位置および前記投影位置に投影可能な投影装置の位置を決定するステップと、
決定された前記投影装置の位置に基づいて前記作業対象物を移動するステップと、
前記投影位置に前記作業指示画像を投影するステップと、
を備える作業支援方法。
【請求項１４】
案内部に沿って移動する投影装置が作業領域に作業指示画像を投影する作業支援を行う処理をコンピュータに実行させるプログラムであって、
コンピュータに、
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するステップと、
決定された前記投影装置の位置に基づいて前記案内部および前記投影装置を移動するステップと、
前記投影位置に前記作業指示を投影するステップと、
を実行させるプログラム。
【請求項１５】
作業領域に作業指示画像を投影する作業支援を行う処理をコンピュータに実行させるプログラムであって、
コンピュータに、
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するステップと、
決定された前記投影装置の位置に基づいて前記作業対象物を移動するステップと、
前記投影位置に前記作業指示を投影するステップと、
を実行させるプログラム。
【国際調査報告】
2020240918.tif 000014
2020240918.tif 000015
2020240918.tif 000016
2020240918.tif 000017
2020240918.tif 000018