(57)【要約】【課題】複合現実感技術を利用して、部品の取付作業の効率を大幅に向上させること。【解決手段】本システムは、作業者の視点位置でその視線方向の作業空間を部品を取り付けるべきワークと共に撮像する撮像手段と、作業者の視点および作業空間中のワークの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得手段と、位置姿勢情報に基づいて、視点位置およびその視線方向における取付後の部品を示す三次元の仮想画像を生成する仮想画像生成手段と、作業空間の現実画像に仮想画像を重畳させて合成画像を生成する画像合成手段と、合成画像を表示する表示手段と、を備える。【選択図】図１
2014215748.tif 000002
【特許請求の範囲】
【請求項１】
部品の取付作業を支援するための部品取付作業支援システムであって、
作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像するための撮像手段と、
前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、
前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成するための仮想画像生成手段と、
前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、
前記合成画像を表示するための表示手段と、を備えた部品取付作業支援システム。
【請求項２】
前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する、請求項１記載の部品取付作業支援システム。
【請求項３】
前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する、請求項１または２に記載の部品取付作業支援システム。
【請求項４】
前記仮想画像は、前記取付作業における許容取付誤差を含んで生成される、請求項１乃至３のいずれか一項に記載の部品取付作業支援システム。
【請求項５】
取付後の前記部品の前記現実画像と、前記仮想画像との不一致箇所を前記表示部において表示するための誤差判定部をさらに備えた、請求項１乃至４のいずれか一項に記載の部品取付作業支援システム。
【請求項６】
部品の取付作業を支援するための部品取付作業支援システムを用いた部品取付方法であって、
作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像する撮像工程と、
前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、
前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成する仮想画像生成工程と、
前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、
前記合成画像を表示するための表示工程と、を備えた部品取付方法。
【請求項７】
前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む、請求項６記載の部品取付方法。
【請求項８】
前記合成画像に表示された前記仮想画像としての前記部品と、前記合成画像に表示された前記現実画像としての前記部品との位置関係を確認しながら、前記現実画像の前記部品を前記仮想画像の前記部品に位置合わせする、請求項６または７に記載の部品取付方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感技術を用いて部品の取付作業を支援するための部品取付作業支援システムに係わり、特に、部品の仮付け溶接作業の支援に適した部品取付作業支援システムおよび同システムを用いた部品取付方法に関する。
【背景技術】
【０００２】
従来、ワークに吊り金具などの部品を溶接する場合、図７（ａ）に示したように、ワーク４０上の部品４１を取り付ける位置に予め罫書き４２を行い、作業者は、この罫書き４２を目印として部品４１の仮付け溶接を行っていた（図７（ｂ））。
【０００３】
ところが、部品を取り付けるワークの寸法が大きかったり、或いはワークが曲面を持っている場合など、罫書き作業自体がやりにくいことがあり、罫書き作業に大きな時間を取られてしまう場合があった。
【０００４】
また、ワークの成形前に罫書きを行ってしまうと、成形時の塑性変形によって罫書き位置がずれてしまうという問題もあった。
【０００５】
また、部品の取付位置を罫書き、取り付ける部品の情報などを記載するが、作業者が仮付け溶接時に取り付ける向きを間違えてしまうことがある。その結果、手戻り作業が発生して、作業効率が低下してしまう場合があった。
【０００６】
さらに、ワークに部品を取り付けた後の検査においても、図面などと照らし合わせて取付状態を確認する必要があったために、取付状態の良否を直感的に判断し難いという問題もあった。
【０００７】
ところで近年、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示する複合現実感（ＭＲ：Mixed Reality）技術が、現実世界と仮想世界をシームレスに、リアルタイムで融合させる画像技術として注目されている（特許文献１−４）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１０７９６８号公報
【特許文献２】特開２００５−２９３１４１号公報
【特許文献３】特開２００３−３０３３５６号公報
【特許文献４】特開２００８−２９３２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
そこで、本発明は、複合現実感技術を利用して、ワークへの部品の取付作業における上述の問題を解決し、作業効率の大幅な向上を図ることができる部品取付作業支援システムおよび同システムを用いた部品取付方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、部品の取付作業を支援するための部品取付作業支援システムであって、作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像するための撮像手段と、前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成するための仮想画像生成手段と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成するための画像合成手段と、前記合成画像を表示するための表示手段と、を備えたことを特徴とする。
【００１１】
また、好ましくは、前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する。
【００１２】
また、好ましくは、前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する。
【００１３】
また、好ましくは、前記仮想画像は、前記取付作業における許容取付誤差を含んで生成される。
【００１４】
また、好ましくは、取付後の前記部品の前記現実画像と、前記仮想画像の不一致箇所を前記表示部において表示するための誤差判定部をさらに備える。
【００１５】
上記課題を解決するために、本発明は、部品の取付作業を支援するための部品取付作業支援システムを用いた部品取付方法であって、作業者の視点位置でその視線方向における作業空間を前記部品を取り付けるべきワークと共に撮像する撮像工程と、前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、前記位置姿勢情報に基づいて、前記作業者の前記視点位置およびその視線方向における取付後の前記部品を示す三次元の仮想画像を生成する仮想画像生成工程と、前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、前記合成画像を表示するための表示工程と、を備える。
【００１６】
また、好ましくは、前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む。
【００１７】
また、好ましくは、前記合成画像に表示された前記仮想画像としての前記部品と、前記合成画像に表示された前記現実画像としての前記部品との位置関係を確認しながら、前記現実画像の前記部品を前記仮想画像の前記部品に位置合わせする。
【発明の効果】
【００１８】
本発明による部品取付作業支援システムおよび同システムを用いた部品取付方法によれば、複合現実感技術を利用することにより、従来の罫書き作業が不要となり、或いは罫書き作業が容易化されるので、部品取付の作業効率を大幅に向上させることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態による部品取付作業支援システムの概略構成を示したブロック図。
【図２】図１に示した部品取付作業支援システムの概略構成を示した模式図。
【図３】図１に示した部品取付作業支援システムのマーカー部材を拡大して示した斜視図。
【図４】図１に示した部品取付作業支援システムを用いて、ワークに部品を取り付ける様子を示した模式図。
【図５】図１に示した部品取付作業支援システムの一変形例の概略構成を示したブロック図。
【図６】図１に示した部品取付作業支援システムの他の変形例の概略構成を示した模式図。
【図７】従来の部品取付作業を説明するための模式図。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施形態による部品取付作業支援システムについて説明する。なお、本システムによる支援の対象となる部品取付作業は、典型的にはワークへの部品の仮付け溶接作業であるが、部品の仮付け溶接作業以外にも、ワークに部品を取り付ける各種の取付作業を支援することができる。
【００２１】
本実施形態によるワーク加工作業支援システムは、複合現実感技術を用いるものであるので、まず初めに複合現実感技術について概説する。
【００２２】
既に述べたように複合現実感技術とは、任意視点における現実空間の画像に、仮想空間の画像を重畳し、これにより得られた合成画像を観察者に提示して、現実世界と仮想世界をシームレスに、リアルタイムで融合させる映像技術である。
【００２３】
すなわち、この複合現実感技術は、現実空間画像と、観察者の視点位置、視線方向に応じて生成される仮想空間画像とを合成することにより得られる合成画像を、観察者に提供するものである。そして、仮想物体のスケールを観察者に実寸感覚で捉えさせ、仮想物体が現実世界に本当に存在しているように感じさせることができる。
【００２４】
この複合現実感技術によれば、コンピュータ・グラフィック（ＣＧ）をマウスやキーボードで操作するのではなく、観察者が実際に移動して任意の位置や角度から見ることができる。すなわち、画像位置合わせ技術によってＣＧを指定の場所に置き、例えばシースルー型のヘッド・マウント・ディスプレイ（ＨＭＤ：Head Mount Display）を使って、そのＣＧを様々な角度から見ることが可能である。
【００２５】
複合現実感空間（ＭＲ空間）を表現するためには、現実空間中に定義した基準座標系、すなわち、現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を取得することが必要である。
【００２６】
そのための適切な画像位置合わせ技術としては、例えば、磁気センサー、光学式センサー、または超音波センサーを利用するものや、マーカー、ジャイロを利用するもの等があげられる。
【００２７】
ここで、マーカー（「ランドマーク」とも呼ばれる。）とは、画像の位置合わせのために使う指標のことであり、現実空間内に配置されたマーカーを、ＨＭＤに装着されたカメラ（撮像装置）で撮影することにより、カメラの位置姿勢を画像処理によって推定することができるというものである。
【００２８】
すなわち、現実空間中の既知の三次元座標に所定の視覚的特徴を有するマーカーを配置し、現実画像中に含まれるマーカーを検出し、検出したマーカーの構成要素（マーカーの中心や頂点など）の二次元画像位置と、既知の三次元座標とからカメラ（撮像装置）の位置姿勢が算出される。
【００２９】
本実施形態による部品取付作業支援システムは、上述した複合現実感技術を利用したものであり、以下にその構成について、図１および図２を参照して説明する。
【００３０】
図１および図２に示したように、本実施形態による部品取付作業支援システム１は、システム本体２と、このシステム本体２との間でデータ通信を行うヘッド・マウント・ディスプレイ（ＨＭＤ）３と、マーカー部材４と、を備えている。
【００３１】
部品取付作業支援システム１のシステム本体２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置、記憶媒体ドライブ装置、表示装置、入力デバイスなどを備えたコンピュータによって構成されている。
【００３２】
図２に示したようにＨＭＤ３は、作業者４の頭部に装着されており、撮像部５および表示部６を備えている。撮像部５および表示部６は、それぞれ２つずつ設けられており、撮像部５Ｒおよび表示部６Ｒは右目用、撮像部５Ｌおよび表示部６Ｌは左目用である。この構成により、ＨＭＤ３を頭部に装着した作業者４の右目と左目に対して視差画像を提示することができ、ＭＲ画像（合成画像）を三次元表示することができる。
【００３３】
ＨＭＤ３の撮像部５は、マーカー設置工程においてワーク７の上に暫定的に設置されたＭＲ用マーカー部材８と共に、部品の取付対象であるワーク７を撮像する（撮像工程）。マーカー部材８は、ワーク７上の基準点に対する所定の相対位置に設置されるものである。なお、図２では、部品の仮想画像３０Ｖを破線で示している。
【００３４】
図３に示したように、本実施形態によるマーカー部材８は、三角形の枠部９と、三角形の枠部材９の各頂点の下面に設けられた各支持部１０と、三角形の枠部材９の各頂点の上面に設けられた各複合現実感用マーカー１１とを備えている。
【００３５】
図１に示したように、ＨＭＤ３の撮像部５によって取得された現実空間の現実画像は、システム本体２の現実画像取得部１２に入力される。この現実画像取得部１２は、入力された現実画像のデータを、システム本体２の記憶部１３に出力する。
【００３６】
記憶部１３は、ＭＲ画像（合成画像）の提示処理のために必要な情報を保持し、処理に応じて情報の読み出しや更新を行うものである。
【００３７】
また、システム本体２は、記憶部１３が保持している現実画像の中から、マーカー部材８に設けられたマーカー１１を検出するためのマーカー検出部１４を備えている。
【００３８】
そして、現実物体であるワーク７の上に配置したマーカー部材８のマーカー１１の検出結果が、マーカー検出部１４から記憶部１３を介して撮像部位置姿勢推定部１５に送られる。この撮像部位置姿勢推定部１５は、マーカー１１の検出結果に基づいて、ワーク７自身の物体座標系を基準座標系としたＨＭＤ３の撮像部５の位置姿勢を推定する（位置姿勢情報取得工程）。
【００３９】
ここで、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５が、ワーク加工作業支援システム１における位置姿勢情報取得手段を構成している。
【００４０】
撮像部位置姿勢推定部１５により推定されたＨＭＤ３の撮像部５の位置姿勢は、仮想画像生成部１６に送られる。仮想画像生成部１６は、撮像部位置姿勢推定部１５から送られた撮像部５の位置姿勢、すなわち、作業者４の視点位置およびその視線方向に基づいて、撮像部５の位置姿勢から見える仮想物体の三次元の仮想画像３０Ｖを生成する（仮想画像生成工程）。
【００４１】
ここで、部品取付作業支援システム１では、この仮想画像生成部１６において、所定の仮付け溶接作業によってワーク７に取り付けられた後の部品の仮想画像３０Ｖが生成される。この取付後の部品の仮想画像３０Ｖは、許容取付誤差分だけ厚みを持たせて表示される。
【００４２】
仮想画像生成部１６において生成された取付後の部品の仮想画像３０Ｖは、システム本体２の画像合成部１７に送られる。画像合成部１７は、記憶部１３が保持している部品取付前のワーク７の現実画像に、仮想画像生成部１６から送られる仮想画像３０Ｖを重畳し、ＭＲ画像（合成画像）を生成する（画像合成工程）。
【００４３】
画像合成部１７で生成されたＭＲ画像（合成画像）は、ＨＭＤ３の表示部６に出力される（表示工程）。これにより、ＨＭＤ３の表示部６には、ＨＭＤ３の撮像部５の位置姿勢に応じた現実空間の画像と、仮想空間の画像とが重畳されたＭＲ画像が表示され、このＨＭＤ３を頭部に装着した作業者４に、複合現実空間を体験させることができる。
【００４４】
そして、作業者４は、図４（ａ）に示したように、ＭＲ画像に表示された仮想画像３０Ｖとしての部品と、同じくＭＲ画像に表示された現実の部品の現実画像３０Ｒとの位置関係を確認しながら、図４（ｂ）に示したように、現実画像３０Ｒの部品を仮想画像３０Ｖの部品に位置合わせする。
【００４５】
この状態で作業者は、図４（ｃ）に示したように、部品３０をワーク７に対して仮付け溶接する。これにより、事前の罫書き作業を必要とすることなく、所定の部品３０を、所定の位置で、所定の向きに取り付けることができる。
【００４６】
上述したように本実施形態による部品取付作業支援システム１によれば、現実画像３０Ｒの部品を仮想画像３０Ｖの部品に位置合わせすることで、部品３０の位置合わせを容易に行うことが可能であり、部品３０の取付作業の効率を大幅に高めることができる。
【００４７】
また、作業者４は、取付後の部品３０の仮想画像３０Ｖを、取付作業に先立って見ることができるので、取り付けるべき部品３０の選択を間違いなく行うことができると共に、部品３０の取付方向を間違えるようなこともない。これにより、手戻り作業が不要となって、部品３０の取付作業の効率を大幅に高めることができる。
【００４８】
なお、本実施形態による部品取付作業支援システム１は、上記の通り取付作業自体を支援することもできるが、部品取付後の状態確認に用いることもできる。
【００４９】
すなわち、ワーク７に部品３０を取り付けた後、ＨＭＤ３を通してワーク７を撮像することにより、ワーク７に取り付けられた実際の部品３０の現実画像３０Ｒと、仮想画像３０Ｖとしての部品との合成画像を見ることができる。
【００５０】
従って、作業者（この場合は検査者）４は、図面との照合作業を行うことなく、現実画像３０Ｒと仮想画像３０Ｖとの間の部品のズレを視認することにより、部品３０の取付状態の良否を擬似的な目視検査にて直感的に判断することができる。これにより、部品３０の取付状態の検査時間を大幅に短縮することができる。
【００５１】
また、本実施形態による部品取付作業支援システム１は、ワーク７に対する罫書き作業を支援することもできる。すなわち、ＨＭＤ３を通してワーク７を撮像することより、ワーク７に取り付けられた状態の部品３０の仮想画像３０Ｖを、ワーク７の現実画像に重畳させて見ることができる。そこで、作業者４は、ＨＭＤ３の表示部６に表示された部品３０の仮想画像３０Ｖに合わせて罫書き作業を行う。これにより、ワーク７の寸法が大きい場合や、ワーク７が曲面を有している場合でも、罫書き作業を容易に行うことが可能となる。
【００５２】
次に、上述した実施形態の一変形例について、図５を参照して説明する。
【００５３】
本変形例による部品取付作業支援システムは、図５に示したように、取付後の部品３０の現実画像３０Ｒと、取付後の部品３０の仮想画像３０Ｖとの不一致箇所を、パターンマッチングにより検出し、その不一致の程度を示す情報と共に、ＨＭＤ３の表示部６において表示するための誤差判定部２０をさらに備えている。
【００５４】
なお、上述した実施形態およびその変形例においては、部品取付作業支援システム１における位置姿勢情報取得手段を、マーカー部材８、マーカー検出部１４、および撮像部位置姿勢推定部１５によって構成するようにしたが、これに代えて、あるいはこれと併せて、図６に示したように、作業者４の視点位置およびその視線方向、並びにワーク７の位置を計測するための位置方向計測装置２２を設けることもできる。この種の位置方向計測装置２２としては、例えば、超音波センサーや磁気式・光学式位置計測センサーを用いることができる。
【００５５】
また、複合現実感用マーカー１１は、部品３０の仮付け作業に先立って、予めワーク７に貼り付けておくタイプのものでも良い。
【００５６】
また、上述したような別途用意する複合現実感用マーカー１１に代えて、ワーク７自身の一部（例えば、幾何学的特徴点である角部）を位置合わせ用の基準点（一種のマーカー）として利用することもできる。
【符号の説明】
【００５７】
１  部品取付作業支援システム
２  システム本体
３  ヘッド・マウント・ディスプレイ（ＨＭＤ）
４  マーカー部材
５、５Ｒ、５Ｌ  ＨＭＤの撮像部
６、６Ｒ、６Ｌ  ＨＭＤの表示部
７  ワーク
８  マーカー部材
９  マーカー部材の枠部材
１０  マーカー部材の支持部
１１  マーカー
１２  現実画像取得部
１３  記憶部
１４  マーカー検出部
１５  撮像部位置姿勢推定部
１６  仮想画像生成部
１７  画像合成部
１８  保持部材
２０  誤差判定部
２２  位置方向計測装置
３０  部品
３０Ｒ  部品の現実画像
３０Ｖ  部品の仮想画像
【図１】
2014215748.tif 000003
【図２】
2014215748.tif 000004
【図３】
2014215748.tif 000005
【図４】
2014215748.tif 000006
【図５】
2014215748.tif 000007
【図６】
2014215748.tif 000008
【図７】
2014215748.tif 000009