(57)【要約】  作業支援システム１０は、ワークＷの対象表面Ｗｓにおける複数の測定点それぞれの状態を測定する測定装置１２と、プロジェクタ装置１４と、測定装置１２の測定結果に基づいて、プロジェクタ装置１４の投影画像を作成する演算装置１６（１１６）とを有する。演算装置が、複数の測定点それぞれについて測定装置１２によって測定された状態と目標状態との間の差分を算出し、複数の測定点それぞれでの差分を表す特徴点の像がワークＷの対象表面Ｗｓにおける対応する測定点の位置にプロジェクタ装置１４によって投射される投影画像を作成する、ように構成されている。
2019087726.tif 000002
【特許請求の範囲】
【請求項１】
ワークに対する作業者の作業を支援する作業支援システムであって、
前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、
前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、
前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、
前記演算装置が、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、
前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている、作業支援システム。
【請求項２】
前記演算装置が、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記対象表面上での差分の分布を前記測定装置の前記対象表面への第１のビュー方向に対して直交する第１の平面上の画像に画像化したものである前記測定装置視点の第１の差分マップを作成する差分マップ作成部と、
前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第１の差分マップを、前記プロジェクタ装置の前記対象表面への第２のビュー方向に対して直交する第２の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第２の差分マップを作成する差分マップ変換部と、
前記対象表面に前記第２の差分マップの像が重なるように、前記第２の差分マップを含む前記投影画像を作成する投影画像作成部と、を備える、請求項１に記載の作業支援システム。
【請求項３】
前記演算装置が、前記第２の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正する投影画像補正部を備える、請求項２に記載の作業支援システム。
【請求項４】
前記演算装置が、
前記第２の差分マップの像が前記対象表面に一致して重なるように前記作業者が前記投影画像を修正するための入力部と、
前記作業者によって修正される前の前記投影画像と修正された後の前記投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出する補正用変換行列算出部と、を備える請求項３に記載の作業支援システム。
【請求項５】
前記作業者が前記第２の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用され、前記対象表面に対して着脱可能な少なくとも４つのマーカーを有する、請求項４に記載の作業支援システム。
【請求項６】
前記演算装置が、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出する差分算出部と、
前記測定装置によって状態を測定された前記ワークの３Ｄモデルを作成する３Ｄモデル作成部と、
前記複数の測定点それぞれでの差分を表す特徴点が前記３Ｄモデル上の対応する測定点の位置に描かれる前記３Ｄモデルのテクスチャを作成するテクスチャ作成部と、
前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記３Ｄモデルに対して視点を設定し、前記視点から見た前記３Ｄモデルの二次元像を作成する３Ｄモデル画像作成部と、
前記ワークに前記３Ｄモデルの二次元像が重なるように前記３Ｄモデルの二次元像を含む前記投影画像を作成する投影画像作成部と、を備える、請求項１に記載の作業支援システム。
【請求項７】
前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置である、請求項１から６のいずれか一項に記載の作業支援システム。
【請求項８】
前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、
前記演算装置が、前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出する、請求項７に記載の作業支援システム。
【請求項９】
ワークに対する作業者の作業を支援する作業支援方法であって、
測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、
前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、
前記投影画像の作成として、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、
前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される作業支援方法。
【請求項１０】
前記投影画像の作成として、
前記対象表面上での前記差分の分布を前記測定装置の前記対象表面への第１のビュー方向に対して直交する第１の平面上の画像に画像化したものである前記測定装置視点の第１の差分マップを作成すること、
前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第１の差分マップを、前記プロジェクタ装置の前記対象表面への第２のビュー方向に対して直交する第２の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第２の差分マップを作成すること、および、
前記対象表面に前記第２の差分マップの像が重なるように前記第２の差分マップを含む前記投影画像を作成すること、が実行される、請求項９に記載の作業支援方法。
【請求項１１】
前記第２の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正する、請求項１０に記載の作業支援方法。
【請求項１２】
前記第２の差分マップの像が前記対象表面に一致して重なるように前記投影画像を修正し、
修正される前の前記投影画像と修正された後の投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出する、請求項１１に記載の作業支援方法。
【請求項１３】
前記対象表面に着脱可能に少なくとも４つのマーカーが取り付けられ、
前記少なくとも４つのマーカーを、前記第２の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用する、請求項１２に記載の作業支援方法。
【請求項１４】
前記投影画像の作成として、
前記測定装置によって状態を測定された前記ワークの３Ｄモデルを作成すること、
前記複数の測定点それぞれでの差分を表す特徴点が前記３Ｄモデル上の対応する測定点の位置に描かれる前記３Ｄモデルのテクスチャを作成すること、
前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記３Ｄモデルに対して視点を設定すること、
前記視点から見た前記３Ｄモデルの二次元像を作成すること、および、
前記ワークに前記３Ｄモデルの二次元像が重なるように前記３Ｄモデルの二次元像を含む前記投影画像を作成すること、が実行される、請求項９に記載の作業支援方法。
【請求項１５】
前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置である、請求項９から１４のいずれか一項に記載の作業支援方法。
【請求項１６】
前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、
前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出する、請求項１５に記載の作業支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ワークに対する作業者の作業を支援する作業支援システムおよび作業支援方法に関する。
【背景技術】
【０００２】
例えば、特許文献１に記載の作業支援システムにおいては、現時点のワークの形状を三次元測定し、その三次元測定によって得られたワークの形状データと目標形状データとの間の差分を算出し、その算出した差分を画像化してディスプレイを介して作業者に提示する。これにより、作業者は、目標形状を得るために必要な作業内容、すなわち作業（加工）すべきワークの部分とその作業量（加工量）とを決定することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１１５６２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された作業支援システムの場合、作業者は、ワークから目を離してディスプレイを確認する必要があった。また、ワークの形状が特徴部が少ない形状、例えば平板状である場合、ディスプレイの画面に表示されているワークの部分が、実際のワークのどの部分に対応するのかわからなくなることがあった。そのため、作業者は、ワークに対する作業内容の決定に時間を要することがあった。【０００５】
そこで、本発明は、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することを課題とする。
【課題を解決するための手段】
【０００６】
上記技術的課題を解決するために、本発明の一態様によれば、
ワークに対する作業者の作業を支援する作業支援システムであって、
前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、
前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、
前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、
前記演算装置が、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、
前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている、作業支援システムが提供される。【０００７】
本発明の別の態様によれば、
ワークに対する作業者の作業を支援する作業支援方法であって、
測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、
前記投影画像の作成として、
前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、
前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される作業支援方法が提供される。
【発明の効果】
【０００８】
本発明によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る作業支援システムの構成を概略的に示す斜視図
【図２】差分マップの像がワークの対象表面に重ねられた状態の作業支援システムの斜視図
【図３】作業支援システムのブロック図
【図４】一例の差分マップを示す図
【図５】三次元測定装置視点の第１の差分マップを示す図
【図６】差分マップの像がワークの対象表面に重なるような該差分マップを含む投影画像の作成手順を説明するための作業支援システムの斜視図
【図７】差分マップの像がワークの対象表面に重なるような該差分マップを含む投影画像の作成手順を説明するための作業支援システムの上面図
【図８】プロジェクタ装置視点の第２の差分マップを示す図
【図９】一例の投影画像を示す図
【図１０】ワークの対象表面に対して第２の差分マップの像がオフセットした状態を示す図
【図１１】複数のマーカーが取り付けられた状態のワークを示す図
【図１２】実施の形態１に係る作業支援システムの作業支援の流れを示すフローチャート図
【図１３】本発明の実施の形態２に係る作業支援システムのブロック図
【図１４】ワークの３Ｄモデルを示す図
【図１５】ワークの３Ｄモデルの二次元像がワークに重ねられた状態の作業支援システムの斜視図
【図１６】実施の形態２に係る作業支援システムの概念を示す図
【図１７】実施の形態２に係る作業支援システムの作業支援の流れを示すフローチャート図
【図１８】ワークの対象表面が曲面である場合の作業支援方法を説明するための図
【図１９】ワークが移動する場合を説明するための斜視図
【図２０】ワークが移動する場合の投影画像を説明するための図
【発明を実施するための形態】
【００１０】
本発明の一態様は、ワークに対する作業者の作業を支援する作業支援システムであって、前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている。
【００１１】
このような一態様によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
【００１２】
前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記対象表面上での差分の分布を前記測定装置の前記対象表面への第１のビュー方向に対して直交する第１の平面上の画像に画像化したものである前記測定装置視点の第１の差分マップを作成する差分マップ作成部と、前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第１の差分マップを、前記プロジェクタ装置の前記対象表面への第２のビュー方向に対して直交する第２の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第２の差分マップを作成する差分マップ変換部と、前記対象表面に前記第２の差分マップの像が重なるように、前記第２の差分マップを含む前記投影画像を作成する投影画像作成部と、を備えてもよい。
【００１３】
前記演算装置が、前記第２の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正する投影画像補正部を備えてもよい。これにより、第２の差分マップの像をワークの対象表面に一致して重ねることができる。
【００１４】
前記演算装置が、前記第２の差分マップの像が前記対象表面に一致して重なるように前記作業者が前記投影画像を修正するための入力部と、前記作業者によって修正される前の前記投影画像と修正された後の前記投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出する補正用変換行列算出部と、を備えてもよい。これにより、第２の差分マップの像をワークの対象表面に一致して重ねることができる。
【００１５】
前記作業支援システムが、前記作業者が前記第２の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用され、前記対象表面に対して着脱可能な少なくとも４つのマーカーを有してもよい。これにより、第２の差分マップの像がワークの対象表面に一致して重なるように投影画像を修正する作業者の作業が容易になる。
【００１６】
前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出する差分算出部と、前記測定装置によって状態を測定された前記ワークの３Ｄモデルを作成する３Ｄモデル作成部と、前記複数の測定点それぞれでの差分を表す特徴点が前記３Ｄモデル上の対応する測定点の位置に描かれる前記３Ｄモデルのテクスチャを作成するテクスチャ作成部と、前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記３Ｄモデルに対して視点を設定し、前記視点から見た前記３Ｄモデルの二次元像を作成する３Ｄモデル画像作成部と、前記ワークに前記３Ｄモデルの二次元像が重なるように前記３Ｄモデルの二次元像を含む前記投影画像を作成する投影画像作成部と、を備えてもよい。
【００１７】
例えば、前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置であってもよい。
【００１８】
例えば、前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、前記演算装置が、前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出してもよい。
【００１９】
また、本発明の別の態様は、ワークに対する作業者の作業を支援する作業支援方法であって、測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、前記投影画像の作成として、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される。
【００２０】
このような別態様によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
【００２１】
前記投影画像の作成として、前記対象表面上での前記差分の分布を前記測定装置の前記対象表面への第１のビュー方向に対して直交する第１の平面上の画像に画像化したものである前記測定装置視点の第１の差分マップを作成すること、前記測定装置と前記プロジェクタ装置との間の位置関係に基づいて、前記第１の差分マップを、前記プロジェクタ装置の前記対象表面への第２のビュー方向に対して直交する第２の平面上の画像に画像変換することによって前記プロジェクタ装置視点の第２の差分マップを作成すること、および、  前記対象表面に前記第２の差分マップの像が重なるように前記第２の差分マップを含む前記投影画像を作成すること、が実行されてもよい、
【００２２】
前記第２の差分マップの像が前記対象表面に一致して重なるように、画像変換によって前記投影画像を補正してもよい。これにより、第２の差分マップの像をワークの対象表面に一致して重ねることができる。
【００２３】
記第２の差分マップの像が前記対象表面に一致して重なるように前記投影画像を修正し、修正される前の前記投影画像と修正された後の投影画像とに基づいて、前記投影画像の画像変換に使用される画像変換行列を算出してもよい。これにより、第２の差分マップの像をワークの対象表面に一致して重ねることができる。
【００２４】
前記対象表面に着脱可能に少なくとも４つのマーカーが取り付けられ、前記少なくとも４つのマーカーを、前記第２の差分マップの像を前記対象表面に一致して重ねるための位置合わせ基準として使用してもよい。これにより、第２の差分マップの像がワークの対象表面に一致して重なるように投影画像を修正する作業者の作業が容易になる。
【００２５】
前記投影画像の作成として、前記測定装置によって状態を測定された前記ワークの３Ｄモデルを作成すること、前記複数の測定点それぞれでの差分を表す特徴点が前記３Ｄモデル上の対応する測定点の位置に描かれる前記３Ｄモデルのテクスチャを作成すること、前記ワークに対する前記プロジェクタ装置の位置関係と同一の位置関係になるように前記３Ｄモデルに対して視点を設定すること、前記視点から見た前記３Ｄモデルの二次元像を作成すること、前記ワークに前記３Ｄモデルの二次元像が重なるように前記３Ｄモデルの二次元像を含む前記投影画像を作成すること、が実行されてもよい。
【００２６】
例えば、前記測定装置が、前記ワークの対象表面における複数の測定点それぞれの位置を測定する三次元測定装置であってもよい。
【００２７】
例えば、前記プロジェクタ装置が、前記三次元測定装置の測定範囲に配置され、前記三次元測定装置によって測定された前記プロジェクタ装置の位置に基づいて、前記三次元測定装置と前記プロジェクタ装置との間の位置関係を算出してもよい。
【００２８】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２９】
（実施の形態１）
図１および図２は、本発明の実施の形態１に係る作業支援システムの構成を概略的に示している。図３は、作業支援システムのブロック図である。なお、図には、Ｘ−Ｙ−Ｚ直交座標系が示されているが、これは発明の理解を容易にするためのものであって、発明を限定するものではない。Ｘ軸方向およびＹ軸方向は水平方向を示し、Ｚ軸は垂直方向を示している。
【００３０】
本実施の形態１に係る作業支援システム１０は、作業者がプレス加工機を用いて板状のワークＷを変形加工する作業を支援するように構成されている。ワークＷは、プレス加工機のステージ３０にセットされている。なお、ワークを押圧して変形させるパンチなどのプレス加工機の他の構成要素については、図示が省略されている。
【００３１】
ワークＷに対して作業する作業者を支援するために、本実施の形態１に係る作業支援システム１０は、現時点のワークＷの形状と目標形状（例えば完成形状）との間の差分を作業者に提示するように構成されている。具体的には、図２に示すように、ワークＷの対象表面Ｗｓについての現時点の形状と目標形状との間の差分を示す差分マップ（画像）を作成し、その差分マップの像Ｍｐｉｃ対象表面Ｗｓに重ねることにより、作業者がこれから行う作業の内容（例えば、プレス加工する部分やそのプレス量など）の決定に必要な情報を提供する。
【００３２】
そのために、図１に示すように、本実施の形態１に係る作業支援システム１０は、作業者の作業対象であるワークＷの対象表面Ｗｓの形状を測定する三次元測定装置１２と、ワークＷの対象表面Ｗｓに向かって投影するプロジェクタ装置１４と、これらに接続された演算装置１６と、作業者が演算装置１６に対して指示を入力するためのマウスやキーボードなどの入力デバイス１８と、演算装置１６が作業者に対して情報を出力するためのディスプレイやプリンタなどの出力デバイス２０とを有する。
【００３３】
三次元測定装置１２は、図２に示すように、ワークＷの対象表面Ｗｓの形状を測定する。具体的には、三次元測定装置１２は、ワークＷの対象表面Ｗｓにおける複数の測定点それぞれの状態としてそれらの位置を測定する。三次元測定装置１２は、例えば、ワークＷに対してレーザー光を走査してワークＷの対象表面Ｗｓの形状を測定する３Ｄレーザースキャナである。なお、本発明の実施の形態１に係る三次元測定装置１２は、ワークＷの対象表面Ｗｓの形状を測定できるのであれば、その形状測定方式を問わない。なお、理由は後述するが、三次元測定装置１２の測定範囲に、プロジェクタ装置１４が配置されている。三次元測定装置１２によって測定されたワークＷの対象表面Ｗｓの形状データは、演算装置１６に送信される。
【００３４】
プロジェクタ装置１４は、図２に示すように、ワークＷの対象表面Ｗｓに差分マップの像Ｍｐｉｃが重なるように、差分マップを含む投影画像をワークＷに向かって投影するように構成されている。そのための投影画像が、演算装置１６からプロジェクタ装置１４に送信される。
【００３５】
演算装置１６は、例えばＰＣ（パーソナルコンピュータ）であって、三次元測定装置１２の測定結果であるワークＷの対象表面Ｗｓの形状データを該三次元測定装置１２から取得し、その形状データに基づいてプロジェクタ装置１４の投影画像（データ）を作成するように構成されている（そのためのプログラムがインストールされている）。
【００３６】
図３に示すように、演算装置１６は、三次元測定装置１２から取得した形状データに基づいて差分マップ（第１の差分マップ）を作成する差分マップ作成部５０、第１の差分マップを第２の差分マップに変換する差分マップ変換部５２、第２の差分マップを含むプロジェクタ装置１４の投影画像を作成する投影画像作成部５４、投影画像を補正する投影画像補正部５６を有する（プログラムによってこれらを備える）。
【００３７】
演算装置１６の差分マップ作成部５０は、まず、三次元測定装置１２から取得した形状データ（測定形状データ）とワークＷの対象表面Ｗｓの目標形状データとの間の差分を算出するように構成されている。ワークＷの対象表面Ｗｓの目標形状データは、例えばワークＷの完成品の３ＤＣＡＤデータであって、例えば演算装置１６の記憶部（例えばハードディスク）（図示せず）に記憶されている。
【００３８】
ワークＷの対象表面Ｗｓの測定形状データと目標形状データとの間の差分（データ）は、例えばベストフィット技術などを用いてこれらのデータを適切に重ね、目標形状データ上の複数の測定点それぞれの位置と対応する測定形状データ上の測定点の位置との間の差分を算出することによって得られる。すなわち、得られる差分データは、ワークＷの対象表面Ｗｓにおける複数の測定点それぞれの差分の分布を示すものである。なお、本実施の形態１に係る作業支援システムは、ワークＷの対象表面Ｗｓの測定形状データと目標形状データとの間の差分を算出することができるのであれは、その算出方法を問わない。
【００３９】
図４は、得られた差分データに基づいて作成された二次元画像の差分マップＭ０を示している。差分マップＭ０は、ワークＷの対象表面Ｗｓにおける複数の測定点それぞれについてのワーク厚さ方向位置の差分の分布を画像化したものである。具体的には、差分マップＭ０において、差分は、その大きさに応じて異なる特徴点（例えば異なる色、異なる明度）で表現されている。
【００４０】
本実施の形態１の場合、差分マップＭ０において、差分の大きさが実質的に等しい測定点を含む領域が同一の色で着色されている。そのため、差分の大きさが実質的に異なる領域それぞれが、異なる色で着色されることによって区別可能に表現されている。また、サブマップＭ０は、領域間の境界が等高線を表すコンター図である。この差分マップＭ０により、作業者は、目標形状にするためにプレス加工すべきワークＷの部分とそのプレス量を短時間で決定することができる。
【００４１】
なお、図４に示す差分マップＭ０をそのまま投影画像としてプロジェクタ装置１４が投影しても、その像はワークＷの対象表面Ｗｓに一致した状態で重ならない（写らない）。
すなわち、図２に示すように、像Ｍｐｉｃが対象表面Ｗｓに一致した状態で重なるように、差分マップＭ０を変換する必要がある。
【００４２】
そのために、演算装置１６の差分マップ作成部５０は、投影画像の作成の前段階として、差分マップＭ０を、三次元測定装置１２視点の差分マップ（第１の差分マップ）に変換する（第１の差分マップを作成する）。例えば、図５に示すような第１の差分マップＭ１が作成される。このことを、図６および図７を参照しながら説明する。
【００４３】
図６は、差分マップの像がワークの対象表面に重なるような該差分マップを含む投影画像の作成手順を説明するための作業支援システムの斜視図であって、図７は、その作業支援システムの上面図である。
【００４４】
三次元測定装置視点の第１の差分マップＭ１は、ワークＷの対象表面上でのワーク厚さ方向位置の差分の分布を、三次元測定装置１２のワークＷの対象表面Ｗｓへの第１のビュー方向（視準方向）Ｖ１に対して直交する第１の平面Ｐ１上の画像に画像化したものである。すなわち、第１の差分マップＭ１は、差分マップＭ０を第１の平面Ｐ１上の画像に画像変換（例えば射影変換など）したものに相当する。なお、本明細書での「画像変換」は、画像に写る形状が変形するように画像を加工することを言う。また、第１の差分マップＭ１は、図６に示すようにワークＷの対象表面Ｗｓに一致した状態で重なる差分マップの像Ｍｐｉｃを第１のビュー方向Ｖ１に見たものに対応する。
【００４５】
演算装置１６の差分マップ変換部５２は、差分マップ作成部５０によって作成された三次元測定装置１２視点の第１の差分マップＭ１を、プロジェクタ装置１４視点の差分マップ（第２の差分マップ）に変換するように構成されている。例えば、図８に示すような第２の差分マップＭ２が作成される。
【００４６】
プロジェクタ装置視点の第２の差分マップＭ２は、図６および図７に示すように、プロジェクタ装置１４のワークＷの対象表面Ｗｓへの第２のビュー方向（視準方向）Ｖ２に対して直交する第２の平面Ｐ２上の画像であって、第１の平面Ｐ１上の第１の差分マップＭ１を第２の平面Ｐ２上の画像に画像変換（例えば射影変換など）することによって得られる。
【００４７】
演算装置１６の差分マップ変換部５２が第１の平面Ｐ１上の第１の差分マップＭ１を第２の平面Ｐ２上の画像に画像変換して第２の差分マップＭ２を得るためには、すなわち、第１の平面Ｐ１上の画像から第２の平面Ｐ２上の画像に画像変換するための画像変換行列（例えば射影変換行列など）を得るためには、第１の平面Ｐ１と第２の平面Ｐ２との間の位置関係が必要である。
【００４８】
具体的には、図６および図７に示すように三次元測定装置１２とプロジェクタ装置１４それぞれがワークＷの対象表面Ｗｓに向いているので、三次元測定装置１２とプロジェクタ装置１４との間の位置関係を知ることができれば、第１の平面Ｐ１と第２の平面Ｐ２の位置関係を知ることができる。その結果、第１の平面Ｐ１上の画像から第２の平面Ｐ２上の画像への画像変換行列を求めることができる。
【００４９】
三次元測定装置１２とプロジェクタ装置１４との間の位置関係は、測量により知ることができる。あるいは、予め決定されたレイアウトどおりに三次元測定装置１２とプロジェクタ装置１４とを設置することにより、所定の位置関係が実現される。
【００５０】
これらの代わりに、三次元測定装置１２がプロジェクタ装置１４の位置を測定することにより、演算装置１６が、その測定されたプロジェクタ装置１４の位置に基づいて、三次元測定装置１２とプロジェクタ装置１４との間の位置関係を算出してもよい。この場合、プロジェクタ装置１４が三次元測定装置１２の測定範囲に配置されるかぎり、三次元測定装置１２およびプロジェクタ装置１４の少なくとも一方の位置を、必要に応じて変更することができる。
【００５１】
したがって、演算装置１６の差分マップ変換部５２は、予め得た三次元測定装置１２とプロジェクタ装置１４との間の位置関係に基づいて、第１の平面Ｐ１と第２の平面Ｐ２との間の位置関係を算出し、第１の平面Ｐ１上の第１の差分マップＭ１を第２の平面Ｐ２上の画像に画像変換することにより、第２の差分マップＭ２を作成する。なお、第２の差分マップＭ２は、図６に示すようにワークＷの対象表面Ｗｓに一致した状態で重なる差分マップの像Ｍｐｉｃを第２のビュー方向Ｖ２に見たものに対応する。
【００５２】
演算装置１６の投影画像作成部５４は、図９に示すように、差分マップ変換部５２によって作成された第２の差分マップＭ２を含む投影画像Ｉｍ（データ）を作成する。この投影画像Ｉｍをプロジェクタ装置１４が投影することにより、第２の差分マップＭ２の像ＭｐｉｃをワークＷの対象表面Ｗｓに重ねることができる。
【００５３】
しかしながら、図１０に示すように、プロジェクタ装置１４が投影画像Ｉｍを投影した場合、その投影画像Ｉｍにおける第２の差分マップＭ２の像Ｍｐｉｃが、ワークＷの対象表面Ｗｓに対してオフセットし、一致した状態で重ならないことがある。これは、三次元測定装置１２とプロジェクタ装置１４との位置関係を算出したときの誤差、プロジェクタ装置１４における本体に対する光軸の傾き、投影倍率などを原因として起こりうる。また、図６に示すように、三次元測定装置１２の第１のビュー方向Ｖ１とワークＷの対象表面Ｗｓとがなす角度αとプロジェクタ装置１４の第２のビュー方向Ｖ２と対象表面Ｗｓとがなす角度βが異なることも原因となりうる。
【００５４】
図３に示す演算装置１６の投影画像補正部５６は、第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに一致して重なるように投影画像Ｉｍを補正するように構成されている。
【００５５】
具体的には、投影画像補正部５６は、第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに一致して重なるように、投影画像Ｉｍを画像変換（例えば射影変換など）して補正する。本実施の形態１の場合、その画像変換に用いる画像変換行列（例えば射影変換行列など）は、作業者のキャリブレーション作業によって算出される。
【００５６】
作業者は、キャリブレーション作業として、第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに一致して重なるように、投影画像Ｉｍの修正を行う。そのために、演算装置１６は、投影画像修正加工部５８を備える。
【００５７】
例えば、投影画像修正加工部５８は、図１０に示すようにワークＷに投影されている投影画像Ｉｍを、出力デバイス２０（ディスプレイ）に表示する。作業者は、出力デバイス２０上に表示された投影画像Ｉｍを入力デバイス１８（マウスやキーボード）などを操作して修正加工する。例えば、ストレッチ加工、サイズ変更、回転などの画像修正を行う。投影画像修正加工部５８は、その画像修正を行うためのインターフェースを作業者に提供する。
【００５８】
なお、投影画像Ｉｍが投影された状態のワークＷを撮影するカメラを用い、そのカメラの撮影画像を出力デバイス２０（ディスプレイ）に表示してもよい。出力デバイス２０に写るワークＷの対象表面Ｗｓを見ながら、作業者は投影画像Ｉｍを修正することができる。
【００５９】
作業者による投影画像Ｉｍの修正が完了すると、すなわち第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに一致して重なると、図３に示す演算装置１６の補正用変換行列算出部６０が、補正用変換行列を算出する。
【００６０】
具体的には、補正用変換行列算出部６０は、投影画像補正部５６が投影画像Ｉｍを画像変換するときに用いる画像変換行列を算出する。補正用変換行列算出部６０は、作業者によって修正される前の投影画像Ｉｍと修正された後の投影画像Ｉｍとに基づいて、画像変換行列を算出するように構成されている。すなわち、修正前の投影画像Ｉｍから修正後の投影画像Ｉｍに画像変換するための画像変換行列を算出する。
【００６１】
この補正用変換行列算出部６０によって算出された画像変換行列を用いて投影画像Ｉｍを補正することにより、投影画像補正部５６は、図１０に示すようにオフセットしている第２の差分マップＭ２の像Ｍｐｉｃを、図２に示すようにワークＷの対象表面Ｗｓに一致して重ねることができる。
【００６２】
ワークＷの対象表面Ｗｓが、他の部分と区別可能な４つの角などの特徴部を備える矩形状ではなく、円形状などの特徴部が少ない形状を備える場合がある。この場合、第２の差分マップの像をワークＷの対象表面Ｗｓに一致して容易に重ねるために、すなわち投影画像に対する作業者の修正作業を容易にするために、位置合わせ基準としてマーカーを使用してもよい。
【００６３】
例えば、図１１に示すように、ワークＷの対象表面Ｗｓに少なくとも４つのマーカー２２が着脱可能に設けられる。この場合、少なくとも４つのマーカー２２がワークＷに取り付けられた状態で、第２の差分マップＭ２が作成される。すなわち、マーカー２２が取り付けられた状態で三次元測定装置１２がワークＷの測定を行い、その測定結果に基づいて第２の差分マップＭ２が作成される。そのように作成された第２の差分マップＭ２には、少なくとも４つのマーカー２２が特徴点として現れる。作業者は、投影画像Ｉｍを修正することにより、第２の差分マップＭ２における少なくとも４つの特徴点（すなわち少なくとも４つのマーカー２２の像）をワークＷに取り付けられている実際の少なくとも４つのマーカー２２に位置合わせする。これにより、作業者は、第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに一致して重なる投影画像Ｉｍを容易に作成することができる。そして、その作成された投影画像Ｉｍに基づいて、演算装置１６の補正用変換行列算出部６０が、補正用変換行列として画像変換行列を算出する。画像変換行列が算出された後、マーカー２２はワークＷから取り外される。なお、ワークＷに対する作業の邪魔にならないのであれば、マーカー２２はワークＷに取り付けられた状態で維持されてもよい。
【００６４】
なお、このような投影画像Ｉｍを補正するための画像変換行列を算出するために行われる作業者のキャリブレーション作業（マーカー２２を使用する場合にはマーカー２２の着脱作業）は、三次元測定装置１２、プロジェクタ装置１４、およびワークＷとの間の位置関係が変更されると行われる。すなわち、これらの位置関係が変わらないのであれば、投影画像を補正するための画像変換行列は、一度算出するだけでよい。
【００６５】
次に、これまで構成について説明してきた作業支援システム１０の作業支援の流れについて、図１２に示すフローチャートを参照しながら説明する。
【００６６】
図１２に示す作業支援システム１０の作業支援は、例えば作業者がワークＷに対する一工程（例えば、ワークＷの１つの箇所をプレスする作業）が終了するごとに実行される。代わりとして、作業者からの要求によって実行されてもよい。
【００６７】
図１２に示すように、まず、最初のステップＳ１００において、三次元測定装置１２により、ワークＷの対象表面Ｗｓの形状が測定される。これにより、ワークＷの対象表面Ｗｓの測定形状データが取得される。
【００６８】
次に、ステップＳ１１０において、演算装置１６が、ステップＳ１００で測定して取得したワークＷの対象表面Ｗｓの測定形状データと目標形状データとの間の差分を算出する。
【００６９】
続いて、ステップＳ１２０において、演算装置１６（その差分マップ作成部５０）が、ステップＳ１１０で算出された差分に基づいて、図５に示すような三次元測定装置１２視点の第１の差分マップＭ１を作成する。
【００７０】
ステップＳ１３０において、演算装置１６（その差分マップ変換部５２）が、ステップＳ１２０で作成された第１の差分マップＭ１を、図８に示すようなプロジェクタ装置１４視点の第２の差分マップＭ２に変換する。
【００７１】
ステップＳ１４０において、演算装置１６（その投影画像作成部５４）が、ステップＳ１３０で作成された第２の差分マップＭ２を含む、図９に示すようなプロジェクタ装置１４の投影画像Ｉｍを作成する。
【００７２】
ステップＳ１５０において、演算装置１６（その投影画像補正部５６）が、ステップＳ１４０で作成された投影画像Ｉｍを、その投影画像Ｉｍに含まれる第２の差分マップＭ２がワークＷの対象表面Ｗｓに一致して重なるように補正する。
【００７３】
そして、ステップＳ１６０において、ステップＳ１５０で補正された投影画像Ｉｍが演算装置１６からプロジェクタ装置１４に送信され、その投影画像Ｉｍをプロジェクタ装置１４がワークＷに向かって投影する。これにより、図２に示すように、第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗａに一致して重ねられる。
【００７４】
以上のような本実施の形態１によれば、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
【００７５】
具体的には、作業者は、図２に示すようにワークＷの対象表面Ｗｓに一致して重なる第２の差分マップＭ２の像Ｍｐｉｃを参照しながら、ワークＷを目標形状にするための作業内容を検討することができる。詳細には、ワークＷの対象表面Ｗｓ上の複数の測定点それぞれに、目標形状との差分を表す特徴点（例えば色）の像がプロジェクタ装置１４によって投射される。そのため、作業者は、ワークＷの対象表面Ｗｓにおける複数の部分それぞれについて目標形状との差分を知ることができ、その結果、ワークＷを目標形状にするための作業内容を検討することができる。
【００７６】
また、作業者は、作業内容を決定するための情報である第２の差分マップＭ２と実際のワークＷとを同時に見ることができる。さらに、第２の差分マップＭ２の像Ｍｐｉｃが実際のワークＷに重なっているために、ワークＷのある部分に対する必要な作業やその作業量を、その第２の差分マップＭ２の像Ｍｐｉｃからすぐに知ることができる。これらの結果、第２の差分マップＭ２がディスプレイなどの出力デバイス２０を介して作業者に提示される場合に比べて、作業者は、作業内容の決定を短時間で行うことができる。
【００７７】
（実施の形態２）
上述の実施の形態１の場合、プロジェクタ装置の投影画像における第２の差分マップの像をワークＷの対象表面Ｗｓに一致して重ねるために、投影画像に対する作業者の修正作業が必要になる場合がある。その結果として、作業者は、ワークＷを目標形状にするための作業内容の検討に時間を要する場合がある。その対処として、本実施の形態２における演算装置は、作業者の修正作業を実質的に必要としない投影画像を作成するように構成されている。
【００７８】
図１３は、本実施の形態２に係る作業支援システムのブロック図である。なお、上述の実施の形態１における構成要素と実質的に同一の本実施の形態２における構成要素には、同一の符号が付されている。
【００７９】
図１３に示す本実施の形態２に係る作業支援システム１１０の演算装置１１６は、例えばＰＣ（パーソナルコンピュータ）であって、三次元測定装置１２の測定結果であるワークＷの形状データを該三次元測定装置１２から取得し、その形状データに基づいてプロジェクタ装置１４の投影画像（データ）を作成するように構成されている（そのためのプログラムがインストールされている）。
【００８０】
図１３に示すように、演算装置１１６は、三次元測定装置１２から取得した測定形状データと目標形状データとの間の差分を算出する差分算出部１５０と、ワークの３Ｄモデルを作成する３Ｄモデル作成部１５２と、３Ｄモデルのテクスチャを作成するテクスチャ作成部１５４と、ワークの３Ｄモデルの二次元像を作成する３Ｄモデル二次元像作成部１５６と、３Ｄモデルの二次元像を含むプロジェクタ装置１４の投影画像を作成する投影画像作成部１５８とを有する（プログラムによってこれらを備える）。
【００８１】
演算装置１１６の差分算出部１５０は、三次元想定装置１２から取得したワークＷの対象表面Ｗｓの測定形状データにおける複数の測定点それぞれとワークＷの対象表面Ｗｓの目標形状データにおける対応する測定点との間の差分を算出する。
【００８２】
演算装置１１６の３Ｄモデル作成部１５２は、三次元測定装置１２から取得した測定形状データに基づいて、ワークＷの３Ｄモデルを作成する。
【００８３】
演算装置１１６のテクスチャ作成部１５４は、３Ｄモデル作成部１５２によって作成された３Ｄモデルのテクスチャを作成する。
【００８４】
図１４は、テクスチャを備える３Ｄモデルを示している。図１４に示すように、３ＤモデルＷＭのテクスチャＴｅ（表面）は、ワークＷの測定形状データと目標形状データとの間の差分を表している。
【００８５】
具体的には、ワークＷの測定形状データ上の複数の測定点それぞれに対応する３ＤモデルＷＭ上の測定点の位置に、その測定形状データ上の測定点での差分を表す特徴点（例えば異なる色、異なる明度）が描かれるように、３ＤモデルＷＭのテクスチャＴｅが作成されている。
【００８６】
本実施の形態２の場合、３ＤモデルＷＭのテクスチャＴｅ（表面）において、差分は、その大きさに応じて異なる特徴点（例えば異なる色、異なる明度）で表現されている。
【００８７】
本実施の形態２の場合、３ＤモデルＷＭのテクスチャＴｅにおいて、差分の大きさが実質的に等しい測定点を含む領域が同一の色で着色されている。そのため、差分の大きさが実質的に異なる領域それぞれが、異なる色で着色されることによって区別可能に表現されている。また、領域の境界が等高線を表している。
【００８８】
すなわち、上述の実施の形態１における二次元画像である差分マップと異なり、本実施の形態２の場合、３ＤモデルＷＭにおける三次元形状のテクスチャＴｅに、差分の分布が描かれている。
【００８９】
演算装置１１６の３Ｄモデル二次元像作成部１５６は、ワークＷの３ＤモデルＷＭの二次元像を作成する。具体的には、３Ｄモデル二次元像作成部１５４は、ワークＷに対するプロジェクタ装置１４の位置関係と同一の位置関係になるように、ワークＷの３ＤモデルＷＭに対して視点を設定する。その設定した視点から見た３ＤモデルＷＭの二次元像を、３Ｄモデル二次元像作成部１５４は作成する。言い換えると、その視点に設置したカメラが３ＤモデルＷＭを撮影したときに得られる撮影画像に写る像と実質的に同一の二次元像が作成される。なお、３ＤモデルＷＭの二次元像は、視点と３ＤモデルＷＭとを結ぶ直線に対して直交する平面に３Ｄモデルを投影変換することによって作成することができる。また、ワークＷに対するプロジェクタ装置１４の位置関係は、例えば三次元測定装置１２によって求めることができる。
【００９０】
演算装置１１６の投影画像作成部１５８は、３Ｄモデル二次元像作成部１５６によって作成された３ＤモデルＷＭの二次元像を含む、プロジェクタ装置１４の投影画像を作成する。具体的には、図１５に示すように、プロジェクタ装置１４がワークＷに向かって投影したときに、３ＤモデルＷＭの二次元像ＷＭ２ＤがワークＷに重なる投影画像Ｉｍが作成される。
【００９１】
このような本実施の形態２の概念は、以下の発明者の発想に基づいている。図１６に示すように、カメラＣａの撮影方向がプロジェクタ装置１４の投影方向に等しく且つカメラＣａとワークＷの３ＤモデルＷＭとの間の距離がプロジェクタ装置１４とワークＷとの間の距離に等しい場合を想定する。この場合、カメラＣａの撮影画像をワークＷに向かってプロジェクタ装置１４が投影すれば、撮影画像内の３ＤモデルＷＭの二次元像ＷＭ２Ｄが実際のワークＷに一致して重なることができる。
【００９２】
なお、３ＤモデルＷＭの二次元像ＷＭ２Ｄが実際のワークＷに重なるためには、プロジェクタ装置１４の投影倍率を適切に設定する必要が生じることがある。
【００９３】
次に、これまで構成について説明してきた本実施の形態２に係る作業支援システム１１０の作業支援の流れについて、図１７に示すフローチャートを参照しながら説明する。
【００９４】
図１７に示す作業支援システム１１０の作業支援は、例えば作業者がワークＷに対する一工程（例えば、ワークＷの１つの箇所をプレスする作業）が終了するごとに実行される。代わりとして、作業者からの要求によって実行されてもよい。
【００９５】
図１７に示すように、まず、最初のステップＳ２００において、三次元測定装置１２により、ワークＷの形状が測定される。これにより、ワークＷの測定形状データが取得される。
【００９６】
次に、ステップＳ２１０において、演算装置１１６の差分算出部１５０が、ステップＳ２００で測定して取得したワークＷの測定形状データと目標形状データとの間の差分を算出する。
【００９７】
ステップＳ２２０において、演算装置１１６の３Ｄモデル作成部１５２が、ステップＳ２００で取得したワークＷの測定形状データに基づいて、ワークＷの３ＤモデルＷＭを作成する。
【００９８】
ステップＳ２３０において、演算装置１１６のテクスチャ作成部１５４が、ステップＳ２２０で作成された３ＤモデルＷＭのテクスチャであって、また差分を表しているテクスチャＴｅを作成する。具体的には、ワークＷの測定形状データ上の複数の測定点それぞれに対応する３ＤモデルＷＭ上の測定点の位置に、その測定形状データ上の測定点での差分を表す特徴点が描かれるように、３ＤモデルＷＭのテクスチャＴｅが作成される。
【００９９】
ステップＳ２４０において、演算装置１１６の３Ｄモデル二次元像作成部１５６が、ワークＷとプロジェクタ装置１４との間の位置関係と同一の位置関係になるように、ワークＷの３ＤモデルＷＭに対して視点を設定する。
【０１００】
ステップＳ２５０において、演算装置１１６の３Ｄモデル二次元像作成部１５６が、ステップＳ２４０で設定した視点から見た３ＤモデルＷＭの二次元像ＷＭ２Ｄを作成する。
【０１０１】
ステップＳ２６０において、演算装置１１６の投影画像作成部１５８が、ステップＳ２５０で作成された３ＤモデルＷＭの二次元像ＷＭ２Ｄを含む投影画像Ｉｍを作成する。
【０１０２】
ステップＳ２７０において、ステップＳ２６０で作成された投影画像Ｉｍを、プロジェクタ装置１４がワークＷに向かって投影する。これにより、図１５に示すように、３ＤモデルＷＭの二次元像ＷＭ２ＤがワークＷに一致して重ねられる。
【０１０３】
本実施の形態２によれば、上述の実施の形態１と同様に、ワークに対する作業内容の決定のために作業者が要する時間が短くなるように、ワークに対する作業者の作業を支援することができる。
【０１０４】
以上、上述の２つの実施の形態を挙げて本発明を説明したが、本発明の実施の形態はこれに限らない。
【０１０５】
例えば、上述の実施の形態１では、図１０に示すように第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに対してオフセットしている場合、プロジェクタ装置１４の投影画像Ｉｍを補正していたが、本発明の実施の形態はこれに限らない。投影画像の補正の代わりに、プロジェクタ装置１４が備えている台形補正機能、投影倍率調節機能、光軸調節機能などを用いて、第２の差分マップの像がワークの対象表面に重なるようにしてもよい。
【０１０６】
また、上述の実施の形態１の場合、投影画像を補正するための画像変換行列を算出するために、作業者が、第２の差分マップＭ２の像ＭｐｉｃがワークＷの対象表面Ｗｓに重なるように投影画像Ｉｍを修正するキャリブレーション作業を行う。しかしながら、本発明の実施の形態はこれに限らない。例えば、ワークをカメラで撮影し、その撮影画像に写るワークの対象表面の輪郭形状を演算装置によって画像認識し、その画像認識された輪郭形状に第２の差分マップが合うように投影画像が修正されてもよい。
【０１０７】
さらに、上述の実施の形態１の場合、ワークＷの対象表面Ｗｓは概ね平坦であるが、本発明の実施の形態はこれに限らない。ワークの対象表面は曲面であってもよい。例えば、図１８に示すようにワークＷの対象表面Ｗｓが曲面である場合、対象表面Ｗｓが複数の平坦表面Ｆｓ１〜Ｆｓ９によって構成されているとみなし、複数の平坦表面Ｆｓ１〜Ｆｓ９それぞれについて、第２の差分マップを作成する。そして、複数の第２の差分マップを含む投影画像が作成される。これにより、ワークの対象表面Ｗｓが曲面であっても、作業支援システムは、同様に、ワークに対する作業者の作業を支援することができる。
【０１０８】
さらにまた、上述の実施の形態の場合、図２に示すように、停止しているまたは位置が変わらないワークＷの対象表面Ｗｓに第２の差分マップＭ２の像Ｍｐｉｃが重なるように、プロジェクタ装置１４がワークＷに向かって投影画像Ｉｍを投影する。しかしながら、本発明の実施の形態はこれに限らない。
【０１０９】
例えば、プロジェクタ装置の最大投影範囲内にワークの対象表面が存在するのであれば、ワークは移動し続けてもよいまたは位置が変わってもよい。
【０１１０】
図１９に示すようにプロジェクタ装置１４の最大投影範囲ＰＲ内でワークＷが移動する場合、図２０に示すようにプロジェクタ装置１４の投影画像Ｉｍにおける第２の差分マップＭ２の位置をシフトすれば、移動するワークＷの対象表面に第２の差分マップＭ２の像を重ね続けることが可能である。そのためには、ワークＷの移動方向Ｔｄおよび移動量（移動速度）と投影画像Ｉｍにおける第２の差分マップＭ２のシフト方向Ｓｄおよびシフト量（シフト速度）との間の対応関係を、予め調べておく必要がある。例えば、ワークＷが存在する空間における座標系と撮影画像における座標系との間の関係を予め調べておく。これにより、ワークの位置が変わっても、またはワークが移動中であっても、そのワークの対象表面に第２の差分マップの像を重ね続けることができる。
【０１１１】
加えて、上述の実施の形態の場合、差分マップは、三次元測定装置によって測定されたワークの測定形状と目標形状との間の差分を作業者に提示するための画像であるが、本発明の実施の形態はこれに限らない。
【０１１２】
例えば、差分マップは、温度測定装置、例えばサーモグラフィカメラによって測定されたワークの対象表面の温度分布と、目標の温度分布（例えば本来あるべき温度分布）との間の差分を作業者に提示するための画像であってもよい。この場合、サーモグラフィカメラによって撮影された温度分布画像が第１の差分マップに相当する。
【０１１３】
すなわち、広義には、本発明の一態様は、ワークに対する作業者の作業を支援する作業支援システムであって、前記ワークの対象表面における複数の測定点それぞれの状態を測定する測定装置と、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置と、前記測定装置の測定結果に基づいて、前記プロジェクタ装置の投影画像を作成する演算装置と、を有し、前記演算装置が、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出し、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成する、ように構成されている。
【０１１４】
また、広義には、本発明の別の態様は、ワークに対する作業者の作業を支援する作業支援方法であって、測定装置を用いて前記ワークの対象表面における複数の測定点それぞれの状態を測定し、前記対象表面が投影範囲内に存在するように前記測定装置と異なる位置に配置されたプロジェクタ装置の投影画像を、前記測定装置の測定結果に基づいて作成し、前記投影画像の作成として、前記複数の測定点それぞれについて前記測定装置によって測定された状態と目標状態との間の差分を算出すること、および、前記複数の測定点それぞれでの差分を表す特徴点の像が前記ワークの対象表面における対応する測定点の位置に前記プロジェクタ装置によって投射される前記投影画像を作成すること、が実行される。
【０１１５】
最後に補足する。測定装置が三次元測定装置の場合、「測定装置の対象表面への第１のビュー方向」は、三次元測定装置から対象表面に向かって延在する直線の延在方向に限らない。例えば３Ｄレーザースキャナなどの三次元測定装置は、ワークの対象表面における複数の測定点それぞれの位置を測定することができる、すなわち対象表面の三次元形状（データ）を取得することができる。取得した三次元形状は、ワークの対象表面全体が見えるビュー方向であれば、そのビュー方向に直交する平面に投影変換することができる。すなわち、ワークの対象表面の形状によっては、複数の異なる三次元測定装置視点の第１の差分マップを作成することが可能である。したがって、測定装置が三次元測定装置の場合、「測定装置の対象表面への第１のビュー方向」には、対象表面全体が見える複数のビュー方向が含まれる。
【産業上の利用可能性】
【０１１６】
本発明は、作業者がワークに対して行う作業であって、定期的にまたは断続的にワークの状態を知る必要がある作業を支援可能である。
【図１】
2019087726.tif 000003
【図２】
2019087726.tif 000004
【図３】
2019087726.tif 000005
【図４】
2019087726.tif 000006
【図５】
2019087726.tif 000007
【図６】
2019087726.tif 000008
【図７】
2019087726.tif 000009
【図８】
2019087726.tif 000010
【図９】
2019087726.tif 000011
【図１０】
2019087726.tif 000012
【図１１】
2019087726.tif 000013
【図１２】
2019087726.tif 000014
【図１３】
2019087726.tif 000015
【図１４】
2019087726.tif 000016
【図１５】
2019087726.tif 000017
【図１６】
2019087726.tif 000018
【図１７】
2019087726.tif 000019
【図１８】
2019087726.tif 000020
【図１９】
2019087726.tif 000021
【図２０】
2019087726.tif 000022
【国際調査報告】
2019087726.tif 000023
2019087726.tif 000024
2019087726.tif 000025
2019087726.tif 000026