(57)【特許請求の範囲】
【請求項１】
撮像手段を具備し保守作業者が装着するウェアラブル端末と、
初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定手段と、
前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定手段と、
前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、
前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、
を備え、
前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、
ことを特徴とする保守支援システム。
【請求項２】
撮像手段を具備し保守作業者が装着するウェアラブル端末と、
初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定手段と、
前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定手段と、
前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、
前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、
を備え、
前記第２特定手段は、撮像方向が互いに異なる複数の第２の撮像手段を具備し、前記複数の第２の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、
ことを特徴とする保守支援システム。
【請求項３】
前記基準点は、マーカによって規定される、
ことを特徴とする請求項１又は２に記載の保守支援システム。
【請求項４】
前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、前記ディスプレイに前記撮像画像を表示する状態と、前記ディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている、
ことを特徴とする請求項１から３の何れかに記載の保守支援システム。
【請求項５】
前記第１特定手段、前記第２特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている、
ことを特徴とする請求項１から４の何れかに記載の保守支援システム。
【請求項６】
前記保守支援者側端末を備え、
前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている、
ことを特徴とする請求項１から５の何れかに記載の保守支援システム。
【請求項７】
撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、
第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、
前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、
を含み、
前記第２特定工程において、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、
ことを特徴とする保守支援方法。
【請求項８】
撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、
第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、
前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、
を含み、
前記第２特定手段は、撮像方向が互いに異なる複数の第２の撮像手段を具備し、前記第２特定工程において、前記複数の第２の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、
ことを特徴とする保守支援方法。
【請求項９】
請求項７又は８に記載の保守支援方法が含む前記第１特定工程、前記第２特定工程、前記加工画像生成工程及び前記通信工程を、前記第１特定手段、前記第２特定手段及び前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラム。
【請求項１０】
保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、
第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、
前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
を含み、
前記第２特定工程において、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、
ことを特徴とする加工画像の生成方法。
【請求項１１】
保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、
第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、
前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
を含み、
前記第２特定手段は、撮像方向が互いに異なる複数の第２の撮像手段を具備し、前記第２特定工程において、前記複数の第２の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、
ことを特徴とする加工画像の生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、産業用機器などの保守対象の保守作業を支援するための保守支援システム、保守支援方法、プログラム及び加工画像の生成方法に関する。特に、本発明は、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム、保守支援方法、プログラム及び加工画像の生成方法に関する。
【背景技術】
【０００２】
従来、一般的に、基板処理装置等の産業用機器のトラブルが発生した場合、保守対象である産業用機器の設置現場に居る保守作業者が、トラブルの状況を確認した上で、保守対象の製造メーカ側の保守支援者に電話でトラブルの状況を伝え、保守支援者が電話によって保守作業者に各種の指示を出す対応を行っている。
上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。【０００３】
上記の電話対応の場合、口頭による意思疎通であるため、トラブルの状況が保守支援者に上手く伝わらなかったり、保守支援者の指示が保守作業者に上手く伝わらず、トラブルが解決できない場合がある。必要に応じて、保守作業者が取得した保守対象の撮像画像を電子メール等で保守支援者に送信し、保守支援者が撮像画像を確認することでトラブルの状況を把握する場合もあるが、状況把握に時間が掛かるという問題がある。
また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。【０００４】
上記のような問題を解決するため、撮像手段及びディスプレイを具備するウェアラブル端末（ヘッドマウントディスプレイ）を保守作業者が装着し、このウェアラブル端末を用いて保守対象を撮像し、この撮像画像（動画）をインターネット等の電気通信回線を通じて保守支援者側端末に送信する保守支援システムが提案されている。
しかしながら、上記の保守支援システムにおいて、撮像画像をそのまま保守支援者側端末に送信すると、撮像画像中に設置現場の機密情報が含まれるおそれがある。機密情報が含まれる撮像画像が保守支援者側に送信されると、保守支援者が機密情報を知り得ることになり問題である。【０００５】
そこで、機密情報の漏洩を防止可能な保守支援システムとして、例えば、特許文献１に記載の保守支援システム（特許文献１では、画像処理システム）が提案されている。
特許文献１に記載のシステムは、元領域を捉えた元画像を取得する取得部と、前記元画像中の１つ以上の識別子を認識する認識部と、前記認識部で認識された前記１つ以上の識別子に基づいて、前記元領域のうち第１領域を捉えた第１画像部分、および前記元領域から前記第１領域を除いた第２領域を捉えた第２画像部分の少なくとも一方を特定する特定部と、前記特定部による特定結果に応じて、前記第１画像部分を含む処理済み画像を生成する生成部と、を有する、画像処理システムである（特許文献１の請求項１）。
特許文献１に記載のシステムによれば、第１領域を保守対象とし、第２領域を保守対象以外の機密情報等とすることにより、機密情報等の漏洩を防止可能であると考えられる。【０００６】
しかしながら、特許文献１に記載のシステムでは、元画像中に必ず識別子が含まれなければならないという制約がある。具体的には、特許文献１には、印刷装置３００の内部領域（４つの識別子３０で囲まれた矩形領域）を保守対象とする例が挙げられており、カメラ１７０を具備するウェアラブルツール１００を装着する作業者１０の動きに応じて元領域が変動し、異なる元領域を捉えた元画像１７１ａ〜１７３ａが取得されるが、いずれの元画像１７１ａ〜１７３ａにも識別子３０が含まれる必要があることが記載されている（特許文献１の段落００６３〜００６５、図６、図７等）。
したがい、例えば、保守対象に近接して保守対象の細部を撮像しようとすると、元画像中に識別子が含まれる範囲でしか近接できないというような制約が生じる。【０００７】
また、特許文献１に記載のシステムでは、識別子を基準として２次元的に第１画像部分（保守対象に対応する部分）を特定する構成であるため、識別子が貼り付けられた保守対象を識別子に対向する特定の一方向から撮像しなければならないという制約が生じる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１７−２１１７６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記従来技術の問題点を解決するためになされたものであり、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム、保守支援方法、プログラム及び加工画像の生成方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本発明は、第１の手段として、撮像手段を具備し保守作業者が装着するウェアラブル端末と、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定手段と、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定手段と、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、を備え、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、ことを特徴とする保守支援システムを提供する。
【００１１】
本発明によれば、第１特定手段によって、初期状態の撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は保守対象を除く所定の第２の３次元領域が特定される。本発明における「初期状態の撮像手段」とは、所定の基準点が撮像画像中に位置する状態にある撮像手段を意味する。
具体的には、例えば、撮像画像の任意の点をＡＲカーソルを用いて指定し、この指定した位置を基準点とする場合、初期状態の撮像手段とは、ＡＲカーソルを用いて指定した点を撮像できる位置にある撮像手段を意味する。
また、例えば、第１特定手段が撮像画像に所定の画像処理を施すことで、撮像画像中の特徴的な部位（例えば、保守対象の角部等）に対応する画素領域を抽出し、この画素領域の中心等を基準点とする場合、初期状態の撮像手段とは、特徴的な部位を撮像できる位置にある撮像手段を意味する。
さらに、例えば、基準点が保守対象等に付されたマーカによって規定されている場合、初期状態の撮像手段とは、このマーカを撮像できる位置にある撮像手段を意味する。【００１２】
また、第１の３次元領域及び第２の３次元領域は、例えば、これらが直方体形状の３次元領域である場合、基準点を基準とする３次元座標系で表された３次元領域の８つの各頂点の座標で規定されることになる。
上記の場合、例えば、基準点を基準とする各頂点の座標を第１特定手段に予め記憶させておいたり、或いは、ＡＲカーソルを用いて各頂点を指定すると共に、未知の環境の中でセンサの自己位置と周囲の環境地図を構築していく技術として公知であるＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いることで、第１特定手段は、第１の３次元領域及び／又は第２の３次元領域を特定可能である。【００１３】
図１０は、ＳＬＡＭ技術の概要を説明する説明図である。
図１０に示すように、ＳＬＡＭ技術では、以下の第１ステップ〜第４ステップを実行する。
（１）第１ステップ：まず、異なる時刻ｔ０、ｔ１にそれぞれ撮像対象を撮像して取得した２つの撮像画像において、対応する同じ点（特徴点）を検出する。図１０に示す例では、撮像対象の角部が特徴点として検出されている。
（２）第２ステップ：次に、２つの撮像画像における特徴点の位置を比較することで、撮像手段の姿勢の変化量（並行／回転成分）を算出する。また、特徴点の組み合わせから、三角測量の原理により、特徴点の３次元空間での位置を求める。これが環境地図の構築に相当する。
（３）第３ステップ：さらに、別の時刻ｔ１、ｔ２にそれぞれ撮像対象を撮像して取得した２つの撮像画像において、特徴点の３次元空間での位置の変化を求め、この変化から、撮像手段の自己位置を推定する。
（４）第４ステップ：３次元空間上に特徴点を登録、更新する（環境地図の更新）。
以降、ＳＬＡＭ技術では、第３、第４ステップを繰り返し実行することになる。
上記のように、ＳＬＡＭ技術は、環境地図の構築（３次元形状の復元）と、撮像手段の自己位置の推定とを交互に繰り返し、常に３次元空間を把握する技術である。
本発明における基準点は、この環境地図を構築（３次元形状を復元、換言すれば３次元空間を把握）した後に、３次元空間上に任意に設定されることになる。
なお、ＳＬＡＭ技術のより具体的な内容は、例えば、情報処理学会研究報告 Ｖｏｌ．２０１４−ＣＶＩＭ−１９０ Ｎｏ．４０「移動カメラ画像からの３次元形状復元・自己位置推定（ＳＬＡＭ）と高密度な３次元形状復元」に記載のように公知であるため、本明細書ではこれ以上の詳細な説明を省略する。  【００１４】
次に、本発明によれば、第２特定手段によって、ウェアラブル端末が移動した移動後状態において、撮像手段で取得した撮像画像における第１の３次元領域に対応する有効画素領域を除くマスク画素領域が特定されるか及び／又は第２の３次元領域に対応するマスク画素領域が特定される。第１特定手段で第１の３次元領域のみを特定した場合には、第２特定手段では、第１の３次元領域に対応する有効画素領域を除くマスク画素領域が特定される。また、第１特定手段で第２の３次元領域のみを特定した場合には、第２特定手段では、第２の３次元領域に対応するマスク画素領域が特定される。さらに、第１特定手段で第１の３次元領域及び第２の３次元領域を特定した場合には、第２特定手段では、第１の３次元領域に対応する有効画素領域を除くマスク画素領域及び第２の３次元領域に対応するマスク画素領域が特定される。
前述のように、初期状態の撮像手段で取得した撮像画像における基準点を基準とする第１の３次元領域及び／又は第２の３次元領域は、第１特定手段で特定されているため、ウェアラブル端末が移動した移動後状態において、撮像手段で取得した撮像画像における基準点を基準とする第１の３次元領域及び／又は第２の３次元領域は、例えば、ＳＬＡＭ技術を用いることで特定可能である。そして、移動後状態において第１の３次元領域及び／又は第２の３次元領域を特定するに際し、移動後状態の撮像手段で取得した撮像画像に必ずしも基準点が含まれる必要はない。【００１５】
次に、本発明によれば、加工画像生成手段によって、第２特定手段で特定したマスク画素領域（第１の３次元領域に対応する有効画素領域を除くマスク画素領域及び／又は第２の３次元領域に対応するマスク画素領域）を不可視にした加工画像が生成される。本発明における「マスク画素領域を不可視にした加工画像」としては、例えば、撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像からマスク画素領域以外の画素領域のみを切り出した画像を挙げることができる。
第２特定手段で特定したマスク画素領域が第１の３次元領域に対応する有効画素領域を除くマスク画素領域である場合、第１の３次元領域が保守対象を含み、有効画素領域が第１の３次元領域に対応するため、第１の３次元領域を保守対象よりも過度に大きく設定しない限り、有効画素領域を除くマスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。
また、第２特定手段で特定したマスク画素領域が第２の３次元領域に対応するマスク画素領域である場合、第２の３次元領域に保守対象が含まれないため、第２の３次元領域が少なくとも保守対象以外の機密情報等を含むように設定しておくことで、マスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。【００１６】
最後に、本発明によれば、通信手段によって、加工画像生成手段で生成した加工画像が保守支援者側端末に送信される。したがい、保守支援者側端末では、第１の３次元領域に含まれる保守対象が視認されるか、及び／又は、第２の３次元領域に含まれる保守対象以外の機密情報等が視認されないようになり、保守対象以外の機密情報等の漏洩を防止可能である。【００１７】
以上に説明したように、本発明によれば、初期状態の撮像手段で取得した撮像画像に基準点が含まれればよく、ウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像中に基準点が含まれる必要はない。また、本発明によれば、保守対象を含む所定の第１の３次元領域及び／又は保守対象を除く所定の第２の３次元領域を特定するため、撮像手段の撮像方向に制約を受けない。したがい、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない。
本発明のように、保守対象を含む所定の第１の３次元領域に対応する有効画素領域を除くマスク画素領域及び／又は保守対象を除く所定の第２の３次元領域に対応するマスク画素領域を不可視にした加工画像を生成し、マスク画素領域に含まれる保守対象以外の機密情報等の漏洩を防止する技術を、本発明者らは「Virtual Partition」技術と称している。
なお、本発明において、「ウェアラブル端末が移動した移動後状態」とは、ウェアラブル端末がその移動終点（例えば、保守作業終了時のウェアラブル端末の位置）に到達した状態のみを意味するものではなく、移動終点に到達するまでの移動過程における所定の短時間ピッチ毎の各位置に移動した状態を意味する。したがい、加工画像生成手段では、移動終点に到達するまで、撮像手段によってリアルタイムで（所定の短時間ピッチ毎に）取得した全ての撮像画像に対して、マスク画素領域を不可視にした加工画像が生成されることになる。【００１８】
本発明において、初期状態の撮像手段で取得した撮像画像中に基準点が含まれるだけでなく、移動後状態の撮像手段で取得した撮像画像中にも基準点が常に含まれるようにウェラブル端末を移動させて保守支援を行う態様にすることも可能である。しかしながら、このような態様では、特許文献１に記載のシステムと同様の撮像条件の制約が生じていることになる。
本発明によれば、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない。換言すれば、撮像手段の視野内に基準点が存在する位置から存在しない位置まで撮像手段が移動するように、ウェラブル端末の移動位置の制約を外して保守支援を行うことが可能である。
【００１９】
また、前記課題を解決するため、本発明は、第２の手段として、撮像手段を具備し保守作業者が装着するウェアラブル端末と、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定手段と、前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定手段と、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、前記加工画像生成手段で生成した前記加工画像を保守支援者側端末に送信する通信手段と、を備え、前記第２特定手段は、撮像方向が互いに異なる複数の第２の撮像手段を具備し、前記複数の第２の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、ことを特徴とする保守支援システムとしても提供される。
なお、本発明の第１の手段及び第２の手段において、例えば、前記基準点は、マーカによって規定される。
前記基準点がマーカによって規定される場合、例えば、前記第１特定手段は、前記撮像手段で取得した撮像画像を用いて（例えば、撮像画像を用いたＳＬＡＭ技術によって）３次元空間を把握した後、初期状態の前記撮像手段で取得した撮像画像における前記基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する構成とされる。
【００２０】
本発明によれば、第２特定手段が、撮像方向が互いに異なる複数の第２の撮像手段を具備するため、例えば、複数の第２の撮像手段で取得した撮像画像に基づき、いわゆる両眼立体視（ステレオ視）を用いたＳＬＡＭ技術を適用可能である。また、例えば、第２の撮像手段で取得した撮像画像毎に単眼視のＳＬＡＭ技術を適用して、これらを組み合わせることで、マスク画素領域を精度良く特定可能である。
【００２１】
好ましくは、前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイであり、前記ヘッドマウントディスプレイは、前記ディスプレイに前記撮像画像を表示する状態と、前記ディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている。【００２２】
上記の好ましい構成によれば、ディスプレイに撮像画像を表示する状態では、例えば、マスク画素領域を黒塗りにした加工画像を表示する場合と異なり、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。なお、上記の好ましい構成における「撮像画像を表示する状態」とは、ＭＲヘッドセットのように、ディスプレイに撮像手段で取得した撮像画像を実際に表示する状態（保守作業者がこの表示された撮像画像を視認する状態）の他、透過型のＡＲヘッドセットのように、ディスプレイが透過型であり、保守作業者が何も表示されていない透過型のディスプレイを介して保守対象を直接視認できる状態も含む概念である。
一方、上記の好ましい構成によれば、ディスプレイに加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末に送信される加工画像を認識可能である。このため、保守対象以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、上記の好ましい構成における「加工画像を認識可能に表示する状態」には、保守支援者側端末に送信される加工画像と同じもの（撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像からマスク画素領域以外の画素領域のみを切り出した画像など）を表示する状態の他、撮像画像にマスク画素領域とマスク画素領域以外の画素領域との境界線をオーバレイした画像を表示する状態や、表示画面の一部（例えば片隅）に加工画像を縮小して表示する状態なども含まれる。【００２３】
好ましくは、前記第１特定手段、前記第２特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている。【００２４】
上記の好ましい構成によれば、撮像手段で保守対象を撮像して取得した撮像画像におけるマスク画素領域を不可視にした加工画像を生成し、この加工画像を保守支援者側端末に送信するまでの一連の動作を実行する各手段の全てがウェアラブル端末に取り付けられている。これは、ウェアラブル端末自体に取り付けられたセンサ等によってウェアラブル端末（撮像手段）の位置を検出する、インサイドアウト方式の構成になっている。ウェアラブル端末とは別体の外部デバイスを用いてウェアラブル端末の位置を検出するアウトサイドイン方式の構成（例えば、ウェラブル端末が具備する撮像手段とは別の外部に設置した撮像手段やセンサ等を用いて、ウェアラブル端末（ウェアラブル端末の具備する撮像手段）の位置を検出する構成など）の場合、ウェアラブル端末の消費電力が低下するという利点があるものの、外部デバイスとウェアラブル端末との間に遮蔽物が存在しないなどの環境面での制約や、高精度の外部デバイスが必要になるため高コストになる欠点がある。したがい、上記の好ましい構成にすることで、低コストで、環境面での制約が少ないという利点が得られる。【００２５】
好ましくは、本発明は、前記保守支援者側端末を備え、前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている。【００２６】
上記の好ましい構成によれば、保守支援者側端末と通信手段とが双方向にデータ通信可能であるため、通信手段から保守支援者側端末に加工画像を送信するだけではなく、逆に保守支援者側端末から通信手段に、保守作業用の画像を送信したり、保守作業の内容を指示する音声データを送信したり等、本発明に係る保守支援システムだけを用いて効果的な保守作業を行うことが可能である。
なお、上記の好ましい構成に加えて、保守対象（例えば、基板処理装置等の産業用機器）から保守支援者側端末にデータ通信可能な構成とし、例えば、保守対象で得られるプロセスログデータ（保守対象のプロセスに関わる測定値や設定値）を保守支援者側端末に送信すれば、保守支援者はこのプロセスログデータを参照しながら、保守作業の内容を指示することができ、より一層効果的な保守作業を行うことが可能である。【００２７】
なお、前記課題を解決するため、本発明は、撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、を含み、前記第２特定工程において、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、ことを特徴とする保守支援方法としても提供される。
また、前記課題を解決するため、本発明は、撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、を含み、前記第２特定手段は、撮像方向が互いに異なる複数の第２の撮像手段を具備し、前記第２特定工程において、前記複数の第２の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、ことを特徴とする保守支援方法としても提供される。
【００２８】
また、前記課題を解決するため、本発明は、前記保守支援方法が含む前記第１特定工程、前記第２特定工程、前記加工画像生成工程及び前記通信工程を、前記第１特定手段、前記第２特定手段、前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラムとしても提供される。
なお、上記のプラグラムを記憶させたコンピュータ（ＣＰＵ）で読み取り可能な記憶媒体として提供することも可能である。【００２９】
また、前記課題を解決するため、本発明は、保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、を含み、前記第２特定工程において、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、ことを特徴とする加工画像の生成方法としても提供される。
また、前記課題を解決するため、本発明は、保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、第１特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象を含む所定の第１の３次元領域及び／又は前記保守対象を除く所定の第２の３次元領域を特定する第１特定工程と、前記ウェアラブル端末が移動した移動後状態において、第２特定手段によって、前記撮像手段で取得した撮像画像における前記第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び／又は前記第２の３次元領域に対応するマスク画素領域を特定する第２特定工程と、加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第２特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、を含み、前記第２特定手段は、撮像方向が互いに異なる複数の第２の撮像手段を具備し、前記第２特定工程において、前記複数の第２の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、ことを特徴とする加工画像の生成方法としても提供される。
【発明の効果】
【００３１】
本発明によれば、保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ないという効果が得られる。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１実施形態に係る保守支援システムの概略構成を模式的に示す図である。
【図２】図１に示す保守支援システムの概略動作を説明する説明図である。
【図３】図１に示す初期状態の撮像手段で取得した撮像画像及び加工画像生成手段で生成した加工画像の一例を示す図である。
【図４】図１に示すウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像及び加工画像生成手段で生成した加工画像の一例を示す図である。
【図５】本発明の第２実施形態に係る保守支援システムにおける第１の３次元領域の設定例を説明する説明図である。
【図６】本発明の第３実施形態に係る保守支援システムで用いる第２の３次元領域を説明する説明図である。
【図７】本発明の第４実施形態に係る保守支援システムにおける第１の３次元領域の設定例及びこのときの第２特定手段の概略動作を説明する説明図である。
【図８】図７に示すように第１の３次元領域を設定したときの第２特定手段の概略動作を説明する平面図である。
【図９】図７に示すように第１の３次元領域を設定すると共に第２の３次元領域を設定したときに加工画像生成手段で生成される加工画像の一例を示す図である。
【図１０】ＳＬＡＭ技術の概要を説明する説明図である。
【発明を実施するための形態】
【００３３】
以下、添付図面を参照しつつ、本発明の実施形態に係る保守支援システムについて説明する。
【００３４】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る保守支援システムの概略構成を模式的に示す図である。図１（ａ）は全体構成図であり、図１（ｂ）はウェアラブル端末及びこれに取り付けられた構成要素を示す図であり、図１（ｃ）は図１（ｂ）に示す制御信号処理手段の内部構成を示すブロック図である。
図１（ａ）に示すように、本実施形態に係る保守支援システム１００は、ウェアラブル端末１と、保守支援者側端末２と、制御信号処理手段３と、を備えている。
【００３５】
ウェアラブル端末１は、保守対象（基板処理装置等の産業用機器等）の設置現場に居て保守作業を行う保守作業者が装着する端末である。
図１（ｂ）に示すように、本実施形態のウェアラブル端末１は、眼鏡型のウェアラブル端末（ヘッドマウントディスプレイ）とされており、保守作業者が耳に掛けるフレーム１１を具備する。また、ウェアラブル端末１は、フレーム１１の前側中央（保守作業者がフレーム１１を耳に掛けたときに保守作業者の眉間近傍に相当する位置）に撮像手段１２を具備する。本実施形態の撮像手段１２としては、カラー（ＲＧＢ）カメラが用いられている。そして、撮像手段１２の撮像方向（視線方向）Ｌ１は、保守作業者がフレーム１１を耳に掛けたときの保守作業者の眉間に正対する方向となるように設定されている。さらに、ウェアラブル端末１は、フレーム１１の前側に取り付けられ、保守作業者がフレーム１１を耳に掛けたときに保守作業者の視界前方を覆うディスプレイ１３を具備する。本実施形態のディスプレイ１３としては、透過型のものが用いられている。したがい、ディスプレイ１３に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。
なお、撮像手段１２は、必要に応じて、後述の第２特定手段３２のハードウェア部分として用いることもできる。
【００３６】
図１（ｂ）に示すように、本実施形態のウェアラブル端末１には、撮像方向が互いに異なる複数の第２の撮像手段３２ａ、３２ｂが取り付けられている。具体的には、本実施形態では、フレーム１１の前側の左右の端部に、一対の第２の撮像手段３２ａ、３２ｂが取り付けられており、第２の撮像手段３２ａの撮像方向（視線方向）Ｌ２と、第２の撮像手段３２ｂの撮像方向（視線方向）Ｌ３とが互いに異なる方向に設定されている。第２の撮像手段３２ａ、３２ｂとしては、例えば、撮像手段１２と同様に、カラー（ＲＧＢ）カメラを用いることができる。また、第２の撮像手段３２ａ、３２ｂとしては、例えば、広角レンズ（超広角レンズ、魚眼レンズを含む）を具備する広角カメラを用いることもできる。なお、第２の撮像手段３２ａ、３２ｂは、後述の第２特定手段３２のハードウェア部分として用いることができる。
【００３７】
図１（ｂ）に示すように、本実施形態のウェアラブル端末１には、撮像手段１２と略同一の視線方向を有する距離画像センサ（デプスカメラや３Ｄカメラともいう）３２ｃが取り付けられている。具体的には、距離画像センサ３２ｃは、フレーム１１の前側中央において、撮像手段１２の下方に取り付けられている。距離画像センサ３２ｃとしては、例えば、ＴＯＦ（Time Of Flight）方式によって視野内における被写体までの距離を測定し、被写体までの距離が各画素の濃度値で表わされた距離画像を取得する距離画像センサが用いられる。なお、距離画像センサ３２ｃは、後述の第２特定手段３２のハードウェア部分として用いることができる。
【００３８】
また、本実施形態のウェアラブル端末１には、慣性センサ３２ｄが取り付けられている。具体的には、フレーム１１の側方に慣性センサ３２ｄが取り付けられている。慣性センサ３２ｄは、例えば、３軸の加速度センサと、３軸の角速度センサ（ジャイロセンサ）と、３軸の地磁気（方位）センサとから構成されている。なお、慣性センサ３２ｄは、後述の第２特定手段３２のハードウェア部分として用いることができる。
【００３９】
さらに、本実施形態のウェアラブル端末１のフレーム１１の側方には、スピーカ４及びマイクロフォン５も取り付けられている。
【００４０】
以上に説明したような構成を有するウェアラブル端末１は、例えば、マイクロソフト社製のスマートグラスである「HoloLens」（登録商標）を用い、これに改良を加えることで構成可能である。
【００４１】
保守支援者側端末２は、インターネット等の電気通信回線Ｎを通じて、ウェアラブル端末１（具体的には、ウェアラブル端末１に取り付けられた制御信号処理手段３）と電気的に接続されている。保守支援者側端末２は、後述の通信手段３４と双方向にデータ通信可能に構成されている。保守支援者側端末２としては、例えばデスクトップ型のコンピュータを用いることができるが、これに限るものではなく、ラップトップ型のコンピュータ、タブレット型のコンピュータ、スマートフォン等、後述のように加工画像を表示できる限りにおいて、種々の端末を用いることができる。
なお、本実施形態の保守支援者側端末２は、必須の構成ではないが、電気通信回線Ｎを通じて、保守対象Ｔとも電気的に接続されている。具体的には、例えば、保守対象Ｔのプロセスログデータ（保守対象Ｔのプロセスに関わる測定値や設定値）を収集するコンピュータ（図１（ａ）には図示せず）が設けられ、このコンピュータが、電気通信回線Ｎを通じて、保守支援者側端末２と電気的に接続されている。そして、保守対象Ｔで得られるプロセスログデータが保守支援者側端末２に逐次送信され、保守支援者側端末２に記憶されるように構成されている。
また、本実施形態の保守支援者側端末２は、必須の構成ではないが、電気通信回線Ｎに電気的に接続されたサーバ６を介して、ウェアラブル端末１及び／又は保守対象Ｔに電気的に接続されている。サーバ６を設けることで、保守支援者側端末２に接続されたウェアラブル端末１や保守対象ＴのＩＤ（識別情報）の管理や利用履歴の管理が容易になる。
【００４２】
制御信号処理手段３は、ウェアラブル端末１（フレーム１１の側方）に取り付けられ、撮像手段１２、ディスプレイ１３、第２の撮像手段３２ａ、３２ｂ、距離画像センサ３２ｃ、慣性センサ３２ｄ、スピーカ４及びマイクロフォン５の各構成要素に電気的に接続されており、各構成要素を制御したり、各構成要素の出力信号を処理する機能を有する。
制御信号処理手段３は、主として、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、該メモリに記憶され、ＣＰＵに後述の動作を実行させるプログラムと、によって構成されている。
【００４３】
図１（ｃ）に示すように、制御信号処理手段３は、第１特定手段３１としての動作をＣＰＵに実行させるプログラムと、第２特定手段３２のソフトウェア部分３２ｅの動作をＣＰＵに実行させるプログラムと、加工画像生成手段３３としての動作をＣＰＵに実行させるプログラムと、を具備する。また、制御信号処理手段３は、通信手段３４を具備する。通信手段３４は、アンテナや、アンテナを動作させるプログラム等によって構成されている。
なお、上記のようなプログラムの更新は、所定のコンピュータと制御信号処理手段３とをＵＳＢケーブル等で直接接続して行ってもよいし、サーバ６から直接アップデートしてもよい。
【００４４】
本実施形態では、第１特定手段３１、第２特定手段３２（撮像手段１２、第２撮像手段３２ａ、３２ｂ、距離画像センサ３２ｃ及び慣性センサ３２ｄのうち少なくとも何れか一つと、ソフトウェア部分３２ｅ）、加工画像生成手段３３及び通信手段３４の全てがウェアラブル端末１に取り付けられている。これは、前述のように、ウェアラブル端末１自体に取り付けられたセンサ等によってウェアラブル端末１（撮像手段１２）の位置を検出する、インサイドアウト方式の構成である。
【００４５】
以下、以上に説明した概略構成を有する本実施形態に係る保守支援システム１００の動作（保守支援方法）について、図１に加えて図２〜図４を参照しつつ説明する。
図２は、本実施形態に係る保守支援システム１００の概略動作を説明する説明図である。図２では、ウェアラブル端末１を装着した保守作業者の図示を省略している。図３は、初期状態の撮像手段１２で取得した撮像画像及び加工画像生成手段３３で生成した加工画像の一例を示す図である。図３（ａ）は撮像画像の一例を、図３（ｂ）は加工画像の一例を示す。図４は、ウェアラブル端末１が移動した移動後状態の撮像手段１２で取得した撮像画像及び加工画像生成手段３３で生成した加工画像の一例を示す図である。図４（ａ）は撮像画像の一例を、図４（ｂ）は加工画像の一例を示す。なお、図３及び図４には、説明の便宜上、第１の３次元領域ＴＡの境界線を破線で図示しているが、実際の撮像画像に境界線は存在しない。
【００４６】
図２に示すように、本実施形態の保守対象Ｔの前面には、部材Ｔ１〜Ｔ３が設けられている。保守対象Ｔの隣には、機密情報に関わる装置Ｓが配置されている。
まず、ウェアラブル端末１を装着した保守作業者は、例えば、ウェアラブル端末１の撮像手段１２で保守対象Ｔを撮像できるように、保守対象Ｔに正対する位置に移動する。そして、この初期状態の撮像手段１２（図２に実線で図示するウェアラブル端末１が具備する撮像手段１２）で保守対象Ｔを撮像して、図３（ａ）に示すような撮像画像（動画）を取得する。
【００４７】
次に、例えば、保守作業者がディスプレイ１３に表示された撮像画像の任意の点をＡＲカーソルを用いて指定することで、第１特定手段３１が、上記の指定した点を基準点Ｍとして特定し、第１特定手段３１に記憶する。また、第１特定手段３１が、撮像画像に所定の画像処理を施すことで、撮像画像中の特徴的な部位（例えば、保守対象Ｔの角部等）に対応する画素領域を抽出し、この画素領域の中心等を基準点Ｍとして特定し、記憶することも可能である。さらに、保守対象Ｔにマーカが付されている（ＡＲマーカ、ＱＲコード（登録商標）、バーコード等のマーカが、貼付、印刷、刻印等によって付されている）場合には、第１特定手段３１が、撮像画像に所定の画像処理を施すことでマーカＭに対応する画素領域を抽出し、この画素領域の中心等を基準点Ｍとして特定することも可能である。
【００４８】
そして、本実施形態では、第１特定手段３１が、基準点Ｍを基準として、保守対象Ｔを含む所定の第１の３次元領域（例えば、直方体形状の３次元領域）ＴＡを特定する。第１の３次元領域ＴＡは、仮想空間における３次元領域である。具体的には、例えば、第１特定手段３１に、基準点Ｍを基準とする３次元座標系（図２に示すＸ軸、Ｙ軸及びＺ軸を有する３次元座標系）で表された第１の３次元領域ＴＡの各頂点Ｐ１〜Ｐ８の座標が予め記憶されており、第１特定手段３１は、例えば、ＳＬＡＭ技術を用いて、この各頂点Ｐ１〜Ｐ８の座標に基づき第１の３次元領域ＴＡを特定する。また、保守作業者が、ディスプレイ１３に表示された撮像画像に対してＡＲカーソルを用いて第１の３次元領域ＴＡの各頂点Ｐ１〜Ｐ８を指定することで、第１特定手段３１が、例えば、ＳＬＡＭ技術を用いて、第１の３次元領域ＴＡを特定することも可能である。この場合、第１の３次元領域ＴＡの各頂点Ｐ１〜Ｐ８は、ＡＲカーソルを用いて指定した瞬間に、基準点Ｍを基準とする３次元座標系に配置されるので、各頂点Ｐ１〜Ｐ８の座標が決まり、結果として第１の３次元領域ＴＡを特定することができる。さらに、保守対象Ｔにマーカが付されている場合には、第１特定手段３１が、マーカに対応する画素領域の特徴量を演算し、この特徴量からマーカの識別情報を特定し、特定した識別情報に関連付けて第１特定手段３１に記憶された各頂点Ｐ１〜Ｐ８の座標に基づき、例えば、ＳＬＡＭ技術を用いて、第１の３次元領域ＴＡを特定することも可能である。
なお、図２では、保守作業者が装着したウェアラブル端末１が、第１の３次元領域ＴＡ内で移動する場合を例示している。
【００４９】
次に、ウェアラブル端末１を装着した保守作業者が移動することで、ウェアラブル端末１も移動し、ウェアラブル端末１が移動した移動後状態において、ウェアラブル端末１が具備する撮像手段１２（図２に破線で図示するウェアラブル端末１が具備する撮像手段１２）で保守対象Ｔを撮像して、図４（ａ）に示すような撮像画像を取得する。この撮像画像には、基準点Ｍが含まれていない。
そして、上記の移動過程において、撮像手段１２及び第２の撮像手段３２ａ、３２ｂによって、連続的に撮像画像が取得される。また、距離画像センサ３２ｃによって、連続的に距離画像が取得される。さらに、慣性センサ３２ｄによって、ウェアラブル端末１が具備する撮像手段１２の加速度、角速度及び地磁気（方位）が連続的に検出される。
【００５０】
第２特定手段３２は、ウェアラブル端末１が移動した移動後状態において、
撮像手段１２で取得した撮像画像における第１の３次元領域ＴＡに対応する有効画素領域を除くマスク画素領域を特定する。
具体的には、第２の撮像手段３２ａ、３２ｂが第２特定手段３２を構成する場合には、移動過程において第２の撮像手段３２ａ、３２ｂで連続的に取得した撮像画像に基づき、第２特定手段３２を構成するソフトウェア部分３２ｅが、例えばＳＬＡＭ技術を用いて、ウェアラブル端末１（撮像手段１２）の自己位置と周囲の環境地図を構築することで、移動後状態の撮像画像における第１の３次元領域ＴＡを特定する。
また、距離画像センサ３２ｃが第２特定手段３２を構成する場合には、移動過程において距離画像センサ３２ｃで連続的に取得した距離画像に基づき、第２特定手段３２を構成するソフトウェア部分３２ｅが、例えばＳＬＡＭ技術を用いて、移動後状態の撮像画像における第１の３次元領域ＴＡを特定する。
さらに、撮像手段１２や慣性センサ３２ｄが第２特定手段３２を構成する場合も同様である。また、第２の撮像手段３２ａ、３２ｂ、距離画像センサ３２ｃ、撮像手段１２及び慣性センサ３２ｄのうちの何れかが組み合わさって第２特定手段３２を構成する場合も考えられ、この場合も、第２特定手段３２が、例えばＳＬＡＭ技術を用いて、移動後状態の撮像画像における第１の３次元領域ＴＡを特定する。
【００５１】
第２特定手段３２は、上記のようにして、移動後状態の撮像画像における第１の３次元領域ＴＡを特定し、第１の３次元領域ＴＡに対応する有効画素領域を除くマスク画素領域を特定する。第１の３次元領域ＴＡが、移動後状態の撮像手段１２の視野内のどの部分に写るか、換言すれば、撮像手段１２で取得した撮像画像におけるどの画素領域に対応するのかは幾何学演算で特定できるため、撮像画像における第１の３次元領域ＴＡに対応する有効画素領域を特定し、有効画素領域を除くマスク画素領域を特定可能である。
【００５２】
次に、加工画像生成手段３３が、移動後状態の撮像手段１２で取得した撮像画像に対して、第２特定手段３２で特定したマスク画素領域を不可視にした加工画像（動画）を生成する。図４（ｂ）に示す例では、加工画像として、マスク画素領域を黒塗りにした画像が生成されている。ただし、加工画像としては、これに限るものではなく、撮像画像から有効画素領域のみ（マスク画素領域以外の画素領域のみ）を切り出した画像にすることも可能である。また、マスク画素領域を黒塗りにするのに代えて、モザイク処理を施したり、フォギーをかけたりして、機密情報等の漏洩を防止できる限りにおいて、種々の態様を採用可能である。
【００５３】
最後に、通信手段３４が、加工画像生成手段３３で生成した加工画像を電気通信回線Ｎを通じて保守支援者側端末２に送信する。したがい、図４（ａ）に示すように、撮像画像では機密情報に関わる装置Ｓが視認できる状態であっても、保守支援者側端末２では、図４（ｂ）に示すように、第１の３次元領域ＴＡに含まれる保守対象Ｔのみが視認され、保守対象Ｔ以外の機密情報等の漏洩を防止可能である。
なお、図３（ａ）に示すような初期状態の撮像手段１２で取得した撮像画像に対しても第２特定手段３２、加工画像生成手段３３及び通信手段３４は動作する。これにより、加工画像生成手段３３では、初期状態の撮像手段で取得した撮像画像に対してもマスク画素領域を不可視にした図３（ｂ）に示すような加工画像が生成され、保守支援者側端末２に送信されることになる。
【００５４】
なお、第２特定手段３２を構成する第２の撮像手段３２ａ、３２ｂ等が故障又は何らかの不具合が生じた場合には、移動後状態の撮像手段１２の初期状態からの位置の変化を正しく特定できなくなる。これに伴い、移動後状態の撮像手段１２で取得した撮像画像における第１の３次元領域ＴＡに対応する有効画素領域を正しく特定できなくなる。この結果、生成された加工画像に保守対象Ｔ以外の機密情報等が含まれる可能性が生じる。
したがい、第２の撮像手段３２ａ、３２ｂ等が故障又は何らかの不具合が生じた場合には、加工画像生成手段３３が全ての画素領域を不可視にした加工画像を生成するか、或いは、通信手段３４が加工画像の送信を停止する機能を有することが好ましい。また、この際、第２の撮像手段３２ａ、３２ｂ等に故障又は何らかの不具合が生じたことを保守作業者が迅速に把握できるように、ディスプレイ１３に故障又は何らかの不具合が生じた旨を表示するか、或いは、スピーカ４に故障又は何らかの不具合が生じた旨を音声で通知することが好ましい。
【００５５】
本実施形態のディスプレイ１３は、ディスプレイ１３に撮像画像を表示する状態（具体的には、本実施形態では、透過型のディスプレイ１３には何も表示されず、保守作業者が何も表示されていないディスプレイ１３を介して保守対象Ｔを直接視認できる状態）と、ディスプレイ１３に加工画像を認識可能に表示する状態とが切り替え可能に構成されている。具体的には、例えば、フレーム１１に切り替えボタン（図示せず）を設け、この切り替えボタンを押すことで、制御信号処理手段３が何れかの状態を選択するように制御する態様を採用可能である。
ディスプレイ１３に撮像画像を表示する状態（保守作業者が保守対象Ｔを直接視認できる状態）では、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。
一方、ディスプレイ１３に加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末２に送信される加工画像を認識可能である。このため、保守対象Ｔ以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、加工画像を認識可能に表示する状態としては、保守支援者側端末２に送信される加工画像と同じもの（撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像から有効画素領域のみを切り出した画像など）を表示する状態の他、図３（ａ）や図４（ａ）に示すように、撮像画像にマスク画素領域と有効画素領域との境界線（第１の３次元領域ＴＡの境界線）をオーバレイした画像を表示する状態や、表示画面の一部に加工画像を縮小して表示する状態なども含まれる。
【００５６】
なお、本実施形態では、１つの保守対象Ｔに１つの第１の３次元領域ＴＡを特定する場合を例に挙げて説明したが、本発明はこれに限るものではない。例えば、保守対象Ｔが複数ある場合には、保守対象Ｔ毎に例えば基準点Ｍを設定し、保守対象Ｔ毎に第１の３次元領域ＴＡを特定すればよい。例えば、１つの保守対象Ｔが基板処理装置であり、基板処理装置の部品を取り外して所定の作業机上で修理等の作業を行う場合には、もう一つの保守対象Ｔをこの作業机に設定し、作業机にも基準点Ｍを設定すればよい。
【００５７】
また、本実施形態では、第１の３次元領域ＴＡとして、８つの頂点Ｐ１〜Ｐ８を有する直方体形状の３次元領域を例に挙げて説明したが、本発明はこれに限るものではない。保守対象Ｔの形状に応じて、８つより多くの点で特定される直方体以外の形状の第１の３次元領域ＴＡを設定することも可能である。
【００５８】
また、本実施形態では、保守支援者側端末２に１つのウェアラブル端末１が電気的に接続されている場合を例に挙げて説明したが、本発明はこれに限るものではない。保守支援者側端末２に複数のウェアラブル端末１が電気的に接続されている構成を採用することも可能である。
この場合、複数のウェアラブル端末１の撮像手段１２が同じ基準点Ｍを基準とする同じ第１の３次元領域ＴＡを特定する構成でもよいし、ウェアラブル端末１毎に、基準点Ｍを異なるものにしたり、特定する第１の３次元領域ＴＡを異なるものにする構成を採用することも可能である。
また、保守支援者側端末２では、複数のウェアラブル端末１から送信された各加工画像を並べて同時に表示したり、或いは、表示する加工画像を切り替え可能にするなど、種々の態様を採用可能である。
さらに、ウェアラブル端末１が１つであっても複数であっても、ウェアラブル端末１に電気的に接続される保守支援者側端末２を複数用意することも可能である。
【００５９】
また、本実施形態では、図２に示すように、保守対象Ｔを含むと共に、ウェアラブル端末１が移動する範囲を含む領域を第１の３次元領域ＴＡに設定しているが、本発明はこれに限るものではない。保守対象Ｔが存在しなかったり、ウェアラブル端末１が移動しない領域であっても、機密情報に関わる装置Ｓが存在しないことが予め決まっている領域については、この領域が含まれるように、第１の３次元領域ＴＡを更に広げることも可能である。また、第１の３次元領域ＴＡは繋がった１つの領域に限るものではなく、複数の分離した領域を第１の３次元領域ＴＡとして設定することも可能である。
【００６０】
＜第２実施形態＞
第２実施形態に係る保守支援システムも、図１を参照して説明した第１実施形態に係る保守支援システム１００と同様の概略構成を有する。
ただし、第２実施形態に係る保守支援システムは、第１の３次元領域ＴＡの設定が第１実施形態に係る保守支援システム１００と異なる。以下、この点について説明する。
【００６１】
図５は、第２実施形態に係る保守支援システムにおける第１の３次元領域ＴＡの設定例を説明する説明図である。
図５に示すように、本実施形態では、第１の３次元領域ＴＡを複数（図５に示す例では８つ）の仮想の仕切り壁Ｗ１〜Ｗ８で構成している。図５に示す例では、８つの仕切り壁Ｗ１〜Ｗ８で囲まれた領域が、第１の３次元領域ＴＡとして設定されることになる。仕切り壁Ｗ１〜Ｗ８は、例えば、保守作業者が、ディスプレイ１３に表示された撮像画像に対してＡＲカーソルを用いて指定すればよい。これにより、第１特定手段３１は、仕切り壁Ｗ１〜Ｗ８で囲まれた領域を第１の３次元領域ＴＡとして特定することになる。
【００６２】
図５に示すような仕切り壁は、その位置やサイズや個数を保守作業者が自由に指定可能にすることが好ましい。この好ましい構成により、保守対象Ｔの形状や寸法が変わっても、これに応じて仕切り壁の位置やサイズや個数を自由に変更できるので汎用性に優れる他、第２特定手段３２によるマスク画素領域の特定も容易である。また、例えば、保守対象Ｔが、基板処理装置本体だけでなく、基板処理装置本体から少し離れた場所にある補器(例えば、ポンプやチラーなど)も含む場合等には、図２のような定尺の第１の３次元領域ＴＡに比べて、仕切り壁を適切に配置して第１の３次元領域ＴＡを構成することが可能である(レイアウト変更が容易である)。
【００６３】
なお、各仕切り壁の間は、機密情報に関わる装置Ｓが保守支援者側端末２で視認できない（すなわち、加工画像において不可視になっている）限りにおいて、若干の隙間が空いていても構わない。図５では、仕切り壁Ｗ１、Ｗ２の間、仕切り壁Ｗ２、Ｗ３の間、仕切り壁Ｗ５、Ｗ６の間、仕切り壁Ｗ６、Ｗ７の間に、若干の隙間が空いている例を図示している。ただし、機密情報に関わる装置Ｓが保守支援者側端末２で確実に視認できないようにするには、第１の３次元領域ＴＡ内のウェアラブル端末１の撮像手段１２の撮像方向（視線方向）Ｌ１から見て、各仕切り壁同士がオーバーラップする部分を有する方が好ましい。
また、図５に示す例では、保守対象Ｔが位置する場所の天井部分や床部分には仕切り壁を設けていないが、保守対象Ｔの周りの機密情報に関わる装置Ｓが作業支援者端末２で視認できない限り、自由に仕切り壁を設定してよい。
【００６４】
＜第３実施形態＞
第３実施形態に係る保守支援システムも、図１を参照して説明した第１実施形態に係る保守支援システム１００と同様の概略構成を有する。
ただし、第３実施形態に係る保守支援システムは、第１の３次元領域ＴＡではなく、第２の３次元領域ＳＡを用いることが第１実施形態に係る保守支援システム１００と異なる。以下、この点について説明する。
【００６５】
第３実施形態に係る保守支援システムでは、第１特定手段３１が、基準点Ｍを基準として、保守対象Ｔを除く所定の第２の３次元領域を特定（例えば、図６に示すように、機密情報に関わる装置Ｓが含まれる第２の３次元領域ＳＡを特定）し、第２特定手段３２が、第２の３次元領域ＳＡに対応するマスク画素領域を特定する構成となっている。第２の３次元領域ＳＡは、仮想空間における３次元領域である。第２の３次元領域ＳＡを特定する場合についても、前述の第１の３次元領域ＴＡを特定する場合について説明した内容を同様に適用可能である。
第１特定手段３１は、第１の３次元領域ＴＡを特定することに代えて、第２の３次元領域ＳＡを特定してもよいし、第１の３次元領域ＴＡ及び第２の３次元領域ＳＡの双方を特定してもよい。第１特定手段３１が第１の３次元領域ＴＡを特定することに代えて第２の３次元領域ＳＡを特定する場合、第２特定手段３２は、第２の３次元領域ＳＡに対応するマスク画素領域を特定することになる。第１特定手段３１が第１の３次元領域ＴＡ及び第２の３次元領域ＳＡの双方を特定する場合、第２特定手段３２は、第１の３次元領域ＴＡに対応する有効画素領域を除くマスク画素領域を特定すると共に、第２の３次元領域ＳＡに対応するマスク画素領域を特定することになる。なお、双方を特定する場合には、第１の３次元領域ＴＡに対応する有効画素領域を除くマスク画素領域と、第２の３次元領域ＳＡに対応するマスク画素領域とが重なる場合がある。この場合、少なくとも一方でマスク画素領域として特定される画素領域は、全てマスク画素領域とすればよい。
【００６６】
＜第４実施形態＞
第４実施形態に係る保守支援システムも、図１を参照して説明した第１実施形態に係る保守支援システム１００と同様の概略構成を有する。
ただし、第４実施形態に係る保守支援システムは、第１の３次元領域ＴＡの設定が第１実施形態に係る保守支援システム１００や第２実施形態に係る保守支援システムと異なる。以下、この点について説明する。なお、以下の説明では、機密情報に関わる装置が２つ（装置Ｓ１、Ｓ２）存在する場合を例示する。
【００６７】
図７は、第４実施形態に係る保守支援システムにおける第１の３次元領域ＴＡの設定例及びこのときの第２特定手段３２の概略動作を説明する説明図である。図７（ａ）は、第１の３次元領域ＴＡの設定例を示す斜視図である。図７（ｂ）は、第２特定手段３２の概略動作を説明する平面図であり、ウェアラブル端末１が保守対象Ｔの前面（図７（ａ）に示す部材Ｔ１〜Ｔ３が設けられている面）の中央に正対する（図７（ａ）に示すウェアラブル端末１の撮像手段１２の撮像方向Ｌ１が保守対象Ｔの前面に直交する）位置にある状態を示す。
図８は、図７に示すように第１の３次元領域ＴＡを設定したときの第２特定手段３２の概略動作を説明する平面図である。図８（ａ）は、ウェアラブル端末１が図７（ｂ）に示す状態から装置Ｓ２側に平行移動した位置にある状態を示す。図８（ｂ）は、ウェアラブル端末１が図７（ｂ）に示す状態から装置Ｓ２側に回転移動（保守対象Ｔの周りを反時計回りに移動）した位置にある状態を示す。図８（ｃ）は、ウェアラブル端末１が図７（ｂ）に示す状態からその場で左に向きを変えた状態を示す。
なお、図７（ｂ）、図８においては、便宜上、ウェアラブル端末１を矩形で図示している。
【００６８】
前述の図２に示す例では、保守対象Ｔを含むと共に、ウェアラブル端末１が移動する範囲を含む領域を第１の３次元領域ＴＡに設定しているが、図７（ａ）に示す例では、保守対象Ｔと合致するように第１の３次元領域ＴＡを設定し、ウェアラブル端末１が第１の３次元領域ＴＡの外部で移動する。
図７（ｂ）に示すように、ウェアラブル端末１が保守対象Ｔの前面の中央に正対する位置にある状態では、ウェアラブル端末１の撮像手段で保守対象Ｔを（第１の３次元領域ＴＡ）を撮像した場合、ウェアラブル端末１の撮像手段の画角θの範囲内に位置する被写体が結像して撮像画像として取得されることになる。換言すれば、図７（ｂ）に示すウェアラブル端末１の撮像手段の画角θの範囲外である撮像領域外ＯＩＡに位置する被写体は、撮像画像を構成しない。
【００６９】
第２特定手段３２は、取得した撮像画像における第１の３次元領域ＴＡに対応する有効画素領域を除くマスク画素領域を特定する。具体的には、撮像画像における、図７（ｂ）に示すマスク領域ＭＡに位置する被写体が結像して得られる画素領域又はマスク領域ＭＡを通って結像して得られる画素領域をマスク画素領域として特定する。
ウェアラブル端末１の撮像手段から見て、第１の３次元領域ＴＡ（保守対象Ｔ）の後方に位置する死角領域ＢＡに位置する被写体は、保守対象Ｔに遮られて結像しないため、撮像画像を構成しない。その結果、実質的に、第１の３次元領域ＴＡに対応する有効画素領域を除く画素領域をマスク画素領域として特定するのと同じ効果がある。
【００７０】
また、ウェアラブル端末１の撮像手段で第１の３次元領域ＴＡ（保守対象Ｔ）を撮像した際、ウェアラブル端末１と第１の３次元領域ＴＡとの間にあり且つ撮像手段の画角θの範囲内にある領域は、本来、第１の３次元領域ＴＡ以外の領域であるが、第２特定手段３２は、この領域を第１の３次元領域ＴＡの手前にある例外領域ＥＡとして特定する。そして、第２特定手段３２は、撮像画像において、この例外領域ＥＡを通って結像して得られる画素領域を有効画素領域として特定する。加工画像生成手段３３は、この例外領域ＥＡを通って結像して得られる画素領域（すなわち、保守対象Ｔの前面に対応する画素領域）が有効画素領域であるため、不可視にしない。つまり、第１の３次元領域ＴＡ（保守対象Ｔ）を視認できることが優先される処理が行われる。
【００７１】
図８（ａ）に示すように、ウェアラブル端末１が図７（ｂ）に示す状態から装置Ｓ２側に平行移動した場合（ウェアラブル端末１を装着した保守作業者が保守対象Ｔを正面に見たまま右側に移動した場合）、図７（ｂ）に示す状態に比べて、例外領域ＥＡの位置が大きく変化する。図８（ａ）に示す例では、装置Ｓ２がマスク領域ＭＡに位置するため、第２特定手段３２は、撮像画像における装置Ｓ２が結像して得られる画素領域をマスク画素領域として特定し、加工画像生成手段３３がこのマスク画素領域を不可視にするため、加工画像中に装置Ｓ２は映らない。ただし、ウェアラブル端末１の位置によっては、装置Ｓ２が例外領域ＥＡ内に入ることがある。この場合には、前述の第２の３次元領域ＳＡを別途設定することも可能である。
【００７２】
図８（ｂ）に示すように、ウェアラブル端末１が図７（ｂ）に示す状態から装置Ｓ２側に回転移動した場合（ウェアラブル端末１を装着した保守作業者が保守対象Ｔの周りを反時計回りに移動した場合）も、図８（ａ）の場合と同様に、装置Ｓ２、Ｓ１が例外領域ＥＡ内に入ることがある。この場合には、前述の通り、第２の３次元領域ＳＡを別途設定することで対処可能である。
【００７３】
図８（ｃ）に示すように、ウェアラブル端末１が図７（ｂ）に示す状態からその場で左に向きを変えた場合（ウェアラブル端末１を装着した保守作業者がその場で視線方向（頭の向き）を左方向に変えた場合）、図７（ｂ）に示すように、元々装置Ｓ１、Ｓ２が死角領域ＢＡ内に位置するのであれば、視線方向を変えても死角領域ＢＡ内に位置したままとなる。
【００７４】
以上、図７及び図８を参照して説明した第４実施形態に係る保守支援システムのように、保守対象Ｔと合致するように第１の３次元領域ＴＡを設定し、ウェアラブル端末１が第１の３次元領域ＴＡの外部で移動する場合、例外領域ＥＡ内に機密情報に関わる装置Ｓ（Ｓ１、Ｓ２）が位置する可能性に備えて、第２の３次元領域ＳＡを別途設定する必要があるが、前述の図２に示す場合と同様に、保守支援者側端末２では、第１の３次元領域ＴＡ（保守対象Ｔ）のみが視認され、保守対象Ｔ以外の機密情報等の漏洩を防止可能である。
【００７５】
図９は、図７に示すように第１の３次元領域ＴＡを設定すると共に、第２の３次元領域ＳＡを設定したときに加工画像生成手段３３で生成される加工画像の一例を示す図である。図９（ａ）はウェアラブル端末１の撮像手段１２の撮像方向（視線方向）Ｌ１を説明する図であり、図９（ｂ）は図９（ａ）に示す撮像方向Ｌ１のときに生成される加工画像の一例を示す図である。なお、図９（ａ）ではウェアラブル端末１の図示を省略している。
図９（ｂ）に示すように、保守作業者が装着するウェアラブル端末１が具備する撮像手段１２で取得した撮像画像において、保守対象Ｔを含む所定の第１の３次元領域ＴＡ（図９に示す例では保守対象Ｔ＝第１の３次元領域ＴＡ）に対応する有効画素領域を除くマスク画素領域、及び、図９（ａ）に示す装置Ｓ１、Ｓ２に対してそれぞれ設定された第２の３次元領域ＳＡ（図示省略）に対応するマスク画素領域を不可視にした（図９に示す例では黒塗りにした）加工画像が得られる。
なお、レイアウト上、機密情報に関わる装置Ｓが保守対象Ｔの近傍にない（つまり、ウェアラブル端末１を装着した作業者が移動する領域と保守対象Ｔとの間に機密情報に関わる装置Ｓがない）場合には、第１の３次元領域ＴＡの設定のみで問題なく、機密情報に関わる装置Ｓが保守対象Ｔの近傍にある場合に、第２の３次元領域ＳＡも必要となる。
【符号の説明】
【００７６】
１・・・ウェアラブル端末
２・・・保守支援者側端末
３・・・制御信号処理手段
１２・・・撮像手段
１３・・・ディスプレイ
３１・・・第１特定手段
３２・・・第２特定手段
３２ａ、３２ｂ・・・第２の撮像手段
３２ｃ・・・距離画像センサ
３２ｄ・・・慣性センサ
３３・・・加工画像生成手段
３４・・・通信手段
１００・・・保守支援システム
Ｍ・・・基準点
Ｎ・・・電気通信回線
Ｓ、Ｓ１、Ｓ２・・・機密情報に関わる装置
Ｔ・・・保守対象
ＴＡ・・・第１の３次元領域
ＳＡ・・・第２の３次元領域
Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５、Ｗ６、Ｗ７、Ｗ８・・・仕切り壁
θ・・・画角
ＢＡ・・・死角領域
ＯＩＡ・・・撮像領域外
ＥＡ・・・例外領域
ＭＡ・・・マスク領域
【要約】
【課題】保守対象以外の機密情報等の漏洩を防止可能で且つ撮像条件の制約が少ない保守支援システム等を提供する。
【解決手段】保守支援システム１００は、撮像手段１２を具備するウェアラブル端末１と、所定の基準点Ｍを基準として保守対象Ｔを含む第１の３次元領域ＴＡを特定する第１特定手段３１と、ウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像に対して、第１の３次元領域に対応する有効画素領域を除くマスク画素領域を特定する第２特定手段３２と、マスク画素領域を不可視にした加工画像を生成する加工画像生成手段３３と、加工画像を保守支援者側端末２に送信する通信手段３４と、を備える。【図１】
0006748793.tif 000002
【図２】
0006748793.tif 000003
【図３】
0006748793.tif 000004
【図４】
0006748793.tif 000005
【図５】
0006748793.tif 000006
【図６】
0006748793.tif 000007
【図７】
0006748793.tif 000008
【図８】
0006748793.tif 000009
【図９】
0006748793.tif 000010
【図１０】
0006748793.tif 000011