(57)【要約】【課題】所定の処理を行う画像領域を適切に特定可能にすること。【解決手段】記憶部１ａは、撮像装置２により撮像された入力画像Ｐ１，Ｐ２を記憶する。検出部１ｂは、記憶部１ａに記憶された入力画像Ｐ１，Ｐ２からマーカー９とマーカー９の移動とを検出する。算出部１ｃは、マーカー９の移動に応じた画像領域を入力画像Ｐ２から特定する。画像処理部１ｄは、特定した画像領域に第１の処理を行い、入力画像Ｐ２のうちの特定した画像領域とは異なる画像領域に第１の処理とは異なる第２の処理を行う。【選択図】図１
2018207271.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像および第２の画像からマーカーと前記マーカーの移動とを検出する検出部と、
前記マーカーの移動に応じた第１の画像領域を前記第２の画像から特定する算出部と、
前記第１の画像領域に第１の処理を行い、前記第２の画像のうちの第２の画像領域に前記第１の処理とは異なる第２の処理を行う画像処理部と、
を有する端末。
【請求項２】
前記検出部は、前記マーカーの移動の移動量を検出し、
前記算出部は、前記移動量に基づいて前記マーカーと連動する画像領域を前記第１の画像領域として特定する、
請求項１記載の端末。
【請求項３】
前記算出部は、前記第１の画像に含まれる第１の画素の座標を前記移動量により変換し、変換後の座標と同じ座標である前記第２の画像の第２の画素の色と前記第１の画素の色との比較に応じて、前記マーカーと連動する画像領域を特定する、
請求項２記載の端末。
【請求項４】
前記算出部は、前記第１の画素の色と前記第２の画素の色とが一致または類似する場合に前記第２の画素を前記マーカーと連動する画素と決定し、前記第２の画像のうち前記第２の画素が連続する領域を前記マーカーと連動する画像領域と特定する、
請求項３記載の端末。
【請求項５】
前記算出部は、前記マーカーと連動する画像領域が複数である場合、前記マーカーを含む画像領域を前記第１の画像領域と特定し、前記マーカーを含まない画像領域を前記第１の画像領域の対象外とする、請求項２乃至４の何れか１項に記載の端末。
【請求項６】
前記移動量は、前記マーカーの平行移動量、回転量および拡大縮小率の少なくとも１つを含む、請求項２乃至５の何れか１項に記載の端末。
【請求項７】
前記第１の処理は、前記第１の画像領域をマスクせずに出力する処理であり、
前記第２の処理は、前記第２の画像領域をマスクして出力する処理である、
請求項１乃至６の何れか１項に記載の端末。
【請求項８】
前記検出部は、前記第２の画像に含まれる他のマーカーを検出し、
前記算出部は、前記他のマーカーの情報に応じて第３の画像領域を特定し、
前記画像処理部は、前記第２の画像領域のうち前記第３の画像領域をマスク対象外とする、
請求項７記載の端末。
【請求項９】
前記マーカーは、手に取り付けられており、
前記算出部は、前記マーカーの移動に応じて前記手が写された前記第１の画像領域を特定し、前記他のマーカーの情報に応じて前記手による作業対象機器が写された前記第３の画像領域を特定する、
請求項８記載の端末。
【請求項１０】
前記検出部は、前記第１の画像および前記第２の画像の両方に含まれる前記他のマーカーの画像を基準として、前記マーカーの移動を検出する、請求項８または９記載の端末。
【請求項１１】
前記マーカーは、手に取り付けられており、
前記算出部は、前記マーカーの移動に応じて、前記手が写された前記第１の画像領域を特定する、
請求項１乃至８の何れか１項に記載の端末。
【請求項１２】
前記第１の画像領域は、前記手と連動する物体の画像を含む、請求項９乃至１１の何れか１項に記載の端末。
【請求項１３】
第１の画像および第２の画像を記憶する記憶装置と、
前記記憶装置に記憶された前記第１の画像および前記第２の画像からマーカーと前記マーカーの移動とを検出し、前記マーカーの移動に応じた第１の画像領域を前記第２の画像から特定し、前記第１の画像領域に第１の処理を行い、前記第２の画像のうちの第２の画像領域に前記第１の処理とは異なる第２の処理を行う処理装置と、
を有する画像処理システム。
【請求項１４】
第１の画像および第２の画像からマーカーと前記マーカーの移動とを検出し、
前記マーカーの移動に応じた第１の画像領域を前記第２の画像から特定し、
前記第１の画像領域に第１の処理を行い、前記第２の画像のうちの第２の画像領域に前記第１の処理とは異なる第２の処理を行う、
処理をコンピュータに実行させる画像処理プログラム。
【請求項１５】
コンピュータが、
第１の画像および第２の画像からマーカーと前記マーカーの移動とを検出し、
前記マーカーの移動に応じた第１の画像領域を前記第２の画像から特定し、
前記第１の画像領域に第１の処理を行い、前記第２の画像のうちの第２の画像領域に前記第１の処理とは異なる第２の処理を行う、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は端末、画像処理システム、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
撮像装置によって撮像された画像に対して画像処理を行う技術が利用されている。例えば、監視カメラによる監視機能を損なわずにプライバシー保護を図る提案がある。この提案では、一方向に回転可能な監視カメラによる撮影視野を、垂直方向および水平方向に分割し、カメラの回転角度を用いて、事前に登録済の特定視野領域と撮影視野との重合状態を決定し、重合部分をマスキング処理する。
【０００３】
また、マーカー座標と映像の加工処理を施す範囲との位置関係を定義データにより予め定義しておき、カメラが撮像した映像の中でマーカーが識別されると、定義データを基に、マーカーで示される映像範囲のマスクを解除する映像処理システムの提案もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１８１５３９号公報
【特許文献２】特開２０１０−１１０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
マーカーを被写体の任意の箇所に取り付けたり、取り外したりすることを可能にすると、マーカーと所定の処理を施す範囲との相対的な位置関係は、取り付けのたびに変わり得る。このため、上記のようにマーカー座標と所定の処理を施す範囲との位置関係を予め定義するのは容易でないという問題がある。
【０００６】
１つの側面では、本発明は、所定の処理を行う画像領域を適切に特定可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様では、端末が提供される。端末は、検出部と算出部と画像処理部とを有する。検出部は、第１の画像および第２の画像からマーカーとマーカーの移動とを検出する。算出部は、マーカーの移動に応じた第１の画像領域を第２の画像から特定する。画像処理部は、第１の画像領域に第１の処理を行い、第２の画像のうちの第２の画像領域に第１の処理とは異なる第２の処理を行う。
【発明の効果】
【０００８】
１つの側面では、所定の処理を行う画像領域を適切に特定できる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態の端末を示す図である。
【図２】第２の実施の形態の情報処理システムの例を示す図である。
【図３】リングマーカーの例を示す図である。
【図４】スマート端末のハードウェア例を示す図である。
【図５】スマート端末の機能例を示す図である。
【図６】フレーム画像の例を示す図である。
【図７】色データテーブルの例を示す図である。
【図８】前回フレームテーブルの例を示す図である。
【図９】最新フレームテーブルの例を示す図である。
【図１０】前回フレームＡＲ検出情報の例を示す図である。
【図１１】マスク情報テーブルの例を示す図である。
【図１２】スマート端末の処理例を示すフローチャートである。
【図１３】ＡＲマスク生成処理の例を示すフローチャートである。
【図１４】最新フレームテーブル作成処理の例を示すフローチャートである。
【図１５】リングマーカー検出処理の例を示すフローチャートである。
【図１６】手操作画像のマスク生成処理の例を示すフローチャートである。
【図１７】色データの比較処理の例を示すフローチャートである。
【図１８】リングマーカー画像の回転の例を示す図である。
【図１９】色データの比較例を示す図である。
【図２０】手操作画像領域の決定例を示す図である。
【図２１】枠画像の表示例を示す図である。
【図２２】枠画像の表示例（続き）を示す図である。
【図２３】機器画像に対するマスク画像の生成例を示す図である。
【図２４】機器画像に対するマスク画像の生成例（続き）を示す図である。
【図２５】ＡＲマスクの合成例を示す図である。
【図２６】支援端末の表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本実施の形態について図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態の端末を示す図である。端末１は、撮像装置２および出力装置３に接続されている。撮像装置２は、物体４，５を含む領域を撮像するカメラである。出力装置３は、端末１が出力する画像を表示するディスプレイである。出力装置３は、端末１が出力する画像を他の装置に送信するネットワークインタフェースでもよい。端末１は、撮像装置２および出力装置３を内蔵してもよい。
【００１１】
物体４，５は、例えばサーバコンピュータ、スイッチ、および、ストレージ装置などの情報機器である。ただし、物体４，５は、情報機器以外のものでもよい。物体４，５は、隣接して設置されている。物体５の前面（撮像装置２により撮像可能な面）には、マーカー６が付されている。マーカー６は、物体５に関する情報に対応する所定のパターンである。当該パターンは、例えば、色（白／黒など）で区別される２次元の図形の組み合わせでもよい。マーカー６は、例えば、ＡＲ（Augmented Reality）と呼ばれる技術に用いられるＡＲマーカーでもよい。ＡＲでは、例えば、撮像中の画像の一部に、画像内のＡＲマーカーに応じた付加的な情報（付加画像など）を付与して表示することがある。
【００１２】
手７は、作業者の手である。作業者は、手７を動かして物体５に対する部品８（手７が掴む物体の一例）の取り付けまたは取り外しなどの作業を行う。手７には、マーカー９が付されている。マーカー９は、手７に対して取り付けたり、取り外したりすることが可能である。例えば、マーカー９は、手７に貼り付けられてもよい。あるいは、マーカー９は、リング（例えば、腕輪や指輪など）の表面に設けられてもよい。この場合、当該リングが手７に嵌められることで、マーカー９は手７に取り付けられる。例えば、マーカー９は、所定の色をもつ２次元の図形の組み合わせにより表される所定のパターン（模様）である。マーカー６のパターンおよびマーカー９のパターンは互いに異なるパターンである。マーカー９は、ＡＲマーカーでもよい。
【００１３】
撮像装置２は、物体４，５とともに、作業を行う手７、部品８およびマーカー９を撮像して入力画像Ｐ１，Ｐ２を順次生成し、端末１に入力する。端末１は、入力画像Ｐ１，Ｐ２に含まれるマーカー６，９の画像を基に、所定の処理（例えば、マスキングなど）を行う画像領域を特定する。例えば、端末１は、物体５の前面の領域や手７および部品８の領域を出力装置３による表示画像上で視認可能とし、これら領域以外の他の領域を表示画像上で視認不可とし、表示画像上で当該他の領域を秘匿化することが考えられる。
【００１４】
ここで、マーカー６は、物体５の所定の位置に付されている。マーカー６の位置は、通常は変更されることはない。この場合、画像内のマーカー６の位置に対して、所定の処理を行う領域（例えば、物体５の前面の領域や当該前面の領域以外の領域）を端末１に予め設定することが可能である。
【００１５】
一方、マーカー９は、作業のたびに手７に対する取り付け位置が異なることがある。また、作業などのために手７がもつ物体（例えば、部品８）も作業毎に異なることがある。このため、画像内のマーカー９の位置に対して、所定の処理を行う領域（例えば、手７および手７がもつ部品８の領域や当該領域以外の領域）を端末１に予め設定することは難しい。そこで、端末１は、マーカー９に対して、所定の処理を行う領域を適切に特定可能にする機能を提供する。
【００１６】
端末１は、記憶部１ａ、検出部１ｂ、算出部１ｃおよび画像処理部１ｄを有する。記憶部１ａは、ＲＡＭ（Random Access Memory）などの揮発性の記憶装置でもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性の記憶装置でもよい。
【００１７】
検出部１ｂ、算出部１ｃおよび画像処理部１ｄは、端末１が備える処理装置（図１では図示を省略している）によって実現されてもよい。処理装置は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などを含み得る。処理装置はプログラムを実行するプロセッサであってもよい。「プロセッサ」は、複数のプロセッサの集合（マルチプロセッサ）も含み得る。
【００１８】
記憶部１ａは、撮像装置２により入力された入力画像Ｐ１，Ｐ２を記憶する。例えば、入力画像Ｐ１，Ｐ２は、撮像装置２が物体４，５を含む領域を、定点から撮像することで生成された画像である。入力画像Ｐ２は、入力画像Ｐ１よりも後に撮像された画像である。また、記憶部１ａは、マーカー６，９のパターンの情報を予め記憶する。
【００１９】
入力画像Ｐ１は、物体画像Ｐ１ａ，Ｐ１ｂ、マーカー画像Ｐ１ｃ，Ｐ１ｄ、手画像Ｐ１ｅおよび部品画像Ｐ１ｆを含む。物体画像Ｐ１ａは、物体４の画像である。物体画像Ｐ１ｂは、物体５の画像である。マーカー画像Ｐ１ｃは、マーカー６の画像である。マーカー画像Ｐ１ｄは、マーカー９の画像である。手画像Ｐ１ｅは、手７の画像である。部品画像Ｐ１ｆは、部品８の画像である。
【００２０】
入力画像Ｐ２は、物体画像Ｐ２ａ，Ｐ２ｂ、マーカー画像Ｐ２ｃ，Ｐ２ｄ、手画像Ｐ２ｅおよび部品画像Ｐ２ｆを含む。物体画像Ｐ２ａは、物体４の画像である。物体画像Ｐ２ｂは、物体５の画像である。マーカー画像Ｐ２ｃは、マーカー６の画像である。マーカー画像Ｐ２ｄは、マーカー９の画像である。手画像Ｐ２ｅは、手７の画像である。部品画像Ｐ２ｆは、部品８の画像である。
【００２１】
検出部１ｂは、第１の画像（例えば、入力画像Ｐ１）および第２の画像（例えば、入力画像Ｐ２）からマーカー９とマーカー９の移動とを検出する。例えば、検出部１ｂは、入力画像Ｐ１からマーカー画像Ｐ１ｄを検出する。また、検出部１ｂは、入力画像Ｐ２からマーカー画像Ｐ２ｄを検出する。検出部１ｂは、記憶部１ａに記憶されたマーカー９のパターンの情報とマーカー画像Ｐ１ｄとを照合することで、マーカー９に対応するマーカー画像Ｐ１ｄを検出する。検出部１ｂは、マーカー画像Ｐ２ｄも同様にして検出する。
【００２２】
なお、マーカー画像Ｐ１ｄ，Ｐ２ｄは、マーカー９に相当しており、マーカー画像Ｐ１ｄ，Ｐ２ｄを単に「マーカー」と称してもよい。ただし、図１の説明では、マーカー９と区別するために、入力画像Ｐ１，Ｐ２内の「マーカー」については、マーカー画像Ｐ１ｄ，Ｐ２ｄと称する。
【００２３】
そして、検出部１ｂは、入力画像Ｐ１におけるマーカー画像Ｐ１ｄの画像上の位置と入力画像Ｐ２におけるマーカー画像Ｐ２ｄの画像上の位置の変化から、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動（マーカー９の移動に相当）を検出する。
【００２４】
算出部１ｃは、マーカー９の移動に応じた第１の画像領域を第２の画像から特定する。すなわち、算出部１ｃは、入力画像Ｐ２のうち、マーカー９と連動する画像領域を第１の画像領域とする。より具体的には、算出部１ｃは、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動（マーカー画像Ｐ１ｄからマーカー画像Ｐ２ｄへの移動）と同じ（あるいは所定の誤差内で同じ）移動方向および移動量で移動する画像領域を第１の画像領域とする。算出部１ｃは、マーカー画像Ｐ１ｄにおける所定の位置と、マーカー画像Ｐ２ｄにおける当該所定の位置に対応する位置との差（画像内の座標の差）によって移動量を計算する。この移動量は、入力画像Ｐ１，Ｐ２間のマーカー９の移動量ともいえる。
【００２５】
なお、撮像装置２が固定されていない場合も考えられる。この場合、算出部１ｃは、マーカー画像Ｐ１ｃに対するマーカー画像Ｐ１ｄの第１の位置、および、マーカー画像Ｐ２ｃに対するマーカー画像Ｐ２ｄの第２の位置を求めてもよい。そして、算出部１ｃは、第１の位置および第２の位置の変化から、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動方向および移動量を求めてもよい。マーカー画像Ｐ１ｃ，Ｐ２ｃは、物体５に付されたマーカー６の画像である。マーカー６は、静止している。このため、マーカー画像Ｐ１ｃ，Ｐ２ｃを基準にすることで、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの位置の変化を適切に検出できる。なお、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動としては、平行移動だけでなく、回転や拡大縮小（マーカー９の奥行き方向の移動に相当）なども考えられる。算出部１ｃは、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動の平行移動量に加えて、回転量および拡大縮小率の両方または何れか一方を、当該移動の移動量として求めてもよい。
【００２６】
例えば、算出部１ｃは、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動方向および移動量により、入力画像Ｐ１の各画素の位置を変換する。算出部１ｃは、位置変換後の画素の色情報と、当該画素の位置と同じ位置にある入力画像Ｐ２の画素の色情報とを比較し、両画素の色情報が一致する（または所定の誤差内で一致する）場合、該当の画素を、マーカー画像Ｐ２ｄに関連する画素とする。算出部１ｃは、入力画像Ｐ２内の画素のうち、マーカー画像Ｐ２ｄに関連する画素の集合を第１の画像領域とする。
【００２７】
例えば、算出部１ｃは、マーカー画像Ｐ２ｄに関連する画素の集合として手画像Ｐ２ｅおよび部品画像Ｐ２ｆを特定する。この場合、手画像Ｐ２ｅおよび部品画像Ｐ２ｆに相当する画像領域が第１の画像領域である。
【００２８】
画像処理部１ｄは、第１の画像領域に第１の処理を行い、第２の画像のうちの第２の画像領域に第１の処理とは異なる第２の処理を行う。例えば、第１の処理は、第１の画像領域をマスキングせずに、そのまま出力装置３に出力する処理である。また、例えば、第２の処理は、第１の画像領域とは異なる第２の画像領域をマスキングして出力装置３に出力する処理である。
【００２９】
例えば、画像処理部１ｄは、入力画像Ｐ２のうち、手画像Ｐ２ｅおよび部品画像Ｐ２ｆに相当する第１の画像領域以外の第２の画像領域をマスキングした出力画像を、出力装置３に出力してもよい。この場合、出力画像を見たユーザは、手画像Ｐ２ｅおよび部品画像Ｐ２ｆを確認できるが、それ以外の背景部分を確認することはできない。マスキングは、マスク画像で覆う、モザイク、または、ぼかしなどの処理により行われてもよい。
【００３０】
他の例では、画像処理部１ｄは、マーカー９に加えて、マーカー６によりマスク対象外と判定される画像領域（例えば、物体画像Ｐ２ｂの一部）もマスク対象外とした出力画像Ｐ３を、出力装置３に出力してもよい。この場合、出力画像Ｐ３は、マスク画像Ｐ３ａ、物体画像Ｐ３ｂ、マーカー画像Ｐ３ｃ，Ｐ３ｄ、手画像Ｐ３ｅおよび部品画像Ｐ３ｆを含む。マスク画像Ｐ３ａは、マスク画像Ｐ３ａに相当する画像領域を覆う画像である。物体画像Ｐ３ｂは、物体５の画像である。マーカー画像Ｐ３ｃは、マーカー６の画像である。マーカー画像Ｐ３ｄは、マーカー９の画像である。手画像Ｐ３ｅは、手７の画像である。部品画像Ｐ３ｆは、部品８の画像である。この場合、出力画像Ｐ３を見たユーザは、物体画像Ｐ３ｂ、手画像Ｐ２ｅおよび部品画像Ｐ２ｆを確認できるが、それ以外の部分を確認することはできない。
【００３１】
端末１によれば、第１の画像および第２の画像からマーカーの移動を検出し、マーカーの移動に応じた画像領域を特定し、該領域とその他の領域で異なる処理を行う。これにより、マーカー位置に対しマスクなどの処理領域を予め定めなくても、処理領域を適切に特定できる。理由は次の通りである。
【００３２】
端末１は、入力画像Ｐ１，Ｐ２に基づいて、マーカー画像Ｐ１ｄに対するマーカー画像Ｐ２ｄの移動と同じ（または所定の誤差内で同じ）移動方向および移動量で移動した第１の画像領域を検出する。この場合、検出される第１の画像領域は、マーカー９の動きに連動する画像領域であり、手画像Ｐ２ｅや部品画像Ｐ２ｆに相当する。すなわち、端末１は、第１の画像領域を検出することで、入力画像Ｐ２のうち、マーカー９が付された手７に対応する手画像Ｐ２ｅおよび手７に握られた部品８に対応する部品画像Ｐ２ｆの部分を特定することができる。したがって、端末１は、入力画像Ｐ２のうち、手画像Ｐ２ｅおよび部品画像Ｐ２ｆに相当する第１の画像領域と、第１の画像領域以外の第２の画像領域とを適切に区別した処理を行える。
【００３３】
処理の一例として、前述のように、端末１は、入力画像Ｐ２のうち、手画像Ｐ２ｅおよび部品画像Ｐ２ｆ以外の画像領域をマスキングした出力画像を出力することが考えられる。この場合、出力画像における手画像および部品画像以外の画像領域を秘匿化できる。したがって、出力画像から作業者の手作業を確認可能とし、物体４，５を確認不可とすることが可能である。
【００３４】
あるいは、端末１は、出力画像Ｐ３を出力することも考えられる。この場合、出力画像Ｐ３における物体画像Ｐ３ｂ、手画像Ｐ３ｅおよび部品画像Ｐ３ｆ以外の画像領域をマスク画像Ｐ３ａにより秘匿化できる。したがって、出力画像Ｐ３から作業者の手作業や作業対象の物体５を確認可能とし、物体４を確認不可とすることが可能である。
【００３５】
このような機能は、例えば、現場にいる作業者が、遠隔地にいる支援者の支援を受けるために、遠隔地におけるコンピュータなどの情報処理装置にネットワークを介して出力画像Ｐ３を送信する際に有用である。作業対象外の物体４などについては、セキュリティ上、外部の者に対して秘匿化したいこともあるからである。
【００３６】
端末１によれば、手７および部品８による作業状況を確認可能とし、それ以外の領域をマスクできるので、遠隔地の支援者に対して余計な部分を見せずに済み、セキュリティ性を高められる。端末１は、出力画像Ｐ３で例示されるように、手７および部品８による作業状況に加えて、支援者による作業対象の物体５の確認を可能にすることもできる。
【００３７】
なお、端末１は、前述の記憶装置と処理装置とを有する画像処理システムと呼ぶこともできる。画像処理システムは撮像装置２や出力装置３を含んでもよい。
以下の説明では、端末１を、作業者に対する支援者による遠隔支援に用いられる情報処理システムを例示して、端末１の機能をより具体的に説明する。
【００３８】
［第２の実施の形態］
図２は、第２の実施の形態の情報処理システムの例を示す図である。第２の実施の形態の情報処理システムは、データセンタなどの施設に設置された複数の情報機器（例えば、情報機器１０）の保守を支援するシステムである。
【００３９】
第２の実施の形態の情報処理システムは、スマート端末１００、ストリーミングサーバ２００および支援端末３００を含む。ストリーミングサーバ２００および支援端末３００は、ネットワーク２０に接続されている。ネットワーク２０は、例えば、組織内に敷設されたＬＡＮ（Local Area Network）でもよいし、インターネットなどの広域ネットワークでもよい。ネットワーク２０には、アクセスポイント２１が接続されている。アクセスポイント２１は、無線通信の中継装置である。スマート端末１００は、アクセスポイント２１を介してネットワーク２０に接続されている。
【００４０】
第２の実施の形態の情報処理システムは、情報機器１０が設置された現地で作業を行う作業者Ｕ１、および、作業者Ｕ１を遠隔地から支援する支援者Ｕ２によって利用される。作業者Ｕ１は、支援者Ｕ２から作業に関する指示を受けることができる。作業者Ｕ１および支援者Ｕ２は、第２の実施の形態の情報処理システムのユーザであるといえる。
【００４１】
情報機器１０は、サーバコンピュータ、スイッチ、および、ストレージ装置などを含む。情報機器１０には、ＡＲマーカー１１，１２が付与されている。ＡＲマーカー１１，１２は、情報機器１０を撮像した画像に対して、所定の付加画像を付与するために用いられる標識である。第２の実施の形態では、一例として、ＡＲマーカーの形状を四角形とするが、他の形状でもよい。
【００４２】
スマート端末１００は、作業者Ｕ１によって利用されるクライアントコンピュータである。スマート端末１００は、カメラおよびディスプレイを備えており、カメラによってＡＲマーカー１１，１２を含む領域を撮像し、撮像した画像に重ねて、ＡＲマーカー１１，１２に応じた作業支援用の画像（支援画像）をディスプレイ上に表示させることができる。支援画像は、例えば、作業箇所を作業者Ｕ１に指示する画像や作業内容を作業者Ｕ１に指示するメッセージなどである。これにより、スマート端末１００は、作業者Ｕ１による作業を支援する。このように、元の画像に付加画像をリアルタイムに重畳して表示させ、現実の情報に対して付加的な情報を提供する技術は、拡張現実（ＡＲ）と呼ばれることがある。スマート端末１００は、撮像した画像を、ストリーミングサーバ２００に送信することもできる。スマート端末１００は、第１の実施の形態の端末１の一例である。
【００４３】
ストリーミングサーバ２００は、スマート端末１００から受信した画像を、支援端末３００に配信するサーバコンピュータである。
支援端末３００は、ストリーミングサーバ２００が配信する画像を受信し、支援者Ｕ２に提供するクライアントコンピュータである。支援者Ｕ２は、支援端末３００により表示される画像を閲覧することで、スマート端末１００により撮像されている画像を、作業者Ｕ１と共有することができる。支援者Ｕ２は、支援端末３００が提供する画像を確認しながら、電話やチャットなどの手段を用いて、作業者Ｕ１に作業指示を伝えることができる。
【００４４】
ここで、情報機器の保守を行う保守事業者が顧客の施設で作業を行う場合、作業者Ｕ１が支援者Ｕ２の後方支援を受けることがある。この場合、セキュリティ上、作業対象とする情報機器以外の情報機器が支援者Ｕ２により視認できないようにすることが考えられる。一方、支援者Ｕ２は、作業者Ｕ１による手作業の作業状況（例えば、マニュアル手順に対する作業者の手操作手順の順序性など）を確認できる方が、誤操作の指摘や作業手順などの適切な作業指示を作業者Ｕ１に伝えることができる。情報機器以外の領域を全て視認不可とする場合、情報機器以外の領域で作業者Ｕ１による保守端末の操作やケーブル挿抜などの手作業が行われると、作業者Ｕ１による手作業の部分も視認不可となり、支援者Ｕ２により作業者Ｕ１の手作業を確認できなくなる。作業対象の情報機器が小さいほど、これが顕著になる。
【００４５】
そこで、作業者Ｕ１は、所定のＡＲマーカーが付されたリング３０を手に取り付けて作業を行う。以下の説明では、リング３０に付されたＡＲマーカーを、特に、リングマーカーと称する。そして、スマート端末１００は、情報機器１０に付されたＡＲマーカー１１，１２やリング３０に付されたリングマーカーを識別して、撮像された画像のうち、作業対象の機器や手作業の画像領域以外をマスクして出力する機能を提供する。
【００４６】
図３は、リングマーカーの例を示す図である。リング３０は、作業者Ｕ１の腕（例えば、手首）に取り付けられる腕輪である。リング３０は、リングマーカー３１を有する。リングマーカー３１は、所定の色と所定の図形パターン（模様）とをもつＡＲマーカーである。例えば、図形パターンは、所定の色で表される１以上の二次元バーコードでもよい。図３の例では、リング３０の外周の縁に、４つの二次元バーコードが付されている。この場合、当該４つの二次元バーコードの組を、リングマーカー３１と考えることができる。リングマーカー３１は、リング３０の外周の縁に、（例えば、リング３０の全外周を覆うように）複数設けられてもよい。
【００４７】
図４は、スマート端末のハードウェア例を示す図である。スマート端末１００は、プロセッサ１０１、ＲＡＭ１０２、フラッシュメモリ１０３、正面カメラ１０４、背面カメラ１０５、ディスプレイ１０６、スピーカ１０７、タッチパネル１０８、マイク１０９、媒体リーダ１１０および通信インタフェース１１１を有する。各ユニットはスマート端末１００のバスに接続されている。ストリーミングサーバ２００や支援端末３００もスマート端末１００と同様のユニットを用いて実現できる。
【００４８】
プロセッサ１０１は、スマート端末１００の情報処理を制御する。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどである。プロセッサ１０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどのうちの２以上の要素の組み合わせであってもよい。
【００４９】
ＲＡＭ１０２は、スマート端末１００の主記憶装置である。ＲＡＭ１０２は、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０２は、プロセッサ１０１による処理に用いる各種データを記憶する。
【００５０】
フラッシュメモリ１０３は、スマート端末１００の補助記憶装置である。フラッシュメモリ１０３は、内蔵の記憶素子に対して、電気的にデータの書き込みおよび読み出しを行う。フラッシュメモリ１０３は、ＯＳのプログラム、アプリケーションプログラム、および各種データを記憶する。
【００５１】
正面カメラ１０４は、スマート端末１００のディスプレイ１０６と同じ面（正面）に設けられた撮像装置である。
背面カメラ１０５は、スマート端末１００のディスプレイ１０６とは反対側の面（背面）に設けられた撮像装置である。
【００５２】
スマート端末１００は、正面カメラ１０４や背面カメラ１０５の他、作業者Ｕ１による作業領域を定点から撮像するカメラと接続されてもよい。
ディスプレイ１０６は、プロセッサ１０１からの命令に従って、画像を表示する表示装置である。ディスプレイ１０６は、正面カメラ１０４や背面カメラ１０５により撮像されている画像をリアルタイムに表示することができる。ディスプレイ１０６としては、例えば、液晶ディスプレイを用いることができる。
【００５３】
スピーカ１０７は、プロセッサ１０１から音声データを取得し、所定の信号処理を行って音声データに対応する音声を再生する。
タッチパネル１０８は、ディスプレイ１０６に重ねて設けられ、作業者Ｕ１によるタッチ操作を受け付ける。タッチパネル１０８は、タッチ操作された位置を示す情報をプロセッサ１０１に出力する。
【００５４】
マイク１０９は、作業者Ｕ１が発話した音声などの入力を受け付け、所定の信号処理を行うことで音声データを生成し、プロセッサ１０１に出力する。
媒体リーダ１１０は、記録媒体２２に記憶されたデータを読み取り、また、記録媒体２２にデータを格納する。記録媒体２２には、例えば、スマート端末１００に実行させるプログラムを記録することもできる。記録媒体２２としては、例えば、半導体メモリを使用できる。媒体リーダ１１０は、例えば、プロセッサ１０１からの命令に従って、記録媒体２２から読み取ったプログラムやデータをＲＡＭ１０２またはフラッシュメモリ１０３に格納する。
【００５５】
通信インタフェース１１１は、アクセスポイント２１を介してストリーミングサーバ２００を含む他の装置と通信を行う。第２の実施の形態の例では、通信インタフェース１１１として無線通信インタフェースを想定するが、有線通信インタフェースでもよい。
【００５６】
なお、正面カメラ１０４および背面カメラ１０５それぞれは、第１の実施の形態の撮像装置２の一例である。ディスプレイ１０６および通信インタフェース１１１それぞれは、第１の実施の形態の出力装置３の一例である。
【００５７】
図５は、スマート端末の機能例を示す図である。スマート端末１００は、画像記憶部１２０、ＡＲ情報記憶部１３０、フレームデータ記憶部１４０、画像受信部１５１、マーカー検出部１５２、ＡＲ情報管理部１５３、変形率計算部１５４、枠生成部１５５、画像合成部１５６、表示制御部１５７、タッチ処理部１５８、枠比率計算部１５９、ＡＲ画像生成部１６０、手操作画像処理部１６１および通信制御部１６２を有する。
【００５８】
画像記憶部１２０、ＡＲ情報記憶部１３０およびフレームデータ記憶部１４０は、ＲＡＭ１０２またはフラッシュメモリ１０３に確保された記憶領域として実現される。画像受信部１５１、マーカー検出部１５２、ＡＲ情報管理部１５３、変形率計算部１５４、枠生成部１５５、画像合成部１５６、表示制御部１５７、タッチ処理部１５８、枠比率計算部１５９、ＡＲ画像生成部１６０、手操作画像処理部１６１および通信制御部１６２は、ＲＡＭ１０２に記憶されたプログラムをプロセッサ１０１が実行することで実現される。これらの機能は、ＦＰＧＡやＡＳＩＣなどのハードワイヤードロジックにより実現されてもよい。
【００５９】
画像記憶部１２０は、正面カメラ１０４または背面カメラ１０５により撮像された画像を記憶する。画像記憶部１２０は、スマート端末１００に外付けされたカメラにより撮像された画像を記憶してもよい。
【００６０】
ＡＲ情報記憶部１３０は、ＡＲ情報を記憶する。ＡＲ情報は、作業者Ｕ１が行う作業の作業ＩＤ（IDentifier）、作業時に読み取るＡＲマーカーのマーカーＩＤ、当該作業の対象となる機器情報を含む。機器情報は、情報機器の輪郭形状やサイズなどの情報を含む。また、機器情報は、作業者Ｕ１に対する支援画像を配置するモジュール位置（情報機器に対して支援画像を配置する位置）の情報を含む。例えば、ある作業を識別する作業ＩＤに対して、情報機器に付されるＡＲマーカーのマーカーＩＤが予め割り振られている。また、ＡＲ情報記憶部１３０は、ＡＲマーカーの基準サイズ（基準サイズから機器情報における機器のサイズに対するＡＲマーカーのサイズ比率を把握可能である）や基準形状の情報もマーカーＩＤ毎に予め記憶している。
【００６１】
フレームデータ記憶部１４０は、手操作画像処理部１６１による手操作画像抽出用のフレームデータを記憶する。フレームデータは、時系列に入力される前回のフレーム画像と最新のフレーム画像との各画素の色データや、今回のフレームの各画素に対するマスク対象要否を示す種別を含む。
【００６２】
画像受信部１５１は、背面カメラ１０５により出力されたカメラ画像（時系列のコマ画像）を受信し、マーカー検出部１５２および画像合成部１５６に提供する。画像受信部１５１は、正面カメラ１０４やスマート端末１００に外付けされたカメラなどにより出力されたカメラ画像を受信し、マーカー検出部１５２および画像合成部１５６に提供してもよい。ここで、作業者Ｕ１は、保守作業を開始する直前に、これから行う作業の作業ＩＤをスマート端末１００に入力する。すると、例えば、背面カメラ１０５は、撮像対象範囲の撮像を開始し、カメラ画像の出力を開始する。スマート端末１００は、作業者Ｕ１の操作入力により、カメラ画像を出力するカメラの選択を受け付けてもよい。
【００６３】
マーカー検出部１５２は、画像受信部１５１から取得したカメラ画像から、情報機器に付されたＡＲマーカー（例えば、ＡＲマーカー１１，１２）の画像（ＡＲマーカー画像と称する）を検出する。ＡＲマーカー画像の検出には、既存のパターン認識の方法を用いることができる。また、マーカー検出部１５２は、ＡＲマーカーが検出されたカメラ画像を画像記憶部１２０に格納する。
【００６４】
ＡＲ情報管理部１５３は、ＡＲ情報記憶部１３０に対するデータの書き込みやＡＲ情報記憶部１３０からのデータの読み出しを行う。また、ＡＲ情報管理部１５３は、各部の間での、データの受け渡しを管理する。
【００６５】
変形率計算部１５４は、画像記憶部１２０に記憶されたカメラ画像に含まれるＡＲマーカー画像と、当該ＡＲマーカー画像の基準のサイズ／形状とを比較することで、カメラ画像に含まれるＡＲマーカー画像の変形率（ＡＲマーカー変形率）を計算する。変形率計算部１５４は、計算したＡＲマーカー変形率を、ＡＲ情報管理部１５３を介して、ＡＲ情報記憶部１３０に記録する。
【００６６】
枠生成部１５５は、ＡＲ情報管理部１５３を介して、作業ＩＤ、および、検出されたＡＲマーカーに対応する機器情報をＡＲ情報記憶部１３０から読み出し、作業対象機器の形状に合った枠画像を生成して、枠画像の表示位置を示す座標（枠画像座標）を計算する。枠画像は、ディスプレイ１０６上の任意の位置に表示させることができる。例えば、枠生成部１５５は、ディスプレイ１０６の表示領域の中央に表示するように枠画像座標を計算する。枠生成部１５５は、計算した枠画像座標を、ＡＲ情報管理部１５３を介して、ＡＲ情報記憶部１３０に格納する。また、枠生成部１５５は、生成した枠画像を画像合成部１５６に提供する。
【００６７】
画像合成部１５６は、画像受信部１５１から取得したカメラ画像に対し、枠生成部１５５によって生成された枠画像を合成する（カメラ画像を背景として枠画像をカメラ画像に重畳する）。画像合成部１５６は、ＡＲ情報記憶部１３０に格納された枠画像座標を基に、枠画像の配置位置を決定する（枠画像の配置は枠画像座標に固定される）。
【００６８】
画像合成部１５６は、画像受信部１５１から取得したカメラ画像に、ＡＲ画像生成部１６０によって生成された支援画像（作業支援用のＡＲ画像）や手操作画像処理部１６１によって生成されたマスク画像を合成することもある。
【００６９】
表示制御部１５７は、画像合成部１５６により生成された画像を取得し、ディスプレイ１０６に出力する。ディスプレイ１０６は、表示制御部１５７により出力された画像を表示する。
【００７０】
タッチ処理部１５８は、作業者Ｕ１によるタッチパネル１０８に対するタッチ操作を受け付ける。例えば、作業者Ｕ１は、ディスプレイ１０６に表示されたボタンなどをタッチできる。タッチ処理部１５８は、タッチ位置に対応するボタンに応じた入力を受け付ける。例えば、作業者Ｕ１は、背面カメラと作業対象機器との位置関係を調整して、ディスプレイ１０６に表示された枠画像に、作業対象機器の画像（作業対象機器画像）の縁を合わせる。作業者Ｕ１は、一致を確認すると、一致したことを入力するためのボタン（例えば、「ＡＲ生成」などの文字列が付されたボタン）をタッチする。すると、タッチ処理部１５８は、当該タッチ操作に応じて、枠画像と、作業対象機器画像の縁とが一致していることを、ＡＲ情報管理部１５３を介して枠比率計算部１５９に通知する。
【００７１】
枠比率計算部１５９は、タッチ処理部１５８からの通知を受け付けると、枠画像座標と当該通知のタイミングにおける、ＡＲマーカー座標とＡＲマーカーの変形率と、を取得する。枠比率計算部１５９は、取得した枠画像座標とＡＲマーカー座標とＡＲマーカーの変形率とに基づいて、ＡＲ画像（作業支援用の支援画像または作業対象機器以外をマスクするマスク画像）を表示させる座標（ＡＲ表示座標）を計算する。
【００７２】
ＡＲ表示座標を計算するために、まず、枠比率計算部１５９は、取得した枠画像座標とＡＲマーカー座標とＡＲマーカーの変形率とから、ＡＲマーカー画像と枠画像との位置関係を取得する。そして、枠比率計算部１５９は、作業対象機器画像に対して支援画像を配置する位置（作業対象機器画像を基準とした位置）を機器情報から得る。枠比率計算部１５９は、ＡＲマーカー画像と枠画像との位置関係から、支援画像を配置する位置の、ＡＲマーカー画像を基準とした位置（支援画像のＡＲ表示座標）を計算し、ＡＲ情報管理部１５３を介してＡＲ情報記憶部１３０に格納する。また、枠比率計算部１５９は、マーカー画像と枠画像との位置関係を基に、カメラ画像のうち、作業対象機器画像以外の領域を特定し、当該領域の情報（マスク画像のＡＲ表示座標）を、ＡＲ情報管理部１５３を介してＡＲ情報記憶部１３０に格納する。
【００７３】
ＡＲ画像生成部１６０は、ＡＲ情報記憶部１３０に記憶されたＡＲ形状情報、テキスト情報、マーカー変形率およびＡＲ表示座標に基づいて、支援画像を生成し、画像合成部１５６に提供する。また、ＡＲ画像生成部１６０は、ＡＲ情報記憶部１３０に記憶された作業対象領域画像以外の領域に対するマスク画像を生成し、手操作画像処理部１６１に提供する。また、ＡＲ画像生成部１６０は、ＡＲ情報管理部１５３を介して、画像記憶部１２０に記憶されたカメラ画像を取得し、手操作画像処理部１６１に提供する。
【００７４】
手操作画像処理部１６１は、ＡＲ画像生成部１６０からカメラ画像を取得し、取得したカメラ画像からリングマーカー３１の画像を識別する。手操作画像処理部１６１は、画像受信部１５１からカメラ画像を取得してもよい。手操作画像処理部１６１は、リングマーカー３１の画像により、カメラ画像のうち、作業者Ｕ１の手作業を写した画像領域（手操作画像）を特定する。手操作画像処理部１６１は、最新のフレームのカメラ画像（最新のフレーム画像）と、前回のフレームのカメラ画像（前回のフレーム画像）とを比較し、リングマーカー３１と連動して動いた画像領域を検出する。ここで、前回のフレーム画像は、最新のフレーム画像の１つ前のフレームのフレーム画像である。リングマーカー３１は、作業者Ｕ１の手に取り付けられているので、リングマーカー３１と連動して動いた画像領域は、作業者Ｕ１の手や手の中のケーブルなどを写した画像領域に相当する。したがって、手操作画像処理部１６１は、検出した画像領域を手操作画像として特定する。
【００７５】
手操作画像処理部１６１は、手操作画像以外の領域に対するマスク画像を生成し、ＡＲ画像生成部１６０から取得したマスク画像と合成する。具体的には、手操作画像処理部１６１は、両マスク画像の各座標について、非配信部分を“１”（Ｔｒｕｅ）、配信部分を“０”（Ｆａｌｓｅ）として各座標の論理積（ＡＮＤ）を計算することで、両マスク画像の合成を行う。その結果、手操作画像処理部１６１は、作業対象機器画像および手操作画像の両方以外の領域をマスクするマスク画像を得る。手操作画像処理部１６１は、合成により得られた新たなマスク画像（ＡＲマスクと称する）を画像合成部１５６に提供する。
【００７６】
通信制御部１６２は、画像合成部１５６によってカメラ画像と支援画像とＡＲマスクとを合成することで生成された合成画像を、画像合成部１５６から取得する。通信制御部１６２は、ストリーミングサーバ２００を宛先として、当該合成画像を通信インタフェース１１１から送信する。
【００７７】
図６は、フレーム画像の例を示す図である。フレーム画像５１は、背面カメラ１０５などのカメラにより撮像されたコマ画像（動画の１フレーム分に相当する画像）である。フレーム画像５１は、作業者Ｕ１による作業領域が撮像されて生成されたものである。フレーム画像５１は、ＡＲマーカー画像５１ａおよびリングマーカー画像５１ｂを含む。ＡＲマーカー画像５１ａは、作業対象機器に付されたＡＲマーカーに対応する画像である。リングマーカー画像５１ｂは、作業者Ｕ１の手に付されたリング３０のリングマーカー３１に対応する画像である。
【００７８】
ここで、フレーム画像５１の座標系（ＸＹ座標系）は次のように定められている。原点Ｏ（０，０）は、フレーム画像５１の左上の頂点である。Ｘ軸の正方向は、原点から右側へ向かう方向である。Ｙ軸の正方向は、原点から下側へ向かう方向である。フレーム画像５１のＸ座標の最大値は、“Ａ−１”である。フレーム画像５１のＹ座標の最大値は、“Ｂ−１”である。以下では、一例として、Ａ＝１００、Ｂ＝１００とする。
【００７９】
例えば、フレーム画像５１上のＡＲマーカー画像５１ａの位置は、ＡＲマーカー画像５１ａにおける第１の基準位置の座標（ＡＲマーカー座標）により表される。ＡＲマーカー座標は、例えば、ＡＲマーカー画像５１ａの頂点の何れか、または、重心などである。同様に、フレーム画像５１上のリングマーカー画像５１ｂの位置は、リングマーカー画像５１ｂにおける第２の基準位置の座標（リングマーカー座標）により表される。リングマーカー座標は、例えば、リングマーカー画像５１ｂの重心などである。
【００８０】
図７は、色データテーブルの例を示す図である。色データテーブル１４１は、フレームデータ記憶部１４０に予め格納される。色データテーブル１４１は、色データおよび色名の項目を含む。
【００８１】
色データの項目には、色を識別する番号（色データと称する）が登録される。色データで示される番号は、例えば“０，１，２，・・・”という正の整数である。色名の項目には、該当の色データの色名が登録される。色名は、カラーパレットにおける実際の色の情報（例えば、Ｒ（Red）Ｇ（Green）Ｂ（Blue）などで表される色の情報）に対応付けられる。
【００８２】
例えば、色データテーブル１４１には、色データが“０”、色名が“紫”という情報が登録される。これは、色データ“０”が、色名“紫”に対応することを示す。なお、色データ“０”は、リングマーカー３１における図形パターンを形成する色である。
【００８３】
また、色データテーブル１４１には、色データが“１”、色名が“黒”という情報が登録される。これは、色データ“１”が、色名“黒”に対応することを示す。
ここで、色データテーブル１４１では、２つの色データの差が小さいほど、当該２つの色データで示される色の類似度が高くなるように予め色データが設定されている。
【００８４】
図８は、前回フレームテーブルの例を示す図である。前回フレームテーブル１４２は、フレームデータ記憶部１４０に格納される。前回フレームテーブル１４２は、座標（Ｘ，Ｙ）、色データおよび種別の項目を含む。
【００８５】
座標（Ｘ，Ｙ）の項目には、前回のフレーム画像における画素の（Ｘ，Ｙ）座標が登録される。色データの項目には、該当の画素の色を示す色データが登録される。種別の項目には、画素の種別を示す値が登録される。画素の種別は３つある。１つ目の種別は、該当の画素がリングマーカー画像の画素であることを表す種別である。１つ目の種別を表す値は“１”である。２つ目の種別は、配信対象候補（マスク対象外候補）の画素であることを表す種別である。２つ目の種別を表す値は“２”である。３つ目の種別は、配信対象外候補（マスク対象候補）の画素であることを表す種別である。３つ目の種別を表す値は“０”である。
【００８６】
例えば、前回フレームテーブル１４２には、座標（Ｘ，Ｙ）が“（０，０）”、色データが“２２”、種別が“０”という情報が登録される。これは、前回のフレーム画像の座標（Ｘ，Ｙ）＝（０，０）の画素について、色データが“２２”であり、当該画素の種別が“０”（マスクの対象とする候補の画素）であることを示す。
【００８７】
前回フレームテーブル１４２には、前回のフレーム画像の他の画素についても同様に、座標（Ｘ，Ｙ）と色データと種別とが登録される。
図９は、最新フレームテーブルの例を示す図である。最新フレームテーブル１４３は、フレームデータ記憶部１４０に格納される。最新フレームテーブル１４３は、座標（Ｘ，Ｙ）、色データおよび種別の項目を含む。
【００８８】
座標（Ｘ，Ｙ）の項目には、最新のフレーム画像における画素の（Ｘ，Ｙ）座標が登録される。色データの項目には、該当の画素の色を示す色データが登録される。種別の項目には、画素の種別を示す値が登録される。種別の項目に登録される情報は、図８で例示した前回フレームテーブル１４２における種別の項目と同様である。
【００８９】
例えば、最新フレームテーブル１４３には、座標（Ｘ，Ｙ）が“（０，０）”、色データが“２２”、種別が“０”という情報が登録される。これは、最新のフレーム画像の座標（Ｘ，Ｙ）＝（０，０）の画素について、色データが“２２”であり、当該画素の種別が“０”（マスク対象候補の画素）であることを示す。
【００９０】
最新フレームテーブル１４３には、最新のフレーム画像の他の画素についても同様に、座標（Ｘ，Ｙ）と色データと種別とが登録される。
図１０は、前回フレームＡＲ検出情報の例を示す図である。前回フレームＡＲ検出情報１４４は、フレームデータ記憶部１４０に格納される。前回フレームＡＲ検出情報１４４は、ＡＲマーカー検出フラグ、ＡＲマーカー変形率およびＡＲマーカー座標の項目を含む。
【００９１】
ＡＲマーカー検出フラグの項目には、ＡＲマーカー検出フラグが登録される。ＡＲマーカー検出フラグは、前回のフレーム画像において、ＡＲマーカー画像が検出されたか否かを示すフラグである。ＡＲマーカー検出フラグの“１”は、前回のフレーム画像において、ＡＲマーカー画像が検出されたことを示す。ＡＲマーカー検出フラグの“０”は、前回のフレーム画像において、ＡＲマーカー画像が検出されなかったことを示す。ＡＲマーカー変形率の項目には、前回のフレーム画像におけるＡＲマーカー画像の基準サイズに対する変形率が登録される。ＡＲマーカー検出フラグが“０”の場合、ＡＲマーカー変形率の項目は設定なしとなる。ＡＲマーカー座標の項目には、前回のフレーム画像におけるＡＲマーカー座標が登録される。ＡＲマーカー検出フラグが“０”の場合、ＡＲマーカー座標の項目は設定なしとなる。
【００９２】
例えば、前回フレームＡＲ検出情報１４４には、ＡＲマーカー検出フラグが“１”、ＡＲマーカー変形率が“２．５”、ＡＲマーカー座標が“（２３，４５）”という情報が登録される。これは、前回のフレーム画像において、ＡＲマーカー画像が検出されたこと、検出されたＡＲマーカー画像のサイズが基準サイズの“２．５”倍であったこと、前回のフレーム画像上のＡＲマーカー画像の位置が“（２３，４５）”であったことを示す。
【００９３】
図１１は、マスク情報テーブルの例を示す図である。マスク情報テーブル１４５は、フレームデータ記憶部１４０に格納される。マスク情報テーブル１４５は、手操作画像処理部１６１によって生成された最新のマスク画像によるマスク対象領域を示す。マスク情報テーブル１４５は、座標（Ｘ，Ｙ）、色データおよびマスクフラグの項目を含む。
【００９４】
座標（Ｘ，Ｙ）の項目には、最新のフレーム画像における画素の（Ｘ，Ｙ）座標が登録される。色データの項目には、該当の画素の色を示す色データが登録される。マスクフラグの項目には、マスク対象であるか否かを示すマスクフラグが登録される。マスクフラグ“１”は、マスク対象であることを示す。マスクフラグ“０”は、マスク非対象であることを示す。
【００９５】
例えば、マスク情報テーブル１４５には、座標（Ｘ，Ｙ）が“（０，０）”、色データが“２２”、マスクフラグが“１”という情報が登録される。これは、最新のフレーム画像の座標（Ｘ，Ｙ）＝（０，０）の画素について、色データが“２２”であり、マスク対象であることを示す。
【００９６】
マスク情報テーブル１４５には、他の画素についても同様に、座標（Ｘ，Ｙ）と色データとマスクフラグとが登録される。
次に、スマート端末１００による作業者Ｕ１による作業支援の処理手順を説明する。
【００９７】
図１２は、スマート端末の処理例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
（Ｓ１）スマート端末１００は、作業者Ｕ１による作業開始の入力を受け付ける。作業開始の入力は、作業内容を識別するための作業ＩＤを含む。スマート端末１００は、背面カメラ１０５または他のカメラによる作業対象機器を含む領域の撮像を開始する。画像受信部１５１は、撮像されたカメラ画像を受信する。表示制御部１５７は、画像受信部１５１および画像合成部１５６を介してカメラ画像を取得し、ディスプレイ１０６に表示させる。
【００９８】
（Ｓ２）マーカー検出部１５２は、画像受信部１５１からカメラ画像を取得する。マーカー検出部１５２は、ＡＲマーカーに対応するＡＲマーカー画像を、カメラ画像から認識する。マーカー検出部１５２は、取得したカメラ画像を画像記憶部１２０に格納する。マーカー検出部１５２は、ＡＲマーカー画像を検出すると、ＡＲ情報管理部１５３を介して、ＡＲ情報記憶部１３０に、ＡＲマーカー検出フラグ“Ｔｒｕｅ”およびＡＲマーカー座標を記録する。マーカー検出部１５２は、ＡＲマーカー画像から当該ＡＲマーカー画像に対応するＡＲマーカーＩＤを取得する。なお、マーカー検出部１５２は、カメラ画像の中からＡＲマーカー画像を検出していない場合は、ＡＲ情報記憶部１３０に、ＡＲマーカー検出フラグ“Ｆａｌｓｅ”を記録する。以後、マーカー検出部１５２は、毎フレームのフレーム画像に対して、ＡＲマーカー検出フラグを継続的に、“Ｔｒｕｅ”または“Ｆａｌｓｅ”に設定する。
【００９９】
（Ｓ３）枠生成部１５５は、作業対象機器に対する枠画像を生成する。画像合成部１５６は、枠生成部１５５により生成された枠画像を、カメラ画像に合成した枠合成画像を生成する。表示制御部１５７は、画像合成により生成された枠合成画像をディスプレイ１０６により表示させる。ここで、枠生成部１５５は、作業対象機器の機器情報（形状やサイズなど）、および、ＡＲマーカーの情報（基準となる形状やサイズに対するマーカー画像の変形率）、に応じた枠画像を生成する。作業対象機器の機器情報やＡＲマーカーの情報は、作業ＩＤおよびマーカーＩＤの組み合わせに対応づけてＡＲ情報記憶部１３０に予め格納されている。また、表示制御部１５７は、枠画像の表示位置を、枠生成部１５５により求められた枠画像座標により決定する。
【０１００】
（Ｓ４）表示制御部１５７は、作業対象機器の外縁に枠画像を合わせる。例えば、作業者Ｕ１は、スマート端末１００を動かして背面カメラ１０５と作業対象機器との位置関係を調整することで、ディスプレイ１０６に表示された枠画像に、作業対象機器画像の縁を合わせることができる。表示制御部１５７は、このような作業者Ｕ１による操作に応じて、作業対象機器の外縁に枠画像を合わせてもよい。
【０１０１】
（Ｓ５）タッチ処理部１５８は、作業対象機器の外縁に枠画像が合わさると、作業者Ｕ１によるＡＲ生成開始の入力を受け付け、ＡＲ情報管理部１５３を介して当該入力を受け付けたことを、ＡＲ画像生成部１６０や手操作画像処理部１６１に通知する。また、表示制御部１５７は、枠画像の表示を停止する。
【０１０２】
（Ｓ６）手操作画像処理部１６１は、ＡＲ画像生成部１６０と連携して、ＡＲマスクを生成する。処理の詳細は、後述される。手操作画像処理部１６１は、生成したＡＲマスクを画像合成部１５６に提供する。
【０１０３】
（Ｓ７）画像合成部１５６は、手操作画像処理部１６１により生成されたＡＲマスクを、画像受信部１５１から取得したカメラ画像（最新のフレーム画像）に合成して合成画像を生成する。通信制御部１６２は、画像合成部１５６により生成された合成画像を通信インタフェース１１１に出力し、ストリーミングサーバ２００に送信する。また、表示制御部１５７は、画像合成部１５６により生成された合成画像をディスプレイ１０６に出力し、ディスプレイ１０６に合成画像を表示させる。
【０１０４】
（Ｓ８）タッチ処理部１５８は、作業終了の入力があったか否かを判定する。作業終了の入力があった場合、タッチ処理部１５８は、処理を終了する。作業終了の入力がない場合、タッチ処理部１５８は、ステップＳ６に処理を進める。
【０１０５】
なお、ステップＳ６〜Ｓ８では、スマート端末１００は、カメラ画像内にＡＲマーカーを認識できるかを継続的に確認し、ＡＲマーカーを認識できない場合に、画像送信を強制的に停止してもよい。また、通信制御部１６２は、合成画像を生成できない場合には、該当のフレームの画像送信を行わないようにする（マスクされていないカメラ画像の配信を行わない）。
【０１０６】
図１３は、ＡＲマスク生成処理の例を示すフローチャートである。以下、図１３に示す処理をステップ番号に沿って説明する。以下に示す手順は、図１２のステップＳ６に相当し、毎フレームに実行される。
【０１０７】
（Ｓ１１）手操作画像処理部１６１は、最新のフレーム画像に基づいて、最新フレームテーブル１４３を作成する。処理の詳細は後述される。なお、前回フレームテーブル１４２は、フレームデータ記憶部１４０に格納されている。
【０１０８】
（Ｓ１２）手操作画像処理部１６１は、最新のフレーム画像からリングマーカーの画像（リングマーカー画像）を検出する。処理の詳細は後述される。
（Ｓ１３）手操作画像処理部１６１は、最新のフレーム画像のＡＲマーカー検出フラグおよびＡＲマーカー画像の検出座標（ＡＲマーカー座標）を、ＡＲ画像生成部１６０を介してＡＲ情報記憶部１３０から取得する。手操作画像処理部１６１は、取得した最新のフレームについてのＡＲ検出情報をフレームデータ記憶部１４０に記録する。このとき、手操作画像処理部１６１は、最新のフレーム画像におけるＡＲマーカー変形率の情報も、ＡＲ情報記憶部１３０から取得し、最新のフレームについてのＡＲ検出情報に含める。なお、フレームデータ記憶部１４０には、前回のフレームに対して記録された前回フレームＡＲ検出情報１４４が格納されている。
【０１０９】
（Ｓ１４）手操作画像処理部１６１は、前回フレームテーブル１４２をフレームデータ記憶部１４０から取得する。
（Ｓ１５）手操作画像処理部１６１は、最新のフレーム画像および前回のフレーム画像の両方に、ＡＲマーカー画像およびリングマーカー画像が存在するか否かを判定する。最新のフレーム画像および前回のフレーム画像の両方に、ＡＲマーカー画像およびリングマーカー画像の両方が存在する場合、手操作画像処理部１６１は、ステップＳ１６に処理を進める。最新のフレーム画像および前回のフレーム画像の少なくとも一方に、ＡＲマーカー画像およびリングマーカー画像の少なくとも一方が存在しない場合、手操作画像処理部１６１は、ステップＳ２６に処理を進める。
【０１１０】
（Ｓ１６）手操作画像処理部１６１は、前回および最新のフレーム間におけるリングマーカー画像の平行移動量、回転量および拡大縮小率を計算する。リングマーカー画像の平行移動量、回転量および拡大縮小率は、リングマーカー画像の移動量（リングマーカー３１の移動量に対応する量）に相当する。手操作画像処理部１６１は、前回のフレーム画像におけるリングマーカー画像と、最新のフレーム画像におけるリングマーカー画像との位置を検出することで、リングマーカー画像の平行移動量や回転量を計算する。平行移動量を求める場合、手操作画像処理部１６１は、前回および最新のフレーム画像におけるＡＲマーカー画像を基準にしたリングマーカー画像の位置の変化を検出する。また、手操作画像処理部１６１は、前回および最新のフレーム画像におけるリングマーカー画像の画像領域の面積の変化を検出することで、拡大縮小率を計算する。
【０１１１】
（Ｓ１７）手操作画像処理部１６１は、ステップＳ１６の計算の結果、前回および最新のフレーム間で、ＡＲマーカー画像とリングマーカー画像との位置関係に変化があるか否かを判定する。変化がある場合、手操作画像処理部１６１は、ステップＳ１８に処理を進める。変化がない場合、手操作画像処理部１６１は、ステップＳ２１に処理を進める。
【０１１２】
ここで、手操作画像処理部１６１は、ステップＳ１６の計算の結果、前回および最新のフレーム間での、リングマーカー画像の平行移動、回転または拡大縮小を検出した場合、ＡＲマーカー画像とリングマーカー画像との位置関係に変化があると判定する。一方、前回および最新のフレーム間での、リングマーカー画像の平行移動、回転または拡大縮小を検出しなかった場合、手操作画像処理部１６１は、ＡＲマーカー画像とリングマーカー画像との位置関係に変化がないと判定する。
【０１１３】
（Ｓ１８）手操作画像処理部１６１は、手操作画像のマスク（手操作画像以外の領域をマスクするマスク画像）を生成する。処理の詳細は後述される。
（Ｓ１９）手操作画像処理部１６１は、ステップＳ１８で生成されたマスク画像と、ＡＲ画像生成部１６０により生成されたマスク画像とを合成して、手操作画像のマスク（ＡＲマスク）を生成する。具体的には、手操作画像処理部１６１は、両マスク画像の各座標について、非配信部分を“１”（Ｔｒｕｅ）、配信部分を“０”（Ｆａｌｓｅ）として各座標の論理積（ＡＮＤ）を計算することで、両マスク画像の合成を行う。その結果、手操作画像処理部１６１は、作業対象機器画像および手操作画像の両方以外の領域をマスクするＡＲマスクを得る。なお、ステップＳ１９が実行されるまでにＡＲ画像生成部１６０によるマスク画像の生成が行われる。ＡＲ画像生成部１６０によるマスク画像の生成方法は、図２１〜図２４により説明される。
【０１１４】
（Ｓ２０）手操作画像処理部１６１は、合成したＡＲマスクを画像合成部１５６に入力する。そして、手操作画像処理部１６１は、ステップＳ２５に処理を進める。
（Ｓ２１）手操作画像処理部１６１は、カメラ画像の撮像に利用しているカメラ（例えば、背面カメラ１０５）において、カメラアングルまたはズームに変化があるか否かを判定する。カメラアングルまたはズームに変化がある場合、手操作画像処理部１６１は、ステップＳ２２に処理を進める。カメラアングルまたはズームに変化がない場合、手操作画像処理部１６１は、ステップＳ２４に処理を進める。
【０１１５】
（Ｓ２２）手操作画像処理部１６１は、前回のＡＲマスクを、カメラアングル／ズームの変化に合わせて変形する。ここで、手操作画像処理部１６１は、前回のＡＲマスクの情報を、フレームデータ記憶部１４０に記憶されたマスク情報テーブル１４５から取得する。
【０１１６】
（Ｓ２３）手操作画像処理部１６１は、変形後のＡＲマスクを画像合成部１５６に入力する。そして、手操作画像処理部１６１は、ステップＳ２５に処理を進める。
（Ｓ２４）手操作画像処理部１６１は、前回のＡＲマスクを、画像合成部１５６に入力する。ここで、手操作画像処理部１６１は、前回のＡＲマスクの情報を、フレームデータ記憶部１４０に記憶されたマスク情報テーブル１４５から取得する。そして、手操作画像処理部１６１は、ステップＳ２６に処理を進める。
【０１１７】
（Ｓ２５）手操作画像処理部１６１は、画像合成部１５６に今回入力したＡＲマスクの情報を、フレームデータ記憶部１４０に記憶されたマスク情報テーブル１４５に登録する。
【０１１８】
（Ｓ２６）手操作画像処理部１６１は、最新フレームテーブル１４３をフレームデータ記憶部１４０に保存する。最新フレームテーブル１４３は、次回フレームの処理では、前回フレームテーブルとして扱われることになる。そして、手操作画像処理部１６１は、ＡＲマスク生成処理を終了する。
【０１１９】
このように、手操作画像処理部１６１は、直近の２フレームに写っている作業者の手に装着されたリングマーカーを検出する。手操作画像処理部１６１は、２フレーム間でのリングマーカーの動きを検出し、最新のフレーム画像において、リングマーカーと同じ動きをしている被写体部分の画像（手操作画像）以外の領域を抽出する。手操作画像処理部１６１は、手操作画像以外の領域をマスクするマスク画像を生成する。手操作画像処理部１６１は、生成したマスク画像を作業対象機器の画像に対して作成されたマスク画像と合成することで、作業対象機器の機器画像と手操作画像とを透過し、それ以外をマスクするＡＲマスクを生成する。画像合成部１５６により、手操作画像処理部１６１により生成されたＡＲマスクが、最新のフレーム画像に重畳されることで、作業対象機器の機器画像と手操作画像のみを配信可能となり、セキュリティ上問題となる作業に無関係の背景部分の配信を防げる。
【０１２０】
ここで、背面カメラ１０５のように定点で撮像しないカメラを用いる場合、手操作画像処理部１６１は、ステップＳ１５で例示したように、前回および最新のフレーム画像の両方に、ＡＲマーカーとリングマーカーとが共に存在しているか否かを確認する。共に存在していない場合、ＡＲマーカーを基準として、リングマーカーの動きを検出できないためである。定点で撮像するカメラを用いる場合には、カメラ画像内の所定の基準点に対してリングマーカーの動きを検出することができるので、ステップＳ１５の判定は、リングマーカーが検出されていればＹｅｓ、リングマーカーが検出されていなければ、Ｎｏとしてもよい。
【０１２１】
また、手操作画像処理部１６１は、カメラ画像中にリングマーカーを検出しなかった場合には、リングマーカーの動きを検出できないため、手操作画像の抽出を行わない。この場合、手操作画像処理部１６１は、ＡＲ画像生成部１６０から取得したマスク画像（作業対象機器以外をマスクするマスク画像）をそのまま画像合成部１５６に提供する。このように、リングマーカーが検出されない場合でも、ＡＲ画像生成部１６０により作成されたマスク画像を用いた配信を行うことで、支援端末３００に何も表示されない状態を避けることができる。
【０１２２】
図１４は、最新フレームテーブル作成処理の例を示すフローチャートである。以下、図１４に示す処理をステップ番号に沿って説明する。以下に示す手順は、図１３のステップＳ１１に相当する。
【０１２３】
（Ｓ３１）手操作画像処理部１６１は、ＲＡＭ１０２上の所定の領域に、“座標”、“色データ”および“種別”の列をもつ空のテーブル（最新フレームテーブル１４３の雛型）を作成する。
【０１２４】
（Ｓ３２）手操作画像処理部１６１は、最新フレームの各画素の座標および色データを取得する。手操作画像処理部１６１は、ＡＲ画像生成部１６０から取得した最新のフレーム画像から各画素の座標および色データの情報を抽出してもよいし、ＡＲ画像生成部１６０から各画素の座標および色データを取得してもよい。
【０１２５】
（Ｓ３３）手操作画像処理部１６１は、処理対象の座標を（Ｘ，Ｙ）＝（０，０）とする。
（Ｓ３４）手操作画像処理部１６１は、最新フレームの座標（Ｘ，Ｙ）および当該座標の色データを最新フレームテーブル１４３に登録する。なお、種別の項目については未設定としておく。
【０１２６】
（Ｓ３５）手操作画像処理部１６１は、ＸにＸ＋１を代入する。
（Ｓ３６）手操作画像処理部１６１は、Ｘ＝Ａ（フレーム画像のＸ座標の最大値）であるか否かを判定する。Ｘ＝Ａである場合、手操作画像処理部１６１は、ステップＳ３７に処理を進める。Ｘ＜Ａである場合、手操作画像処理部１６１は、ステップＳ３４に処理を進める。
【０１２７】
（Ｓ３７）手操作画像処理部１６１は、Ｘに０を代入する。
（Ｓ３８）手操作画像処理部１６１は、ＹにＹ＋１を代入する。
（Ｓ３９）手操作画像処理部１６１は、Ｙ＝Ｂ（フレーム画像のＹ座標の最大値）であるか否かを判定する。Ｙ＝Ｂである場合、手操作画像処理部１６１は、最新フレームテーブル作成処理を終了する。Ｙ＜Ｂである場合、手操作画像処理部１６１は、ステップＳ３４に処理を進める。
【０１２８】
図１５は、リングマーカー検出処理の例を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。以下に示す手順は、図１３のステップＳ１２に相当する。
【０１２９】
（Ｓ４１）手操作画像処理部１６１は、最新フレームテーブル１４３の先頭行を選択する。
（Ｓ４２）手操作画像処理部１６１は、現在の座標（現在選択中の行の座標）の色データがリングマーカー３１の色データと一致するか否かを判定する。一致する場合、手操作画像処理部１６１は、ステップＳ４３に処理を進める。一致しない場合、手操作画像処理部１６１は、ステップＳ４４に処理を進める。
【０１３０】
（Ｓ４３）手操作画像処理部１６１は、最新フレームテーブル１４３の現在の座標の種別にリングマーカー３１を意味する“１”を設定する。
（Ｓ４４）手操作画像処理部１６１は、現在の行が最新フレームテーブル１４３の最後の行であるか否かを判定する。最後の行である場合、手操作画像処理部１６１は、リングマーカー検出処理を終了する。最後の行でない場合、手操作画像処理部１６１は、ステップＳ４５に処理を進める。
【０１３１】
（Ｓ４５）手操作画像処理部１６１は、最新フレームテーブル１４３の次の行を選択する。そして、手操作画像処理部１６１は、ステップＳ４２に処理を進める。
図１６は、手操作画像のマスク生成処理の例を示すフローチャートである。以下、図１６に示す処理をステップ番号に沿って説明する。以下に示す手順は、図１３のステップＳ１８に相当する。
【０１３２】
（Ｓ５１）手操作画像処理部１６１は、前回フレームと最新フレームとで色データを比較する。処理の詳細は後述される。
（Ｓ５２）手操作画像処理部１６１は、最新のフレーム画像でリングマーカー画像とつながっていない座標の、最新フレームテーブル１４３における種別を“０”に設定する。「リングマーカー画像とつながっていない座標」とは、最新のフレーム画像の画素のうち、種別“１”の画素と隣接しておらず、かつ、隣り合う種別“２”の画素を辿って種別“１”の画素に到達できない画素の座標である。一方、「リングマーカー画像とつながっている座標」とは、最新のフレーム画像の画素のうち、種別“１”の画素と隣接するか、または、隣り合う種別“２”の画素を辿って種別“１”の画素に到達可能な画素の座標である。
【０１３３】
（Ｓ５３）手操作画像処理部１６１は、最新フレームテーブル１４３を基に、種別が“１”、“２”以外の座標を覆うマスク（マスク画像）を生成する。そして、手操作画像処理部１６１は、手操作画像のマスク生成処理を終了する。
【０１３４】
図１７は、色データの比較処理の例を示すフローチャートである。以下、図１７に示す処理をステップ番号に沿って説明する。以下に示す手順は、図１６のステップＳ５１に相当する。
【０１３５】
（Ｓ６１）手操作画像処理部１６１は、前回フレームテーブル１４２の最初の座標を選択する。
（Ｓ６２）手操作画像処理部１６１は、選択した座標に対し、図１３のステップＳ１６で計算されたリングマーカーの平行移動量、回転量、拡大縮小率を適用し、該当の座標に対応する最新フレームの座標を算出する。
【０１３６】
（Ｓ６３）手操作画像処理部１６１は、ステップＳ６２で算出した座標が最新フレーム（最新のフレーム画像）の範囲内であるか否かを判定する。算出した座標が最新フレームの範囲内である場合、手操作画像処理部１６１は、ステップＳ６４に処理を進める。算出した座標が最新フレームの範囲内でない場合、手操作画像処理部１６１は、ステップＳ６６に処理を進める。例えば、算出した座標（ｘ，ｙ）が、（０，０）≦（ｘ，ｙ）≦（Ａ−１，Ｂ−１）の条件を満たせば座標（ｘ，ｙ）は最新フレームの範囲内であり、同条件を満たさなければ座標（ｘ，ｙ）は最新フレームの範囲内でない。
【０１３７】
（Ｓ６４）手操作画像処理部１６１は、前回フレームの座標の色データと、当該座標に一致する最新フレームの座標の色データとを比較する。
（Ｓ６５）手操作画像処理部１６１は、ステップＳ６４で比較した両画素の色データが、同じ色または類似色であるか否かを判定する。同じ色または類似色である場合、手操作画像処理部１６１は、ステップＳ６６に処理を進める。同じ色でも類似色でもない場合、手操作画像処理部１６１は、ステップＳ６７に処理を進める。ここで、「類似色」とは、２つの色データの値の差が閾値以下である場合の当該２つの色データに対応する２つの色を示す。類似色を判定するための閾値は、例えば、フレームデータ記憶部１４０に予め設定される。
【０１３８】
（Ｓ６６）手操作画像処理部１６１は、最新フレームテーブル１４３の該当の座標の種別を“２”に設定する。そして、手操作画像処理部１６１は、ステップＳ６８に処理を進める。
【０１３９】
（Ｓ６７）手操作画像処理部１６１は、最新フレームテーブル１４３の該当の座標の種別を“０”に設定する。そして、手操作画像処理部１６１は、ステップＳ６８に処理を進める。
【０１４０】
（Ｓ６８）手操作画像処理部１６１は、現在の座標が前回フレームテーブル１４２の最後の座標であるか否かを判定する。最後の座標である場合、手操作画像処理部１６１は、色データの比較処理を終了する。最後の座標でない場合、手操作画像処理部１６１は、ステップＳ６９に処理を進める。
【０１４１】
（Ｓ６９）手操作画像処理部１６１は、前回フレームテーブル１４２の次の座標を選択する。そして、手操作画像処理部１６１は、ステップＳ６２に処理を進める。
図１８は、リングマーカー画像の回転の例を示す図である。図１８（Ａ）は、第Ｎ（Ｎは正の整数）番目のフレームのフレーム画像５２を示す。フレーム画像５２は、リングマーカー画像５２ａを含む。図１８（Ｂ）は、第Ｎ＋１番目のフレームのフレーム画像５３を示す。フレーム画像５３は、リングマーカー画像５３ａを含む。
【０１４２】
なお、フレーム画像５２には、線分Ｌ１，Ｌ２および角Ｗ１を表す線が記されている。線分Ｌ１，Ｌ２および角Ｗ１を表す線は、便宜的に記されたものであり、フレーム画像５２には含まれない。また、フレーム画像５３には、線分Ｌ３，Ｌ４および角Ｗ２を表す線が記されている。線分Ｌ３，Ｌ４および角Ｗ２を表す線は、便宜的に記されたものであり、フレーム画像５３には含まれない。
【０１４３】
線分Ｌ１は、フレーム画像５２のＸ軸方向に沿い、リングマーカー画像５２ａの中心Ｃ１（例えば、リングマーカー画像５２ａの重心）を通る線分である。線分Ｌ２は、リングマーカー画像５２ａの中心Ｃ１を通り、リングマーカー画像５２ａの長軸方向と直交する線分である。角Ｗ１は、線分Ｌ１，Ｌ２のなす角である。
【０１４４】
また、線分Ｌ３は、フレーム画像５３のＸ軸方向に沿い、リングマーカー画像５３ａの中心Ｃ２（例えば、リングマーカー画像５３ａの重心）を通る線分である。線分Ｌ４は、リングマーカー画像５３ａの中心Ｃ２を通り、リングマーカー画像５３ａの長軸方向と直交する線分である。角Ｗ２は、線分Ｌ３，Ｌ４のなす角である。
【０１４５】
リングマーカー画像５２ａに対するリングマーカー画像５３ａの回転量（回転角）は、角Ｗ１，Ｗ２の差である。したがって、手操作画像処理部１６１は、角Ｗ１，Ｗ２の差を求めることで、リングマーカー画像５２ａに対するリングマーカー画像５３ａの回転量を求めることができる。
【０１４６】
フレーム画像５３に対する前回のフレーム画像５２に、求めた回転量を適用する場合、リングマーカー画像５２ａの各画素に平行移動量（例えば、中心Ｃ１，Ｃ２の差）を適用し、適用後の各画素に、中心Ｃ２の座標を回転中心として当該回転量を適用する。
【０１４７】
図１９は、色データの比較例を示す図である。図１９では、特に、リングマーカー画像について、前回フレームと最新フレームとでＸ座標方向に＋１の平行移動量が検出された場合を例示する。なお、類似色として判定するための閾値を一例として“３”とする。
【０１４８】
この場合、手操作画像処理部１６１は、前回フレームテーブル１４２における各Ｘ座標に１を加算した結果を、最新フレームテーブル１４３と比較する。
例えば、手操作画像処理部１６１は、前回フレームテーブル１４２における座標（０，０）の色データ“２２”を、最新フレームテーブル１４３における座標（１，０）の色データ“２３”と比較する。両色データの差は“１”（＜閾値“３”）である。すなわち、両色データは類似色の関係にある。よって、手操作画像処理部１６１は、最新フレームテーブル１４３の座標“（１，０）”の種別を“２”に設定する。
【０１４９】
また、例えば、手操作画像処理部１６１は、前回フレームテーブル１４２における座標（４８，５０）の色データ“３５”を、最新フレームテーブル１４３における座標（４９，５０）の色データ“２１”と比較する。両色データの差は“１４”（＞閾値“３”）である。すなわち、両色データは、互いに一致してもいないし類似色の関係にもない。よって、手操作画像処理部１６１は、最新フレームテーブル１４３の座標“（４９，５０）”の種別を“０”に設定する。
【０１５０】
手操作画像処理部１６１は、最新フレームテーブル１４３のそれ以外の座標についても同様に比較することで種別を設定する。ただし、手操作画像処理部１６１は、リングマーカー画像を示す色データ“０”で前回フレームと一致する最新フレームの座標については、種別“１”のままとする。
【０１５１】
図１９では、平行移動のみを考えたので、前回フレームテーブル１４２の座標と最新フレームテーブルの座標とは１対１に対応する。一方、拡大の場合には、前回フレームテーブル１４２の座標と最新フレームテーブルの座標とは１対多に対応することになる。また、縮小の場合には、前回フレームテーブル１４２の座標と最新フレームテーブルの座標とは多対１に対応することになる。何れの場合も、例えば、“多”に相当する座標群の色データの代表値（座標群で表される領域のうちの所定位置（例えば、中央）の画素の色データ、または、座標群に属する各座標の色データの平均値など）と相手の座標の色データとを比較する。
【０１５２】
手操作画像処理部１６１は、こうして作成された最新フレームテーブル１４３に基づいて、手操作画像領域を決定する。
図２０は、手操作画像領域の決定例を示す図である。手操作画像処理部１６１は、最新フレームテーブル１４３に基づいて、種別“１”または種別“２”の画像領域（種別“１”または種別“２”が設定された座標の集合）を特定する。最新のフレーム画像５４の例では、種別“２”の画素が連続する画像領域である画像領域５４ａ，５４ｂが存在する。それ以外の画像領域５４ｃは、種別“０”の画像領域（種別“０”の座標の集合）である。画像領域５４ａ，５４ｂは隣接しておらず、種別“０”の画像領域によって分断された画像領域である。すなわち、画像領域５４ａ，５４ｂはつながっていない。
【０１５３】
手操作画像処理部１６１は、画像領域５４ａ，５４ｂのうち、リングマーカーの領域（種別“１”の座標の集合）と隣接、または、つながっている画像領域５４ａ（ただし、リングマーカーの領域も含む）を手操作画像領域とする。画像領域５４ａは、リングマーカーの領域を含む画像領域であるということもできる。一方、手操作画像処理部１６１は、リングマーカーの領域とつながっていない（リングマーカーの領域を含まない）画像領域５４ｂを手操作画像領域としない。この場合、手操作画像処理部１６１は、画像領域５４ｂの種別を“２”から“０”に変更する。
【０１５４】
そして、手操作画像処理部１６１は、手操作画像領域に含まれない画像領域５４ｂ，５４ｃをマスク対象と決定する。一方、手操作画像処理部１６１は、手操作画像領域である画像領域５４ａをマスク対象外と決定する。
【０１５５】
これにより、手操作画像処理部１６１は、作業を行う作業者Ｕ１の手および手に持たれたケーブルや工具などを含む手操作画像領域を適切に検出することができる。また、リングマーカー画像とつながらない画素を手操作画像領域から除外することで、偶然にリングマーカーと連動すると検出されてしまった画素（手作業領域とは無関係の画素）を、適切にマスク対象とし、情報漏洩を防げる。
【０１５６】
なお、より厳密にマスク対象となる背景画像を特定する方法も考えられる。例えば、スマート端末１００によりマスク対象の背景画像を事前に撮像しておき、背景画像と最新のフレーム画像とを比較することで、最新のフレーム画像における背景画像を抽出し、抽出した背景画像をマスク対象とすることも考えられる。また、例えば、スマート端末１００に手操作画像を予め認識させておき、予め認識させた手操作画像以外の領域を背景画像としてマスク対象とすることも考えられる。
【０１５７】
次に、スマート端末１００のＡＲ画像生成部１６０による枠画像を用いた作業対象機器以外の画像領域のマスキングの具体例を説明する。
図２１は、枠画像の表示例を示す図である。例えば、作業者Ｕ１がスマート端末１００を用いて、情報機器１０ａの保守を行う場合を考える。情報機器１０ａの横には、情報機器１０ｂ，１０ｃが並べて設置されている。保守の作業対象である情報機器１０ａの正面の一部に、ＡＲマーカー１１ａが付与されている。
【０１５８】
なお、以下では、作業者Ｕ１がスマート端末１００を操作する例を示すが、作業対象機器に対して手作業を行う作業者とスマート端末１００を操作する作業者とは、別でもよい。この場合、作業対象機器に対して手作業を行う作業者が、リング３０を腕に取り付けて作業を行う。
【０１５９】
作業者Ｕ１は、スマート端末１００に保守作業の作業ＩＤを入力し、背面カメラ１０５を、情報機器１０ａに向ける。すると、背面カメラ１０５は撮像を開始する。スマート端末１００は、背面カメラ１０５により取得したカメラ画像をディスプレイ１０６に表示させる。ここで、背面カメラ１０５の視野には、情報機器１０ａ，１０ｂ，１０ｃが含まれる。このため、ディスプレイ１０６に表示されるカメラ画像には、情報機器１０ａ，１０ｂ，１０ｃそれぞれに対応する機器画像Ｐ１１，Ｐ１２，Ｐ１３が含まれる。
【０１６０】
また、スマート端末１００は、ディスプレイ１０６に表示されるカメラ画像に対し、ボタンＰｔ１，Ｐｔ２を重ねて表示する。ボタンＰｔ１は、保守作業の終了をスマート端末１００に入力するための作業終了ボタンである。ボタンＰｔ２は、保守作業の支援画像およびマスク画像を含むＡＲ画像の生成開始をスマート端末１００に入力するためのＡＲ生成ボタンである。
【０１６１】
スマート端末１００は、カメラ画像から、ＡＲマーカー１１ａに対応するマーカー画像Ｍ１１を検出する。すると、スマート端末１００は、マーカー画像Ｍ１１によって示されるマーカーＩＤを取得し、作業ＩＤとマーカーＩＤとの組に対応する作業対象機器の枠画像Ｆｒ１０を生成する。スマート端末１００は、ディスプレイ１０６に表示されるカメラ画像に対し、枠画像Ｆｒ１０を重ねて表示する。例えば、スマート端末１００は、ディスプレイ１０６の表示領域の中央部に、枠画像Ｆｒ１０を表示する。スマート端末１００は、ディスプレイ１０６の表示領域に対する枠画像Ｆｒ１０の配置を固定する。
【０１６２】
この時点では、枠画像Ｆｒ１０は、機器画像Ｐ１１の縁に合っていない。
図２２は、枠画像の表示例（続き）を示す図である。作業者Ｕ１は、スマート端末１００の位置を変更して、機器画像Ｐ１１の縁を、枠画像Ｆｒ１０に合わせる。図２２では、機器画像Ｐ１１の縁が、枠画像Ｆｒ１０に合わさった状態を例示している。作業者Ｕ１は、機器画像Ｐ１１の縁を、枠画像Ｆｒ１０に合わせると、ボタンＰｔ２を押下操作する。すると、スマート端末１００は、マーカー画像Ｍ１１と枠画像Ｆｒ１０との位置関係を算出する。具体的には、スマート端末１００は、マーカー画像Ｍ１１の基準点と、枠画像Ｆｒ１０の各辺との距離（ピクセル値で表わされる）を算出する。これにより、スマート端末１００は、マーカー画像Ｍ１１が機器画像Ｐ１１のどの位置に存在しているかを把握できる。
【０１６３】
また、スマート端末１００は、機器画像Ｐ１１以外の領域をマスクするマスク画像の生成を行う。
図２３は、機器画像に対するマスク画像の生成例を示す図である。図２３では、ディスプレイ１０６の表示領域における点Ｃ１０，Ｃ１１，Ｃ１２，Ｃ１３，Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４が示されている。点Ｃ１０は、ＸＹ座標系のマーカー画像Ｍ１１の基準点（ｘ１，ｙ１）である。点Ｃ１１は、点Ｃ１０からＹ軸の負の方向に延ばした直線と、枠画像Ｆｒ１０の一辺とが交わる点である。点Ｃ１２は、点Ｃ１０からＸ軸の負の方向に延ばした直線と、枠画像Ｆｒ１０の一辺とが交わる点である。点Ｃ１３は、点Ｃ１０からＸ軸の正の方向に延ばした直線と、枠画像Ｆｒ１０の一辺とが交わる点である。点Ｃ２１は、点Ｃ１０からＹ軸の負の方向に延ばした直線と、ディスプレイ１０６の縁の一辺とが交わる点である。点Ｃ２２は、点Ｃ１０からＸ軸の負の方向に延ばした直線と、ディスプレイ１０６の縁の一辺とが交わる点である。点Ｃ２３は、点Ｃ１０からＸ軸の正の方向に延ばした直線と、ディスプレイ１０６の一辺とが交わる点である。点Ｃ２４は、点Ｃ１０からＹ軸の正の方向に延ばした直線と、ディスプレイ１０６の縁の一辺とが交わる点である。
【０１６４】
ＡＲ画像生成部１６０は、次の各点間の距離（ピクセル値）を得る。具体的には、点Ｃ１０，Ｃ２１間の距離は、αピクセルである。点Ｃ１０，Ｃ２２間の距離は、βピクセルである。点Ｃ１１，Ｃ２１間の距離はγピクセルである。点Ｃ１２，Ｃ２２間の距離は、δピクセルである。点Ｃ２２，Ｃ２３間の距離は、εピクセルである。点Ｃ２１，Ｃ２４間の距離は、ζピクセルである。
【０１６５】
図２４は、機器画像に対するマスク画像の生成例（続き）を示す図である。ＡＲ画像生成部１６０は、点Ｃ１０に対して、Ｘ≦ｘ１の領域を覆う、縦２ζピクセル、横εピクセルの長方形のマスク画像Ｐ２１を生成する。ＡＲ画像生成部１６０は、マスク画像Ｐ２１をＸ軸の負の方向に（β−δ）ピクセルだけ平行移動させる。図２４では当該移動後のマスク画像Ｐ２１を示している。
【０１６６】
ＡＲ画像生成部１６０は、点Ｃ１０に対して、Ｙ≦ｙ１の領域を覆う、縦ζピクセル、横２εピクセルの長方形のマスク画像Ｐ２２を生成する。ＡＲ画像生成部１６０は、マスク画像Ｐ２２をＹ軸の負の方向に（α−γ）ピクセルだけ平行移動させる。図２４では当該移動後のマスク画像Ｐ２２を示している。
【０１６７】
同様に、ＡＲ画像生成部１６０は、点Ｃ１０に対して、Ｘ≧ｘ１の領域を覆う縦２ζピクセル、横εピクセルの長方形のマスク画像Ｐ２３を生成する。そして、ＡＲ画像生成部１６０は、マスク画像Ｐ２３を、Ｘ軸の正の方向に（マスク画像Ｐ２３の左側の辺が枠画像Ｆｒ１０の右側の辺に達するまで）平行移動させる。
【０１６８】
また、ＡＲ画像生成部１５０は、点Ｃ１０に対して、Ｙ≧ｙ１の領域を覆う縦ζピクセル、横２εピクセルの長方形のマスク画像Ｐ２４を生成する。ＡＲ画像生成部１６０は、マスク画像Ｐ２４をＹ軸の正の方向に（マスク画像Ｐ２４の上辺が枠画像Ｆｒ１０の下側の辺に達するまで）平行移動させる。
【０１６９】
こうして、ＡＲ画像生成部１６０は、機器画像Ｐ１１以外の領域を覆うマスク画像Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４を生成する。ＡＲ画像生成部１６０は、マスク画像Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４を結合して、１つのマスク画像Ｐ２０とする。
【０１７０】
ＡＲ画像生成部１６０は、マスク画像Ｐ２０を生成した後は、最新のフレーム画像内におけるＡＲマーカー画像の位置や形状の変化に応じてマスク画像Ｐ２０を移動および変形させ、ＡＲマーカー画像の変化に追随してマスク画像Ｐ２０の表示位置を変更する。
【０１７１】
なお、上記のように、ディスプレイ１０６の縦横方向のピクセル数に応じてマスク画像を生成する理由は、ＡＲ画像として有限のサイズをもつ画像を生成することが求められるためである。その際、ディスプレイ１０６の縦横方向のピクセル数よりも２〜３倍程度覆えば十分であると考えられる。なお、スマート端末１００は、背面カメラ１０５の視野からＡＲマーカーがなくなり、ＡＲマーカーが検出されなくなれば、画像送信を停止してもよい。
【０１７２】
図２５は、ＡＲマスクの合成例を示す図である。マスク画像Ｐ２０は、最新のフレーム画像のうち、機器画像Ｐ１１以外の領域をマスクする。マスク画像Ｐ３０は、最新のフレーム画像のうち、手操作画像Ｐ１５以外の領域をマスクする。マスク画像Ｐ４０は、マスク画像Ｐ２０，Ｐ３０を合成して作成されたＡＲマスクであり、機器画像Ｐ１１および手操作画像Ｐ１５の両方以外の領域をマスクする。
【０１７３】
手操作画像処理部１６１は、マスク画像Ｐ２０，Ｐ３０の各座標について、非配信部分を“１”（Ｔｒｕｅ）、配信部分を“０”（Ｆａｌｓｅ）とする。そして、手操作画像処理部１６１は、マスク画像Ｐ２０，Ｐ３０における同じ座標の論理積（ＡＮＤ）を計算することで、マスク画像Ｐ２０，Ｐ３０の合成を行い、マスク画像Ｐ４０を生成する。
【０１７４】
図２６は、支援端末の表示例を示す図である。ネットワーク機器などの保守現場では、ＡＲによる作業支援のため、カメラを使用して作業対象機器の撮影を行い、撮影した画像に重畳データを表示させたり、遠地の支援者Ｕ２に画像や動画を送信したりすることがある。
【０１７５】
しかし、顧客のサーバルームなどの保守作業の現場には、複数社の機器が入っている場合がある。社外の機器や、社内の機器であっても、作業対象外の機器を撮影し、当該機器の画像を配信してしまうことは、情報漏洩につながる可能性があり、セキュリティ上の問題がある。また、機器が密集している場合に、隣接している作業対象外の機器が意図せずに写り込んでしまう可能性がある。このため、作業対象機器の周囲の画像は配信されないようにすることが好ましい。一方で、後方の支援者Ｕ２により、現場での作業者Ｕ１または他の作業者の手４０による手作業の状況を確認可能にし、支援者Ｕ２による適切な作業支援を行えるようにすることが考えられる。ところが、作業対象機器の周囲を全てマスクしてしまうと、現場での手作業の状況の確認が難しくなる。
【０１７６】
そこで、スマート端末１００は、マスク画像Ｐ４０を含む表示画像Ｇ１の画像情報をストリーミングサーバ２００に送信する。すると、ストリーミングサーバ２００は、支援端末３００に当該画像情報を配信する。支援端末３００は、配信された画像情報に基づいて、表示画像Ｇ２を表示する。表示画像Ｇ２も、表示画像Ｇ１と同様にマスク画像Ｐ４０を含む。このため、支援者Ｕ２に、作業対象である情報機器１０ａ以外の機器画像を見せずに済む。更に、作業者Ｕ１による手作業状況を支援者Ｕ２により確認可能にできる。こうして、保守作業の現場に設置された、作業対象機器以外の情報機器に関する情報漏洩を防ぎつつ、作業者Ｕ１の手作業状況も確認可能とし、支援者Ｕ２による適切な支援が可能になる。
【０１７７】
また、現場の作業者（例えば、作業者Ｕ１または他の作業者）は、リングマーカー３１を手４０に取り付けておきさえすれば、手４０と同じ動きをするものの画像を支援端末３００に配信可能である。このため、事前に配信対象のものをスマート端末１００により撮影したり、スマート端末１００に登録したりせずに済み、手早く保守作業を完了させることができる。
【０１７８】
ここで、上記の例では、スマート端末１００により、枠画像を用いて作業対象機器に対するマスク対象領域を検出する方法を例示したが、それ以外の方法により、作業対象機器に対するマスク対象領域を決定してもよい。例えば、スマート端末１００は、ＡＲマーカーの取り付け位置に対する作業対象機器の相対的な位置の情報を予め保持しておき、当該情報に基づいて、ＡＲマーカー画像の検出位置に対するマスク対象領域の位置を決定してもよい。
【０１７９】
また、複数の機器にＡＲマーカーが予め付されていることも考えられる。この場合、スマート端末１００は、リングマーカー３１の識別に用いられる情報と、リングマーカー３１に対応する作業対象機器のＡＲマーカーの識別に用いられる情報とを予め対応付けて保持しておいてもよい。そして、スマート端末１００は、保持している情報によりリングマーカー３１に対応するＡＲマーカーのＡＲマーカー画像をカメラ画像から特定し、当該ＡＲマーカー画像に対して作業対象機器以外の機器をマスクするマスク画像を生成してもよい。
【０１８０】
また、第２の実施の形態の例では、作業者Ｕ１の腕（手首）に取り付け可能なリングマーカー３１を例示したが、リングマーカー３１またはリングマーカー３１と同じ用途のマーカーを、指や手の甲などの別の箇所に取り付けることも考えられる。取り付け方もリング３０を用いる場合に限らず、皮膚に接着させるシールによって取り付けるなど、他の方法も考えられる。
【０１８１】
更に、スマート端末１００は、ヘッドマウント式のディスプレイ（ヘッドマウントディスプレイ）と接続されてもよい。ヘッドマウントディスプレイは、作業者Ｕ１による作業領域を撮像してカメラ画像をスマート端末１００に入力するカメラを備えてもよい。この場合、作業者Ｕ１は、ヘッドマウントディスプレイにより、自身が作業を行う領域（手作業の部分を含む）を撮像しながら、ヘッドマウントディスプレイにより表示される画像を視認し、作業支援を受けることができる。
【０１８２】
なお、第１の実施の形態の情報処理は、検出部１ｂ、算出部１ｃおよび画像処理部１ｄとして機能する処理装置にプログラムを実行させることで実現できる。また、第２の実施の形態の情報処理は、プロセッサ１０１にプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体２２に記録できる。
【０１８３】
例えば、プログラムを記録した記録媒体２２を配布することで、プログラムを流通させることができる。また、プログラムを他のコンピュータに格納しておき、ネットワーク経由でプログラムを配布してもよい。コンピュータは、例えば、記録媒体２２に記録されたプログラムまたは他のコンピュータから受信したプログラムを、ＲＡＭ１０２やフラッシュメモリ１０３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。
【符号の説明】
【０１８４】
１  端末
１ａ  記憶部
１ｂ  検出部
１ｃ  算出部
１ｄ  画像処理部
２  撮像装置
３  出力装置
４，５  物体
６，９  マーカー
７  手
８  部品
Ｐ１，Ｐ２  入力画像
Ｐ３  出力画像
Ｐ１ａ，Ｐ１ｂ，Ｐ２ａ，Ｐ２ｂ，Ｐ３ｂ  物体画像
Ｐ１ｃ，Ｐ１ｄ，Ｐ２ｃ，Ｐ２ｄ，Ｐ３ｃ，Ｐ３ｄ  マーカー画像
Ｐ１ｅ，Ｐ２ｅ，Ｐ３ｅ  手画像
Ｐ１ｆ，Ｐ２ｆ，Ｐ３ｆ  部品画像
Ｐ３ａ  マスク画像
【図１】
2018207271.tif 000003
【図２】
2018207271.tif 000004
【図３】
2018207271.tif 000005
【図４】
2018207271.tif 000006
【図５】
2018207271.tif 000007
【図６】
2018207271.tif 000008
【図７】
2018207271.tif 000009
【図８】
2018207271.tif 000010
【図９】
2018207271.tif 000011
【図１０】
2018207271.tif 000012
【図１１】
2018207271.tif 000013
【図１２】
2018207271.tif 000014
【図１３】
2018207271.tif 000015
【図１４】
2018207271.tif 000016
【図１５】
2018207271.tif 000017
【図１６】
2018207271.tif 000018
【図１７】
2018207271.tif 000019
【図１８】
2018207271.tif 000020
【図１９】
2018207271.tif 000021
【図２０】
2018207271.tif 000022
【図２１】
2018207271.tif 000023
【図２２】
2018207271.tif 000024
【図２３】
2018207271.tif 000025
【図２４】
2018207271.tif 000026
【図２５】
2018207271.tif 000027
【図２６】
2018207271.tif 000028