(57)【要約】【課題】パノラマ画像を適切に生成すること。【解決手段】作業員端末１００は、カメラによって撮影された画像情報に含まれる被写体の特徴点の情報と、カメラの位置姿勢情報とを取得する。作業員端末１００は、取得した特徴点の情報と、位置姿勢情報とを基にして、カメラから被写体までの距離を算出する。遠隔支援装置２００は、算出された距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える。【選択図】図２
2017134467.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、前記撮影装置の位置姿勢情報とを取得する取得部と、
前記取得部によって取得された前記特徴点の情報と、前記位置姿勢情報とを基にして、前記撮影装置から前記被写体までの距離を算出する算出部と、
前記算出部によって算出された距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える制御部と
を有することを特徴とする情報処理装置。
【請求項２】
前記制御部は、前記算出部によって算出された距離に応じて前記画像情報のスケールを調整し、スケールを調整した画像情報を配置することで、パノラマ画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、基準オブジェクトのアスペクト比および画角を一定に保ったまま、前記基準オブジェクトの底面から端点までの第１距離を、前記撮影装置から前記被写体までの第２距離に応じて変更し、変更した基準オブジェトを示すオブジェクトを基にして、前記画像情報のスケールを調整することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記制御部は、前記オブジェクトの底面にスケールを調整した画像情報を貼り付ける処理を画像情報毎に実行し、画像情報を貼り付けた各オブジェクトを配置し、各画像情報に含まれる同一の特徴点の位置が最小となるように、各オブジェクトのスケールを調整することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
コンピュータが実行する情報処理方法であって、
撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、前記撮影装置の位置姿勢情報とを取得し、
取得した前記特徴点の情報と、前記位置姿勢情報とを基にして、前記撮影装置から前記被写体までの距離を算出し、
算出した距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える
処理を実行することを特徴とする情報処理方法。
【請求項６】
コンピュータに、
撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、前記撮影装置の位置姿勢情報とを取得し、
取得した前記特徴点の情報と、前記位置姿勢情報とを基にして、前記撮影装置から前記被写体までの距離を算出し、
算出した距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える
処理を実行させることを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
現在、作業現場では、労働力不足、現場技術者の育成などの課題に直面しており、熟練者を各作業現場に配置することが難しい場合がある。この課題を解消するべく、熟練者が遠隔地の情報を把握しながら、遠隔地で作業する作業者に指示を行うことで、協調的に作業を行うシステムがある。また、カメラで撮影した実環境の映像に仮想世界情報を重畳し、作業者に情報提供を行うＡＲ（Augmented  Reality）技術と併用することで、作業を効率的に行うことができる。
【０００３】
図１９は、従来のシステムの一例を示す図である。図１９に示すシステムでは、一例として、作業現場の作業員２が、指示者１からの指示に基づき作業を行う場合を示している。作業員２は、作業員端末５０と、表示デバイス２１ｄと、カメラ２１ｃとを装着している。作業員端末５０は、表示デバイス２１ｄおよびカメラ２１ｃと無線通信等により接続されている。作業員２のカメラ２１ｃが捉えた２次元（２Ｄ）画像を含む画像フレーム２ｃは、作業員端末５０の無線ネットワーク通信機能により、指示者１の遠隔支援装置６０に送信される。例えば、画像フレーム２ｃの画像で表される範囲は、視野７ｄで示される。
【０００４】
遠隔支援装置６０は、指示者１によって操作される。遠隔支援装置６０は、遠隔地の作業員端末５０から送信される画像フレーム２ｃから３次元（３Ｄ）パノラマ画像４を生成して表示する。指示者１は、遠隔支援装置６０に表示された３次元パノラマ画像４から遠隔地の作業現場の状況を把握する。３次元パノラマ画像４は、画像フレーム２ｃを受信する度に更新される。
【０００５】
指示者１が、例えば、３次元パノラマ画像４内において指示したい箇所をクリックする。指示者１がクリックした画像フレーム２ｃ内の位置情報、指示内容２ｇ等を含む指示情報２ｆが、遠隔支援装置６０から作業員端末５０に送信される。作業員端末５０は、指示情報２ｆを受信すると、指示内容２ｇを、表示デバイス２１ｄに表示させる。作業員２は、表示デバイス２１ｄに表示された指示内容２ｇを参照して、作業を行う。
【０００６】
ここで、３次元パノラマ画像４を生成する従来処理の一例について説明する。従来技術は、画像フレーム２ｃを撮影したカメラ２１ｃの位置姿勢情報を、ＳＬＡＭ（Simultaneous  Localization  And  Mapping）技術等に基づいて算出する。従来技術は、カメラの位置姿勢情報と、事前に取得しておいたカメラ２１ｃの内部パラメータを用いて、フラスタム状の３次元画像描画オブジェクトを生成し、３次元画像描画オブジェクトの底辺に、画像フレーム２ｃをテクスチャマッピングする。そして、従来技術は、テクスチャマッピングした３次元画像描画オブジェクトを、カメラ２１ｃの位置姿勢情報に基づいて、３次元空間上に配置する。従来技術は、上記の処理を、繰り返し実行することで、３次元パノラマ画像４を生成する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１１−１５９１６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した従来技術では、パノラマ画像を適切に生成することができないという問題がある。
【０００９】
例えば、カメラ２１ｃの移動に伴って、３次元画像描画オブジェクトを生成、配置していく過程において、従来技術では、３次元画像描画オブジェクトが適切に生成できておらず、３次元パノラマ画像にズレが発生する。
【００１０】
図２０および図２１は、従来技術の問題点を説明するための図である。図２０において、画像フレーム３ａは、第１タイミングでカメラ２１ｃが撮影した画像フレームであり、画像フレーム３ｂは、第１タイミングとは異なる第２タイミングでカメラ２１ｃが撮影した画像フレームである。例えば、従来技術では、画像フレーム１、２から３次元画像描画オブジェクトを生成して、３次元パノラマ画像４ａを生成すると、図２１に示すものとなり、３次元パノラマ画像４ａにズレが発生する場合がある。図２１に示す例では、実際には１つしかない被写体が、２つ表示されている。
【００１１】
１つの側面では、本発明は、パノラマ画像を適切に生成することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
第１の案では、情報処理装置は、取得部と、算出部と、制御部とを有する。取得部は、撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、撮影装置の位置姿勢情報とを取得する。算出部は、取得部によって取得された特徴点の情報と、位置姿勢情報とを基にして、撮影装置から被写体までの距離を算出する。制御部は、算出部によって算出された距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える。
【発明の効果】
【００１３】
パノラマ画像を適切に生成することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、参考技術を説明するための図である。
【図２】図２は、本実施例に係るシステムの構成を示す図である。
【図３】図３は、本実施例に係る作業員端末の構成を示す機能ブロック図である。
【図４】図４は、集合Ｐ’のＭＰ’の一例を説明するための図（１）である。
【図５】図５は、集合Ｐ’のＭＰ’の一例を説明するための図（２）である。
【図６】図６は、集合Ｐ’のＭＰ’の一例を説明するための図（３）である。
【図７】図７は、本実施例に係る遠隔支援装置の構成を示す機能ブロック図である。
【図８】図８は、管理テーブルのデータ構造の一例を示す図である。
【図９】図９は、パノラマ画像テーブルのデータ構造の一例を示す図である。
【図１０】図１０は、基準オブジェクトの一例を示す図である。
【図１１】図１１は、基準オブジェクトのスケールを変更する処理の一例を示す図（１）である。
【図１２】図１２は、基準オブジェクトのスケールを変更する処理の一例を示す図（２）である。
【図１３】図１３は、幾何距離の最適値を算出する処理を説明するための図である。
【図１４】図１４は、本実施例に係る作業員端末の処理手順を示すフローチャートである。
【図１５】図１５は、本実施例に係る遠隔支援装置の処理手順を示すフローチャートである。
【図１６】図１６は、参考従来の３次元パノラマ画像を説明するための図である。
【図１７】図１７は、本実施例により生成される３次元パノラマ画像を説明するための図である。
【図１８】図１８は、情報処理プログラムを実行するコンピュータの一例を示す図である。
【図１９】図１９は、従来のシステムの一例を示す図である。
【図２０】図２０は、従来技術の問題点を説明するための図（１）である。
【図２１】図２１は、従来技術の問題点を説明するための図（２）である。
【発明を実施するための形態】
【００１５】
以下に、本願の開示する情報処理装置、情報処理方法および情報処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例】
【００１６】
本実施例の説明を行う前に、３次元パノラマ画像を生成する参考技術について説明する。ここで説明する参考技術は、従来技術ではない。図１は、参考技術を説明するための図である。参考技術は、単眼ＳＬＡＭ機能によって、カメラの位置姿勢情報と、画像内の各特徴点５の３次元の位置を示す特徴点マップとを推定する。参考技術は、単眼ＳＬＡＭ機能により、世界座標系を基準とするカメラの位置を推定する。参考技術は、各時刻におけるカメラの位置・姿勢に基づいて、例えば、各３次元画像描画オブジェクト１０ａ〜１０ｄを配置するとで、３次元パノラマ画像を生成する。
【００１７】
ここで、参考技術が生成する３次元画像描画オブジェクト１０ａ〜１０ｄのスケールは、カメラの内部パラメータに基づき決定され、一度決定されたスケールは固定される。このため、参考技術のように、スケールを固定して３次元画像描画オブジェクト１０ａ〜１０ｄを配置すると、どの画像についても、カメラの位置から視線方向に沿って３次元空間の単位長だけ離れた位置に、一定の大きさで配置される。これにより、３次元画像描画オブジェクト１０ａ〜１０ｄの間で画像の不一致が生じ、３次元パノラマ画像が適切に生成できず、遠隔支援者による作業現場の的確な把握が困難となる場合がある。
【００１８】
参考技術を用いて、３次元パノラマ画像の誤差を少なくするためには、作業員がカメラの並進運動を抑えて回転運動のみで撮影を続けるか、カメラから撮影対象までの距離が３次元空間の単位長と一致するように撮影することで対応可能である。しかし、上記の手法では、作業員に与える負担が大きくなってしまう。
【００１９】
続いて、本実施例に係るシステムの構成について説明する。図２は、本実施例に係るシステムの構成を示す図である。図２に示すように、このシステムは、作業員端末１００と、遠隔支援装置２００とを有する。作業員端末１００と、遠隔支援装置２００とは、ネットワーク７０を介して相互に接続される。
【００２０】
作業員端末１００は、作業現場で作業する作業員が装備する端末装置である。図３は、本実施例に係る作業員端末の構成を示す機能ブロック図である。図３に示すように、作業員端末１００は、通信部１１０と、カメラ１２０と、表示デバイス１３０と、記憶部１４０と、制御部１５０とを有する。
【００２１】
通信部１１０は、ネットワーク７０を介して、遠隔支援装置２００とデータ通信を実行する処理部である。通信部１１０は、例えば、通信装置に対応する。後述する制御部１５０は、通信部１１０を介して、遠隔支援装置２００と情報をやり取りする。
【００２２】
カメラ１２０は、作業員が装着するカメラである。カメラ１２０は、無線通信等によって、作業員端末１００に接続させる。カメラ１２０は、ＨＭＣ（Head  Mounted  Camera）であり、ウェアラブルなＣＣＤ（Charge  Coupled  Device）等の小型カメラである。カメラ１２０は、撮影範囲の画像を撮影し、撮影した画像の情報を、作業員端末１００に出力する。
【００２３】
表示デバイス１３０は、制御部１５０から出力される情報を表示する表示装置である。表示デバイス１３０は、例えば、ＨＭＤ（Head  Mounted  Display）であり、ウェアラブルな音声の入出力可能な表示装置である。例えば、表示デバイス１３０は、遠隔支援装置２００から送信される指示者による指示情報等を表示する。
【００２４】
記憶部１４０は、特徴点マップ情報１４１と、位置姿勢情報１４２と、画像情報１４３と、幾何距離情報１４４とを有する。記憶部１４０は、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子や、ＨＤＤ（Hard  Disk  Drive）などの記憶装置に対応する。
【００２５】
特徴点マップ情報１４１は、カメラ１２０によって撮影された画像情報に含まれる複数の特徴点と、各特徴点の３次元座標とを対応付けた情報である。
【００２６】
位置姿勢情報１４２は、カメラ１２０が画像情報１４３を撮影したタイミングにおけるカメラ１２０の位置および姿勢を示す情報である。
【００２７】
画像情報１４３は、カメラ１２０によって撮影される画像の情報である。幾何距離情報１４４は、カメラ１２０から被写体までの距離を示すものである。
【００２８】
制御部１５０は、取得部１５１と、算出部１５２と、送信部１５３と、表示デバイス制御部１５４とを有する。制御部１５０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）や、ＦＰＧＡ（Field  Programmable  Gate  Array）などの集積装置に対応する。また、制御部１５０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路に対応する。
【００２９】
取得部１５１は、カメラ１２０によって撮影された画像情報に含まれる被写体の特徴点の情報と、カメラ１２０の位置姿勢情報とを取得する処理部である。取得部１５１は、被写体の特徴点の情報を、特徴点マップ情報１４１に登録する。取得部１５１は、カメラ１２０の位置姿勢情報を、位置姿勢情報１４２として、記憶部１４０に格納する。また、取得部１５１は、カメラ１２０によって撮影された画像情報を、画像情報１４３として、記憶部１４０に格納する。
【００３０】
取得部１５１が、特徴点の情報を算出する処理の一例について説明する。取得部１５１は、カメラ１２０から画像情報を取得し、画像情報から特徴点を抽出する。例えば、取得部１５１は、画像情報に対してエッジ検出処理を実行することで、画像情報から特徴点を抽出する。
【００３１】
取得部１５１は、時刻Ｔ１においてカメラ１２０により撮影された第１画像情報の特徴点と、時刻Ｔ２においてカメラ１２０により撮影された第２画像情報の特徴点とを比較して、同一の特徴点を対応付ける。取得部１５１は、特徴点の特徴量を比較して、特徴量の差分が最小となる特徴点の組を、同一の特徴点と判定する。特徴点の特徴量は、特徴点周辺の輝度分布、エッジ強度等に対応する。
【００３２】
取得部１５１は、第１画像情報および第２画像情報に含まれる同一の特徴点の座標と、ステレオマッチングの原理に基づいて、特徴点の３次元座標を算出する。取得部１５１は、各特徴点について、上記処理を繰り返し実行することで、各特徴点の３次元座標を算出することで、特徴点の情報を取得する。
【００３３】
取得部１５１が、カメラ１２０の位置姿勢情報を算出する処理の一例について説明する。取得部１５１は、単眼ＳＬＡＭ機能によって、カメラの位置姿勢情報を推定すればよい。例えば、取得部１５１は、特徴点マップ情報１４１の各特徴点の３次元座標を、変換テーブルに基づき、２次元座標に変換することで、各特徴点を、現在のカメラ１２０により撮影された画像情報に投影する。変換テーブルは、カメラ１２０の位置姿勢情報に応じて、特徴点の３次元座標から求められる２次元座標が異なる。
【００３４】
取得部１５１は、同一の特徴点について、画像情報上の特徴点と、投影された特徴点との誤差が最小となる、カメラ１２０の位置姿勢情報を探索する。取得部１５１は、誤差が最小となる位置姿勢情報を、現在のカメラ１２０の位置姿勢情報として取得する。
【００３５】
算出部１５２は、特徴点マップ情報１４１と、位置姿勢情報１４２とを基にして、カメラ１２０から被写体までの幾何距離を算出する処理部である。算出部１５２は、幾何距離の情報を幾何距離情報１４４と表記する。算出部１５２は、幾何距離情報１４４を記憶部１４０に格納する。
【００３６】
算出部１５２が、幾何距離を算出する処理の一例について説明する。特徴点マップ情報１４１に含まれる特徴点の集合を集合Ｐとする。算出部１５２は、集合Ｐのうち、カメラ１２０により観測可能な特徴点の集合Ｐ’⊆Ｐを抽出する。
【００３７】
算出部１５２は、カメラ１２０が撮影した画像情報の特徴点との対応を持つ、特徴点マップ情報１４１の各特徴点を、集合Ｐ’として抽出しても良い。以下の算出部１５２に関する説明において、適宜、カメラ１２０が撮影した画像情報を画像情報Ｃと表記する。算出部１５２は、集合Ｐを、画像情報Ｃ上に投影し、画像情報Ｃ内部に存在するような特徴点の集合を、集合Ｐ’として抽出しても良い。
【００３８】
算出部１５２は、幾何距離ｄを、式（１）に基づいて算出する。式（１）において、ＭＣは、カメラ１２０の３次元座標である。カメラ１２０の３次元座標は位置姿勢情報１４２に含まれる。ＭＰ’は、集合Ｐ’の各特徴点の３次元座標から計算される、代表となる３次元座標である。ＭＣとＭＰ’は、同一の座標形で表現されるものとする。
【００３９】
ｄ＝｜ＭＣ−ＭＰ’｜・・・（１）
【００４０】
集合Ｐ’のＭＰ’の一例について説明する。図４〜図６は、集合Ｐ’のＭＰ’の一例を説明するための図である。例えば、図４に示すように、算出部１５２は、集合Ｐ’に含まれる各特徴点の３次元座標の平均値を、ＭＰ’としても良い。図５に示すように、算出部１５２は、集合Ｐ’の特徴点ｐ∈Ｐのうち、ＭＣとの間の距離が中央値となる点の３次元座標を、ＭＰ’としても良い。図６に示すように、算出部１５２は、集合Ｐ’を通る最小二乗平面Ｄを算出し、ＭＣからの距離が最小となる最小二乗平面Ｄ上の３次元座標を、ＭＰ’としても良い。
【００４１】
算出部１５２は、カメラ１２０から画像情報を取得する度に、幾何距離ｄを算出しても良いし、予め設定される頻度で、幾何距離ｄを算出しても良い。
【００４２】
送信部１５３は、記憶部１４０に格納される特徴点マップ情報１４１、位置姿勢情報１４２、画像情報１４３、幾何距離情報１４４を含む画像フレームを、遠隔支援装置２００に送信する処理部である。例えば、送信部１５３は、画像情報１４３が更新され、更新された画像情報１４３を基に、位置姿勢情報１４２、幾何距離情報１４４が更新される度に、画像フレームを、遠隔支援装置２００に送信する。なお、送信部１５３は、画像フレームに、カメラ１２０の内部パラメータの情報を格納しても良い。
【００４３】
表示デバイス制御部１５４は、遠隔支援装置２００から指示情報を受信した場合に、受信した指示情報を、表示デバイス１３０に表示させる処理部である。
【００４４】
遠隔支援装置２００は、作業員端末１００から画像フレームを受信して、３次元パノラマ画像を生成する装置である。遠隔支援装置２００を使用する指示者は、３次元パノラマ画像等を参照することで、現場の状況を把握する。
【００４５】
図７は、本実施例に係る遠隔支援装置の構成を示す機能ブロック図である。図７に示すように、この遠隔支援装置２００は、通信部２１０と、入力部２２０と、表示デバイス２３０と、記憶部２４０と、制御部２５０とを有する。
【００４６】
通信部２１０は、ネットワーク７０を介して、作業員端末１００とデータ通信を実行する処理部である。通信部２１０は、例えば、通信装置に対応する。後述する制御部２５０は、通信部２１０を介して、作業員端末１００と情報をやり取りする。
【００４７】
入力部２２０は、遠隔支援装置２００に各種の情報を入力するための入力装置である。入力部２２０は、例えば、キーボードやマウス、タッチパネル等に対応する。指示者は、入力部２２０を操作して、各種の指示情報を入力する。
【００４８】
表示デバイス２３０は、制御部２５０から出力される情報を表示する表示装置である。例えば、表示デバイス２３０は、制御部２５０から出力される３次元パノラマ画像の情報を表示する。表示デバイス２３０は、例えば、液晶ディスプレイ、タッチパネル等に対応する。
【００４９】
記憶部２４０は、管理テーブル２４１と、パノラマ画像テーブル２４２とを有する。記憶部２４０は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの半導体メモリ素子や、ＨＤＤなどの記憶装置に対応する。
【００５０】
管理テーブル２４１は、作業員端末１００から送信される画像フレームを格納するテーブルである。上記のように、画像フレームには、特徴点マップ情報１４１、位置姿勢情報１４２、画像情報１４３、幾何距離情報１４４が含まれる。
【００５１】
図８は、管理テーブルのデータ構造の一例を示す図である。図８に示すように、管理テーブル２４１は、レコード番号と、特徴点マップ情報と、位置姿勢情報と、画像情報と、幾何距離情報と、スケール情報とを対応付けて記憶する。レコード番号は、管理テーブル２４１の各レコードを一意に識別する情報である。特徴点マップ情報、位置姿勢情報、画像情報、幾何距離情報に関する説明は、上記の説明と同様である。なお、同一の画像フレームに含まれる特徴点マップ情報、位置姿勢情報、画像情報、幾何距離情報は、同一のレコード番号に対応付けられて、管理テーブル２４１に格納される。スケール情報は、３次元画像描画オブジェクトのスケールを示す情報であり、後述するパノラマ画像生成部２５２によって計算される。
【００５２】
パノラマ画像テーブル２４２は、３次元パノラマ画像を構成する複数の３次元画像描画オブジェクトの情報を保持するテーブルである。図９は、パノラマ画像テーブルのデータ構造の一例を示す図である。図９に示すように、このパノラマ画像テーブル２４２は、識別番号と、３次元画像描画オブジェクトとを対応付ける。識別番号は、３次元画像描画オブジェクトを一意に識別する情報である。３次元画像描画オブジェクトは、３次元パノラマ画像を生成する場合に、配置される情報である。
【００５３】
例えば、３次元画像描画オブジェクトＡ１６は、管理テーブル２４１のレコード番号「Ｒ１００１」のレコードに基づき生成される。３次元画像描画オブジェクトＡ２６は、管理テーブル２４１のレコード番号「Ｒ１００２」のレコードに基づき生成される。３次元画像描画オブジェクトＡ３６は、管理テーブル２４１のレコード番号「Ｒ１００３」のレコードに基づき生成される。ここでは図示を省略するが、その他の３次元画像描画オブジェクトも、同様に、管理テーブル２４１のレコードに対応付けられる。
【００５４】
制御部２５０は、受信部２５１と、パノラマ画像生成部２５２と、送信部２５３とを有する。制御部２５０は、ＡＳＩＣや、ＦＰＧＡなどの集積装置に対応する。また、制御部２５０は、例えば、ＣＰＵやＭＰＵ等の電子回路に対応する。パノラマ画像生成部２５２は、制御部２５０の一例である。
【００５５】
受信部２５１は、作業員端末１００から画像フレームを受信する処理部である。受信部２５１は、画像フレームを受信する度に、受信した画像フレームに含まれる特徴点マップ情報、位置姿勢情報、画像情報、幾何距離情報を、レコード番号に対応付けて、管理テーブル２４１に格納する。
【００５６】
パノラマ画像生成部２５２は、管理テーブル２４１に格納されたレコード番号毎に、幾何距離情報に基づいて、スケール情報を算出する。パノラマ画像生成部２５２は、生成した各スケール情報に基づいて、複数の３次元画像描画オブジェクトを生成し、複数の３次元画像描画オブジェクトを位置姿勢情報に基づいて配置することで、３次元パノラマ画像を生成する。パノラマ画像生成部２５２は、３次元パノラマ画像の情報を、表示デバイス２３０に出力し、表示させる。
【００５７】
パノラマ画像生成部２５２が、幾何距離情報に基づいて、スケール情報を算出する処理の一例について説明する。パノラマ画像生成部２５２は、カメラ１２０の内部パラメータに基づいて、フラスタム状の基準オブジェクトを生成する。カメラ１２０の内部パラメータは、式（２）によって表される。パノラマ画像生成部２５２は、内部パラメータＫの情報を事前に、作業員端末１００から取得しておくものとする。
【００５８】
【数１】
2017134467.tif 000003
【００５９】
式（２）において、ｆｘ、ｆｙは、カメラ１２０の焦点距離を示すものである。例えば、ｆｘは、カメラ１２０の位置を基準としたｘ方向の焦点距離を表す。ｆｙは、カメラ１２０の位置を基準としたｙ方向の焦点距離を表す。ｓは、カメラ１２０のスキューを表す。αは、カメラ１２０のアスペクト比を表す。ｃｘ、ｃｙは、カメラ１２０で撮影される画像の中心を示す座標である。
【００６０】
パノラマ画像生成部２５２は、式（３）に基づいて、基準オブジェクトのアスペクト比ｒを算出する。パノラマ画像生成部２５２は、式（４）に基づいて、基準オブジェクトの画角θを求める。図１０は、基準オブジェクトの一例を示す図である。図１０に示すように、基準オブジェクト３０の画角はθであり、式（３）で定義されるアスペクト比はｒとなる。また、基準オブジェクト３０の高さを単位長ｄａとする。
【００６１】
【数２】
2017134467.tif 000004
【００６２】
【数３】
2017134467.tif 000005
【００６３】
パノラマ画像生成部２５２は、基準オブジェクト３０を生成した後に、各幾何距離情報のスケール情報を算出する。パノラマ画像生成部２５２は、基準オブジェクト３０のアスペクト比ｒおよび画角θを一定に保ったまま、単位長ｄａを、幾何距離に変更することで、基準オブジェクト３０のスケールを変形する。スケールを変更した基準オブジェクト３０を、スケール情報と定義する。
【００６４】
図１１および図１２は、基準オブジェクトのスケールを変更する処理の一例を示す図である。図１１に示すように、幾何距離ｄが１よりも大きい（ｄ＞１）場合には、パノラマ画像生成部２５２は、基準オブジェクト３０を、オブジェクト３０ａのようにスケール変形する。オブジェクト３０ａは、拡大率ｄによって、基準オブジェクト３０を拡大したものに相当する。
【００６５】
図１２に示すように、幾何距離ｄが０より大きく、１より小さい（０＜ｄ＜１）場合には、パノラマ画像生成部２５２は、基準オブジェクト３０を、オブジェクト３０ｂのようにスケール変換する。オブジェクト３０ｂは、縮小率ｄによって、基準オブジェクト３０を縮小したものに相当する。
【００６６】
上記のように、パノラマ画像生成部２５２は、基準オブジェクトを幾何距離情報に基づき、拡大または縮小することで、オブジェクトを生成する。パノラマ画像生成部２５２は、オブジェクトの画角θ、アスペクト比ｒ、幾何距離情報を含むオブジェクトの情報を、スケール情報として、管理テーブル２４１に格納する。また、パノラマ画像生成部２５２は、オブジェクトの底面に、画像情報をテクスチャマッピングすることで、３次元画像描画オブジェクトを生成し、パノラマ画像テーブル２４２に格納する。
【００６７】
パノラマ画像生成部２５２は、管理テーブル２４１の各レコード番号の情報について、上記処理を繰り返し実行することで、幾何距離情報毎にスケールの異なる３次元画像描画オブジェクトを生成する。パノラマ画像生成部２５２は、各３次元画像描画オブジェクトを、パノラマ画像テーブル２４２に格納する。
【００６８】
ところで、上記の例では、パノラマ画像生成部２５２は、作業員端末１００から通知された幾何距離をそのまま利用して、基準オブジェクトのスケールを変換していたが、これに限定されるものではない。例えば、パノラマ画像生成部２５２は、各幾何距離の最適値を以下に示すように算出し、幾何距離の最適値を用いて、３次元画像描画オブジェクトを生成しても良い。
【００６９】
図１３は、幾何距離の最適値を算出する処理を説明するための図である。図１３のステップＳ１０について説明する。図１３に示すように、特徴点ｐ１〜ｐ８が存在するものとする。３次元画像描画オブジェクト３０Ａ〜３０Ｃは、カメラ１２０の位置姿勢情報に基づいて配置されているものとする。３次元画像描画オブジェクト３０Ａには、画像３１Ａがテクスチャマッピングされる。３次元画像描画オブジェクト３０Ｂには、画像３１Ｂがテクスチャマッピングされる。３次元画像描画オブジェクト３０Ｃには、画像３１Ｃがテクスチャマッピングされる。画像３１Ａを撮影したカメラ１２０の位置を３２Ａとする。画像３１Ｂを撮影したカメラ１２０の位置を３２Ｂとする。画像３１Ｃを撮影したカメラ１２０の位置を３２Ｃとする。
【００７０】
ステップＳ１１について説明する。便宜的に、特徴点Ｐ６に着目し、ｐｉとする。特徴点Ｐｉおよび位置３２Ａを通る直線と、画像３１Ａとが交差する位置をｐ’Ａとする。特徴点Ｐｉおよび位置３２Ｂを通る直線と、画像３１Ｂとが交差する位置をｐ’Ｂとする。特徴点Ｐｉおよび位置３２Ｃを通る直線と、画像３１Ｃとが交差する位置をｐ’Ｃとする。例えば、ｐ’Ａと、ｐ’Ｂと、ｐ’Ｃとの誤差を、εｉとする。パノラマ画像生成部２５２は、他の特徴点ｐ１〜ｐ５、ｐ７〜ｐ８についても同様に、誤差εを特定する。
【００７１】
ステップＳ１２について説明する。パノラマ画像生成部２５２は、各誤差εの合計値Ｅ（ｓ）が最小となるような幾何距離の値を探索することで、３次元画像描画オブジェクト３０Ａ〜３０Ｃの新たなスケール情報を特定する。
【００７２】
ここで、カメラ集合Γ＝｛Ｃｉ｝（ｉ＝１，２，・・・）の幾何距離集合Ｄ＝｛ｄｉ｝について、３次元パノラマ画像誤差を最小化するような最適な幾何距離集合を求める用法を以下に説明する。例えば、Ｃｉは、カメラ１２０の各位置に対応するものである。幾何距離集合を式（５）により定義する。
【００７３】
【数４】
2017134467.tif 000006
【００７４】
パノラマ画像生成部２５２は、３次元特徴点マップの各特徴点ｐｊ∈Ｐ（ｊ＝１，２，・・・）について、特徴点ｐｊを観測可能なカメラ集合Γｊ⊆Γを抽出する。パノラマ画像生成部２５２は、特徴点ｐｊと対応する２次元特徴点を持つカメラの集合を抽出しても良いし、ｐｊの投影点が画像内部に存在するカメラの集合を抽出しても良い。
【００７５】
３次元特徴点マップの各３次元点ｐｊ∈Ｐについて、カメラ集合Γｊに対応する幾何距離集合Ｄｊ⊆Ｄに関する誤差εｊ（Ｄｊ）を定義する。
【００７６】
ここでは、一例として、３次元投影点の分散に基づく誤差εｊ（Ｄｊ）の定義を説明する。まず、カメラＣｉ∈Γｊに対応する幾何距離ｄｉ∈Ｄｊで変形した、Ｃｉの３次元画像描画オブジェクトを考える。この３次元画像描画オブジェクトは、図１３の３次元画像描画オブジェクト３０Ａ〜３０Ｃ等に対応する。この３次元画像描画オブジェクトの３次元画像面に対するｐｊの３次元投影点ｐ’ｉ，ｊは、式（６）、（７）、（８）に基づいて計算される。
【００７７】
【数５】
2017134467.tif 000007
【数６】
2017134467.tif 000008
【数７】
2017134467.tif 000009
【００７８】
式（６）、式（８）に含まれるＲｉおよびｔｉは、それぞれ、世界座標形からカメラＣｉの座標系に変換するための回転行列Ｒｉと並進ベクトルｔｉである。ｘｉ，ｊは、カメラＣｉを正規化したカメラに対するｐｊの２次元投影点である。カメラＣｉを正規化したカメラとは、回転ベクトルＲｉ、並進ベクトルｔｉ、内部パラメータが３次の単位行列であるカメラを示す。式（７）、式（８）のＸｉ，ｊは、カメラＣｊの座標系におけるｐ’ｉ，ｊの３次元座標である。ＲｉＴは、Ｒｉの転置である。Ｗは、任意の実数である。
【００７９】
続いて、パノラマ画像生成部２５２は、式（９）、（１０）により、カメラ集合Γｊにおける３次元投影点ｐ’ｉ，ｊの分散εｊ（Ｄｊ）を計算する。式（９）は、カメラ集合Γｊにおける３次元投影点ｐ’ｉ，ｊの平均を求めるものである。
【００８０】
【数８】
2017134467.tif 000010
【数９】
2017134467.tif 000011
【００８１】
続いて、全てのｐｊ∈Ｐで求めた誤差εｊ（Ｄｊ）の総和を、幾何距離集合Ｄに関するエネルギー関数Ｅ（Ｄ）として、式（１１）のように定義する。パノラマ画像生成部２５２は、式（１２）で定義するエネルギー関数Ｅ（Ｄ）を最小化する幾何距離集合を求める。
【００８２】
【数１０】
2017134467.tif 000012
【００８３】
【数１１】
2017134467.tif 000013
【００８４】
パノラマ画像生成部２５２は、幾何距離集合を求めた後に、管理テーブル２４１の各幾何距離情報を更新する。また、更新した幾何距離情報を基にして、管理テーブル２４１のスケール情報およびパノラマ画像テーブル２４２の３次元画像描画オブジェクトを更新する。
【００８５】
パノラマ画像生成部２５２は、パノラマ画像テーブル２４２の各３次元画像描画オブジェクトを、位置姿勢情報を基にして配置していくことで、３次元パノラマ画像を生成する。例えば、パノラマ画像生成部２５２は、位置姿勢情報Ａ１２に基づいて、３次元画像描画オブジェクトＡ１６を配置する。パノラマ画像生成部２５２は、位置姿勢情報Ａ２２に基づいて、３次元画像描画オブジェクトＡ２６を配置する。パノラマ画像生成部２５２は、位置姿勢情報Ａ３２に基づいて、３次元画像描画オブジェクトＡ３６を配置する。同様に、パノラマ画像生成部２５２は、対応する位置姿勢情報に基づいて、他の３次元画像描画オブジェクトを配置する。パノラマ画像生成部２５２は、生成した３次元パノラマ画像の情報を、表示デバイス２３０に出力して、表示させる。
【００８６】
送信部２５３は、入力部２２０等を介して指示者に入力された指示情報を、作業員端末１００に送信する処理部である。
【００８７】
次に、本実施例に係るシステムの処理手順の一例について説明する。図１４は、本実施例に係る作業員端末の処理手順を示すフローチャートである。図１４に示すように、作業員端末１００の取得部１５１は、カメラ１２０から画像情報を取得する（ステップＳ１０１）。取得部１５１は、画像情報から特徴点を抽出する（ステップＳ１０２）。
【００８８】
取得部１５１は、前の画像情報の特徴点と、現在の画像情報の特徴点とを対応付ける（ステップＳ１０３）。取得部１５１は、対応付けの結果を基にして、カメラ１２０の位置・姿勢を推定する（ステップＳ１０４）。取得部１５１は、特徴点マップ情報１４１および位置姿勢情報を更新する（ステップＳ１０５）。
【００８９】
作業員端末１００の算出部１５２は、特徴点マップ情報１４１および位置姿勢情報１４２を基にして、幾何距離を算出する（ステップＳ１０６）。作業員端末１００の送信部１５３は、画像フレームを、遠隔支援装置２００に送信し（ステップＳ１０７）、ステップＳ１０１に移行する。例えば、画像フレームには、特徴点マップ情報１４１、位置姿勢情報１４２、画像情報１４３、幾何距離情報１４４、カメラ１２０の内部パラメータ等が含まれる。
【００９０】
図１５は、本実施例に係る遠隔支援装置の処理手順を示すフローチャートである。図１５に示すように、遠隔支援装置２００の受信部２５１は、作業員端末１００から、画像フレームを受信する（ステップＳ２０１）。
【００９１】
遠隔支援装置２００のパノラマ画像生成部２５２は、カメラ１２０の内部パラメータに基づいて、基準オブジェクトを生成する（ステップＳ２０２）。パノラマ画像生成部２５２は、幾何距離に基づいて、基準オブジェクトを変形し、スケール情報を生成する（ステップＳ２０３）。
【００９２】
パノラマ画像生成部２５２は、各スケール情報を基にして、３次元画像描画オブジェクトを生成する（ステップＳ２０４）。パノラマ画像生成部２５２は、各位置姿勢情報に基づいて、３次元画像描画オブジェクトを配置することで、３次元パノラマ画像を生成し（ステップＳ２０５）、ステップＳ２０１に移行する。
【００９３】
次に、本実施例に係るシステムの効果について説明する。作業員端末１００は、カメラ１２０によって撮影された画像情報に含まれる特徴点の情報と、カメラ１２０の位置姿勢情報を取得し、取得した情報を用いて、カメラ１２０から被写体までの幾何距離を算出し、遠隔支援装置２００に通知する。遠隔支援装置２００は、幾何距離に応じて３次元パノラマ画像を生成するために配置される画像情報のスケールを変える。例えば、遠隔支援装置２００は、幾何距離に応じて、画像情報のスケールを調整し、スケールを調整した画像情報を配置することで、パノラマ画像を生成する。これにより、本実施例によれば、従来技術、参考技術等と比較して、３次元パノラマ画像を適切に生成することができる。
【００９４】
ここで、本実施例により生成される３次元パノラマ画像の一例と、参考技術により生成される３次元パノラマ画像の一例について説明する。図１６は、参考従来の３次元パノラマ画像を説明するための図である。図１６では、３次元パノラマ画像８０ａと、この３次元パノラマ画像８０ａの鳥瞰図８０ｂとを示す。鳥瞰図８０ｂに示すように、参考技術では、３次元画像描画オブジェクトのスケールが固定されている。このため、例えば、３次元パノラマ画像８０ａの部分画像８１に示すように、画像の不一致が発生し、適切に３次元パノラマ画像を生成しているとは言えない。
【００９５】
図１７は、本実施例により生成される３次元パノラマ画像を説明するための図である。図１７では、３次元パノラマ画像９０ａと、この３次元パノラマ画像９０ａの鳥瞰図９０ｂとを示す。上述したように、本実施例では、幾何距離に応じて３次元パノラマ画像を生成するために配置される画像情報のスケールを変える。このため、例えば、３次元パノラマ画像９０ａの部分画像９１に示すように、画像の不一致の発生を抑止でき、適切に３次元パノラマ画像を生成することができる。
【００９６】
本実施例のシステムは、基準オブジェクトのアスペクト比および画角を一定に保ったまま、基準オブジェクトの単位長を、カメラ１２０から被写体までの距離に応じて変更し、変更した基準オブジェクトを示すオブジェクトのアスペクト比に応じて、画像情報のスケールを調整する。このため、３次元パノラマ画像を効率的に生成することができる。
【００９７】
本実施例のシステムは、各３次元画像描画オブジェクトを配置し、各画像情報に含まれる同一の特徴点の位置が最小となるように、各３次元画像描画オブジェクトのスケールを調整する。これにより、３次元パノラマ画像間でのズレの発生をより抑止することができる。
【００９８】
ところで、上記の実施例では、３次元パノラマ画像を生成する場合に、作業員端末１００と、遠隔支援装置２００とで処理を分担していたが、これに限定されるものではない。例えば、作業員端末１００または遠隔支援装置２００側に、３次元パノラマ画像を生成する処理部を統合しても良い。
【００９９】
例えば、作業員端末１００に、パノラマ画像生成部２５２を更に配置して、作業員端末１００が、３次元パノラマ画像を生成しても良い。または、遠隔支援装置２００に、取得部１５１および算出部１５２を更に配置して、遠隔支援装置２００が、３次元パノラマ画像を生成しても良い。パノラマ画像生成部２５２を更に有する作業員端末１００、または、取得部１５１および算出部１５２を更に有する遠隔支援装置２００は、情報処理装置の一例である。
【０１００】
また、本実施例に係る作業員端末１００の取得部１５１は、異なる時刻に撮影した画像情報を用いて、ステレオマッチングの原理に基づき、特徴点の３次元座標を算出する場合について説明したが、これに限定されるものではない。例えば、取得部１５１は、距離センサを用いて、特徴点の３次元座標を特定しても良い。取得部１５１は、距離センサから特徴点に照射した光が、特徴点から反射して、再度距離センサに到達する時間と、光の速さ等を基にして、特徴点の３次元位置を算出する。
【０１０１】
次に、上記実施例に示した作業員端末１００および遠隔支援装置２００と同様の機能を実現する情報処理プログラムを実行するコンピュータの一例について説明する。図１８は、情報処理プログラムを実行するコンピュータの一例を示す図である。
【０１０２】
図１８に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０５とを有する。また、インターフェース装置３０５は、カメラに接続されていても良い。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１〜３０７は、バス３０８に接続される。
【０１０３】
ハードディスク装置３０７は、取得プログラム３０７ａ、算出プログラム３０７ｂ、生成プログラム３０７ｃを有する。ＣＰＵ３０１は、取得プログラム３０７ａ、算出プログラム３０７ｂ、生成プログラム３０７ｃを読み出してＲＡＭ３０６に展開する。
【０１０４】
取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。算出プログラム３０７ｂは、算出プロセス３０６ｂとして機能する。生成プログラム３０７ｃは、生成プロセス３０６ｃとして機能する。
【０１０５】
取得プロセス３０６ａの処理は、取得部１５１の処理に対応する。算出プロセス３０６ｂの処理は算出部１５２の処理に対応する。生成プロセス３０６ｃの処理は、パノラマ画像生成部２５２の処理に対応する。
【０１０６】
なお、取得プログラム３０７ａ、算出プログラム３０７ｂ、生成プログラム３０７ｃについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくても良い。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ〜３０７ｃを読み出して実行するようにしてもよい。
【０１０７】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０１０８】
（付記１）撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、前記撮影装置の位置姿勢情報とを取得する取得部と、
前記取得部によって取得された前記特徴点の情報と、前記位置姿勢情報とを基にして、前記撮影装置から前記被写体までの距離を算出する算出部と、
前記算出部によって算出された距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える制御部と
を有することを特徴とする情報処理装置。
【０１０９】
（付記２）前記制御部は、前記算出部によって算出された距離に応じて前記画像情報のスケールを調整し、スケールを調整した画像情報を配置することで、パノラマ画像を生成することを特徴とする付記１に記載の情報処理装置。
【０１１０】
（付記３）前記制御部は、基準オブジェクトのアスペクト比および画角を一定に保ったまま、前記基準オブジェクトの底面から端点までの第１距離を、前記撮影装置から前記被写体までの第２距離に応じて変更し、変更した基準オブジェクトを示すオブジェクトを基にして、前記画像情報のスケールを調整することを特徴とする付記２に記載の情報処理装置。
【０１１１】
（付記４）前記制御部は、前記オブジェクトの底面にスケールを調整した画像情報を貼り付ける処理を画像情報毎に実行し、画像情報を貼り付けた各オブジェクトを配置し、各画像情報に含まれる同一の特徴点の位置が最小となるように、各オブジェクトのスケールを調整することを特徴とする付記３に記載の情報処理装置。
【０１１２】
（付記５）コンピュータが実行する情報処理方法であって、
撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、前記撮影装置の位置姿勢情報とを取得し、
取得した前記特徴点の情報と、前記位置姿勢情報とを基にして、前記撮影装置から前記被写体までの距離を算出し、
算出した距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える
処理を実行することを特徴とする情報処理方法。
【０１１３】
（付記６）前記コンピュータが、前記距離に応じて前記画像情報のスケールを調整し、スケールを調整した画像情報を配置することで、パノラマ画像を生成することを特徴とする付記５に記載の情報処理方法。
【０１１４】
（付記７）前記コンピュータが、基準オブジェクトのアスペクト比および画角を一定に保ったまま、前記基準オブジェクトの底面から端点までの第１距離を、前記撮影装置から前記被写体までの第２距離に応じて変更し、変更した基準オブジェクトを示すオブジェクトを基にして、前記画像情報のスケールを調整することを特徴とする付記６に記載の情報処理方法。
【０１１５】
（付記８）前記コンピュータが、前記オブジェクトの底面にスケールを調整した画像情報を貼り付ける処理を画像情報毎に実行し、画像情報を貼り付けた各オブジェクトを配置し、各画像情報に含まれる同一の特徴点の位置が最小となるように、各オブジェクトのスケールを調整することを特徴とする付記７に記載の情報処理方法。
【０１１６】
（付記９）コンピュータに、
撮影装置によって撮影された画像情報に含まれる被写体の特徴点の情報と、前記撮影装置の位置姿勢情報とを取得し、
取得した前記特徴点の情報と、前記位置姿勢情報とを基にして、前記撮影装置から前記被写体までの距離を算出し、
算出した距離に応じてパノラマ画像を生成するために配置される画像情報のスケールを変える
処理を実行させることを特徴とする情報処理プログラム。
【０１１７】
（付記１０）前記コンピュータに、前記距離に応じて前記画像情報のスケールを調整し、スケールを調整した画像情報を配置することで、パノラマ画像を生成する処理を実行させることを特徴とする付記９に記載の情報処理プログラム。
【０１１８】
（付記１１）前記コンピュータに、基準オブジェクトのアスペクト比および画角を一定に保ったまま、前記基準オブジェクトの底面から端点までの第１距離を、前記撮影装置から前記被写体までの第２距離に応じて変更し、変更した基準オブジェクトを示すオブジェクトを基にして、前記画像情報のスケールを調整する処理を実行させることを特徴とする付記１０に記載の情報処理プログラム。
【０１１９】
（付記１２）前記コンピュータに、前記オブジェクトの底面にスケールを調整した画像情報を貼り付ける処理を画像情報毎に実行し、画像情報を貼り付けた各オブジェクトを配置し、各画像情報に含まれる同一の特徴点の位置が最小となるように、各オブジェクトのスケールを調整することを特徴とする付記１１に記載の情報処理プログラム。
【符号の説明】
【０１２０】
１００  作業員端末
１５０，２５０  制御部
１５１  取得部
１５２  算出部
１５３  送信部
１５４  表示デバイス制御部
２００  遠隔支援装置
２５１  受信部
２５２  パノラマ画像生成部
２５３  送信部
【図１】
2017134467.tif 000014
【図２】
2017134467.tif 000015
【図３】
2017134467.tif 000016
【図４】
2017134467.tif 000017
【図５】
2017134467.tif 000018
【図６】
2017134467.tif 000019
【図７】
2017134467.tif 000020
【図８】
2017134467.tif 000021
【図９】
2017134467.tif 000022
【図１０】
2017134467.tif 000023
【図１１】
2017134467.tif 000024
【図１２】
2017134467.tif 000025
【図１３】
2017134467.tif 000026
【図１４】
2017134467.tif 000027
【図１５】
2017134467.tif 000028
【図１６】
2017134467.tif 000029
【図１７】
2017134467.tif 000030
【図１８】
2017134467.tif 000031
【図１９】
2017134467.tif 000032
【図２０】
2017134467.tif 000033
【図２１】
2017134467.tif 000034