(57)【要約】【課題】運動予測の最適化方法、装置及びシステムを提供する。【解決手段】当該方法は、映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、マッチングの結果に基づき運動予測を行うステップと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップとが含まれる。【選択図】図３
2017054501.tif 000002
【特許請求の範囲】
【請求項１】
映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、
現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、
マッチングの結果に基づき運動予測を行うステップと、
運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、
更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップと、を含む、運動予測の最適化方法。
【請求項２】
前記運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップは、
運動予測の結果に基づき、当該運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとするステップと、
前記適格マッチングペアの各サブ特徴上の差異を計算するステップと、
前記計算した差異に基づき、各サブ特徴の重み付け係数の調整量を決定するステップと、
前記調整量に基づき、各サブ特徴それぞれの重み付け係数を更新するステップと、を含む、請求項１に記載の運動予測の最適化方法。
【請求項３】
前記運動予測の結果に基づき、前記運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとするステップは、
前フレームの特徴点について、前記運動予測の結果に基づき現フレーム中の位置を予測するステップと、
前記予測した位置と現フレームの特徴点の実際の位置の距離を計算するステップと、
前記計算した距離が所定しきい値より小さな、現フレームの特徴点及び前フレームの特徴点のマッチングペアを選択し、適格マッチングペアとするステップと、を含む、請求項２に記載の運動予測の最適化方法。
【請求項４】
前記適格マッチングペアの各サブ特徴上の差異を計算するステップは、
前記適格マッチングペア中の前フレームの特徴点のサブ特徴の一番目の値を計算するステップと、
前記適格マッチングペア中の現フレームの特徴点のサブ特徴の二番目の値を計算するステップと、
前記適格マッチングペアの各サブ特徴上の差異を計算するステップであって、前記差異と一番目の値及び二番目の値の差異は相関する、ステップと、を含む、請求項２に記載の運動予測の最適化方法。
【請求項５】
前記計算した差異に基づき、サブ特徴の各重み付け係数の調整量を決定するステップは、
計算した差異が大きいほど、重み付け係数の調整は小さくなり、且つ計算した差異が小さいほど、重み付け係数の調整が大きくなるように、重み付け係数の調整量を決定するステップ、を含む、請求項２に記載の運動予測の最適化方法。
【請求項６】
映像の連続フレームの継続に伴って、適応的に運動予測の最適化を行う、請求項１に記載の運動予測の最適化方法。
【請求項７】
最適化した運動予測の結果に基づき、視覚オドメーターによって計算し、映像の撮影用カメラの運動情報を予測するステップ、をさらに含む、請求項１に記載の運動予測の最適化方法。
【請求項８】
前記映像はステレオ映像である、請求項１に記載の運動予測の最適化方法。
【請求項９】
映像中の現フレームの特徴点及び前フレームの特徴点を検出する検出手段であって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、検出手段と、
現フレームの特徴点及び前フレームの特徴点をマッチングするマッチング手段と、
マッチングの結果に基づき運動予測を行う運動予測手段と、
運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新する更新手段と、
更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行う最適化運動予測手段と、を含む、運動予測最適化装置。
【請求項１０】
処理器と、
前記処理器と結合し、且つコンピュータが実行できるコマンドを記憶する記憶装置と、を含み、
前記記憶装置が前記処理器により実行する時には、
映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴に基づき示され、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、
現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、
マッチングの結果に基づき運動予測を行うステップと、
運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、
更新した重み付け係数を有するサブ特徴を基に、運動予測の最適化を行うステップと、を実行する、運動予測最適化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、デジタル画像処理、コンピュータの視覚及びモデル認識分野に関するものであり、且つより具体的には、視覚オドメーター計算に利用できる運動予測の最適化方法、装置及びシステムに関するものである。
【背景技術】
【０００２】
運動予測に基づく視覚オドメーター計算アルゴリズムはロボットに搭載したカメラが撮影する画面を分析することによって自動的に運動予測を行い、それによりロボットの方位情報を取得することができる。当該アルゴリズムはロボット分野、スマートカー、無人機など広範囲に使用できる。現在すでに関連の研究及び製品が少なからず存在しているが、応用場面の多様性のため、今なお挑戦すべき研究分野となっている。
【０００３】
現在広く用いられているアルゴリズムでは、最初に固定特徴を取得且つ採用して特徴点とするが、実際のところシステムは様々な応用場面に直面するため、予め固定した特徴及びパラメーターでは恐らく良い実行結果を備えていない。
【０００４】
そのため、視覚オドメーター計算に利用できる運動予測の最適化技術が必要とされる。
【発明の概要】
【０００５】
本発明の一つの態様では、映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、マッチングの結果に基づき運動予測を行うステップと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップと、を含む、運動予測の最適化方法を提供する。
【０００６】
本発明の別の態様では、映像中の現フレームの特徴点及び前フレームの特徴点を検出する検出手段であって、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有する、検出手段と、現フレームの特徴点及び前フレームの特徴点をマッチングするマッチング手段と、マッチングの結果に基づき運動予測を行う運動予測手段と、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新する更新手段と、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行う最適化運動予測手段と、を含む、運動予測最適化装置を提供する。
【０００７】
本発明のさらに別の態様では、処理器と、前記処理器と結合し、且つコンピュータが実行できるコマンドを記憶する記憶装置と、を含み、前記記憶装置が前記処理器により実行する時には、映像中の現フレームの特徴点及び前フレームの特徴点を検出するステップであって、特徴点は複数のサブ特徴に基づき示され、且つ各サブ特徴はそれぞれの重み付け係数を有する、ステップと、現フレームの特徴点及び前フレームの特徴点をマッチングするステップと、マッチングの結果に基づき運動予測を行うステップと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップと、更新した重み付け係数を有するサブ特徴を基に、運動予測の最適化を行うステップと、を実行する、運動予測最適化システムを提供する。
【０００８】
本技術は効果的な適応学習視覚オドメーター計算アルゴリズムを提出し、当該方法は異なる場面で効果的に応用できる。従来方法と比べ、本技術は一連の重み付けサブ特徴を用いて特徴点ペアを表し、且つリアルタイムでサブ特徴の重み付けを更新する。当該方法は現在の場面に従って選択した最も有効な特徴で特徴点を表すことができる。また、本技術は同時に最適化モジュールを含み、適応学習結果によって運動予測の最適化ができる。そのうえ、本技術は良好なロバスト性及び正確性を備えている。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例を応用した運動予測最適化アルゴリズムのハードウェア情景図である。
【図２】本発明の実施例の運動予測最適化アルゴリズム200の簡略化ブロック図例である。
【図３】本発明の実施例の運動予測最適化方法300の詳細なフローチャート例である。
【図４】本発明の実施例の運動予測最適化方法中の特徴点の検出と描写の具体的なプロセス例である。
【図５】本発明の実施例の運動予測最適化方法中の特徴点のマッチングの具体的なプロセス例である。
【図６】本発明の実施例の運動予測最適化方法中の適応学習の具体的なプロセス例である。
【図７】本発明の実施例の運動予測最適化方法中の運動予測結果の最適化の具体的なプロセス例である。
【図８】特徴点のマッチングペアの最適化プロセス期間における位置の変化を示した概略図である。
【図９】本発明の実施例の運動予測最適化装置のブロック図例である。
【図１０】本発明の実施例の運動予測最適化システムのブロック図例である。
【発明を実施するための形態】
【００１０】
これから本技術の具体的な実施例を詳しく参照し、図面中に本技術の例を示す。具体的な実施例と合わせて本技術を説明するとしても、本技術を前記の実施例に限定するものではないと理解できる。むしろ、特許請求の定める本技術の精神及び範囲内に含まれる変更、修正及び同等物をカバーするものとする。注意すべき点として、ここで説明する方法のステップは任意の機能ブロックまたは機能構成により実行でき、且つ任意の機能ブロックまたは機能構成は物理エンティティまたは論理エンティティ、或いは両者の組合せによって実行され得る。
【００１１】
当業者が本技術をより良く理解するため、以下では図面と具体的な実施方式を合わせて本技術についてさらに詳細な説明を行う。
【００１２】
注意点として、次に紹介する例は一つの具体例に過ぎず、本技術の実施例は以下のような具体的なステップ、数値、条件、データ、順序等でなければならないと制限するものではない。当業者は本明細書を見ることで、本技術運用の考えを用いて本明細書中に述べていないさらに多くの実施例を構成できる。
【００１３】
図1は本発明の実施例を応用した運動予測最適化アルゴリズムのハードウェア情景図である。
【００１４】
図1に示すように、移動ロボット（スマートカー、無人機など）に装着されたカメラが動画を撮影し、動画フレームを取得する。動画を本発明の実施例の運動予測最適化アルゴリズムに入力し、そこから運動予測最適化の結果を取得する。
【００１５】
ここで、当該カメラは普通の一眼カメラで撮影した平面動画フレームでもよいし、また二眼カメラで撮影したステレオ動画フレームでもよいし、さらにまた全方向カメラなどその他のカメラでもよい。平面動画フレームを撮影する状況において、運動予測の結果は二次元運動予測マトリクスでよい。ステレオ動画フレームを撮影する状況において、運動予測の結果は奥行情報を含む三次元運動予測マトリクスでよい。全方向カメラで360度の全方位動画フレームを撮影する状況において、運動予測の結果は奥行情報と角度情報を含む三次元運動予測マトリクスでよい。
【００１６】
以下の説明において、制限的ではなく例として、ステレオ動画フレームの撮影に二眼カメラを採用した場合の実施例の方法及びステップを説明する。
【００１７】
図2は本発明の実施例の運動予測最適化アルゴリズム200の簡略化ブロック図例である。
【００１８】
図2に示すように、モジュール210は入力した動画フレームを受け取る。当該動画フレーム画像は移動ロボット（スマートカー、無人機など）に装着された二眼カメラから取得できる。
【００１９】
モジュール210において、動画フレーム画像中の各フレーム中の複数の特徴点を検出し、検出結果には各特徴点の位置及び特徴記述を含むことができる。ここで、特徴点は一連のサブ特徴の集合により記述でき、各サブ特徴は各自の重み付け係数（または重み）を有する。すなわち、一つの特徴の一連のサブ特徴の重み付け総和をその特徴点の特徴とする。
【００２０】
モジュール220は特徴点のマッチングモジュールであり、当該ブロックは各特徴点の特徴（すなわち、サブ特徴の重み付け総和）に基づき、隣接する両フレーム間の特徴点ペアをマッチングする。いわゆる特徴点ペアとはすなわち隣接する両フレーム中に存在する同一目標点の特徴点ペアである。これは従来の運動予測プロセス中の既知の特徴点マッチングのプロセスである。
【００２１】
モジュール230において、マッチングした特徴点ペアに基づいて、回転マトリクス及びシフトマトリクスを運動予測マトリクスとして計算しカメラの運動を表す。例えば四次元に基づく、ランサック（RANdom SAmple Consensus,RANSAC）など、既知のいかなる運動予測方法でも使用できる。
【００２２】
モジュール240は適応学習モジュールである。当該モジュールは現運動予測の結果に従ってリアルタイムで更新し、特徴点ペアの一連のサブ特徴の各重み付け係数を表すことができる。
【００２３】
モジュール250は最適化モジュールであり、当該モジュールは適応学習の結果に従って運動予測マトリクスを最適化し、そこから最終的に最適化した運動予測の結果を出力する。
【００２４】
図3は本発明の実施例の運動予測最適化方法300の詳細なフローチャート例である。
【００２５】
図3に示すように、本発明の実施例の運動予測最適化方法300には、映像中の現フレームの特徴点及び前フレームの特徴点を検出し、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有するステップ310、現フレームの特徴点及び前フレームの特徴点をマッチングするステップ320、マッチングの結果に基づき運動予測を行うステップ330、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するステップ340、更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うステップ350を含む。
【００２６】
このように、それぞれの重み付け係数を有する複数のサブ特徴を用いて動画フレーム中のすべての特徴点を記述することによって、各サブ特徴に重み係数または重要度を分配させ、且つリアルタイムの運動予測の結果に基づきリアルタイムに各サブ特徴の重み付け係数を更新して各サブ特徴の重み係数または重要度を調整することにより、更新した重み付け係数から得た調整後の重要度を用いてより最適化した運動予測の結果を得て、より正確にカメラの運動状況を予測させることができ、それによって様々な応用が行える。さらに、動画フレームの常時撮影及び更新と最適化の常時進行に伴って、適応的に運動予測結果を常時最適化することができ、それにより運動予測結果を実際の運動状況に自動的に近づけていくことができる。
【００２７】
図4は本発明の実施例の運動予測最適化方法中の特徴点の検出、モジュール210の特徴点検出とステップ310描写の具体的なプロセス例である。
【００２８】
ステップ311において、入力したカメラが集める連続の動画フレーム画像を受け取り、且つ各動画フレーム画像に対して、複数の特徴点を検出する。ここで、例えばSIFT （Scale-invariant feature transform）特徴、SURF（Speeded Up Robust Features）特徴、Harrisコーナー点など既知のまたは今後出現する特徴点検出に用いられる如何なる方法をも使用することができる。
【００２９】
ステップ312において、それぞれの重み付け係数
（外１）
2017054501.tif 000003
を有する複数のサブ特徴fkの集合を特徴Fとして用いて各特徴点を記述し、
【数１】
2017054501.tif 000004
となる。ここでのKはサブ特徴の個数を指す。例えばカラー特徴、グレースケール特徴、勾配特徴、視差情報など、既知のまたは今後出現する特徴記述に用いられる如何なる方法をも本願中のサブ特徴記述の方法として用いることができる。
【００３０】
その後、各動画フレーム中の各特徴点の位置及び各特徴点に対応するそれぞれの重み付け係数
（外２）
2017054501.tif 000005
を有する複数のサブ特徴fkの集合した特徴Fを含む、特徴点検出の位置及び記述結果を出力する。
【００３１】
ここで、この少し後で行う特徴点のマッチングのために、少なくとも（好ましくは、隣接した）二つの動画フレームの特徴点の検出した位置及び記述結果を取得する。
【００３２】
図5は本発明の実施例の運動予測最適化方法中の特徴点のマッチングの具体的なプロセス例である。
【００３３】
特徴点マッチングのプロセスは現フレームにおいて前フレーム中の特徴点の現在位置と、前フレーム中の物体（例えばボール）が現フレームのどの位置まで運動したかを見つけるためのものである。つまり、二つの動画フレームにおいて基本的に同じ特徴点を見つけて特徴点ペアにできるようにする。基本的に同じ特徴点を見つけるために、まず特徴点を用いて各特徴点を記述し、その後見つけた基本的に同じ特徴を持つ特徴点ペアを比較しマッチングペアとする。本願において、一連のサブ特徴及びその重み付け係数を用いて上述の特徴としている。前述したように、サブ特徴にはグレースケール特徴、カラー特徴、勾配特徴などを含むことができ、ここで詳細な説明はしない。
【００３４】
具体的には、ステップ321において、入力した（好ましくは、隣接する）二つの動画フレーム中の特徴点の検出及びその記述の結果を受け取るが、上述のように、それは二つの動画フレーム中の各特徴点の位置及び各特徴点に対応するそれぞれの重み付け係数
（外３）
2017054501.tif 000006
を有する複数のサブ特徴fkの集合した特徴Fを含む。ステップ321において、特徴点検出及び記述の結果に基づき、さらに二つの動画フレーム同士の異なる特徴点ペアの特徴上の差異を計算する。
【００３５】
ここで、一つ前のフレーム映像中の第i特徴点
（外４）
2017054501.tif 000007
はこのように表す。
【数２】
2017054501.tif 000008
【００３６】
式中、
（外５）
2017054501.tif 000009
はその第i特徴点のx軸方向の座標値を示し、
（外６）
2017054501.tif 000010
はその第i特徴点のy軸方向の座標値を示し、
（外７）
2017054501.tif 000011
はその第i特徴点のz軸方向の座標値を示す。iはmより小さいまたは同等の正の整数である。mは正の整数である。この例において、当該特徴点は三次元を用いて表すが、当然これは例示に過ぎず、実際にはカメラの属性に基づき採用した他の次元によってその特徴点を表してもよく、ここで一つ一つ取り上げることはしない。
【００３７】
現フレーム映像中の第j特徴点
（外８）
2017054501.tif 000012
はこのように表す。
【数３】
2017054501.tif 000013
【００３８】
式中、
（外９）
2017054501.tif 000014
は当該第j特徴点のx軸方向の座標値を示し、
（外１０）
2017054501.tif 000015
は当該第j特徴点のy軸方向の座標値を示し、
（外１１）
2017054501.tif 000016
は当該第j特徴点のz軸方向の座標値を示す。jはnより小さいまたは同等の正の整数である。nは正の整数である。
【００３９】
一つ前のフレーム中の特徴点の集合
（外１２）
2017054501.tif 000017
及び現フレーム中の特徴点の集合
（外１３）
2017054501.tif 000018
はそれぞれこのように表す。
【数４】
2017054501.tif 000019
【数５】
2017054501.tif 000020
【００４０】
二つのフレーム間の特徴点ペア
（外１４）
2017054501.tif 000021
の特徴上の差異
（外１５）
2017054501.tif 000022
はこのように表す。
【数６】
2017054501.tif 000023
【００４１】
式中、前述のように、複数の（ここでは、K個とする）サブ特徴（それぞれ重み付け係数
（外１６）
2017054501.tif 000024
を有する）を用いて特徴とする。第kサブ特徴上の特徴点ペアの差異を
（外１７）
2017054501.tif 000025
と表す。k,Kはすべて正の整数である。
（外１８）
2017054501.tif 000026
は
（外１９）
2017054501.tif 000027
が一対のマッチングペアであることを表す。注意する点として、
（外２０）
2017054501.tif 000028
は一つ前のフレームの特徴点
（外２１）
2017054501.tif 000029
の特徴の値と現フレームの特徴点
（外２２）
2017054501.tif 000030
の当該特徴の値の差を表せる。同じように、
（外２３）
2017054501.tif 000031
は一つ前のフレームの特徴点
（外２４）
2017054501.tif 000032
の第kサブ特徴の値と現フレームの特徴点
（外２５）
2017054501.tif 000033
の当該第kサブ特徴の値の差を表す。第kサブ特徴の重み付け係数
（外２６）
2017054501.tif 000034
によって第kサブ特徴に重み係数または重要度を分配する。
【００４２】
ここで、
【数７】
2017054501.tif 000035
である。
【００４３】
ステップ322において、取得した二つのフレーム間の特徴点ペアの差異に従って、最適な特徴点ペアのマッチング結果を選択取得する。最適な特徴点ペアのマッチング結果を選択取得する方法は、以下の公式に示すように、すべての差異が最も小さい特徴点ペアのマッチング結果を選択取得することを含められる（なぜなら前述のように、基本的に同じ特徴を有する特徴点を見つけるためである）。
【数８】
2017054501.tif 000036
【００４４】
式中、Nはマッチング上の特徴点ペアの数量を表す。
【００４５】
当然、総差異の最も少ない特徴点ペアを取得する方法は上述の公式に限らず、他の実施例において既知の最小平均二乗誤差法、最小平均絶対値誤差法などを採用できる。
【００４６】
その後、特徴点ペアのマッチング結果を出力するが、次のように表される。
【数９】
2017054501.tif 000037
【００４７】
図2及び図3の示すモジュール230及びステップ330において、両フレーム間の特徴点ペアのマッチング結果を基に、現フレームのマッチングのそれぞれの特徴点と前フレームのマッチングのそれぞれの特徴点同士の相対的回転及びシフトから運動予測を行い、両フレーム間の全体的回転マトリクスR及びシフトマトリクスtを取得することができる。
【００４８】
ここで、既知の各種運動予測計アルゴリズムを用いて運動予測を行うことができるが、一般的な運動予測計アルゴリズムは既知のRANSAC、四元数方法などである。両フレーム間のマッチングの特徴点を基に動きマトリクス（例えば、三次元の状況下で、回転マトリクスとシフトマトリクスを含む）を予測するのは動画処理の基礎知識であるので、以下に運動予測計アルゴリズムの簡単なステップの概略だけを説明し、具体的な詳細については述べない。
【００４９】
運動予測の結果には回転マトリクス（Rotation matrix）、
【数１０】
2017054501.tif 000038
及びシフトマトリクス（Translation vector）を含むことができる。
【数１１】
2017054501.tif 000039
【００５０】
両フレーム間の特徴点マッチングペアに基づき、最終的なR,t値を求めることができる。RANSAC、四元数方法など、既知の多くの方法がある。例を挙げると、以下の公式で表すように、最小化投影誤差に基づきR,tを求められる。
【数１２】
2017054501.tif 000040
【００５１】
例えばRANSAC方法では、毎回n個の点を選択し、ガウス・ニュートン最適化法によって一組のR,tを取得し、その後その結果を各マッチングペア中に当てはめ、最多適格マッチングペア（inlier）を得て最適なR,t結果とする。
【００５２】
図6は本発明の実施例の運動予測最適化方法中の適応学習の具体的なプロセス例である。
【００５３】
図5で述べる方式を用いて特徴の総差異が最も小さい特徴点ペアを選択しても誤った特徴点ペアが含まれることもあるが、ノイズ、光、遮蔽などの原因により、誤ってマッチングすべきでない特徴点の特徴間の差異も小さくしてしまうことがある。従って、運動予測を最適化してより正確な運動予測結果を取得するために、最初に比較的正確な特徴点ペア（適格マッチングペアとする）をふるい分け、恐らく誤っている特徴点ペアは排除することができる。
【００５４】
具体的には、ステップ341において、入力した隣接する動画フレーム中の特徴点マッチングペア及び運動予測の結果、運動予測マトリクス（当該例では、回転マトリクスR及びシフトマトリクスt）を受け取り、その後、受け取った現在の運動予測結果、即ち運動予測マトリクスに従って当該現在の運動予測結果に適合するすべての特徴点ペアを取得し、適格マッチングペア（またはinliers）、もしくは不適格マッチングペア（またはoutlier）とする。
【００５５】
具体的には、一つの実施例において、各特徴点ペア
（外２７）
2017054501.tif 000041
に関して、（前フレームの）特徴点
（外２８）
2017054501.tif 000042
について、現在の運動予測結果（すなわち回転マトリクスRとシフトマトリクスt）によってその現フレーム中の位置
（外２９）
2017054501.tif 000043
を予測することができる。
【数１３】
2017054501.tif 000044
【００５６】
以下のような公式によって当該特徴点ペア
（外３０）
2017054501.tif 000045
が適格マッチングペア（またはinliers）と不適格マッチングペア（またはoutlier）のどちらに属するか判断する。（thrを用いて判断しきい値とする）
【数１４】
2017054501.tif 000046
【００５７】
式中、
（外３１）
2017054501.tif 000047
は現フレーム中の特徴点の実際の位置
（外３２）
2017054501.tif 000048
と前フレーム中の特徴点
（外３３）
2017054501.tif 000049
の現フレーム中の計算上の位置
（外３４）
2017054501.tif 000050
同士の距離を表す。例えば三次元の状況では、当該距離は空間上の距離でよい。
【００５８】
つまり、各マッチングペア中の現フレーム中の特徴点の実際の位置
（外３５）
2017054501.tif 000051
と運動予測の結果を用いて予測した前フレーム中の特徴点
（外３６）
2017054501.tif 000052
の現フレーム中の計算上の位置
（外３７）
2017054501.tif 000053
は比較的近く（一つの距離しきい値より小さい）、当該マッチングペアがより運動予測の結果に適合することを表す。よって、ふるい分けによって運動予測結果により適合するとしたマッチングペアを適格マッチングペアとし、運動予測の結果により適合しない恐らく誤ったマッチングペアを排除することで、続くサブ特徴の重み付け係数の更新を行い、それによってより正確な更新結果を取得する。
【００５９】
ステップ342において、各適格マッチングペア（inlier）の各サブ特徴上の差異を計算する。
【００６０】
例えば、適格マッチングペア
（外３８）
2017054501.tif 000054
の第kサブ特徴
（外３９）
2017054501.tif 000055
の差異は以下のように計算される。
【数１５】
2017054501.tif 000056
【００６１】
ここで、
【数１６】
2017054501.tif 000057
【００６２】
上述の公式は適格マッチングペア中の前フレームの特徴点
（外４０）
2017054501.tif 000058
の第kサブ特徴の一つ目の値
（外４１）
2017054501.tif 000059
及び適格マッチングペア中の現フレームの特徴点
（外４２）
2017054501.tif 000060
の第kサブ特徴の二つ目の値
（外４３）
2017054501.tif 000061
同士の差の値
（外４４）
2017054501.tif 000062
を正規化し、当該差の値に関連する上述の差異を取得するものである。
【００６３】
このように、すべての適格マッチングペアの第kサブ特徴
（外４５）
2017054501.tif 000063
上の差異の集合
（外４６）
2017054501.tif 000064
は以下のように計算される。
【数１７】
2017054501.tif 000065
【００６４】
ステップ343において、各サブ特徴の重み付け係数の調整量を計算するが、例えば、第kサブ特徴
（外４７）
2017054501.tif 000066
の重み付け係数の調整量
（外４８）
2017054501.tif 000067
は以下のように示す。
【数１８】
2017054501.tif 000068
（外４９）
2017054501.tif 000069
は各種の関数でよい。通常、
（外５０）
2017054501.tif 000070
は以下の関数を取得するよう設置できるが、すなわち、取得した計算の差異
（外５１）
2017054501.tif 000071
が大きいほど、重み付け係数
（外５２）
2017054501.tif 000072
を小さく（すなわち、
（外５３）
2017054501.tif 000073
を絶対値のより大きな負数とする）調整し、且つ計算した差異
（外５４）
2017054501.tif 000074
が小さいほど、重み付け係数
（外５５）
2017054501.tif 000075
をより大きく（すなわち、
（外５６）
2017054501.tif 000076
を絶対値のより大きな整数とする）調整する。本例においては、例えば
【数１９】
2017054501.tif 000077
と設定できるが、これは例に過ぎず、その他の例においては上述の条件を満たす他の関数を設置してもよい。
【００６５】
ステップ344において、計算した調整量
（外５７）
2017054501.tif 000078
を用いて、現第kサブ特徴の重み付け係数
（外５８）
2017054501.tif 000079
をこのように調整する。
【数２０】
2017054501.tif 000080
【００６６】
このように、計算した差異
（外５９）
2017054501.tif 000081
が大きいほど、重み付け係数
（外６０）
2017054501.tif 000082
をより小さく調整し、且つ計算した差異
（外６１）
2017054501.tif 000083
が小さいほど、重み付け係数
（外６２）
2017054501.tif 000084
をより大きく調整する。
【００６７】
これは、通常は適格マッチングペア中の二つの特徴点のサブ特徴上の値は接近している、ひいては同じはずであるとみなすためであり、正確なマッチングペアは同じ物体を表すはずであり、同じ物体のある一つのサブ特徴上の値は同じまたは接近しているはずなので、仮に適格マッチングペアに対して計算したある一つのサブ特徴の値の差異が大きいほど、当該サブ特徴は当該物体（または当該マッチングペア中の二つの特徴点）の記述に適合しないとみなし、したがって当該サブ特徴の重み係数または重要度はより低くなるはずなので、当該サブ特徴の値の差異はより小さくなる。仮に適格マッチングペアに対して計算したある一つのサブ特徴上の値の差異が小さいほど、当該サブ特徴は当該物体（または当該マッチングペア中の二つの特徴点）の記述に適合するとみなし、したがってそのサブ特徴の重み係数または重要度はより高くなるはずなので、当該サブ特徴の重み付け係数をより大きく調整する。
【００６８】
その後、適応学習の結果（具体的には、更新後のサブ特徴の重み付け係数を含む）を出力する。
【００６９】
このように、適応的に現在の運動予測の結果からサブ特徴の重み付け係数を調整し、サブ特徴の重み付け係数に当該サブ特徴の重み係数または重要度を常時に、より正確に反映させ、それにより動画フレームの常時撮影及び運動予測の常時進行に伴って、取得したより正確なサブ特徴の重み付け係数を適応的に調整でき、それにより自動的に各サブ特徴の重み係数及び行う運動予測の結果を用いて実際の運動状況に次第に近づけていくことができる。
【００７０】
図7は本発明の実施例の運動予測最適化方法中の運動予測結果の最適化の具体的なプロセス例である。
【００７１】
ステップ351において、入力したマッチングして得た特徴点ペアの集合（詳細はステップ322）及び適応学習して得た更新後のサブ特徴の重み付け係数（詳細はステップ344）を受け取る。その後、マッチングペア
（外６３）
2017054501.tif 000085
に対して（本例では、好ましくは、適格マッチングペア（inliers））、更新後のサブ特徴重み付け係数に従い再度特徴点のマッチングプロセスを行い（詳細はステップ321及び322）、それにより
（外６４）
2017054501.tif 000086
のマッチングポイント
（外６５）
2017054501.tif 000087
の位置を調整し、最適化後のマッチングペア
（外６６）
2017054501.tif 000088
（図8に示す）を取得する。図8は特徴点のマッチングペアの、最適化プロセス期間における位置の変化を示した概略図である。
【００７２】
当然、図8は前フレーム中のマッチングポイント
（外６７）
2017054501.tif 000089
の位置調整を例示的に描いたに過ぎず、その他の例において、現フレーム中のマッチングポイント
（外６８）
2017054501.tif 000090
の位置に対して調整を行ってもよい。
【００７３】
ステップ352において、現在選択した適格マッチングペア（inliers）に従って運動予測マトリクスを再計算し最適化した運動予測結果とする。
【００７４】
このように、新たな最適化後の運動予測結果を出力する。
【００７５】
注意点として、ここで、上述の最適化操作を適格マッチングペアに対してだけ行うので、恐らく誤っているマッチングペアの悪影響を排除することができ、最良の運動予測結果を取得できる。
【００７６】
このように、それぞれの重み付け係数を有する複数のサブ特徴を用いて動画フレーム中のすべての特徴点を記述することによって、各サブ特徴に重み係数または重要度を分配させ、且つリアルタイムの運動予測の結果に基づき各サブ特徴の重み付け係数をリアルタイムに更新して各サブ特徴の重み係数または重要度を調整し、それにより更新した重み付け係数により得た調整後の重要度を用いてより最適化した運動予測の結果を取得して、カメラの運動状況をより正確に予測させることができ、そこから各種の応用を行うことができる。さらに、動画フレームの常時撮影及び更新と最適化の常時進行に伴って、運動予測結果を適応的に常時更新及び最適化でき、それにより自動的に運動予測結果を実際の運動状況に次第に近づけていくことができる。最適化したマッチング特徴点ペアに基づいて取得する再度実行した運動予測結果によって、映像の撮影用カメラの運動情報を予測し、それによりカメラを搭載した無人機、車両などの運動動線を予測することで、各種の実際的な応用を行うことができる。
【００７７】
図9は本発明の実施例の運動予測最適化装置900のブロック図例である。
【００７８】
図9に示す運動予測最適化装置900には、映像中の現フレームの特徴点及び前フレームの特徴点を検出し、特徴点は複数のサブ特徴を用いて表し、且つ各サブ特徴はそれぞれの重み付け係数を有するように構成された検出部901、現フレームの特徴点及び前フレームの特徴点をマッチングするように構成されたマッチング部902、マッチングの結果に基づき運動予測を行うように構成された運動予測部903、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新するように構成された更新部904、及び更新した重み付け係数を有するサブ特徴を基に、最適化した運動予測を行うように構成された最適化運動予測部905を含む。
【００７９】
一つの実施例において、前記更新部904は、運動予測の結果に基づき、当該運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとし、前記適格マッチングペアの各サブ特徴上の差異を計算し、計算した差異に基づき、各サブ特徴の重み付け係数の調整量を決定し、前記調整量に基づき、各サブ特徴それぞれの重み付け係数を更新するように構成される。
【００８０】
一つの実施例において、更新部904が行う前記運動予測の結果に基づき、運動予測の結果と適合する現フレームの特徴点及び前フレームの特徴点のマッチングペアを適格マッチングペアとするステップには、前フレームの特徴点について、当該運動予測の結果から現フレーム中の位置を予測すること、前記予測した位置と現フレームの特徴点の実際の位置の距離を計算すること、計算した距離が所定しきい値より小さな現フレームの特徴点及び前フレームの特徴点のマッチングペアを選択して適格マッチングペアとすることを含む。
【００８１】
一つの実施例において、更新部904が行う前記適格マッチングペアの各サブ特徴上の差異を計算するステップには、前記適格マッチングペアの前フレームの特徴点のサブ特徴の一番目の値を計算すること、前記適格マッチングペアの現フレームの特徴点のサブ特徴の二番目の値を計算すること、前記適格マッチングペアの各サブ特徴上の差異を計算し、前記差異と一番目の値及び二番目の値の差異は相関することを含む。
【００８２】
一つの実施例において、更新部904が行う前記計算した差異に基づき、サブ特徴の各重み付け係数の調整量を決定するステップには、重み付け係数の調整量を決定し、計算した差異が大きいほど、重み付け係数の調整は小さくなり、且つ計算した差異が小さいほど、重み付け係数の調整が大きくなるようにすることを含む。
【００８３】
一つの実施例において、運動予測最適化装置900はさらに最適化した運動予測の結果に基づき、視覚オドメーター計算によって、映像の撮影用カメラの運動情報を予測することができる。
【００８４】
一つの実施例において、映像はステレオ映像でよい。
【００８５】
このように、それぞれの重み付け係数を有する複数のサブ特徴を用いて動画フレーム中のすべての特徴点を記述することによって、各サブ特徴に重み係数または重要度を分配させ、且つリアルタイムの運動予測の結果に基づき各サブ特徴の重み付け係数をリアルタイムに更新して各サブ特徴の重み係数または重要度を調整し、それにより更新した重み付け係数により得た調整後の重要度を用いてより最適化した運動予測の結果を取得して、カメラの運動状況をより正確に予測させることができ、そこから各種の応用を行うことができる。さらに、動画フレームの常時撮影及び更新と最適化の常時進行に伴って、運動予測結果を適応的に常時更新及び最適化でき、それにより自動的に運動予測結果を実際の運動状況に次第に近づけていくことができる。最適化したマッチング特徴点ペアに基づいて取得する再度実行した運動予測結果によって、映像の撮影用カメラの運動情報を予測し、それによりカメラを搭載した無人機、車両などの運動動線を予測することで、各種の実際的な応用を行うことができる。
【００８６】
図10は本発明の実施例の運動予測最適化システム1000のブロック図例である。
【００８７】
運動予測最適化システム1000には、処理器（H1）、前記処理器（H1）と結合し、且つコンピュータが実行できるコマンドを記憶し、前記処理器により実行する時には、映像中の現フレームの特徴点及び前フレームの特徴点を検出し、特徴点は複数のサブ特徴に基づき示され、且つ各サブ特徴はそれぞれの重み付け係数を有すること、現フレームの特徴点及び前フレームの特徴点をマッチングすること、マッチングの結果に基づき運動予測を行うこと、運動予測の結果に基づき、各サブ特徴のそれぞれの重み付け係数を更新すること、更新した重み付け係数を有するサブ特徴を基に、運動予測の最適化を行うこと、という図3に示すようなステップを行うための記憶装置（H2）を含むことができる。
【００８８】
処理器（H1）には例えば、一つまたは複数の処理器或いはマイクロ処理器を含められるがこれらに限らない。
【００８９】
記憶装置（H2）には例えば、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、フロッピーディスク、ソリッドステートドライブ、リムーバブルディスク、CD-ROM、DVD-ROM、ブルーレイディスクを含められるがこれらに限らない。
【００９０】
それ以外にも、運動予測最適化システム1000にはさらに、データバス（H3）、入力/出力（I/O）バス（H4）、ディスプレイ（H5）、及び入力/出力設備（H6）（例えば、キーボード、マウス、スピーカーなど）などを含むことができる。
【００９１】
処理器（H1）はI/Oバス（H4）を通じて有線または無線ネットワーク（図示せず）を介して外部設備（H5、H6など）と通信できる。
【００９２】
メモリ（H2）はさらに少なくとも一つのコマンドを含み、処理器（H1）により実行する際、本技術の各実施例の各機能または方法のステップを実施することができる。
【００９３】
メモリ（H2）はさらにコンピュータが実行可能なコマンドを記憶でき、それは処理器（H1）により実行する際、本技術が述べる実施例中の各機能及び/または方法のステップを行うためのものである。
【００９４】
当然、上述の具体的な実施例は限定ではなくあくまで例に過ぎず、且つ当業者は本技術の概念を基に上述でそれぞれ説明した各実施例中のステップ及び装置を合成及び組み合わせることで本技術の効果を実現することができ、こうした合成及び組合せからなる実施例も本技術中に含まれるので、ここでそうした合成及び組合せを一つ一つ説明することはしない。
【００９５】
注意点として、本開示中で述べる長所、利点、効果などは限定ではなくあくまで例に過ぎず、これら長所、利点、効果は本技術の各実施例が必ず備えていなければならないものと見なすことはできない。別の点として、上述で開示した具体的な詳細は例示のため及び理解を容易にするためのものであり、限定ではなく、上述の詳細は本技術が必ず上述の具体的な詳細を用いて実現しなければならないと限定するものではない。
【００９６】
本開示において関係する器材、装置、機器、システムのブロック図は例示的な例に過ぎず、且つブロック図に示す方式に従い接続、配置、構成を行わなければならないと要求または暗示することを意図したものではない。当業者であれば、これらの器材、装置、機器、システムは任意の方式で接続、配置、構成できると知っている。例えば「含む」「包含する」「有する」などの語句は開放性の語彙であり、「含むがこれに限らない」を指し、且つ互換的に使用できる。ここで用いる語彙「または」及び「及び」は「及び/または」の語彙を指し、且つ文脈で明確にそうでないと指示する場合を除き、互換的に使用できる。ここで使用する語彙「例えば」は「例えるが限定しない」の句を指し、且つ互換的に使用できる。
【００９７】
本開示におけるステップフローチャート及び以上の方法説明は例示的な例に過ぎず、且つ与えた順序に従い各実施例のステップを実行しなければならないと要求または暗示することを意図するものではない。当業者であれば、以上の実施例中のステップの順序を任意の順序で実行できると知っている。例えば「その後」、「それから」、「続いて」などの語句にステップの順序を制限する意図はない。こうした語句はこれらの方法説明を読む読者を導くために用いたに過ぎない。その他に、例えば単数の要素に「一つの」「一」または「該」という冠詞を用いた任意の引用も、その要素を単数に限定するとは解釈されない。
【００９８】
その他に、本文中の各実施例のステップ及び装置は、ある実施例中だけで実行すると限定するものではなく、実際は本技術の概念に基づいて本文中の各実施例において関連する部分的なステップ及び一部の装置と合わせて新たな実施例を構想することができ、それら新たな実施例も本技術の範囲に含まれる。
【００９９】
以上で述べた方法の各操作は相応する機能を実行できる任意の適切な手段によって実行できる。当該手段には、各種ハードウェア及び/またはソフトウェアコンポーネント及び/またはモジュールを含むことができ、ハードウェアの回路、特定用途向け集積回路（ASIC）または処理器を含むがこれらに限らない。
【０１００】
ここで述べる機能を実行するために設計された汎用処理器、デジタルシグナル処理器（DSP）、ASIC、フィールドプログラマブルゲートアウェイ（FPGA）またはその他のプログラマブルロジックデバイス（PLD）、離散ゲートまたはトランジスタ論理、離散のハードウェアコンポーネント或いはその任意の組み合わせを利用して、上述の各例のロジックモジュール、モジュール及び回路を実現または実行することができる。汎用処理器はマイクロ処理器でよいが、ただし代替として、当該処理器はいかなる市販の処理器、制御機、マイクロ制御機または状態機械でもよい。処理器はさらに、例えばDSPとマイクロ処理器の組合せ、複数のマイクロ処理器、DSPコアと連携した一つ或いは複数のマイクロ処理器またはその他のいかなるこうした構成など、計算機器の組み合わせを実現できる。
【０１０１】
本開示が説明する方法またはアルゴリズムと合わせたステップはハードウェア、処理器が実行するソフトウェアモジュール或いはこの両者の組合せ中に直接組入れることができる。ソフトウェアモジュールはどんな形式の有形記憶媒体中にでも存在できる。使用できる記憶媒体のいくつかの例としてランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROMなどが含まれる。記憶媒体は処理器と結合し、処理器が当該記憶媒体から情報の読み取り及び当該記憶媒体に情報を書き込めるようにする。代替方式では、記憶媒体は処理器と一体でよい。ソフトウェアモジュールは一つのコマンド或いは多数のコマンドでよく、さらにいくつかの異なるコード・セグメント上、異なるプログラム間及び複数の記憶媒体を越えて分布できる。
【０１０２】
本開示の方法は上述の方法を実現するための一つまたは複数の動作を含む。方法及び/または動作は特許請求の範囲から逸脱することなく互換性をもてる。言い換えれば、動作の具体的な順序を指定している場合を除き、具体的動作の順序及び/または使用は特許請求の範囲から逸脱することなく修正できる。
【０１０３】
ここで述べる機能はハードウェア、ソフトウェア、ファームウェアまたはその任意の組合せによって実現できる。もしソフトウェアによって実現する場合、機能は一つまたは複数のコマンドとして相応しいコンピュータ可読媒体上に記憶できる。記憶媒体はコンピュータによりアクセスできる使用可能な如何なる相応しい媒体でもよい。このようなコンピュータ可読媒体にはRAM、ROM、EEPROM、CD-ROMまたはその他の光ディスクメモリ、磁気ディスクメモリまたはその他の磁気メモリデバイス、或いはコマンドまたはデータ構造の形式で所望のプログラムコードを携帯または記憶するために使用し、且つコンピュータによってアクセスできるその他いかなる媒体をも含むことができるが、これは例であって限定ではない。ここで使用するようなディスク（disk及びdisc）には、コンパクトディスク（CD）、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク（DVD）、フロッピーディスク及びブルーレイディスクを含むが、そのうちのディスク（disk）は通常データを磁気的に再生し、ディスク（disc）はレーザーを用いてデータを光学的に再生する。
【０１０４】
従って、コンピュータプログラム製品はここで与える操作を行うことができる。例えば、このようなコンピュータプログラム製品は有形記憶媒体（及び/またはエンコード）にそのコマンドを備えたコンピュータ可読有形媒体でよく、当該コマンドは一つ或いは複数の処理器の実行によってここで述べる操作を行える。コンピュータプログラム製品はパッケージ材料を含むことができる。
【０１０５】
ソフトウェアまたはコマンドは伝送媒体を通して伝送できる。例えば、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者ライン（DSL）、または例えば赤外線、無線及びマイクロ波の無線技術の伝送媒体を使用してウェブサイト、サーバーまたは他のリモートソースからソフトウェアを伝送できる。
【０１０６】
その他に、ここに述べる方法及び技術を実行するためのモジュール及び/またはその他適切な手段は、適宜、ユーザー端末及び／または基地局によってダウンロード及び／または他の方法で入手できる。例えば、そうした機器をサーバーと結合してここに述べる方法の手段の伝送を実行するよう促すことができる。或いは、ここで述べる各種方法は、記憶部材（例えばRAM、ROM、CDまたはフロッピーディスクなどの物理記憶媒体）を通じて提供し、ユーザー端末及び／または基地局がその機器或いはその機器に提供する記憶部材と結合する際に各種方法を取得できるようにすることができる。その他に、ここで述べる方法及び技術を機器に提供するために適切なその他如何なる技術でも使用できる。
【０１０７】
その他の例及び実現方法は本開示及び添付の特許請求の範囲及び精神内にある。例えば、ソフトウェアの本質により、上述の機能は処理器、ハードウェア、ファームウェア、ハードワイヤードまたはこれらの任意の組合せにより実行するソフトウェアを用いて実現できる。機能を実現する特徴も各位置に物理的に置かれるが、それは機能の一部を異なる物理位置において実現するために配置されることを含む。そのうえ、特許請求において使用したものを含め、「少なくとも一つの」から始まる項の列挙中で使用する「あるいは」は分離の列挙を指し、例えば「A、BまたはCの少なくとも一部」の列挙はAまたはBまたはC、またはABまたはACまたはBC、またはABC（すなわちA及びB及びC）を意味する。その他、「例示的」の用語は説明する例が好ましい或いは他の例より良いことを意味するものではない。
【０１０８】
添付の特許請求の定義の教示する技術から逸脱することなくここに述べる技術の各種改良、代替及び変更を行うことができる。その他、本開示の特許請求の範囲は以上に述べる処理、機器、製造、事柄の構成、手段、方法及び動作の具体的な方面に限定しない。ここで述べるのと同様の方面において行う基本的に同じ機能或いは基本的に同じ結果を実現する従来または今後開発される処理、機器、製造、事柄の構成、手段、方法または動作を利用することができる。従って、添付の特許請求はその範囲内のこのような処理、機器、製造、事柄の構成、手段、方法または動作を含む。
【０１０９】
本開示の提供する方面の以上の説明によりいかなる当業者も本技術を実行または使用できるようにした。これらの方面の各種修正は当業者にとって非常に明らかなものであり、さらにここで定義する一般原理は本技術の範囲から逸脱することなくその他の方面に応用できる。従って、本技術はここに示した方面に限定することを意図しておらず、ここに開示する原理及び新規の特徴との一致に基づく最大範囲に及ぶ。
【０１１０】
例示及び説明のために以上の説明を行ったが、ここでの説明は本技術の実施例をこの開示の形式に限定することを意図していない。以上、幾つかの方面及び実施例について述べたが、当業者であれば、種々の変形、修正、変更、追加及びサブ組合せが可能であることが理解できる。
【図１】
2017054501.tif 000091
【図２】
2017054501.tif 000092
【図３】
2017054501.tif 000093
【図４】
2017054501.tif 000094
【図５】
2017054501.tif 000095
【図６】
2017054501.tif 000096
【図７】
2017054501.tif 000097
【図８】
2017054501.tif 000098
【図９】
2017054501.tif 000099
【図１０】
2017054501.tif 000100