(57)【要約】      （修正有）【課題】自律運転のための、スケールドリフトを効果的に無効にするロバストモノキュラＳＦＭを提供する。【解決手段】単一のカメラしか必要としない、３次元（３Ｄ）位置特定を実行する方法は、一つのカメラから画像を取り込むことと、疎な特徴、緻密なステレオおよびオブジェクトバウンディングボックスから、キューコンビネーションを生成することと、グランドプレーンを推定するために、キューコンビネーションを使用してモノキュラＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正することと、ＳＦＭ、グランドプレーンおよびオブジェクトバウンディングボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行すること、を含む。【選択図】図１
2018091857.tif 000002
【特許請求の範囲】
【請求項１】
単一のカメラしか必要としない３次元（３Ｄ）位置特定を実行する方法であって、
前記カメラからフレーム単位に画像を取り込むことと、
それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる３Ｄ点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む２次元（２Ｄ）オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成することと、
前記キュー組み合わせを使用してモノキュラＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正することと、
前記モノキュラＳＦＭ、前記地表面および前記２Ｄオブジェクト境界ボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行することと、
Ｋを前記カメラに固有のキャリブレーション行列とし、ｂ＝（ｘ,ｙ,１）Ｔを同次座標の２Ｄ境界ボックスの底辺であるものとして、地表面｛ｈ，ｎ｝：
【数１】
2018091857.tif 000076
を介して逆投影することとを含み、
ｈおよびｎは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する２つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、方法。
【請求項２】
３Ｄ位置特定のために、前記モノキュラＳＦＭ、前記キュー組み合わせ、およびオブジェクト追跡を組み合わせることを、さらに含む、請求項１に記載の方法。
【請求項３】
前記２Ｄオブジェクト境界ボックスを追跡し、該追跡したオブジェクト境界ボックスを用いて、背景（非移動オブジェクト）となる画像の領域を決定し、前記モノキュラＳＦＭを使用して前記カメラの姿勢および前記地表面を推定することを、さらに含む、請求項１に記載の方法。
【請求項４】
前記オブジェクトに対して緻密なオプティカルフロー推定を実行することを、さらに含む、請求項１に記載の方法。
【請求項５】
前記３Ｄ点、前記緻密なステレオデータおよび２Ｄオブジェクト境界ボックスを使用して前記地表面を推定することを含む、請求項１に記載の方法。
【請求項６】
フレームごとに各キューの相対的な重要度を示す１つ以上のモデルを学習することを、さらに含む、請求項１に記載の方法。
【請求項７】
推定した地表面を適用して、前記モノキュラＳＦＭのスケールドリフトを補正することを、さらに含む、請求項１に記載の方法。
【請求項８】
前記推定した地表面が、前記オブジェクトを囲む３Ｄ境界ボックスを求めるために使用される、請求項７に記載の方法。
【請求項９】
前記３Ｄ位置特定を用いて自律運転および運転安全性を実行することを、さらに含む、請求項１に記載の方法。
【請求項１０】
観測共分散Ｕｊで、方法ｉ＝１、…、ｍが、前記地表面を推定するために使用され、
時刻ｋで融合を
【数２】
2018091857.tif 000077
として決定することを含む、請求項１に記載の方法。
【請求項１１】
平らな地面に対応する前景中の関心領域（ＲＯＩ）を決定することを含む、プレーン誘導型の緻密なステレオデータを決定することを、さらに含む、請求項１に記載の方法。
【請求項１２】
前記｛ｈ，ｎ｝の値とフレームｋおよびｋ＋１の間の相対的なカメラ姿勢｛Ｒ，ｔ｝とについて、ホモグラフィ行列
【数３】
2018091857.tif 000078
を使用してピクセルごとのマッピングを決定することを、さらに含む、請求項１１に記載の方法。
【請求項１３】
単一のカメラしか必要としない、車両または歩行者を含む交通参加者の３次元（３Ｄ）位置特定を実行する方法であって、
前記カメラからフレーム単位に画像を取り込むことと、
それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる３Ｄ点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む２次元（２Ｄ）オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成することと、
前記キュー組み合わせを使用してモノキュラＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正することと、
前記モノキュラＳＦＭ、前記地表面および前記２Ｄオブジェクト境界ボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行することと、
Ｋを前記カメラに固有のキャリブレーション行列とし、ｂ＝（ｘ,ｙ,１）Ｔを同次座標の２Ｄ境界ボックスの底辺であるものとして、地表面｛ｈ，ｎ｝：
【数４】
2018091857.tif 000079
を介して逆投影することとを含み、
ｈおよびｎは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する２つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、方法。
【請求項１４】
３Ｄ位置特定のために、前記モノキュラＳＦＭ、前記キュー組み合わせ、およびオブジェクト追跡を組み合わせることを、さらに含む、請求項１３に記載の方法。
【請求項１５】
前記２Ｄオブジェクト境界ボックスを追跡し、該追跡した境界ボックスを用いて、背景（非移動オブジェクト）となる画像の領域を決定し、前記モノキュラＳＦＭを使用して前記カメラの姿勢および前記地表面を推定することを、さらに含む、請求項１３に記載の方法。
【請求項１６】
前記オブジェクトに対して緻密なオプティカルフロー推定を実行することを、さらに含む、請求項１３に記載の方法。
【請求項１７】
前記３Ｄ点、前記緻密なステレオデータおよび２Ｄオブジェクト境界ボックスを使用して前記地表面を推定することを含む、請求項１３に記載の方法。
【請求項１８】
単一のカメラと、
前記カメラからフレーム単位に画像を取り込んで、車両または歩行者を含む交通参加者の３次元（３Ｄ）位置特定を行う位置特定手段と、を含み、
前記位置特定手段が、
それぞれが地表面を推定するためのキューを構成する、前記画像の疎な特徴一致から得られる３Ｄ点と、連続フレーム間の緻密なステレオデータと、前記画像上のオブジェクトを取り囲む２次元（２Ｄ）オブジェクト境界ボックスとから、前記地表面を推定するためのキュー組み合わせを生成する手段と、
前記キュー組み合わせを使用してモノキュラＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正する手段と、
前記モノキュラＳＦＭ、前記地表面および前記２Ｄオブジェクト境界ボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行する手段と、
Ｋを前記カメラに固有のキャリブレーション行列とし、ｂ＝（ｘ,ｙ,１）Ｔを同次座標の２Ｄ境界ボックスの底辺であるものとして、地表面｛ｈ，ｎ｝：
【数５】
2018091857.tif 000080
を介して逆投影する手段と、を含み、
ｈおよびｎは前記カメラに対する前記地表面の高さおよび向きであり、前記画像の疎な特徴一致は、連続する２つのフレームの一方の画像の疎な特徴と他方の画像の疎な特徴との一致である、位置特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１３年１０月３０日出願の仮出願第６１／８９７４４０号、２０１４年７月１８日出願の仮出願第６２／０２６０６１号、および２０１４年７月１８日出願の仮出願第６２／０２６１８４号の優先権を主張し、その内容を参照により本明細書に取り込む。
【背景技術】
【０００２】
本発明は、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）を処理するシステムに関する。
【０００３】
自律運転アプリケーションについて、視覚型のＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）の重要性が急速に高まってきている。モノキュラＳＦＭは、コストおよび構成に関する要件が低いので魅力的である。しかし、ステレオと異なり、固定の基線がないことがスケールドリフトにつながり、このことが、ステレオに匹敵する精度を達成することを妨げる主要な障害となっている。現実世界の道路環境でスケールドリフトを効果的に無効にするロバストモノキュラＳＦＭは、大量生産される自律運転システムにとって大きな利益になる。
【０００４】
スケールドリフトに対処する一般的な方法は、グランドプレーン上方のカメラの高さを推定する方法である。従来のモノキュラＳＦＭワークは、疎な特徴マッチングをグランドプレーン推定に使用する。しかし、自律運転では、グランドプレーンは、速く移動する低テクスチャの路面に対応し、そのような特徴マッチングのみに頼ることは実用的でない。また、従来のモノキュラＳＦＭシステムは、単一のキューからグランドプレーンを推定することによってスケールを補正する（疎な特徴マッチング）。従来のキューコンビネーションフレームワークは、フレームごとの視覚データに応じた重み付けを適応しない。従来の位置特定システムは、固定されたグランドプレーンを使用しており、フレームごとの視覚推定にそれを適応しない。
【発明の概要】
【０００５】
一つのカメラのみから画像を取り込み、疎な特徴、緻密なステレオおよびオブジェクトバウンディングボックスからキューコンビネーションを生成し、グランドプレーン推定のためにキューコンビネーションを使用してモノキュラＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳＦＭ）のスケールを補正し、ＳＦＭ、グランドプレーンおよびオブジェクトバウンディングボックスを組み合わせて３Ｄオブジェクト位置特定を生成することによって位置特定を実行することによって、単一のカメラのみで３次元（３Ｄ）位置特定を実行する方法。
【０００６】
実施形態は、問題を解決するために、モノキュラリアルタイムＳＦＭ、キューコンビネーションフレームワークおよびオブジェクトトラッキングの組み合わせを使用することができる。用途は、自律運転および運転安全性を含む。発明者等の実施形態では、以下のうちの１つまたは複数を適用することができる。
（ａ）追跡したバウンディングボックスを使用し、背景である画像の領域（移動しないオブジェクト）を決定し、モノキュラＳＦＭを使用してカメラの姿勢およびグランドプレーンを推定する。
（ｂ）オブジェクトに対して緻密なオプティカルフロー推定を実行して、それらオブジェクトをより良好に追跡する。
（ｃ）３Ｄ点、緻密なステレオおよび２Ｄオブジェクトバウンディングボックスといった複数のキューを使用してグランドプレーンを推定する。
（ｄ）様々なキューのフレームごとの相対的な重要度を示すモデルを学習する。
（ｅ）カルマンフィルタ機構内でグランドプレーン推定を組み合わせる。
（ｆ）推定したグランドプレーンを使用して、モノキュラＳＦＭのスケールドリフトを補正する。
（ｇ）推定したグランドプレーンを使用して、オブジェクトを取り囲む３Ｄバウンディングボックスを見つける。
【０００７】
上記の実施形態の利点は、以下のうちの１つ以上を含んでいても良い。モノキュラグランドプレーン推定のためのデータ駆動型フレームワークは、現実世界の運転における優れた性能を達成する。これは、長距離のリアルタイムモノキュラＳＦＭに高い精度およびロバストネスをもたらし、その結果、公開ベンチマークデータセットについての現況技術のステレオシステムに匹敵する。さらに、発明者等は、正確なグランドプレーンに依存する３Ｄオブジェクト位置特定などのようなアプリケーションに大きな利点があることを示す。発明者等の解決策のその他の利点は、以下を含んでいても良い。
（ａ）より正確（発明者等が、スケール補正に複数のキューを使用するので）
（ｂ）より柔軟（発明者等のフレームワークは、多数の異なる種類のキューに跨る）。
（ｃ）より堅牢（発明者等は、複数のキューを、それらのフレームごとの相対的重要度に基づいて、組み合わせる）。
（ｄ）より速く（システムは、リアルタイムであり、高価な動きセグメンテーションを使用しない）。
【図面の簡単な説明】
【０００８】
【図１】リアルタイムＳＦＭシステムの一実施形態を示す図である。
【図２】図１のシステムの各モジュールをさらに詳細に示す図である。
【図３】図１のシステムの各モジュールをさらに詳細に示す図である。
【図４】図１のシステムの各モジュールをさらに詳細に示す図である。
【図５】図１のシステムの各モジュールをさらに詳細に示す図である。
【図６】図１のシステムの各モジュールをさらに詳細に示す図である。
【図７】図１のシステムの各モジュールをさらに詳細に示す図である。
【図８】図１のシステムの各モジュールをさらに詳細に示す図である。
【図９】カメラ高さ決定の一構成を示す図である。
【図１０】図１〜図８のプロセスを実行するためのコンピュータシステムを示す図である。
【発明を実施するための形態】
【０００９】
グランドプレーン推定にキューコンビネーションフレームワークを使用してスケールドリフトを補正し、長い運転シーケンスの間にステレオに匹敵する精度を得る、リアルタイムモノキュラＳＦＭシステムを開示する。発明者等のグランドプレーン推定は、疎な特徴、緻密なフレーム間ステレオ、および（適用可能な場合には）オブジェクト検出のような複数のキューを使用する。各キューの観測共分散をその基礎をなす変数の誤り挙動と関連付けるトレーニングデータからモデルを学習するためにデータ駆動型機構が提案されている。これにより、テスト中に、視覚データから推測された相対的信頼度に基づいて観測共分散をフレームごとに適応させることが可能になる。発明者等のフレームワークは、モノキュラ自動位置特定の精度を大幅に高めるだけでなく、グランドプレーンに依存するオブジェクト位置特定のようなアプリケーションの精度も大幅に高める。ＫＩＴＴＩデータセットに関するいくつかの実験で、従来のシステムとの詳細な比較により、発明者等のグランドプレーン推定、モノキュラＳＦＭおよびグラウンドトゥルースに対するオブジェクト位置特定の正確さが実証されている。
【００１０】
第１に、複数の方法からキューを取り込み、第２に、トレーニングデータから学習したモデルを使用して、それらのキューを、それらのフレームごとの相対的信頼度を考慮するフレームワークで組み合わせる。システムは、連続フレーム間の緻密なステレオと２Ｄ検出バウンディングボックス（オブジェクト位置特定アプリケーション）とからキューを取り込む。緻密なステレオキューが、カメラ位置特定を大幅に改善し、検出キューが、オブジェクト位置特定の大きな助けになる。キューを組み合わせるために、データ駆動型フレームワークが使用される。トレーニング期間に、各キューの観測共分散を、視覚データで観測されるような、その基礎をなす変数の誤り挙動と関連付けるモデルを学習する。テスト時に、それらモデルによって予測される共分散を融合することにより、各キューの寄与をフレームごとに適応させて、各キューの相対精度の信頼を反映することができる。
【００１１】
発明者等のフレームワークを使用するグランドプレーン推定の大幅な改善を以下に開示する。この改善は、モノキュラＳＦＭおよび３Ｄオブジェクト位置特定のようなアプリケーションの優れた性能につながる。ＫＩＴＴＩデータセットについて、発明者等のリアルタイムモノキュラＳＦＭは、フレームあたり０．００５４°の回転精度アップを達成し、いくつかの最新式のステレオシステムより性能が上回ることさえある。平行移動誤差（トランスレーション誤差）は３．２１％という低さであり、これは、ステレオに相当し、また発明者等の知る限り最高のものに相当し、他のモノキュラシステムに類を見ない水準である。また、正確なスケール補正に直接寄与する可能性がある高いロバストネスも提示する。さらに、３Ｄオブジェクト位置特定に発明者等の地面推定の利点も実証する。発明者等のワークは、当然、検出追跡（tracking-by-detection）フレームワークを補完して、その位置特定精度を高める。例えば、このシステムで、３Ｄ位置誤差の６％を超える改善を達成する。
【００１２】
図１は、入力ビデオを処理するためのリアルタイムＳＦＭシステム１００の一実施形態を示す。図１のシステムは、以下を実行する。
（ａ）新規のキューコンビネーションフレームワークを使用して、モノキュラＳＦＭのスケールドリフトを補正する。
（ｂ）スケール補正のために、いくつかのキューを設計してグランドプレーンの高さを推定する。
（ｃ）様々なキューを取り扱うのに十分な柔軟性を有する一般的なデータ駆動型キューコンビネーションフレームワークを設計する。
（ｄ）上記のキューコンビネーションフレームワークで使用する各キューの相対的有効性を示す特定のモデルを学習する。
（ｅ）カメラとシーンの３Ｄオブジェクトとの両方の高精度位置特定のために、効率的なリアルタイムフレームで、モノキュラＳＦＭと、グランドプレーン推定と、オブジェクト追跡とを組み合わせる。
【００１３】
システム１００は、高価な動きセグメンテーションを用いずに移動するオブジェクトを取り扱うことができ、かつ、グランドプレーン推定用の新たなキューコンビネーショフレームワークを使用して高精度スケール補正のために従来のワークよりもはるかに正確である、リアルタイムモノキュラＳＦＭおよびオブジェクト位置特定モジュール１０１を含む。システムは、グランドプレーン推定を使用して、道路シーン内の消滅する点を決定する。これは、エピポーラ探索範囲を決定し、マッチングウィンドウの大きさを制約するために使用され、速度が速い高速道路シーンでの精度を高める。システムは、オブジェクト誘導型特徴追跡モジュール１０２を含む。特徴は、モノキュラＳＦＭからエピポーラ幾何制約条件を取得する緻密なオプティカルフローを使用して、オブジェクト上で追跡される。
【００１４】
オブジェクト誘導型特徴追跡１０２は、キュー組み合せスケール補正モジュール２００と通信する。スケールドリフトは、モノキュラＳＦＭにおける最も重要なチャレンジである。発明者等は、新たなキューコンビネーションフレームワークで地面上方のカメラの高さを推定することによってそれを解決する。このフレームワークは、３Ｄ点緻密なステレオおよび２Ｄオブジェクトバウンディングボックスからのキューを組み合わせる。各キューの相対重要度は、観測共分散をその基礎をなす変数の誤りと関連付けるモデルを学習するために新たなフレームワークを用い、視覚データに基づいて、フレームごとに調節される。
【００１５】
３Ｄ点、緻密なステレオ、および２Ｄオブジェクトバウンディングボックスのような、多数のソースからのキューを使用するグランドプレーン推定フレームワーク２０１が提案されている。フレームワーク２０１は、路面上の疎な特徴マッチから得られる３Ｄ点からグランドプレーンを推定するためにモジュール２１１（図３）を含む。緻密なステレオ処理モジュール２１２（図４）は、その画像がホモグラフィマッピングによって関連付けられる、車のすぐ前の面状の領域用の連続フレーム間の緻密なステレオからグランドプレーンを推定する。２Ｄオブジェクトバウンディングボックス検出モジュール２１３（図５）は、２Ｄバウンディングボックスの高さと、３Ｄオブジェクト高さについてのプライア（ｐｒｉｏｒ）とに基づいて、グランドプレーンを推定する。
【００１６】
グランドプレーン推定モジュール２０１は、フレームごとに、キューの有効性の期待される信頼を観測視覚データと関連付けるために、トレーニングデータからモデルを学習するトレーニンググランドプレーンキューモジュール２０２（図２）と通信する。学習モジュール２０１では、学習モジュール２２１（図６）は、モジュール２１１（図３）から受信し、フレームごとに、３Ｄ点のキューの有効性の期待される信頼を観測視覚データと関連付けるために、モデルをトレーニングデータから学習する。緻密なステレオ学習モジュール２２２（図７）は、緻密なステレオをモジュール２１２から受信し、フレームごとに、緻密なステレオキューの有効性の期待される信頼を観測視覚データと関連付けるために、モデルを学習する。２Ｄオブジェクトバウンディングボックス学習モジュール２２３（図８）は、２Ｄオブジェクトバウンディングボックスをモジュール２１３（図５）から受信し、フレームごとに、２Ｄオブジェクトバウンディングボックスキューの有効性の期待される信頼を観測視覚データと関連付けるために、モデルをトレーニングデータから学習する。キュー組み合せスケール補正モジュール２００は、出力がリアルタイムモノキュラＳＦＭ１０１に提供されるカルマンフィルタに設けられる。
【００１７】
３Ｄ位置特定モジュール３００は、リアルタイムで、高精度３Ｄバウンディングボックスをオブジェクトの周りに生成するように、モノキュラＳＦＭ、グランドプレーン推定、およびオブジェクト追跡からの情報を組み合せる。
【００１８】
図１〜図８のシステムは、学習したモデルを使用したグランドプレーン推定のための複数のキューを組み合せ、フレームごとの観測共分散に適応的に重み付けを行うデータ駆動型フレームワークを提供する。高精度、ロバストで、スケール補正、およびステレオに匹敵する性能を有するリアルタイムモノキュラＳＦＭ。グランド推定のための検出キューを使用することにより、３Ｄオブジェクト位置特定の精度を高めている。
【００１９】
次に、１つの実施態様の詳細について説明する。発明者等は、ｘ＝（ｘ１、…、ｘｎ）ＴとしてＲｎのベクトルを示す。行列は、Ｘで表される。シーケンスのフレームｋの変数ｘは、ｘｋで表される。
【００２０】
図９に示すように、カメラの高さ（グランド高さとも呼ばれる）ｈは、グランドプレーンから主要中心までの距離として定義される。通常は、カメラはグランドプレーンに対して完全には平行になっておらず、非ゼロピッチ角θが存在する。グランド高さｈおよび単位法線ベクトルｎ＝（ｎ１、ｎ２、ｎ３）Ｔが、グランドプレーンを定義する。グランドプレーン上の３Ｄ点（Ｘ、Ｙ、Ｚ）Ｔについて、以下の関係が成り立つ。
【００２１】
【数１】
2018091857.tif 000003
【００２２】
スケールドリフト補正は、モノキュラＳＦＭの必須の構成要素である。実際は、これは、精度を保証する唯一の最も重要な特徴である。発明者等は、スケール補正のために、カメラに対するグランドプレーンの高さおよび向きを推定する。スケールドリフト下では、任意の推定長ｌは、スケールファクタｓ＝ｌ／ｌ＊まで曖昧である。ここで、ｌ＊は、グラウンドトゥルース長である。スケール補正の目的は、ｓを計算することである。グランドからカメラの校正した高さをｈ＊とすると、見かけの高さｈを計算すれば、スケールファクタｓ＝ｈ／ｈ＊が得られる。次いで、カメラトランスレーションｔを、ｔnew＝ｔ／ｓとして調整することにより、スケールドリフトを補正することができる。第４節では、発明者等は、適応型キューコンビネーション機構を用いてグランドの高さｈおよび向きｎを推定する、新規の高精度方法を述べる。
【００２３】
グランドの高さおよび向きの両方を正確に推定することは、３Ｄオブジェクト位置特定のために重要である。Ｋは、カメラ固有のキャリブレーションマトリクスとする。同次座標で表した２Ｄバウンディングボックスの底辺ｂ＝（ｘ、ｙ、１）Ｔは、以下のように、グランドプレーン｛ｈ，ｎ｝を介して３Ｄに逆投影することができる。
【００２４】
【数２】
2018091857.tif 000004
【００２５】
同様に、オブジェクト高さは、推定したグランドプレーンおよび２Ｄバウンディングボックスの高さを用いて得ることもできる。
【００２６】
２Ｄオブジェクト追跡が与えられると、最もよく適合する３Ｄバウンディングボックスを推定することができる。オブジェクトのピッチおよびロールは、グランドプレーンによって決定される（図０参照）。車両では、初期ヨー角は、車両の移動方向であると仮定され、プライアは、その長さと幅の比に付与される。（２）から初期位置が得られると、その再投影と追跡した２Ｄバウンディングボックスとの差を最小化することによって、バウンディングボックスを計算することができる。
【００２７】
発明者等は、オブジェクト位置特定の詳細な説明は後に回すが、２つの点に留意している。第１の点は、正確なグランドプレーンは、実際の位置特定フレームワークに関わらず、明らかに、正確なモノキュラ位置特定のキーであるということである。第２の点は、検出バウンディングボックスからグランドプレーン推定にキューを組み込むことが、ＳＦＭとオブジェクト位置特定の間に洗練されたフィードバック機構を構成するということである。
【００２８】
様々な方法から推定を組み合わせるために、カルマンフィルタが使用される。
【００２９】
【数３】
2018091857.tif 000005
【００３０】
発明者等のアプリケーションでは、（３）中の状態変数は、グランドプレーンであり、ゆえに、ｘ＝（ｎＴ、ｈ）Ｔである。｜ｎ｜＝１であるので、ｎ２は、ｎ１およびｎ３によって決定され、観測結果は、ｚ＝（ｎ１、ｎ３、ｈ）Ｔである。したがって、発明者等の状態遷移行列および観測モデルは、
【００３１】
【数４】
2018091857.tif 000006
で与えられる。
【００３２】
観測共分散Ｕｊで、グランドプレーンを推定するために、方法ｉ＝１、…、ｍが使用されるものと想定する。そして、時刻ｋの融像式は、
【００３３】
【数５】
2018091857.tif 000007
である。
【００３４】
各キューごとに正確に比例する
【００３５】
【数６】
2018091857.tif 000008
で、フレーム毎のＵｋの意味のある推定は、原則に基づいたキューコンビネーションに不可欠である。従来は、固定された共分散を使用して複数のキューを組み合せており、これは、ビデオシーケンスにおけるそれらの有効性のフレームごとのばらつきを考慮しない。これに対し、以下のセクションでは、発明者等は、それらの基礎をなす変数の誤り分布に基づいて、各キューのフレームごとの共分散を適応させるモデルを学習するデータ駆動型機構を提案する。
【００３６】
システムは、疎な特徴マッチングの三角測量、連続したフレーム間の緻密なステレオ、およびオブジェクト検出バウンディングボックスなど複数の方法を使用して、グランドプレーンを推定する。それらの方法によって与えられるキューは、それらのフレームごとの相対的有効性を考慮する原則に基づいたフレームワークで組み合わされる。
【００３７】
プレーン誘導型の緻密なステレオを用いる実施形態では、前景中の関心領域（ＲＯＩ）（画像の下３分の１の中央の５分の１）は、平らなグランドに対応する。｛ｈ，ｎ｝の仮定値、およびフレームｋとｋ＋１の間の相対的なカメラの姿勢｛Ｒ，ｔ｝について、ホモグラフィ行列
【００３８】
【数７】
2018091857.tif 000009
を用いて、ピクセルごとのマッピングを計算することができる。
【００３９】
なお、ｔは、発明者等が推定しようとしているｈにおいて符号化されている未知のスケールドリフトファクタの分だけ、真の平行移動ｔ＊とは異なることに留意されたい。フレームｋ＋１のピクセルは、フレームｋにマッピングされ（良好に実施するためにはサブピクセル精度が重要である）、絶対差合計（ＳＡＤ）が、双線形補完された画像強度について計算される。ρ＝１．５では、Ｎｅｌｄｅｒ−Ｍｅａｄシンプレックスルーチンを使用して、
【００４０】
【数８】
2018091857.tif 000010
を最小化する｛ｈ，ｎ｝を推定する。
【００４１】
なお、ＰｎＰ＝１であるので、この最適化は、ｈ、ｎ１およびｎ３しか必要としない。キャリブレーションピッチが良好な初期化であり、かつ、費用関数は、通常、その近傍に明確な極小値を有するので、ノルム拘束の実施は限界効果を得る。最適化は、フレームごとに約１０ｍｓを必要とする。（７）を最小化する｛ｈ，ｎ｝は、ステレオキューから推定されたグランドプレーンである。
【００４２】
次に、発明者等は、上記の関心領域内で計算される、フレームｋとｋ＋１の間で一致した疎なＳＩＦＴ記述子について考慮する（発明者等は、テクスチャの少ない道路ではＯＲＢよりＳＩＦＴの方が良好な選択肢であり、ＳＩＦＴでは小さいＲＯＩで実時間の実行が実現できることを発見した）。三角形分割された３Ｄ点を通る平面にフィットするために、１つの選択肢は、平面フィッティングに３点ＲＡＮＳＡＣを使用して｛ｈ，ｎ｝を推定するものである。ただし、発明者等の実験では、キャリブレーションから固定されるべきカメラのピッチを仮定することにより、より良好な結果が得られている。三角形分割された３Ｄ点ごとに、（１）を用いて高さｈが計算される。高さの差Δｈｉｊは、３Ｄ点ｉごとに、その他の点ｊに対して計算される。推定されたグランドプレーンの高さが、最大スコアｑに対応する点ｉの高さである。ここで、
【００４３】
【数９】
2018091857.tif 000011
である。
【００４４】
システムは、オブジェクト検出バウンディングボックスが例えばオブジェクト位置特定アプリケーション内で利用可能であるときには、それらの物体検出バウンディングボックスをキューとして使用することもできる。グランドプレーンピッチ角θは、このキューから推定することができる。グランドの法線ｎ＝（ｎ１、ｎ２、ｎ３）Ｔについて、ｎ３＝ｓｉｎθであることを想起されたい。（２）から、２Ｄバウンディングボックスが与えられれば、発明者等は、グランドプレーンを介したオブジェクトの３Ｄ高さｈｂを計算することができる。オブジェクトのプライア高さ
【００４５】
【数１０】
2018091857.tif 000012
が与えられれば、ｎ３は、
【００４６】
【数１１】
2018091857.tif 000013
を解くことによって得られる。
【００４７】
（２）で使用されるグランド高さｈは、ＳＦＭスケールドリフトを取り込むことを回避するためにキャリブレーション値に設定され、ｎ１は、オブジェクトの高さに対して軽微な影響しか及ぼさないので、０に設定される。
【００４８】
なお、オブジェクトバウンディングボックスキューは、発明者等の車両に近接したＲＯＩに注目するだけの緻密なステレオおよび３Ｄ点のキューとは異なり、発明者等に固有の長距離情報を提供することに留意されたい。ピッチ角が不正確であると、遠方のオブジェクトの垂直誤差が大きくなる可能性がある。したがって、遠方のオブジェクトの３Ｄ位置特定精度は、このキューを組み込むことによって大幅に改善される。
【００４９】
次に、各キューのフレームごとの相対精度を反映しながら上記のキューを組み合わせる、データ駆動型キューコンビネーションについて説明する。当然のことながら、コンビネーションは、特定のフレームにおける視覚入力、および事前知識の両方の影響を受ける。各キューの観測共分散をその基礎をなす変数の誤り挙動と関連付けるためにモデルをトレーニングデータから学習することによって、これを実現する。テスト中に、学習したモデルは、各キューの観測共分散をフレームごとに適応させる。
【００５０】
緻密なステレオおよび３Ｄ点のキューについては、発明者等は、Ｆ＝２３２０１個のフレームからなる、トレーニングのためのＫＩＴＴＩ視覚オドメトリデータセットを使用する。ＫＩＴＴＩ追跡データセットのシーケンス０から８は、オブジェクト検出キューをトレーニングするために使用される。グラウンドトゥルースｈおよびｎを決定するために、カメラに近接している画像の道路の領域に標識を付け、提供されるＶｅｌｏｄｙｎｅデータから得られる関連する３Ｄ点に平面をフィッティングする。標識のない道路領域もテスト中に利用可能であり、または使用される。
【００５１】
各方法ｉは、グランドプレーン変数π＝｛ｈ，ｎ｝の様々な位置について評価することができるスコア関数ｆｉを有する。ステレオ、３Ｄ点およびオブジェクトのキューに関する関数ｆｉは、それぞれ（７）、（８）および（９）によって与えられる。そして、アルゴリズム１が、トレーニングの一般的な記述である。
【００５２】
【表１】
2018091857.tif 000014
【００５３】
直観的に、モデル
【００５４】
【数１２】
2018091857.tif 000015
のパラメータ
【００５５】
【数１３】
2018091857.tif 000016
は、フレームｋのキューｉの有効性の信頼を反映している。Ｆ個のトレーニングフレームのパラメータ
【００５６】
【数１４】
2018091857.tif 000017
をＬ個のビンに量子化することにより、ビン中心
【００５７】
【数１５】
2018091857.tif 000018
における観測誤差の分散を推定することが可能になる。次いで、モデルＣｉは、それらの分散
【００５８】
【数１６】
2018091857.tif 000019
をキューの精度（量子化されたパラメータ
【００５９】
【数１７】
2018091857.tif 000020
によって表される）と関連付ける。したがって、テスト時には、フレームごとに、純粋に視覚データに基づいて（すなわちａｉを計算することによって）各キューｉの精度を推定することができ、モデルＣｉを使用してその観測分散を決定することができる。
【００６０】
次に、発明者等は、緻密なステレオ、３Ｄ点およびオブジェクトのキューのそれぞれについて、モデルＡおよびＣをトレーニングするための仕様について説明する。発明者等は、緻密なステレオ、３Ｄ点およびオブジェクト検出方法のそれぞれを表す標記ｉ∈｛ｓ,ｐ,ｄ｝を使用する。
【００６１】
各変数ｈ、ｎ１およびｎ３を独立して変化させるので、２つの連続するフレーム間の緻密なステレオの誤り挙動は、ホモグラフィ（６）によって関連付けられる複数の道路領域間のＳＡＤスコアのばらつきによって特徴付けられる。このＳＡＤスコアの分布の分散が、ステレオキューの誤り挙動を、その変数に対して表す。ステレオ用のスコア関数ｆｓが（７）によって与えられることを想起されたい。状態変数が無双間であると仮定する。したがって、ｈ、ｎ１およびｎ３に対応する３つの独立したモデルを学習する。
【００６２】
トレーニング画像ｋについて、
【００６３】
【数１８】
2018091857.tif 000021
を、緻密なステレオ方法により、（７）のｆｓを最適化することによって推定されたグランドプレーンであるとする。最初に、
【００６４】
【数１９】
2018091857.tif 000022
および
【００６５】
【数２０】
2018091857.tif 000023
を固定し、（６）に従って、範囲
【００６６】
【数２１】
2018091857.tif 000024
内のｈの５０個の一様なサンプルについて、フレームｋからｋ＋１へのホモグラフィマッピングを構築する（なお、Ｒおよびｔは、スケールは無視してモノキュラＳＦＭによって既に推定されていることに留意されたい）。各ホモグラフィマッピングごとに、（７）を用いてＳＡＤスコアｆｓ（ｈ）を計算する。ここでは、単変量ガウシアンが、ｆｓ（ｈ）の分布にフィッティングする。その分散
【００６７】
【数２２】
2018091857.tif 000025
は、フレームｋにおいて緻密なステレオ方法で推定された高さｈの精度の信頼を反映するＳＡＤ分布の鮮鋭度を取得する。同様の手続きで、姿勢変数に対応する分散
【００６８】
【数２３】
2018091857.tif 000026
および
【００６９】
【数２４】
2018091857.tif 000027
も得られる。例示的なフィッティングを、図２に示す。上記のアルゴリズム１を参照すると、
【００７０】
【数２５】
2018091857.tif 000028
は、厳密に、フレームｋにおけるステレオキューの精度を示すパラメータ
【００７１】
【数２６】
2018091857.tif 000029
である。
【００７２】
次に、モデルＣｓの学習について詳述する。フレームｋについて、
【００７３】
【数２７】
2018091857.tif 000030
を、グラウンドトゥルースに対するグランド高さの誤差とする。パラメータ
【００７４】
【数２８】
2018091857.tif 000031
をＬ＝１００個のビンに量子化し、その結果得られる
【００７５】
【数２９】
2018091857.tif 000032
のヒストグラムを考慮する。ビンの中心
【００７６】
【数３０】
2018091857.tif 000033
は、
【００７７】
【数３１】
2018091857.tif 000034
の密度に一致するように位置決めされる（すなわち、各ビン内でＦ／Ｌ誤差
【００７８】
【数３２】
2018091857.tif 000035
を分布させる）。同様のプロセスが、ｎ１およびｎ３について繰り返される。ＫＩＴＴＩデータセットについてのヒストグラムを、図３に示す。こうして、アルゴリズム５．１の
【００７９】
【数３３】
2018091857.tif 000036
を得ている。
【００８０】
次に、ｌ＝１、…、Ｌについて、各ビンｌ内の誤差の分散
【００８１】
【数３４】
2018091857.tif 000037
を計算する。これは、観測誤差分散を示す。ここで、ｈの観測分散を緻密なステレオの有効性と関連付けるためのモデルを提供する
【００８２】
【数３５】
2018091857.tif 000038
に対する
【００８３】
【数３６】
2018091857.tif 000039
の分散に、曲線をフィッティングする。ＫＩＴＴＩデータセットの結果を、図４に示す。この図では、各データ点が１組の観測誤差共分散
【００８４】
【数３７】
2018091857.tif 000040
およびパラメータ
【００８５】
【数３８】
2018091857.tif 000041
を表している。経験的に、良好なフィッティングを生じるには直線で十分である。同様のプロセスが、ｎ１およびｎ３について繰り返される。こうして、ステレオ方法用のモデルＣｓを得られる（ｈ、ｎ１およびｎ３のそれぞれについて１つずつ）。
【００８６】
緻密なステレオと同様に、ここでもやはり、トレーニングの目的は、３Ｄ点方法の観測共分散を、その基礎をなす変数の誤り挙動と関連付けるモデルを発見することである。スコア関数ｆｐが（８）によって与えられることを想起されたい。
【００８７】
ｆｐによって戻されるスコアｑが、そのまま、３Ｄ点キューを用いて推定されたグランドプレーンの精度の信頼を示す指標になる。したがって、アルゴリズム５．１については、モデルＡｐを明示的に学習することなく、パラメータ
【００８８】
【数３９】
2018091857.tif 000042
を直接得ることができる。ここで、ｑｋは、フレームｋのｆｐの最適値である。
【００８９】
残りの手続きは、ステレオ手続きの場合の手続きと同様である。
【００９０】
【数４０】
2018091857.tif 000043
を、３Ｄ点を用いてフレームｋで推定されたグランド高さ、すなわち（８）の最適値であるとする。誤差
【００９１】
【数４１】
2018091857.tif 000044
は、グラウンドトゥルースに対して計算される。上記の
【００９２】
【数４２】
2018091857.tif 000045
は、
【００９３】
【数４３】
2018091857.tif 000046
を中心とするＬ＝１００個のビンに量子化され、観測誤差
【００９４】
【数４４】
2018091857.tif 000047
のヒストグラムが構築される。ここで、モデルＣｐが、各ビンにおける観測分散
【００９５】
【数４５】
2018091857.tif 000048
を対応する精度パラメータ
【００９６】
【数４６】
2018091857.tif 000049
と関連付けるようにフィットされてもよい。図４に示すように、この場合も、直線フィッティングが妥当である。
【００９７】
検出器が、いくつかの候補バウンディングボックスおよびそれらの各スコア（すなわち、従来の検出器の非最大抑制ステップの前のバウンディングボックス）を提供すると仮定する。バウンディングボックスは、ｂ＝（ｘ,ｙ,ｗ,ｈｂ）Ｔによって表される。ここで、ｘ,ｙは、バウンディングボックスの２Ｄ位置であり、ｗ,ｈｂは、バウンディングボックスの幅および高さである。検出の誤差挙動は、バウンディングボックスｂに対して検出スコアαの分散によって量子化される。
【００９８】
発明者等のモデル
【００９９】
【数４７】
2018091857.tif 000050
は、ガウシアンの混合体である。各フレームで、
【０１００】
【数４８】
2018091857.tif 000051
のように、μｍを中心とする４×４フルランク共分散行列Σｍを推定する。ここで、εmn＝ｂｎ−μｍであり、Ｍは、オブジェクトの数であり、Ｎは、候補バウンディングボックスの数である（ｋへの依存性は、便宜上抑制されている）。例示的なフィッティング結果を、図６に示す。雑音のある検出器のスコアのばらつきが、モデル
【０１０１】
【数４９】
2018091857.tif 000052
によってよく捉えられていることは明らかである。
【０１０２】
（９）のスコア関数ｆｄがｎ３を推定することを想起されたい。したがって、ｙおよびｈｂに対応するΣｍの成分のみが重要である。σｙおよび
【０１０３】
【数５０】
2018091857.tif 000053
を、追跡２Ｄボックスに最も近いΣｍの対応する対角成分とする。これらを、このキューの精度の信頼を反映する単一のパラメータ
【０１０４】
【数５１】
2018091857.tif 000054
に組み合わせる。
【０１０５】
残りの手続きは、ステレオおよび３Ｄ点のキューの手続きと同様である。精度パラメータ
【０１０６】
【数５２】
2018091857.tif 000055
は、量子化され、（９）のｆｄによって与えられる観測誤差の対応する分散と関連付けられる。検出キューの観測分散をその予想精度と関連付けるフィッティングされた線型モデルＣｄを、図６に示す。
【０１０７】
テスト中に、フレームｋごとに、各キュー
【０１０８】
【数５３】
2018091857.tif 000056
に対応するモデル
【０１０９】
【数５４】
2018091857.tif 000057
をフィッティングし、予想精度を伝えるパラメータ
【０１１０】
【数５５】
2018091857.tif 000058
を決定する。次に、モデルＣｉを使用して、観測分散を決定する。
フレームｋの観測結果
【０１１１】
【数５６】
2018091857.tif 000059
は、（７）によって与えられるｆｓを最小化することによって得られる。１ＤガウシアンをホモグラフィマッピングされたＳＡＤスコアにフィッティングして、
【０１１２】
【数５７】
2018091857.tif 000060
および
【０１１３】
【数５８】
2018091857.tif 000061
の値を取得する。図４で推定されたモデルＣｓを使用して、対応する分散
【０１１４】
【数５９】
2018091857.tif 000062
を予測する。ここで、緻密なステレオ方法の観測共分散は、
【０１１５】
【数６０】
2018091857.tif 000063
として得られる。
【０１１６】
フレームｋで、観測結果
【０１１７】
【数６１】
2018091857.tif 000064
は、（８）によって与えられるｆｐから得られる推定グランド高さｈである。（８）から得られるｑｋの値は、そのまま予想精度パラメータ
【０１１８】
【数６２】
2018091857.tif 000065
となる。対応する分散
【０１１９】
【数６３】
2018091857.tif 000066
は、図４のモデルＣｐから推定される。ここで、このキューについての観測共分散は、
【０１２０】
【数６４】
2018091857.tif 000067
として得られる。
【０１２１】
フレームｋで、観測結果
【０１２２】
【数６５】
2018091857.tif 000068
は、各オブジェクトｍ＝１、…、Ｍについて、（９）によって与えられるｆｄを最小化することによって得られるグランドピッチ角ｎ３である。各オブジェクトｍについて、（１０）を解いた後で、パラメータ
【０１２３】
【数６６】
2018091857.tif 000069
を得る。図６のモデルＣｄを使用して、対応する誤差分散
【０１２４】
【数６７】
2018091857.tif 000070
を予測する。ここで、この方法の観測共分散は、
【０１２５】
【数６８】
2018091857.tif 000071
によって与えられる。
【０１２６】
最後に、フレームｋについての適応共分散Ｕｋは、各オブジェクトｍから
【０１２７】
【数６９】
2018091857.tif 000072
および
【０１２８】
【数７０】
2018091857.tif 000073
を組み合わせることによって計算される。そして、発明者等の適応グランド推定ｚｋが、（５）を用いて
【０１２９】
【数７１】
2018091857.tif 000074
および
【０１３０】
【数７２】
2018091857.tif 000075
を組み合わせることによって計算される。
【０１３１】
したがって、このグランドプレーン推定方法では、トレーニングデータから学習されたモデルを使用して、ステレオ、３Ｄ点および検出バウンディングボックスの各キューの相対的重要度をフレームごとに適応させる。実時間での実行を考慮して、緻密なステレオおよび３Ｄ点のキューのみが、モノキュラＳＦＭに使用される。検出バウンディングボックスのキューは、それらが利用可能であるオブジェクト位置特定アプリケーションに使用される。
【０１３２】
本システムの正確なグランドプレーン推定は、モノキュラビジョン型システムがステレオと同等の性能を達成することを可能にする。特に、発明者等は、従来のワークで使用される伝統的な疎な特徴の他に、グランド推定のために緻密なステレオおよびオブジェクトバウンディングボックスのようなキューを含むことが有利であることを示した。さらに、発明者等は、トレーニングデータから得られる事前知識に加えて、キューのフレームごとの相対的信頼度を反映する、原則に基づいたフレームワーク中でこれらのキューを組み合わせる機構を提案した。
【０１３３】
発明者等のロバストで正確なスケール補正は、モノキュラＳＦＭとステレオＳＦＭの間のギャップを埋める上で重要なステップである。発明者等は、これが自律運転アプリケーションにとって大きな利点を有すると考えている。発明者等は、発明者等のグランドプレーン推定を使用するリアルタイムモノキュラＳＦＭの性能が、現実世界の運転シーケンスでステレオに匹敵するものであることを実証している。さらに、やはり発明者等の実験によって実証されているように、発明者等の正確なグランドプレーンは、既存の３Ｄ位置特定フレームワークにも有利であることが多い。
【０１３４】
本発明は、ハードウェア、ファームウェアまたはソフトウェア、あるいはこれら３つの組合せで実装することが可能である。好ましくは、本発明は、プロセッサ、データ記憶システム、揮発性および不揮発性のメモリおよび／または記憶要素、少なくとも１つの入力デバイス、ならびに少なくとも１つの出力デバイスを有するプログラマブルコンピュータ上で実行されるコンピュータプログラムにおいて使用される。
【０１３５】
例えば、このシステムをサポートするコンピュータのブロック図を、図１０に示す。このコンピュータは、プロセッサと、ランダムアクセスメモリ（ＲＡＭ）と、プログラムメモリ（フラッシュＲＯＭなどの書込み可能読取り専用メモリ（ＲＯＭ）であることが好ましい）と、ＣＰＵバスによって結合された入出力（Ｉ／Ｏ）制御装置とを含むことが好ましい。必要に応じて、このコンピュータは、ハードディスクおよびＣＰＵバスに結合されたハードドライブ制御装置を含んでいてもよい。ハードディスクは、本発明などのアプリケーションプログラムおよびデータを記憶するために使用してもよい。あるいは、アプリケーションプログラムは、ＲＡＭまたはＲＯＭに記憶してもよい。Ｉ／Ｏ制御装置は、Ｉ／ＯバスによってＩ／Ｏインタフェースに結合される。Ｉ／Ｏインタフェースは、シリアルリンク、ローカルエリアネットワーク、ワイヤレスリンクおよびパラレルリンクなどの通信リンクを介して、アナログまたはデジタルの形態のデータを送受信する。必要に応じて、ディスプレイ、キーボードおよびポインティングデバイス（マウス）を、Ｉ／Ｏバスに接続してもよい。あるいは、Ｉ／Ｏインタフェース、ディスプレイ、キーボード、およびポインティングデバイスのために、別個の接続（別個のバス）を使用してもよい。プログラマブル処理システムは、予めプログラムしてあってもよいし、別のソース（例えばフロッピーディスク、ＣＤ−ＲＯＭ、または別のコンピュータ）からプログラムをダウンロードすることによってプログラム（再プログラム）してもよい。
【０１３６】
各コンピュータプログラムは、汎用または専用プログラマブルコンピュータによって読取り可能な機械可読記憶媒体またはデバイス（例えばプログラムメモリまたは磁気ディスク）に有形に記憶され、その記憶媒体またはデバイスがコンピュータによって読み取られたときにそのコンピュータの動作を構成および制御して、本明細書に記載された手続きを実行する。本発明のシステムは、コンピュータプログラムを備えた構成のコンピュータ可読記憶媒体に埋め込まれているものとして考慮してもよく、このように構成された記憶媒体は、コンピュータを、特定の予め定義された方法で、本明細書に記載される機能を実行するように動作させる。
【０１３７】
本明細書では、特許法に準拠するように、また新規の原理を適用し、これらの特殊な構成要素を必要に応じて構築して使用するために必要な情報を当業者に提供するように、本発明についてかなり詳細に説明した。ただし、本発明は、明白に異なる機器およびデバイスによって実行することもできること、ならびに本発明自体の範囲を逸脱することなく、機器の細部および動作手続きの両方に関する様々な改善を行うことができることを理解されたい。
【図１】
2018091857.tif 000081
【図２】
2018091857.tif 000082
【図３】
2018091857.tif 000083
【図４】
2018091857.tif 000084
【図５】
2018091857.tif 000085
【図６】
2018091857.tif 000086
【図７】
2018091857.tif 000087
【図８】
2018091857.tif 000088
【図９】
2018091857.tif 000089
【図１０】
2018091857.tif 000090