(57)【要約】      （修正有）【課題】建築物のレイアウトを決定するための改善された方法を提供する。【解決手段】壁のサイクルの平断面を表す点のサイクルと、各点に割り当てられ、それぞれの点において前記点のサイクルに垂直な方向を表す第１のデータムの提供と、マルコフ・ランダム・フィールド・エネルギーを最小化し、それにより、各点に対し第２のデータの集合のうちの１つを割り当てることを含み、さらに同じ第２のデータムが割り当てられた連続する点の極大集合と、前記建築物のレイアウトを表すセグメントのサイクルを境界付ける頂点のサイクルとを識別することを含む。【選択図】図３
2019003621.tif 000002
【特許請求の範囲】
【請求項１】
建築物のレイアウトを決定するための、コンピュータによって実施される方法であって、
壁のサイクルの平断面を表す点のサイクル（
【数３５】
2019003621.tif 000037
）と、各点（ｘｉ）に割り当てられ、それぞれの点（ｘｉ）において前記点のサイクルに垂直な方向を表す第１のデータム（ｎｉ）とを提供すること（Ｓ１０〜Ｓ５２）と、
それぞれが前記レイアウトに垂直な方向（Ｎｋ）を表す第２のデータの集合（
【数３６】
2019003621.tif 000038
）における値を取るラベル（ｌ（ｘｉ））によって前記点（ｘｉ）のサイクル上に定義されたマルコフ・ランダム・フィールド（Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ：ＭＲＦ）エネルギー（
【数３７】
2019003621.tif 000039
）を最小化することであって、それにより各点（ｘｉ）に対して前記第２のデータの集合のうちの１つ（ｌ（ｘｉ））を割り当て、前記ＭＲＦエネルギーは、各点（ｘｉ）について、前記割り当てられた第２のデータム（Ｎｋ）によって表される前記方向と、前記割り当てられた第１のデータム（ｎｉ）によって表される方向との、角距離（
【数３８】
2019003621.tif 000040
）にペナルティを科す単項（
【数３９】
2019003621.tif 000041
）を含み、前記ＭＲＦエネルギーは、さらに、連続する点の組（
【数４０】
2019003621.tif 000042
）のそれぞれついて、前記割り当てられた第１のデータ（
【数４１】
2019003621.tif 000043
）によって表される方向間の角距離（
【数４２】
2019003621.tif 000044
）が減少するほど、前記割り当てられた第２のデータ（
【数４３】
2019003621.tif 000045
）によって表される方向間の角距離（
【数４４】
2019003621.tif 000046
）に、より大きなペナルティを科すバイナリ項（
【数４５】
2019003621.tif 000047
）を含むような、前記ＭＲＦエネルギーを最小化すること（Ｓ６０）と、
同じ第２のデータム（Ｎｋ）が割り当てられた連続する点の極大集合を識別すること（Ｓ７０）と、
前記建築物のレイアウトを表すセグメントのサイクルを境界付ける頂点のサイクル（
【数４６】
2019003621.tif 000048
）を決定することであって、各セグメントは各壁に対応し、各セグメントは、各極大集合に適合し、かつ各極大集合の点に割り当てられた前記第２のデータムによって表される前記方向に対して垂直であるような、前記頂点のサイクル決定すること（Ｓ８２〜８６）と
を含むことを特徴とする方法。
【請求項２】
前記ＭＲＦエネルギーの最小化は厳密最小化である
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記ＭＲＦエネルギーの最小化は、１つまたは複数の確率伝搬法により行われる
ことを特徴とする請求項１または２に記載の方法。
【請求項４】
前記第１のデータおよび前記第２のデータはベクトルであり、割り当てられた第２のデータムＮｋによって表される方向と、割り当てられた第１のデータムｎｉによって表される方向との間の前記角距離は
【数４７】
2019003621.tif 000049
のタイプであり、割り当てられた第２のデータＮｋおよびＮｍによって表される方向間の前記角距離は
【数４８】
2019003621.tif 000050
のタイプであり、かつ／あるいは、割り当てられた第１のデータｎｉおよびｎｊによって表される方向間の前記角距離は
【数４９】
2019003621.tif 000051
のタイプである
ことを特徴とする請求項１、２および３のいずれか一項に記載の方法。
【請求項５】
前記ＭＲＦエネルギーは、
【数５０】
2019003621.tif 000052
のタイプであり、ここで、
【数５１】
2019003621.tif 000053
は前記点のサイクルであって、
【数５２】
2019003621.tif 000054
のとき
【数５３】
2019003621.tif 000055
であり、
【数５４】
2019003621.tif 000056
は前記単項であり、
【数５５】
2019003621.tif 000057
は前記バイナリ項であり、
λは、正の数である
ことを特徴とする請求項４に記載の方法。
【請求項６】
各頂点（ｙｊ）は、それぞれの第１の点（ｘｉ）および第２の点（ｘｉ＋１）に対応し、前記各第１の点（ｘｉ）は、その頂点（ｙｊ）によって境界付けられたセグメントに対応する前記極大集合の終点であり、前記各第２の点（ｘｉ＋１）は、その頂点（ｙｊ）によって境界付けられた他のセグメントに対応する前記極大集合の始点であり、前記各頂点（ｙｊ）の決定は、
前記各第１の点および前記各第２の点の関数として各頂点（ｙｊ）の初期位置（
【数５６】
2019003621.tif 000058
）を決定すること（Ｓ８２）と、
前記初期位置を最適化すること（Ｓ８４）とを含む
ことを特徴とする請求項１〜５のいずれか１つに記載の方法。
【請求項７】
前記各第１の点および前記各第２の点の前記関数は平均値関数である
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記最適化は、各セグメントについて、そのセグメントの長さの初期値（
【数５７】
2019003621.tif 000059
）から、結果として得られるそのセグメントの長さの値（
【数５８】
2019003621.tif 000060
）の距離
【数５９】
2019003621.tif 000061
にペナルティを科す、コスト関数（
【数６０】
2019003621.tif 000062
）を最小化する
ことを特徴とする請求項６または７に記載の方法。
【請求項９】
前記点のサイクルは、投影平面上の前記壁のサイクルを表す３Ｄ点群の投影に対応する２Ｄ点群の凹包であり、前記投影平面は前記平断面に対応する
ことを特徴とする請求項１〜８のいずれか１つに記載の方法。
【請求項１０】
前記投影平面は床平面を表し、かつ／あるいは、前記投影は垂直投影である
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記点のサイクルの前記提供は、
前記壁のサイクルを含む部屋を表す３Ｄ点群を提供すること（Ｓ１２〜Ｓ１４）と、
前記部屋を表す前記３Ｄ点群から前記投影平面および前記壁のサイクルを表す３Ｄ点群を識別すること（Ｓ２２〜Ｓ２４）と、
前記投影平面上に前記壁のサイクルを表す前記３Ｄ点群を投影すること（Ｓ３０）と、
前記２Ｄ点群を決定すること（Ｓ４２〜Ｓ４６）と、
前記凹包を決定すること（Ｓ５２）とを含む
ことを特徴とする請求項９または１０に記載の方法。
【請求項１２】
前記投影平面および前記壁のサイクルを表す前記３Ｄ点群の前記識別は、ランダム・サンプル・コンセンサス・アルゴリズムを用いて前記部屋を表す前記３Ｄ点群の中から平面を検出すること（Ｓ２２）を含む
ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記２Ｄ点群の前記決定は、検出された各平面について、前記平面の投影の結果を前記結果の線形回帰に投影すること（Ｓ４４）を含む
ことを特徴とする請求項１２に記載の方法。
【請求項１４】
請求項１〜１３のいずれか１つに記載の方法を実行するための命令を含むことを特徴とするコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記憶したコンピュータ読み取り可能媒体、および／または、前記コンピュータ読み取り可能媒体に接続されたプロセッサを備えることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータプログラムおよび及びシステムの分野に関し、より具体的には、建築物のレイアウトを決定するための方法、システム、およびプログラムに関する。
【背景技術】
【０００２】
オブジェクトの設計、エンジニアリング、製造のため、多数のシステムおよびプログラムが市場に提供されている。ＣＡＤは、コンピュータ支援設計（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｄｅｓｉｇｎ）の略語であり、例えば、オブジェクトを設計するためのソフトウェア・ソリューションに関する。ＣＡＥは、コンピュータ支援エンジニアリング（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｅｎｇｉｎｅｅｒｉｎｇ）の略語であり、例えば、将来の製品の物理的挙動をシミュレーションするためのソフトウェア・ソリューションに関する。ＣＡＭは、コンピュータ支援製造（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ  Ｍａｎｕｆａｃｔｕｒｉｎｇ）の略語であり、例えば、製造工程および動作を定義するためのソフトウェア・ソリューションに関する。このようなコンピュータ支援設計システムにおいて、グラフィカル・ユーザ・インターフェースは、技術の効率に関して、重要な役割を果たす。これらの技術は、製品ライフサイクル管理（Ｐｒｏｄｕｃｔ  Ｌｉｆｅｃｙｃｌｅ  Ｍａｎａｇｅｍｅｎｔ：  ＰＬＭ）システムに組み込むことができる。ＰＬＭとは、企業が、拡張エンタープライズの概念全体にわたって、製品データを共有し、共通の工程を適用し、構想に始まり製品寿命の終わりに至る製品開発のための企業知識を活用するのを支援するビジネス戦略を指す。ダッソー・システムズが提供するＰＬＭソリューション（製品名ＣＡＴＩＡ、ＥＮＯＶＩＡ、ＤＥＬＭＩＡ）は、製品エンジニアリング知識を体系化するエンジニアリング・ハブ、製造エンジニアリング知識を管理する製造ハブ、およびエンジニアリング・ハブと製造ハブの両方に対するエンタープライズ統合と接続を可能にするエンタープライズ・ハブを提供する。全てのシステムは、製品、工程、リソースを結ぶオープンなオブジェクトモデルを提供し、最適化された製品定義、製造準備、生産およびサービスを推進する、動的な知識ベースの製品作成および意思決定支援を可能にする。
【０００３】
こうした文脈において、３Ｄ点群におけるシーン理解と意味抽出が重要視されるようになってきている。
【０００４】
例えば部屋のような環境を３Ｄで再構成するために、異なるアルゴリズムが開発されている。これは特に、ＲＧＢカメラの利用に基づく以下の論文に記載されている解決策の場合にあてはまる。
・Ｒ．Ｎｅｗｃｏｍｂｅ，Ｓ．Ｌｏｖｅｇｒｏｖｅ，Ａ．Ｄａｖｉｓｏｎ，“ＤＴＡＭ：  Ｄｅｎｓｅ  Ｔｒａｃｋｉｎｇ  ａｎｄ  Ｍａｐｐｉｎｇ  ｉｎ  Ｒｅａｌ−Ｔｉｍｅ”，ｉｎ  ＩＣＣＶ  ２０１１．
・Ｐ．Ｔａｎｓｋａｎｅｎ，Ｋ．Ｋｏｌｅｖ，Ｌ．Ｍｅｉｅｒ，Ｆ．Ｃａｍｐｏｓｅｃｏ，Ｏ．Ｓａｕｒｅｒ，Ｍ．Ｐｏｌｌｅｆｅｙｓ，“Ｌｉｖｅ  Ｍｅｔｒｉｃ  ３Ｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｏｎ  Ｍｏｂｉｌｅ  Ｐｈｏｎｅｓ”，ｉｎ  ＩＣＣＶ  ２０１３．
・Ｊ．Ｅｎｇｅｌ，Ｔ．Ｓｃｈoｐｓ，Ｄ．Ｃｒｅｍｅｒｓ，“ＬＳＤ−ＳＬＡＭ：  Ｌａｒｇｅ−Ｓｃａｌｅ  Ｄｉｒｅｃｔ  Ｍｏｎｏｃｕｌａｒ  ＳＬＡＭ”，ｉｎ  ＥＣＣＶ  ２０１４．
これはまた、ＲＧＢ深度カメラの利用に基づく以下の論文に記載されている解決策の場合にあてはまる。
・Ｔ．Ｗｈｅｌａｎ，Ｊ．ＭｃＤｏｎａｌｄ，Ｍ．Ｋａｅｓｓ，Ｍ．Ｆａｌｌｏｎ，Ｈ．Ｊｏｈａｎｎｓｓｏｎ，Ｊ．Ｌｅｏｎａｒｄ，“Ｋｉｎｔｉｎｕｏｕｓ；  Ｓｐａｔｉａｌｌｙ  Ｅｘｔｅｎｄｅｄ  ＫｉｎｅｃｔＦｕｓｉｏｎ”，ｉｎ  ＭＩＴ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，２０１２．
・Ｑ．Ｚｈｏｕ，Ｓ．Ｍｉｌｌｅｒ，Ｖ．Ｋｏｌｔｕｎ，“Ｅｌａｓｔｉｃ  Ｆｒａｇｍｅｎｔｓ  ｆｏｒ  Ｄｅｎｓｅ  Ｓｃｅｎｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ”，ｉｎ  ＩＣＣＶ  ２０１３．
・Ｓ．Ｃｈｏｉ，Ｑ．Ｚｈｏｕ，Ｖ．Ｋｏｌｔｕｎ，“Ｒｏｂｕｓｔ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｏｆ  Ｉｎｄｏｏｒ  Ｓｃｅｎｅｓ”，ｉｎ  ＣＶＰＲ  ２０１５．
【０００５】
これらのアルゴリズムの多くは、依然として、３Ｄ点群や単純なメッシュのようなノイズの多い未処理の３Ｄデータを生成する。高度なアプリケーションにおいてこのような３Ｄ再構成を利用するのは難しい可能性がある。仮想環境を利用するためには、シーン内のオブジェクトや標準的な形状（例えば、平面）のセグメント、各オブジェクトの分類、３Ｄデータベース内の各オブジェクトの取得、シーンのレイアウトに関連付けられた意味、シーングラフなど、より多くの情報が必要となる可能性がある。これらの複雑なタスクは、文献、特に以下の論文で言及されているいわゆる「シーン理解問題」を構成する。
・Ｈ．Ｋｏｐｐｕｌａ，Ａ．Ａｎａｎｄ，Ｔ．Ｊｏａｃｈｉｍｓ，Ａ．Ｓａｘｅｎａ，“Ｓｅｍａｎｔｉｃ  Ｌａｂｅｌｉｎｇ  ｏｆ  ３Ｄ  Ｐｏｉｎｔ  Ｃｌｏｕｄｓ  ｆｏｒ  Ｉｎｄｏｏｒ  Ｓｃｅｎｅｓ”，ｉｎ  ＮＩＰＳ  ２０１１．
・Ｌ．Ｎａｎ，Ｋ．Ｘｉｅ，Ａ．Ｓｈａｒｆ，“Ａ  Ｓｅａｒｃｈ−Ｃｌａｓｓｉｆｙ  Ａｐｐｒｏａｃｈ  ｆｏｒ  Ｃｌｕｔｔｅｒｅｄ  Ｉｎｄｄｏｒ  Ｓｃｅｎｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ”，ｉｎ  ＳＩＧＧＲＡＰＨ  Ａｓｉａ  ２０１２．
・Ｗ．Ｃｈｏｉ，Ｙ．Ｃｈａｏ，Ｃ．Ｐａｎｔｏｆａｒｕ，Ｓ．Ｓａｖａｒｅｓｅ，“Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｉｎｄｏｏｒ  Ｓｃｅｎｅｓ  Ｕｓｉｎｇ  ３Ｄ  Ｇｅｏｍｅｔｒｉｃ  Ｐｈｒａｓｅｓ”，ｉｎ  ＣＶＰＲ  ２０１３．
・Ｄ．Ｌｉｎ，Ｓ．Ｆｉｄｌｅｒ，Ｒ．Ｕｒｔａｓｕｎ，“Ｈｏｌｉｓｔｉｃ  Ｓｃｅｎｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｆｏｒ  ３Ｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｗｉｔｈ  ＲＧＢＤ  Ｃａｍｅｒａｓ”，ｉｎ  ＩＣＣＶ  ２０１３．
・Ｓ．Ｓａｔｋｉｎ，Ｍ．Ｈｅｂｅｒｔ，“３ＤＮＮ：  Ｖｉｅｗｐｏｉｎｔ  Ｉｎｖａｒｉａｎｔ  ３Ｄ  Ｇｅｏｍｅｔｒｙ  Ｍａｔｃｈｉｎｇ  ｆｏｒ  Ｓｃｅｎｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ”，ｉｎ  ＩＣＣＶ  ２０１３．
・Ｍ．Ｈｕｅｔｉｎｇ，Ｍ．Ｏｖｓｊａｎｉｋｏｖ，Ｎ．Ｍｉｔｒａ，“ＣｒｏｓｓＬｉｎｋ：  Ｊｏｉｎｔ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  ｏｆ  Ｉｍａｇｅ  ａｎｄ  ３Ｄ  Ｍｏｄｅｌ  Ｃｏｌｌｅｃｔｉｏｎｓ  ｔｈｒｏｕｇｈ  Ｓｈａｐｅ  ａｎｄ  Ｃａｍｅｒａ  Ｐｏｓｅ  Ｖａｒｉａｔｉｏｎｓ”，ｉｎ  ＳＩＧＧＲＡＰｈ  Ａｓｉａ  ２０１５．
【０００６】
最近の進歩により、３Ｄ再構成の工程においてシーン理解タスクを実行する方法が提供されている。これは特に、以下の論文の場合に当てはまる。
・Ｙ．Ｆｕｒｕｋａｗａ，Ｂ．Ｃｕｒｌｅｓｓ，Ｓ．Ｓｅｉｔｚ，“Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ  Ｂｕｉｌｄｉｎｇ  Ｉｎｔｅｒｉｏｒｓ  ｆｒｏｍ  Ｉｍａｇｅｓ”，ｉｎ  ＩＣＣＶ  ２００９．
・Ｙ．Ｋｉｍ，Ｎ．Ｍｉｔｒａ，Ｄ．Ｙａｎ，Ｌ．Ｇｕｉｂａｓ，“Ａｃｑｕｉｒｉｎｇ  ３Ｄ  Ｉｎｄｏｏｒ  Ｅｎｖｉｒｏｎｍｅｎｔｓ  ｗｉｔｈ  Ｖａｒｉａｂｉｌｉｔｙ  ａｎｄ  Ｒｅｐｅｔｉｔｉｏｎ”，ｉｎ  ＳＩＧＧＲＡＰＨ  Ａｓｉａ  ２０１２．
・Ｒ．Ｓａｌａｓ−Ｍｏｒｅｎｏ，Ｒ．Ｎｅｗｃｏｍｂｅ，Ｈ．Ｓｔｒａｓｄａｔ，Ｐ．Ｋｅｌｌｙ，Ａ．Ｄａｖｉｓｏｎ，“ＳＬＡＭ＋＋：  Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｓａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ  ａｔ  ｔｈｅ  Ｌｅｖｅｌ  ｏｆ  Ｏｂｊｅｃｔｓ”，ｉｎ  ＣＶＰＲ  ２０１３．
・Ｒ．Ｓａｌａｓ−Ｍｏｒｅｎｏ，Ｂ．Ｇｌｏｃｋｅｒ，Ｐ．Ｋｅｌｌｙ，Ａ．Ｄａｖｉｓｏｎ，“Ｄｅｎｓｅ  Ｐｌａｎａｒ  ＳＬＡＭ”，ｉｎ  ＩＳＭＡＲ  ２０１４．
・Ｈｅｒｍａｎｓ，Ｇ．Ｆｌｏｒｏｓ，Ｂ．Ｌｅｉｂｅ，“Ｄｅｎｓｅ  ３Ｄ  Ｓｅｍａｎｔｉｃ  Ｍａｐｐｉｎｇ  ｏｆ  Ｉｎｄｏｏｒ  Ｓｃｅｎｅｓ  ｆｒｏｍ  ＲＧＢ−Ｄ  Ｉｍａｇｅｓ”，ｉｎ  ＩＣＲＡ  ２０１４．
【０００７】
それにもかかわらず、これらの既知の解決策は、主に、オブジェクトの認識およびクラスタリング、ならびに３Ｄシーンを構成する平面のセグメント化に限定されている。そのため、３Ｄ再構成が完了すると、シーンの理解は通常、完全なデータに対して実行される。
【０００８】
現在では、３Ｄで再構成された屋内シーンのレイアウト抽出に特化した解決策も存在する。このような建築物のレイアウトの決定には、シーン・モデリング、シーン理解、拡張現実、および、精密な３Ｄ屋内シーンを正確に構築したり、厳密な測定を行ったりする必要があるすべての分野において、多くの応用例がある。最先端の技術には、２つの主要なファミリーが存在する。すなわち壁、天井および床をクラスタ化する学習アルゴリズムに基づく方法、および純粋なジオメトリ的仮説に基づいてレイアウトを抽出する方法（例えば、部屋は直方体であり、壁は垂直であり、それらの投影は間取り図上の線である）である。
【０００９】
公知の解決策では、ＲＧＢ深度データが与えられた場合に、確率的グラフィックモデルを使用して壁、天井および床を推定する：
・Ｘ．Ｘｉｏｎｇ，Ｄ．Ｈｕｂｅｒ，“Ｕｓｉｎｇ  Ｃｏｎｔｅｘｔ  ｔｏ  Ｃｒｅａｔｅ  Ｓｅｍａｎｔｉｃ  ３Ｄ  Ｍｏｄｅｌｓ  ｏｆ  Ｉｎｄｏｏｒ  Ｅｎｖｉｒｏｎｍｅｎｔｓ”，ｉｎ  ＢＭＶＣ  ２０１０．
【００１０】
その他の論文では、深度（ｄｅｐｔｈ）とＲＧＢデータを用いて壁面とコーナーエッジを識別する方法を示している。
・Ｃ．Ｙａｐｉｃｉｌａｒ，Ｂ．Ｂｏｌｕｍｕ，Ｄ．Ｏｋｕｌｕ，Ｉ．Ｔｕｒｋｉｙｅ，Ｎ．Ａｒｉｃａ，“３Ｄ  Ｓｐａｔｉａｌ  Ｌａｙｏｕｔ  Ｅｘｔｒａｃｔｉｏｎ  ｏｆ  Ｉｎｄｏｏｒ  Ｉｍａｇｅｓ  ｕｓｉｎｇ  ＲＧＢ−Ｄ  Ｄａｔａ”，ｉｎ  ＳＩＵ  ２０１３．
・Ｊ．Ｚｈａｎｇ，Ｃ．Ｋａｎ，Ａ．Ｓｃｈｗｉｎｇ，Ｒ．Ｕｒｔａｓｕｎ，“Ｅｓｔｉｍａｔｉｎｇ  ｔｈｅ  ３Ｄ  Ｌａｙｏｕｔ  ｏｆ  Ｉｎｄｏｏｒ  Ｓｃｅｎｅｓ  ａｎｄ  ｉｔｓ  Ｃｌｕｔｔｅｒ  ｆｒｏｍ  Ｄｅｐｔｈ  Ｓｅｎｓｏｒｓ”，ｉｎ  ＩＣＣＶ  ２０１３．
【００１１】
特に後者の論文において開発された解決策は、屋内シーンのレイアウトが単純な直方体であるという強い前提を立てている。この解決策は、条件付きランダムフィールドを用いて、壁からクラッタを分離する。
そのような仮定をしない解決策も存在し、そこではレイアウトは非凸形であってもよい。
・Ｃ．Ｍｕｒａ，Ｏ．Ｍａｔｔａｕｓｃｈ，Ａ．Ｖｉｌｌａｎｕｅｖａ，Ｅ．Ｇｏｂｂｅｔｔｉ，Ｒ．Ｐａｊａｒｏｌａ，“Ａｕｔｏｍａｔｉｃ  Ｒｏｏｍ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｉｎ  Ｃｌｕｔｔｅｒｅｄ  Ｉｎｄｏｏｒ  Ｅｎｖｉｒｏｎｍｅｎｔｓ  ｗｉｔｈ  Ｃｏｍｐｌｅｘ  Ｒｏｏｍ  Ｌａｙｏｕｔｓ”，ｉｎ  Ｃｏｍｐｕｔｅｒ＆Ｇｒａｐｈｉｃｓ  ２０１４．
【００１２】
この論文は、再構成された屋内シーンの最終的なレイアウトにおける異なる部屋を識別することを目的としている。この解決策は、屋内シーンの異なる部屋をクラスタ化するのに用いられるセルグラフを構築するために、オクルージョンが生じていても壁を識別し、間取り図上に投影する。しかし、この論文では、再構築された３Ｄ点群は、各部屋の内部の固定位置に配されたレーザスキャナから得るものと仮定している。さらに、この方法では、レイアウトの詳細を検出することができない。
【００１３】
単眼画像の集合だけを用いる解決策も存在するが、不明瞭な箇所が多くなり、レイアウトの絶対的なメトリックが得られない。
・Ｃ．Ｌｉｕ，Ａ．Ｓｃｈｗｉｎｇ，Ｋ．Ｋｕｎｄｕ，Ｒ．Ｕｒｔａｓｕｎ，Ｓ．Ｆｉｄｌｅｒ，“Ｒｅｎｔ３Ｄ：  Ｆｌｏｏｒ−Ｐｌａｎ  Ｐｒｉｏｒｓ  ｆｏｒ  Ｍｏｎｏｃｕｌａｒ  Ｌａｙｏｕｔ  Ｅｓｔｉｍａｔｉｏｎ”，ｉｎ  ＣＶＰＲ  ２０１５．
【００１４】
さらに、この論文は、マンハッタンワールド仮説の強い仮定を用いており、それは、壁の各対が平行か垂直のいずれかでなければならないことを意味する。この方法では、最適化を用いて、部屋のレイアウトを推定し、間取り図における各写真が撮影された部屋を選択する。
【００１５】
こうした文脈において、建築物のレイアウトを決定するための改善された解決策が依然として必要とされている。
【発明の概要】
【００１６】
したがって、コンピュータによって実施される、建築物のレイアウトを決定するための方法が提供される。本方法は、壁のサイクルの平断面を表す点のサイクルを提供することを含む。本方法はまた、それぞれの点に割り当てられ、それぞれの点において点のサイクルに垂直な方向を表す、第１のデータムを提供することを含む。本方法はまた、マルコフ・ランダム・フィールド（Ｍａｒｋｏｖ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ：ＭＲＦ）エネルギーを最小にすることを含む。ＭＲＦエネルギーは、点のサイクル上にラベルで定義される。ラベルは、第２のデータの集合内の値をとる。各第２のデータムは、レイアウトに対して垂直な、それぞれの方向を表す。本方法は、最小化により、各点に、それぞれ、第２のデータの集合のうちの１つを割り当てる。ＭＲＦエネルギーは単項を含む。当該単項は、各点について、割り当てられた第２のデータムによって表される方向と、割り当てられた第１のデータムによって表される方向との、角距離にペナルティを科す。ＭＲＦエネルギーは、バイナリ項をさらに含む。当該バイナリ項は、連続する点の組のそれぞれついて、割り当てられた第１のデータによって表される方向間の角距離が減少するほど、割り当てられた第２のデータによって表される方向間の角距離に、より大きなペナルティを科す。本方法はまた、同じ第２のデータムが割り当てられた連続する点の極大集合を識別することを含む。本方法はまた、セグメントのサイクルを境界付ける頂点のサイクルを決定することを含む。セグメントのサイクルは建築物のレイアウトを表す。各セグメントは、それぞれの壁に対応する。各セグメントは、それぞれの極大集合に適合し、それぞれの極大集合における点に割り当てられた第２のデータムによって表される方向に対して垂直である。
【００１７】
このような方法は、建築物のレイアウトを決定するための改善された解決策を提供する。
【００１８】
特に、ＭＲＦエネルギーの最小化のおかげで、本方法は、比較的、ロバストに、および／または、高速に実行することができる。さらに、本方法は、これに関わる特定のＭＲＦエネルギーにより、従来技術の問題を、少なくとも低減することができる。従来技術と比較して、本方法は、ノイズの多いデータになりにくく、本方法は、完全または少なくともより大きなレイアウトを抽出することができ、本方法は、正確なレイアウト（例えば、詳細な内容を含む）を再構成することができ、本方法は、レイアウトの形状（例えば、マンハッタンワールド仮説、および／または、直方体仮説）、またはオクルージョン、および／または、３Ｄ点群を取得したセンサの位置（例えばそこから点のサイクルが導出される）についての仮定を排除することができ、本方法は、提供されたデータ中におけるカラーデータの必要性を排除することができ、本方法は、従来の機械学習（例えば、ラベル付けされたデータセットについてパラメータを学習すること）を実行する必要性を排除することができる。
【００１９】
本方法は、以下のうち１つまたは複数を含んでいてもよい。
・前記ＭＲＦエネルギーの最小化は厳密最小化である。
【００２０】
・前記ＭＲＦエネルギーの最小化は、１つまたは複数の確率伝搬法により行われる。
【００２１】
・前記第１のデータおよび前記第２のデータはベクトルであり、割り当てられた第２のデータムＮｋによって表される方向と、割り当てられた第１のデータムｎｉによって表される方向との間の角距離は、
【数１】
2019003621.tif 000003
のタイプであり、割り当てられた第２のデータＮｋおよびＮｍによって表される方向間の角距離は
【数２】
2019003621.tif 000004
のタイプであり、かつ／あるいは、割り当てられた第１のデータｎｉおよびｎｊによって表される方向間の角距離は
【数３】
2019003621.tif 000005
のタイプである。
・前記ＭＲＦエネルギーは、
【数４】
2019003621.tif 000006
のタイプであり、ここで、
【数５】
2019003621.tif 000007
は点のサイクルであって、
【数６】
2019003621.tif 000008
のとき
【数７】
2019003621.tif 000009
であり、
【数８】
2019003621.tif 000010
は単項であり、
【数９】
2019003621.tif 000011
はバイナリ項であり、λは、正の数である。
【００２２】
・各頂点は、それぞれの第１の点および第２の点に対応し、前記各第１の点は、その頂点によって境界付けられたセグメントに対応する前記極大集合の終点であり、前記各第２の点は、その頂点によって境界付けられた他のセグメントに対応する前記極大集合の始点であり、前記各頂点の決定は、前記各第１の点および前記各第２の点の関数として各頂点の初期位置を決定することと、前記初期位置を最適化することとを含む。
【００２３】
・前記各第１の点および前記各第２の点の前記関数は平均値関数である。
【００２４】
・前記最適化は、各セグメントについて、そのセグメントの長さの初期値から、結果として得られるそのセグメントの長さの値の距離にペナルティを科す、コスト関数を最小化する。
【００２５】
・前記点のサイクルは、投影平面上の前記壁のサイクルを表す３Ｄ点群の投影に対応する２Ｄ点群の凹包であり、前記投影平面は前記平断面に対応する。
【００２６】
・前記投影平面は床平面を表し、かつ／あるいは、前記投影は垂直投影である。
【００２７】
・前記点のサイクルの前記提供は、前記壁のサイクルを含む部屋を表す３Ｄ点群を提供することと、前記部屋を表す前記３Ｄ点群から前記投影平面および前記壁のサイクルを表す３Ｄ点群を識別することと、前記投影平面上に前記壁のサイクルを表す前記３Ｄ点群を投影することと、前記２Ｄ点群を決定することと、前記凹包を決定することとを含む。
【００２８】
・前記投影平面および前記壁のサイクルを表す３Ｄ点群の前記識別は、ランダム・サンプル・コンセンサス・アルゴリズムを用いて前記部屋を表す前記３Ｄ点群の中から平面を検出することを含む。かつ／あるいは、
【００２９】
・前記２Ｄ点群の前記決定は、検出された各平面について、前記平面の投影の結果を前記結果の線形回帰に投影することを含む。
【００３０】
さらには、本方法を実行するための命令を含むコンピュータプログラムが提供される。
【００３１】
さらには、前記コンピュータプログラムを記録したデータ記憶媒体を備える装置が提供される。前記装置は、非一時的なコンピュータ読み取り可能な媒体を構成してもよい。あるいは、前記装置は、前記データ記憶媒体に接続されたプロセッサを備えていてもよい。前記装置は、このように、システムを構成していてもよい。前記システムは、さらに、前記プロセッサに接続されたグラフィカル・ユーザ・インターフェースを備えていてもよい。前記システムは、前記プロセッサに結合され、かつ、部屋を表す３Ｄ点群であって点のサイクルを決定可能な３Ｄ点群をキャプチャするように構成された、１つまたは複数のセンサを、さらに備え、かつ／あるいは、当該センサに接続され、かつ／あるいは、当該センサに接続可能である。前記センサ（群）は、１つまたは複数の可搬型センサを含んでいてもよい。前記センサ（群）は、１つまたは複数の深度センサ、ＲＧＢ深度センサ、および／または、１つまたは複数のレーザスキャナを含んでいてもよい。
【図面の簡単な説明】
【００３２】
【図１】本方法の例を説明するための図である。
【図２】本方法の例を説明するための図である。
【図３】本方法の例を説明するための図である。
【図４】本方法の例を説明するための図である。
【図５】本方法の例を説明するための図である。
【図６】本方法の例を説明するための図である。
【図７】本方法の例を説明するための図である。
【図８】本方法の例を説明するための図である。
【図９】本方法の例を説明するための図である。
【図１０】本システムの一例を示す。
【発明を実施するための形態】
【００３３】
「データム」という語は、１つのデータを指す。「データ」という語は、複数のそのようなデータを指す。
【００３４】
「サイクル」という語は、「環状集合（ｃｙｃｌｉｃｓｅｔ）」という数学的表現に対応する。壁は四辺形の材料構造である。壁のサイクルは、エッジ同士が接続されたそのような四辺形の（例えば、有限の）集合であり、各四辺形は、対向するエッジにおいて厳密に２つの他の四辺形に接続され、これにより当該集合が環を形成する。壁のサイクルは、部屋の壁に対応していてもよい。部屋はまた、床を含み、オプションとして、天井を含むか、あるいは、上側が開口していてもよい。部屋の壁は、床の上、例えば床と天井の間の、四辺形パネル構造であってもよい。そのような壁は、開口（窓、ドア、あるいは他の穴など）を含んでいてもよい。例において、壁は垂直であってもよい。そのような場合、点は、壁を表す３Ｄ点群の水平面に対する垂直投影の結果生じてもよく、平断面は、例えば床平面に対応する水平断面である。
【００３５】
壁のサイクルは、直方体とは異なる構造を形成してもよい。壁のサイクルは、９０°とは異なる角度で接続された連続する壁の対を含んでいてもよい。壁のサイクルは、４個とは異なる数の壁を含んでいてもよい。
【００３６】
「建築物のレイアウト」という表現は、建築構造物がどのように配置されているかを表す情報を指す。本方法によって決定される頂点のサイクルは、セグメントのサイクルに対応し、各セグメントは、境界が定められ、それにより頂点のサイクルのうち連続した一対の頂点によって定義され、各セグメントは、壁のサイクルのうちのそれぞれの壁に対応する。このように、頂点のサイクルは壁同士の配置を表す。このような比較的精密な情報は、未処理のまま壁のサイクルの平面断面を表し得る、提供された点のサイクルとは対照的に、建築物のレイアウトを表す。
【００３７】
本方法は、例えば、本方法内で予め提供されるか、あるいは決定され得る床平面と天井平面との間のセグメントのサイクルの押し出しに対応する、３Ｄレイアウトをさらに決定してもよい。
【００３８】
第１のデータは、例えば本方法の初期段階で、例えば点のサイクル（例えば、点のサイクルのみ）に基づいて決定されてもよい。第１のデータムは、それぞれの点において点のサイクルに垂直な方向を表す。第１のデータムは、それぞれの点において、壁の断面の真の法線に近似していてもよい。前記第１のデータムは、ベクトルであってもよい。第１のデータムは、各点のそれぞれの側の２つの点、例えば、（各点に対して）距離閾値未満の点のサイクルに対応するグラフ上の２つの点によって境界付けられたセグメントに垂直な方向を表していてもよく、例えば、これらの点はそれぞれ当該閾値とまったく同じ距離にある。当該距離は、グラフ距離であってもよい。当該２つの点は、例えば、点のサイクルにおける各点に隣接する２つの点であってもよい。サイクルでは、隣接する２つの要素は、定義上、サイクルにおいて一方が他方に連続するような二つの要素である。
【００３９】
第２のデータムは、それが割り当てられた点においてレイアウトに垂直な方向を表す。第２のデータは、第１のデータ同様、ベクトルであってもよい。第２のデータの集合は、第１のデータの集合よりも小さくてもよい。ラベルは、有限かつ／または予め定められ得る第２のデータの集合内の値をとる。第２のデータの集合は、例えば角度の範囲［０°，３６０°］または［０°，１８０°］から、例えば規則的にサンプリングしたものに対応していてもよく、各角度は、任意の共通基準軸またはベクトル（自由に決めてもよい）に対する方向を定義する。サンプリングは、０°の値、３６０、１８０、９０、４５、３０、および１５に等しいかそれらより小さい値、および／または、１、２、４、または１０に等しいかそれらより大きい値を含んでいてもよい。サンプリングは、例えば、｛０°，４５°，９０°，１３５°｝または｛０°，１５°，３０°，４５°，６０°，７５°，９０°，１０５°，１２０°，１３５°，１５０°，１６５°｝であってもよい。
【００４０】
ＭＲＦエネルギーの最小化は、厳密最小化または擬似最小化であってもよい。本質的に、本方法は、第１のデータによって提供される大まかな情報をクリーニング、訂正、および／または、整理して、壁の識別を可能にする情報にすることを目的とする。ＭＲＦは、第１のデータを考慮したペナルティ項により、そのようなクリーニング、訂正、および／または、整理を実行する。
【００４１】
単項は、各点について、割り当てられた第２のデータムによって表される方向と、割り当てられた第１のデータムによって表される方向との、角距離にペナルティを科す。言い換えれば、ＭＲＦ最小化は、既に割り当てられた第１のデータムによって表される方向に近い方向を表す第２のデータムを各点に割り当てる傾向がある。このように、単項は、角距離の増加関数であるコスト関数を構成する。増加は必ずしも厳密ではなく、コスト関数は一定ではない。
【００４２】
バイナリ項は、連続する点の組のそれぞれついて、割り当てられた第１のデータによって表される方向間の角距離が減少するほど、割り当てられた第２のデータによって表される方向間の角距離に、より大きなペナルティを科す。言い換えれば、ＭＲＦ最小化は、少なくとも第１のデータが互いに近接する方向を表すときに、２つの連続する点に対して、互いに近接する方向を表す第２のデータを割り当てる傾向がある。このように、バイナリ項は、割り当てられた第２のデータによって表される方向間の角距離の所与の値に対しては割り当てられた第１のデータによって表される方向間の角距離についての減少関数であり、また、割り当てられた第１のデータによって表される方向間の角距離の所与の値に対しては割り当てられた第２のデータによって表される方向間の角距離についての増加関数である、コスト関数を構成する。前記増減は必ずしも厳密なものではなく、割り当てられた第１データによって表される方向間の角距離の少なくとも１つの所与の値に対して、増加関数は一定ではない。
【００４３】
同一の第２のデータムが割り当てられる連続する点の極大集合は、任意の所与の点について、当該所与の点に割り当てられた同一の第２のデータムが割り当てられた当該所与の点を含む連続した点の最大の集合である。
【００４４】
極大集合は、（決定された頂点によって境界付けられた）セグメントに適合させる。これは、頂点が、各極大集合の点に対応する位置にセグメントがそれぞれ局在するように決定されることを意味する。当該適合は、セグメントが、それぞれの極大集合における点に割り当てられた第２のデータムによって表される方向に対して垂直であれば、そのような任意の位置決めに対応していてもよい。一例は後で示す。
【００４５】
本方法は、コンピュータにより実施される。すなわち、本方法のステップ（あるいは略全てのステップ）が少なくとも１つのコンピュータ、または類似の任意のシステムによって実行される。よって本方法のステップは、コンピュータにより、完全に自動的に、あるいは半自動的に実行される可能性がある。例えば、本方法の少なくともいくつかのステップは、ユーザとコンピュータの対話を通じて始動されてもよい。求められるユーザとコンピュータの対話レベルは、想定される自動性のレベルに応じたものであって、ユーザの要望を実装する必要性との間でバランスをとるものとしてもよい。例えば、このレベルは、ユーザが設定し、かつ／あるいは、予め定義されていてもよい。
【００４６】
方法のコンピュータによる実施の典型的な例は、この目的に適したシステムを用いて本方法を実行することである。当該システムは、本方法を実行するための命令を含むコンピュータプログラムを記録したメモリに接続されたプロセッサ、および、グラフィカル・ユーザ・インターフェース（ＧＵＩ）を備えていてもよい。メモリは、データベースを記憶していてもよい。メモリは、そのような記憶に適した任意のハードウェアであり、場合により、物理的に区別可能ないくつかの部分（例えば、プログラム用に１つ、場合によりデータベース用に１つ）を含む。
【００４７】
本方法は、一般に、モデル化オブジェクトを操作する。モデル化オブジェクトは、例えばデータベースに格納されたデータによって定義される任意のオブジェクトである。さらには、「モデル化オブジェクト」という表現は、データそのものも指す。システムの種類に応じて、異なる種類のデータによってモデル化オブジェクトが定義されてもよい。実際、システムは、ＣＡＤシステム、ＣＡＥシステム、ＣＡＭシステム、ＰＤＭシステム、および／またはＰＬＭシステムのうちの任意の組み合わせであってもよい。それら異なるシステムにおいて、モデル化オブジェクトは、対応するデータによって定義される。したがって、ＣＡＤオブジェクト、ＰＬＭオブジェクト、ＰＤＭオブジェクト、ＣＡＥオブジェクト、ＣＡＭオブジェクト、ＣＡＤデータ、ＰＬＭデータ、ＰＤＭデータ、ＣＡＭデータ、ＣＡＥデータについて言及することがある。しかしながら、モデル化オブジェクトは、これらのシステムの任意の組み合わせに対応するデータによって定義されてもよいため、これらのシステムは、互いに排他的なものではない。したがって、システムは、ＣＡＤ兼ＰＬＭシステムであってもよい。
【００４８】
ＣＡＤシステムは、少なくとも、ＣＡＴＩＡのようなモデル化オブジェクトのグラフィック表現に基づくモデル化オブジェクトの設計に適した任意のシステムをも意味する。この場合、モデル化オブジェクトを定義するデータは、モデル化オブジェクトを表現可能にするデータを含む。ＣＡＤシステムは、例えば、辺や線を用い、また、場合により面（ｆａｃｅｓ  ｏｒ  ｓｕｒｆａｃｅｓ）を用いて、ＣＡＤモデル化オブジェクトの表現を提供してもよい。線、辺、あるいは面は、例えば、非一様有理Ｂスプライン（ＮＵＲＢＳ）など、様々な様式で表現されてもよい。具体的には、ＣＡＤファイルは仕様を含み、その仕様に基づきジオメトリが生成可能であり、よって表現が生成可能となる。モデル化オブジェクトの仕様は１つまたは複数のＣＡＤファイルに格納されていてもよい。ＣＡＤシステムでモデル化オブジェクトを表現するファイルの典型的なサイズは、一部分あたり１メガバイトの範囲である。また、モデル化オブジェクトは、典型的には、数千の部分の集合体であってもよい。
【００４９】
ＣＡＤの文脈において、モデル化オブジェクトは、典型的には、３Ｄモデル化オブジェクト、例えば、一つの部品や部品の集合体などの製品、あるいは製品の集合体を表現するものであってもよい。「３Ｄモデル化オブジェクト」は、３Ｄ表現が可能なデータによってモデル化される任意のオブジェクトを意味する。３Ｄ表現は、その部品をすべての角度から見ることを可能にする。たとえば、３Ｄで表現された３Ｄモデル化オブジェクトは、その軸のうちの任意の軸、あるいは、その表現が表示された画面中の任意の軸を中心に、処理して回転させることが可能である。これは、特に、３Ｄモデル化されていない２Ｄアイコンについては除外される。３Ｄ表現の表示は、設計を容易にする（すなわち、設計者が作業を達成するスピードを統計的に速める）。
【００５０】
コンピュータプログラムは、コンピュータによって実行可能な命令を含んでいてもよく、命令は、上記システムに方法を実行させるための手段を含む。プログラムは、システムのメモリを含む任意のデータ記憶媒体に記録可能であってもよい。プログラムは、例えば、デジタル電子回路、またはコンピュータハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。プログラムは、例えばプログラマブルプロセッサによる実行のための機械読み取り可能な記憶装置に具体的に実現された製品のような装置として実装されてもよい。方法ステップは、プログラム可能なプロセッサが命令のプログラムを実行し、入力データを操作して出力を生成することによって方法の機能を実行することによって実行されてもよい。したがって、プロセッサは、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、また、それらにデータおよび命令を送信するようにプログラム可能であってもよく、またそのように接続されていてもよい。アプリケーションプログラムは、高水準の手続き型またはオブジェクト指向のプログラミング言語で、または必要に応じてアセンブリ言語または機械語で実装されていてもよい。いずれの場合も、言語はコンパイラ型言語またはインタープリタ型言語であってもよい。プログラムは、フルインストールプログラムまたは更新プログラムであってもよい。いずれの場合も、プログラムをシステムに適用すると、本方法を実行するための指示が得られる。
【００５１】
本方法は、例えば、壁をクラッタからクラスタリングしたり、あるいは、部分的なレイアウトを抽出したりするのではなく、部屋の完全なレイアウトを抽出するのに適用してもよい。本方法では、ラベル付けされたトレーニングサンプルからの任意の学習ステップを除外してもよい。本方法は、無色の点群に対して機能してもよいため、任意のＲＧＢデータについて、その使用を除外してもよい。本方法は、入力データのノイズに対してロバストである。本方法は、任意のセンサまたはアルゴリズムで再構成された任意の３Ｄ点群を用いて適用してもよい。本方法では、レイアウトに関する強い仮定を除外してもよい。レイアウトは、直方体に対応する必要はなく、マンハッタンワールドの仮定に従う必要はなく、また非凸状であってもよい。抽出されたレイアウトには、建築物の詳細な内容が含まれ得る。本方法の根底にあるアルゴリズムは、例えば、実行可能で正確なレイアウトと考えられるものを実現するために、取り得る壁の間の角度が特定の有限の集合（例えば｛０°，４５°，９０°，１３５°｝）に属するレイアウトを提供するように制約されていてもよい。この方法は、最終レイアウトにおいて正確なメトリックを、３Ｄ再構成シーンがそのようなメトリックを所有する場合に提供してもよい。
【００５２】
本方法は、ロバストなアプローチを形成してもよく、また、色なしの屋内の部屋の３Ｄ点群を入力とすることができて、点群内にノイズが存在する場合であっても、自動的にそこからレイアウトを抽出するシステムまたは装置によって実装されてもよい。レイアウトの壁の、出力された内角は、比較的高精度であってもよい。
【００５３】
図１は、本方法を統合する工程の一例を示す。
【００５４】
図１の工程は、部屋の内部の深度センサを操作して、３Ｄ点群を再構成することができるデータを取得することを含む。次いで、３Ｄ点群を本方法に入力して自動的にレイアウトを抽出してもよい。
【００５５】
図２は、本方法の一例の概略を示し、これは、図１の工程におけるレイアウト決定を実行するのに適用してもよい。
【００５６】
図２の方法は、再構成された３Ｄ点群において、壁、天井、および床を、例えば、平面パッチ抽出アルゴリズムを用いて、例えばＲＡＮＳＡＣアルゴリズムに基づいて、検出する。そして、図２の方法は、例えば間取り図上に投影された、点群の輪郭（例えば凹包）を抽出する。次に、図２の方法は、ＭＲＦ最適化を用いて、レイアウトの識別された壁をセグメント化し、各壁と次の壁との間の直角を推定する。次に、図２の方法は、ＭＲＦ最適化の結果によって推定される制約を用いて最終的なレイアウトをさらに最適化する。本方法は、最終的に、屋内シーンの多面体３Ｄレイアウトを出力する。
【００５７】
ここで、本方法の詳細な例を図３のフローチャートを参照して説明する。本方法のこの例を以下では「本方法」と呼ぶ。本方法のステップは、図面上では順番に表されているが、これらステップは、順番であってもよいし、インターレースされていてもよい。
【００５８】
本方法は、部屋（「シーン」とも呼ぶ）を表す３Ｄ点群をキャプチャすること（Ｓ１２）を含む。３Ｄ点群は、未処理の３Ｄ点または３Ｄメッシュの頂点の集合から成っていてもよい。３Ｄ点群は、任意の色データを除外してもよい。当該キャプチャリング（Ｓ１２）は、例えば、１つまたは複数のセンサを用いて測定を行い、測定値から３Ｄ点群を決定するなど、任意の方法で行ってもよい。前記１つまたは複数のセンサは、そのような目的のために構成された任意のセンサ、例えば、単なるＲＧＢセンサでないセンサ、例えば、深度センサ、ＲＧＢ深度センサ、および／または、レーザスキャンセンサなどを含むか、またはこれらからなっていてもよい。他の例では、３Ｄ点群は、例えば遠隔システムから受信するか、あるいはデータベース内で検索するなど、他の任意の方法で提供されてもよい。
【００５９】
３Ｄ点群は部屋の異なる構造物上の位置を表し、当該構造物には、壁、あるいは床や天井のような他の構造物、および／または、家具や他の物体のような、室内の任意の構造物が含まれる。キャプチャリング（Ｓ１２）は、例えば、１つまたは複数のセンサを含む装置を前記構造物の方に向けて、室内において前記構造物に対する測定を実行することを含んでいてもよい。キャプチャリング（Ｓ１２）は、１人または複数の人間が室内で装置を運搬し、例えば装置を手で運搬するときに、装置を操作して測定を行うことによって実行されてもよい。これは高度なエルゴノミクスを提供する。キャプチャリング（Ｓ１２）は、そのような人間が建物全体の中で装置を運搬する全体的な工程に統合されていてもよい。そのような場合、キャプチャされたデータの異なる部屋への割り当ては、任意の方法で実行してもよく、本方法は、各部屋に対して独立して実行してもよい。
【００６０】
本方法は、次いで、オプションとしての３Ｄ点群の前処理（Ｓ１４）を含む。他の例では、３Ｄ点群は、本方法の次のステップに直接入力してもよい。前処理（Ｓ１４）により、本方法の残りの部分が比較的クリーンなデータに対して機能し、それにより、よりロバストに実行できるようになる。
【００６１】
前処理（Ｓ１４）は、シーン内の点の濃度を均一にするため、ボクセル化グリッドを用いて、入力点群をフィルタリングすることを含んでいてもよい。次いで、前処理（Ｓ１４）は、メインフレームをその主軸に揃えるために、点群に、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ：  ＰＣＡ）を適用してもよい。
【００６２】
この段階で、ｚベクトルも３Ｄ点群に割り当ててもよい。例えば、ｚベクトルは、慣例的に、ＰＣＡの最小分散軸に関連付けられた主軸となるように設定することができる。このように、ｚ軸は屋内シーンの垂直な軸、すなわち床に直交する軸を概ね指す。
【００６３】
本方法は、次いで、この例ではランダム・サンプル・コンセンサス・アルゴリズムを用いて、部屋を表す３Ｄ点群内の平面（例えば、全ての平面）を検出すること（Ｓ２２）を含むが、代わりに、同目的のために構成された他の任意のアルゴリズムを用いてもよい。
【００６４】
ランダム・サンプル・コンセンサス・アルゴリズムは、以下の論文に記載のものであってもよい。
・Ｒ．Ｈａｒｔｌｅｙ，Ａ．Ｚｉｓｓｅｒｍａｎ，“Ｍｕｌｔｉｐｌｅ  Ｖｉｅｗ  Ｇｅｏｍｅｔｒｙ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ”，ｉｎ  Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ  ２００３．
【００６５】
次のステップは、ＲＡＮＳＡＣアルゴリズムによって検出されたすべての平面および投影平面における壁の候補を決定すること（Ｓ２４）からなる。投影平面は、天井と床から選択すればよいが、オプションとして、Ｓ２４で決定して、本方法の残りの部分に出力することもできる。代替的に、投影平面は、例えば、直交平面として、決定された壁の候補に基づいて算出してもよい。
【００６６】
特に効率的な例では、本方法は、法線ベクトルとｚベクトルが所定の閾値よりも大きい角度（例えば、５０°あるいは６０°よりも大きい角度、例えば７５°）を形成する平面を選択することによって、壁である可能性のある平面を識別してもよい。天井は、法線ベクトルとｚベクトルが所定の閾値よりも小さい角度（例えば、５０°あるいは４０°よりも小さい角度、例えば２０°）を形成するすべての平面のうち、ｚ軸に沿った重心が最も高い平面であるとして識別してもよい。床は、法線ベクトルとｚベクトルが所定の閾値よりも小さい角度（例えば、５０°あるいは４０°よりも小さい角度、例えば２０°）を形成するすべての平面のうち、ｚ軸に沿った重心が最も低い平面であるとして識別してもよい。最後に、オプションとして、本方法では、ｋｄ木を用いた単純なユークリッド・クラスタリングを実行することにより、壁の候補を異なる均一な平面パッチに分割し、それにより、より正確な壁の候補を得てもよい。
【００６７】
気づくとおり、アルゴリズムは、実際には壁ではない部屋内の壁の候補を検出する可能性がある。また、この段階では、本方法では、ｚ軸が天井を向いているか床を向いているかが分からないため、床と天井が逆になることがある。しかし、これらは本方法において後に実行されるステップのおかげで、問題とはならない。
【００６８】
図４は、図１〜図２に示した３Ｄ点群にＳ１４〜Ｓ２４を実行した結果を示す。
【００６９】
本方法は、次いで、壁のサイクルを表す３Ｄ点群を、投影平面、例えば床平面上に投影すること（Ｓ３０）を含む。当該投影（Ｓ３０）は垂直であってもよい。言い換えれば、本方法では、壁の候補、天井、および床に属する点を、床平面上に投影し、点群の２Ｄ表現を導き出す。これによって得られた２Ｄ点群は、上側から見た表現である。投影された壁の各候補は、このとき、床平面上で概ね一直線をなす。
【００７０】
本方法では、壁を表すものとして検出された平面のそれぞれについて、投影の結果の線形回帰（Ｓ４２）を行う。言い換えれば、本方法は、例えば、壁の各候補について最良の線を最小二乗することにより、回帰を行う。次いで、本方法は、各壁の２Ｄ点を適合させた線上に投影し（Ｓ４４）、その結果を出力する（Ｓ４６）。これにより入力スキャン中のノイズをフィルタリングできる。
【００７１】
図５は、図４の３Ｄ点群に対してＳ３０−Ｓ４６を行った後に出力される３Ｄ点群を示す。
【００７２】
本方法では、次いで、出力された２Ｄ点群の凹包を決定する（Ｓ５２）。これは任意の方法で行うことができる。図３の方法の代わりとしては、凹包は、例えば、遠隔システムから受信するか、あるいはデータベース内で検索するなどして提供される。
【００７３】
特に良好な結果が得られるようにテストした例では、決定（Ｓ５２）はＳ４６で出力された２Ｄ点群のアルファシェイプを抽出することによって実行してもよい。
【００７４】
これは、以下の論文に記載されているように実行してもよい。
・Ｎ．Ａｋｋｉｒａｊｕ，Ｈ．Ｅｄｅｌｓｂｒｕｎｎｅｒ，Ｍ．Ｆａｃｅｌｌｏ，Ｐ．Ｆｕ，Ｅ．Ｍｕｃｋｅ，Ｃ．Ｖａｒｅｌａ，“Ａｌｐｈａ  Ｓｈａｐｅｓ：  Ｄｅｆｉｎｉｔｉｏｎ  ａｎｄ  Ｓｏｆｔｗａｒｅ”，ｉｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｇｅｏｍｅｔｒｙ  Ｓｏｆｔｗａｒｅ  Ｗｏｒｋｓｈｏｐ  １９９５．
【００７５】
アルファシェイプは、２Ｄ点群の包を表す。アルファが大きいほど、アルファシェイプによって与えられる包が、より凸となる。アルファ値を調整するための効率的なスキームは以下の通りである。本方法では、点群について、ミリメートル単位で、アルファ＝２００から開始してもよい。本方法では、パイプライン全体の最後に、レイアウトＰの外周を、アルファシェイプの長さＬ、および投影されたポイントクラウドＣの凸包の長さと比較してもよい。
【数１０】
2019003621.tif 000012
の場合、または
【数１１】
2019003621.tif 000013
の場合、または
【数１２】
2019003621.tif 000014
の場合、アルゴリズムは、アルファを１００×ｉだけ増加させた後、このステップから再開してもよい。ここでｉは繰り返しの現在の回である。
【００７６】
図６は、図５の２Ｄ点群から得られたそのようなアルファシェイプを示す。
【００７７】
決定（Ｓ５２）は、投影平面（例えば床平面）に沿った壁のサイクルの平断面を表す点のクリーンなサイクルをＭＲＦに入力することを可能にする（ただし、この段階では未処理のままである）。このように、点のサイクルは、２Ｄ点群の凹包を形成する。ここで、２Ｄ点群は、壁のサイクルを表す３Ｄ点群の、床平面などの投影平面上への投影に対応し、「〜に対応する」という表現は、（Ｓ４２〜Ｓ４４で実行するように）壁ごとの線形回帰の結果に点を投影することによってノイズを低減するというオプションを包含する。これにより、Ｓ２４で未整理の状態で検出される可能性のある壁を整理し、壁に対応しない点を破棄し、Ｓ２４ですべての壁が検出されない場合でもＭＲＦをロバストに実行することができる。
【００７８】
次いで、本方法は、点のサイクルの各点に法線ベクトルである第１のデータムを割り当てる（Ｓ５４）。図３の方法の代わりとして、凹包には、例えば、遠隔システムから受信するか、あるいはデータベース内で検索するなどして、予めそのような第１のデータが提供されていてもよい。次いで、本方法は、ＭＲＦエネルギーを最小化する（Ｓ６０）。本方法は、図３に示されたシーケンスに沿って、またはＭＲＦの最小化（Ｓ６０）とインターレースして、割り当て（Ｓ５４）を実行してもよい。
【００７９】
ここで、Ｓ５４−Ｓ６０のテストした効率的な実装は、以下のように表記される。以下において、便宜上、インデックスは
【数１３】
2019003621.tif 000015
に属し、よって、
【数１４】
2019003621.tif 000016
のとき
【数１５】
2019003621.tif 000017
が成り立つ。
【００８０】
各点ｘｉは、単位法線
【数１６】
2019003621.tif 000018
と関連付けられ得る。ここで、
【数１７】
2019003621.tif 000019
であり、また
【数１８】
2019003621.tif 000020
である。ｎｉは、ｘｉが属する壁の近似法線を表す。（０）および（１）は、２Ｄ点群が表される２Ｄ平面の２つの座標を表す。
【００８１】
次いで、本方法は、これらの法線の分布において、主たる最頻値を見つけてもよい。本方法は、各法線ｎｉについて、他の何個の法線ｎｊがｎｉと所定の閾値よりも小さい角度（例えば２０°よりも小さい角度、例えば１０°）を形成しているかをカウントしてもよい。本方法は、各ｎｊの個数に、長さ
【数１９】
2019003621.tif 000021
で重み付けを行ってもよい。本方法は、最大個数と関連付けられた法線を識別し、Ｎ０とする。Ｎ０は主な壁の方向のうちの１つについての法線である。
【００８２】
本方法は、各壁とその隣接する壁との間の角度である第２のデータの取り得る値の有限集合
【数２０】
2019003621.tif 000022
を考慮してもよい。ここで、
【数２１】
2019003621.tif 000023
である。本方法では、多くの角度が許可されるほど、レイアウト点群中のノイズへのより高い感度を犠牲にして、レイアウト内で最も細かい内容を補足できる。本方法では、例えば、Ａ＝｛０°，４５°，９０°，１３５°｝、または、Ａ＝｛０°，１５°，３０°，４５°，６０°，７５°，９０°，１０５°，１２０°，１３５°，１５０°，１６５°｝を取り、これにより、入力点群におけるノイズに対して高いロバスト性を有するほぼあらゆるレイアウトを、正確にモデル化できる。しかし、例えば、１°のような最も細かいレベルで離散化することの妨げになるような制限は本方法には存在せず、よって本方法では、集合Ａ内に３６０個のラベルが提供され得る。
【００８３】
Ｎｋを、すべての
【数２２】
2019003621.tif 000024
についてａｋ°回転させたベクトルＮ０とする。これらはＭＲＦのラベルであってもよい。
【００８４】
本方法では、各ｘｉについての正しい法線を推定するために、ＭＲＦモデルの対ごとにレイアウトサイクルに関連付けてもよく、それは、凹包における各壁のセグメントおよび角度を得ることに相当する。
【００８５】
ラベルｋに関連付けられたｘｉについてのデータまたは単項は、
【数２３】
2019003621.tif 000025
に等しくてもよい。
【００８６】
ラベルｋを有する頂点ｘｉとラベルｍを有する頂点ｘｊという２つの接続された頂点についての平滑度またはバイナリ項は、
【数２４】
2019003621.tif 000026
に等しくてもよい。
【００８７】
ｌ（ｘｉ）を頂点ｘｉに関連付けられたラベル、すなわち、取り得る厳密な法線とする。
【００８８】
モデルに関連付けられたＭＲＦエネルギーは、
【数２５】
2019003621.tif 000027
に等しくてもよい。λは正の数であってもよく、例えば、０．５より大きい。λ＝２の場合をテストした。
【００８９】
ＭＲＦのグラフは単一のサイクルであるため、本方法は、特定の実装において、サイクルをチェーンに分割するｘ０に対する異なるラベルを固定するたびにＬ個の確率伝搬法を実行し、最後に、Ｌ個の構成のうち最もエネルギーの低いものを採用することによって、そのグラフを高速かつ厳密に解決してもよい。
【００９０】
確率伝搬法は、以下の論文に記載の方法で実行してもよい。
Ｊ．Ｙｅｄｉｄｉａ，Ｗ．Ｆｒｅｅｍａｎ，Ｙ．Ｗｅｉｓｓ，“Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｂｅｌｉｅｆ  Ｐｒｏｐａｇａｔｉｏｎ  ａｎｄ  Ｉｔｓ  Ｇｅｎｅｒａｌｉｚａｔｉｏｎｓ”，ｉｎ  Ｅｘｐｌｏｒｉｎｇ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ  ｉｎ  ｔｈｅ  Ｎｅｗ  Ｍｉｌｌｅｎｎｉｕｍ  ２００３．
【００９１】
この離散最適化の結果、Ｓ６０の出力として、最初の凹包の各頂点に対する正確な推定法線が得られる。本方法はこのように、各頂点について、その頂点が属する壁の向きを知る。隣接する２つの頂点が同じ法線方向を共有していない場合は常に、それらが２つの異なる壁に属していることを意味し、したがって、本方法では、同じ第２のベクトルが割り当てられた連続する点の極大集合を識別（Ｓ７０）することによって、異なる壁における最初の２Ｄ包のセグメントを得る。
【００９２】
これにより本方法では、概ね床平面を表す凹包を得る。この凹包は、それぞれが壁に関連付けられたｎ個の２Ｄ点
【数２６】
2019003621.tif 000028
の単一のサイクルからなる。
【００９３】
本方法は、次いで、以下のようにレイアウト最適化を行う。
【００９４】
ＷをＭＲＦによって推定された壁の数とする。本方法は、Ｗ２ｄ個の点
【数２７】
2019003621.tif 000029
のポリゴンを用いて間取り図をモデル化できる。
【００９５】
本方法は、各ｙｊを、連続する壁ｊとｊ＋１とにそれぞれ関連付けられた２つの連続する頂点ｘｉとｘ（ｉ＋１）の関数（例えばそれらの平均値関数）
【数２８】
2019003621.tif 000030
によって初期化（Ｓ８２）してもよい（上記同様、便宜上、インデックスｊは
【数２９】
2019003621.tif 000031
に属する）。
【数３０】
2019003621.tif 000032
を各壁の基準長とする。また
【数３１】
2019003621.tif 000033
とする。
【００９６】
本方法は、出力される各セグメントと、当該セグメントに対応する極大集合の点に予め割り当てられた第２のデータムとの、直交性に関する制約の下で最適化（Ｓ８４）を行うことができる。本方法は、特に、間取り図を表すポリゴンを、各壁の基準長を可能な限り保ちつつ、制約付き最適化を用いて最適化（Ｓ８４）し、ポリゴンの内角がＭＲＦによって推定される角度と等しくなるようしてもよい。
【００９７】
ここで最適化（Ｓ８４）の一例を示す。
【００９８】
ＷｊをＭＲＦによって推定された壁ｊの法線とする。本方法は、すべてのｊについて、制約
【数３２】
2019003621.tif 000034
の下で、
【数３３】
2019003621.tif 000035
を最小化してもよい。
【００９９】
あるいは、本方法は、各セグメントについて、そのセグメントの長さの初期値から、結果として得られるそのセグメントの長さの値の距離にペナルティを科す、他の任意のコスト関数を最小化してもよい。全ての場合において、最小化（Ｓ８４）は、ＭＲＦによって予め推定された角度についての制約下で実行されてもよい。
【０１００】
本方法は、ペナルティ法を用いて、一連の制約なし問題
【数３４】
2019003621.tif 000036
を、非常に小さなγから始めて制約が満たされるまでそれを増加させて最小化を行うことにより当該問題を解決してもよい。
【０１０１】
ペナルティ法は、以下の論文に記載のものであってもよい。
・Ｄ．Ｂｅｒｔｓｅｋａｓ，“Ｃｏｎｓｔｒａｉｎｅｄ  Ｏｐｔｉｍｉｚａｔｉｏｎ  ａｎｄ  Ｌａｇｒａｎｇｅ  Ｍｕｌｔｉｐｌｉｅｒ  Ｍｅｔｈｏｄｓ”，ｉｎ  Ａｔｈｅｎａ  Ｓｃｉｅｎｔｉｆｉｃ  １９９６．
【０１０２】
最適化において、レイアウトに関する平行移動と回転の自由度を排除するため、最適化の間、ｙ０とｙ１は固定されていてもよい。各制約なし問題は、非線形最小二乗であり、レーベンバーグ・マーカート法アルゴリズムを用いて解決することもできるが、本方法は、常に、検索した最小値に非常に近いため、単純なガウス・ニュートンスキームも機能し得る。
【０１０３】
レーベンバーグ・マーカート法アルゴリズムは、以下の論文に記載のものであってもよい。
・Ｄ．Ｍａｒｑｕａｒｄｔ，“Ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｌｅａｓｔ  Ｓｑｕａｒｅ  Ｅｓｔｉｍａｔｉｏｎ  ｏｆ  Ｎｏｎ−Ｌｉｎｅａｒ  Ｐａｒａｍｅｔｅｒｓ”，ｉｎ  Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｓｏｃｉｅｔｙ  ｆｏｒ  Ｉｎｄｕｓｔｒｉａｌ  ａｎｄ  Ａｐｐｌｉｅｄ  Ｍａｔｈｅｍａｔｉｃｓ  １９６３．
【０１０４】
最適化（Ｓ８４）が完了すると、本方法は、出力（Ｓ８６）される正確な間取り図を得る。
【０１０５】
オプションとして、本方法はさらに、天井および床平面を用いて部屋の高さを算出し、レイアウトの３Ｄポリゴンモデルを作成してもよい。
【０１０６】
図７は、図６の２Ｄ包から作成した、そのような３Ｄポリゴンモデルを示す。
【０１０７】
図８は、図１〜図２の最初の３Ｄ点群上に重ねた図７の３Ｄポリゴンモデルを示す。
【０１０８】
図９は、図８に示す重畳物の上面図である。
【０１０９】
これから分かるように、当該３Ｄポリゴンモデルは、最初の３Ｄ点群と視覚的に一致する。
【０１１０】
図１０は、本システムの一例を示すものであって、当該システムは、クライアントコンピュータシステム、例えばユーザのワークステーションである。
【０１１１】
本例のクライアントコンピュータは、内部通信バス１０００に接続された中央演算処理装置（ＣＰＵ）１０１０、および同じくバスに接続されたランダムアクセスメモリ（ＲＡＭ）１０７０とを備える。クライアントコンピュータは、さらに、バスに接続されたビデオランダムアクセスメモリ１１００と関連付けられたグラフィックス処理装置（ＧＰＵ）１１１０を備える。ビデオＲＡＭ１１００は、当該技術分野において、フレームバッファとしても知られる。大容量記憶装置コントローラ１０２０は、ハードドライブ１０３０などの大容量記憶装置へのアクセスを管理する。コンピュータプログラムの命令及びデータを具体的に実現するのに適した大容量メモリ装置は、例として、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置のような半導体メモリ装置、内蔵ハードディスクやリムーバブルディスクなどの磁気ディスク、光磁気ディスク、およびＣＤ−ＲＯＭディスク１０４０を含む、全ての形式の不揮発性メモリを含む。前述のいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完されてもよいし、組み入れられてもよい。ネットワークアダプタ１０５０は、ネットワーク１０６０へのアクセスを管理する。クライアントコンピュータはまた、カーソル制御装置、キーボードなどの触覚装置１０９０を含んでいてもよい。カーソル制御装置は、ユーザがディスプレイ１０８０上の任意の所望の位置にカーソルを選択的に位置させることを可能にするために、クライアントコンピュータ内で使用される。さらに、カーソル制御装置は、ユーザが様々なコマンドを選択し、制御信号を入力することを可能にする。カーソル制御装置は、システムに制御信号を入力するための多数の信号生成装置を含む。典型的には、カーソル制御装置はマウスであってもよく、マウスのボタンは信号を生成するために使用される。あるいは、または追加的に、クライアントコンピュータシステムは、感知パッドおよび／または感知スクリーンを備えてもよい。
【図１】
2019003621.tif 000063
【図２】
2019003621.tif 000064
【図３】
2019003621.tif 000065
【図４】
2019003621.tif 000066
【図５】
2019003621.tif 000067
【図６】
2019003621.tif 000068
【図７】
2019003621.tif 000069
【図８】
2019003621.tif 000070
【図９】
2019003621.tif 000071
【図１０】
2019003621.tif 000072
【外国語明細書】
2019003621.tif 000073
2019003621.tif 000074
2019003621.tif 000075
2019003621.tif 000076
2019003621.tif 000077
2019003621.tif 000078
2019003621.tif 000079
2019003621.tif 000080
2019003621.tif 000081
2019003621.tif 000082
2019003621.tif 000083
2019003621.tif 000084
2019003621.tif 000085
2019003621.tif 000086
2019003621.tif 000087
2019003621.tif 000088
2019003621.tif 000089
2019003621.tif 000090
2019003621.tif 000091
2019003621.tif 000092
2019003621.tif 000093
2019003621.tif 000094
2019003621.tif 000095
2019003621.tif 000096
2019003621.tif 000097
2019003621.tif 000098
2019003621.tif 000099
【図１】
2019003621.tif 000100
【図２】
2019003621.tif 000101
【図３】
2019003621.tif 000102
【図４】
2019003621.tif 000103
【図５】
2019003621.tif 000104
【図６】
2019003621.tif 000105
【図７】
2019003621.tif 000106
【図８】
2019003621.tif 000107
【図９】
2019003621.tif 000108
【図１０】
2019003621.tif 000109