立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

熊本城復興支援のための石垣表面テクスチャの照合技術の開発
Development of matching method using surface texture of stone
for reconstruction of Kumamoto Castle2201009

研究代表者

熊本大学大学院

先端科学研究部准教授

上瀧

剛[研究の内容，成果］[研 究 の 目 的]2016 年の熊本地震により熊本城の石垣が崩

1．石垣照合システム落した。熊本城の復旧のためには，土台の石垣

図 1 に熊本城石垣の復旧工程を示す。①〜③の修復が必要であるが，文化財という性質上，で各石垣面の崩落状況の確認・記録，石材の回崩落した石材を元の場所に戻す必要がある。し

収を行った後に，④ 崩落後の石材を計測し，かし，この作業は目視による照合が行われてお⑤ 石材の照合を行い石垣台帳と呼ばれる対応

り，数万個以上の石材の照合作業には 10 年以表を作成し，⑥ 工事にとりかかる。本研究で上を要するといわれている。

は④〜⑤の支援に相当する。被害を受けた石垣これに対して，本研究ではこの石材照合に画面は 517 面，石材数は 7 万個以上に及ぶ。

像照合などの情報技術を用いる。すなわち，崩同図下に照合の概要を示す。崩落前の写真か落前後の石材の写真を画像照合することで，崩ら石材のデータベースを各石垣面毎に作成して落後の石材がどこにあったのかを特定できる。

おき，崩落後の石材計測データと計算機によるしかし，テンプレートマッチングや SIFT など自動照合を行う。照合により各崩落前の石材にの特徴点を用いた単純な画像照合ではほとんど対して，複数の崩落後石材候補をユーザに提示うまくいかなかった。これは石材が似たようなし，ユーザが選択していくことで石垣台帳が完画像テクスチャを持っており，崩落前後の石材成する。ユーザの提示には GUI を用いたインの姿勢や画質・解像度が異なるため，照合が難しくなったと考えられる。
そこで石材照合に特化した画像特徴を検討した。照合の手掛かりとする画像特徴として，石材の 2 次元的な輪郭形状があげられる。さらに，表面の 3 次元的な凹凸情報などがある。実際に石工職人が目視で照合を行う場合は，矢穴と呼ばれる特徴的な凹凸を参考に照合が進められる場合が多い。これらの情報を複合的に利用し，照合精度を上げることを目指す。
図1― 1 ―

石垣の復旧工程立石科学技術振興財団

E=C+wC’

ターフェイスを開発した。高い照合性能を得る…(1)

ためは，照合して得られた石材候補に正解となる石材が含まれる必要がある。

すなわち，それぞれの誤差行列に重みをつけて足 し 合 わ せ る。こ こ で 重 み 係 数 は 実 験 的 にw=1 と設定した。

2．輪郭と表面情報による照合
石垣照合システムの精度向上のために二次元

なお，崩落前の写真は限られた少ない枚数か的な石材の輪郭データと，三次元的な石材の表らの写真からの 3D 復元であるため点群の密度面形状データを用いた照合法を開発した。崩落が低く，崩落後の写真は至近距離からのステレ前後の石材の輪郭および表面データを取得してオ撮影となるため詳細な点群が取得できる。こおき，ある崩落前の石材に対して，全崩落後ののように崩落前後で点群密度が大きく異なるた石材の輪郭と表面情報を照合していき，類似度

め，崩落後の点群に関してはダウンサンプリンを算出する。その類似度が高い上位 10 個の石グを行って，崩落前と同程度の密度に減らした材を候補として GUI に提示する。

うえで照合を行った。

図 2 に輪郭線と表面情報を用いた照合の概要を示す。N 個の崩落前石材と M 個の崩落後石3．ステレオ計測手法材の照合を考える。X は崩落前，Y は崩落崩落後の石材の 3D 計測手法について述べる。

後で，X, Y は 2D 輪郭線データ，X’, Y’ は表面

崩落後の石材は，いったん石垣から離れた広い3D 点群を示す。輪郭同士および表面情報同士

石置き場に運び込まれ，番号をつけられて並べを用いてそれぞれ照合を行い，輪郭誤差行列 Cられている。各石材の形状を計測していく。

および表面誤差行列 C’ を算出する。

3D の計測手段はいくつか考えられる。もっここで誤差行列の i 行-j 列目の要素 C は，とも精度がよいのは 3D スキャナーを用いる方

崩落前の i 番目の石材と，崩落後 j 番目との石式であるが，赤外線を用いる方式は屋外ではう材の誤差 (=類似度) を示す。この誤差は ICPまく点群が取れず，計測時間も多く要する。

アルゴリズムを用いて算出する。すなわち，崩ステレオ一眼レフ方式は絞りを絞ることで外落前のデータ X を回転および平行移動を施し光に強く 3D 計測が可能であるが，装置が大きて，崩落後のデータ Y に位置合わせを行い，くなり高価である。

そのときの各座標点のユークリッド距離の平均値を二つの石材間の誤差として採用する。

式を検討した結果，コンパクトステレオカメラ

輪郭線および表面情報の 2 つの誤差指標を次式のように統合する。

安価かつ軽量で，現場の人間が使いやすい方が候補にあがった。本来は立体視用の写真を撮るためのカメラであったが，3D 計測に応用する。事前の模擬石垣を用いた計測精度は 4 mm程度であった。
図 3 にステレオ照合の概要を示す。同図上段
はコンパクトステレオカメラで撮影して得られた左右の石材画像である。石置き場には石材が密集しておかれているため，必ずしも石材の真正面から撮影することはできず，このように斜め上方からの撮影となっている。カメラの傾きにより，2D 的な輪郭情報は歪んでしまうため，

図2

輪郭線と表面情報を用いた照合

このままでは崩落前の石材との照合はできない。
― 2 ―Tateisi Science and Technology Foundation

誤マッチングが発生し，復元した 3D 表面情報にスパイク上のノイズが合わられた。これは似たような石材テクスチャが存在するためである。
これを低減するために，Semi Global Matching法を採用した。これは，近い位置の画素の同じような奥行であるであろう，という視差の連続性を利用したものである。また，最初に画像を縮小して大まかな照合を行って，次にオリジナルのサイズでの細かな照合を行う，粗密探索も採用した。以上のように，主に計測安定化のた
図3め細かい処理を採用した。

ステレオ計測の概要

図 4 左に単純なブロックマッチングと，右にそこで，3D 計測の利点を活かして，取得し今回の照合法による結果を示す。図の通り，スたデータに 3D 回転を施して，正面から見たパイク状のノイズが軽減されていることがわかデータに変換することができる (同図右下のる。

Frontilization)。
次にステレオマッチング法について説明する。
基本的にはブロックマッチングにより左右画像の視差を求める。視差から事前にキャリブレーションして得たステレオカメラの内部・外部パラメータにより，三角測量を用いて三次元情報を得る。コンパクトステレオカメラはほぼ水平
図4にレンズが置かれているが，念のためキャリブ結果比較

レーションボードを用いて外部パラメータを算出した (ベースラインの若干のずれは確認され

4．実験結果以上の方法を用いて実際の熊本城石垣に対した)。
ブロックマッチングでは局所的なゼロ平均正て照合を行った。場所は不開門と呼ばれる石垣規化相互相関を用い，サブピクセル推定にはエの一部で，崩落前の石材 121 個に対して，崩落ラーキャンセル法およびパラボラフィッティン後の石材 96 個を照合した。ここで，崩落後のグを用いた。サブピクセル推定により滑らかな石材が崩落前より少ない理由は，他の石垣面の表面情報が復元でいることを確認できた。

石材と混ざってしまった，崩落して壊れたり，石材面は左右で影やオクリュージョン，見か行方不明になったためである。

けの変化が生じることが問題となった。特に，照合システムにより対応付けた石材を目視に輪郭情報は石材面のエッジに相当するため慎重より正解か否かを判定して評価した。評価結果に計測しなければならない。これを安定的に実を表 1 に示す。手法の 2D は従来の輪郭線のみ行するために，画像解析で認識した石材輪郭線を用いた手法で，2D+3D は今回の輪郭線+表をマスク (同図の mask) として，石材面内部の画素のみを用いてブロックマッチングを行った。
さらに，単純なブロックマッチングのみでは，― 3 ―

表1

評価結果

手 法

平均 rankmAP2D
2D+3D (提案)

1.796
1.510

0.807
0.828

立石科学技術振興財団

面情報を用いた方法である。平均 rank は正解の結果が得られているが，人間の目視では特定に位置する候補の平均順位で，この値が低いほできなかった石材もいくつか確認できる。最終

ど上位の候補に正解が含まれる。mAP は一般的に目視との併用で 121 個のうち，82 個の石に画像検索で用いられる指標で，上位に正解が材を特定 (特定率 67%) できた。

ランクインするほど高い値 (最大 1) をとる指[今後の研究の方向，課題]標である。どちらの指標においても提案する輪郭線と表面上を併用する手法に有意性が確認で石垣照合において，輪郭形状だけではなく石きた。
図 5 に結果を示す。同図の青色がシステムに材の 3 次元的な表面形状を用いることの有効性より特定できた石材で，赤丸が熊本市職員にを示した。熊本城だけではなく，全国にある文よって特定できた石材である。目視とほぼ同等化的に重要な石垣も今後災害による被害を受けるかもしれない。その時に備えて，崩落前の三次元的な形状情報を取得しておくことが重要と考える。各自治体の予算は限られているため，多数の石材を低コストで効率的に三次元計測する必要があるであろう。

[成果の発表，論文等］[ 1 ] 坂田慶斗，上瀧剛，視差の連続性を考慮したス
テレオ計測を用いる石垣照合システムの検討，ビジョン技術の実利用ワークショップ (ViEW2020),
図52020．

特定した石材― 4 ―