配 信 先 ：文 部 科 学 記 者 会 、科 学 記 者 会 、熊 本 県 内 報 道 機 関
松 本 市 政 記 者 クラブ、長 野 市 政 記 者 クラブほか

令 和 ４ 年 ９ 月 27 日

報道機関各位
国立大学法人熊本大学
国立大学法人信州大学
凸版印刷株式会社

熊本城の崩落石材の元の所在特定ができる
画像照合システムを開発（ポイント）⚫ 三次元画像処理による熊本城石垣の照合技術を開発した。
⚫ 実 際 の 熊 本 城 飯 田 丸 五 階 櫓 の 崩 落 石 材 の 特 定 を 行 い 、 91%の 成 功 率 で 照 合できた。
⚫ 本技術は熊本市の復旧工事の設計に活用され、今後着工予定である。
（概要説明）
熊本大学大学院先端科学研究部の上瀧剛教授らの研究グループは、信州大学学術研究院（工学系）白井啓一郎准教授と凸版印刷株式会社との共同研究により、熊本地震で崩落した石材の元の所在を、画像照合技術を用いて特定するシステムソフトウェアを開発しました。
平 成 28年 の 熊 本 地 震 に よ り 熊 本 城 の 石 垣 か ら 膨 大 な 数 の 石 材 が 崩 落 し ま した。これらの石材１つ１つが文化財であるという性質上、崩落した石材を元の位置に戻す必要がありますが、この特定作業を目視で行うことは非常に困難でした。
そこで今回、崩落前後の石材の写真を、計算機を用いて自動照合することで効率よく石材の元の所在を特定できるシステムを開発しました。
本 シ ス テ ム を 用 い る こ と で 、飯 田 丸 五 階 櫓 の 石 垣 か ら 崩 落 し た 370個 の 石 材の 写 真 に 対 し て 、 337個 （ 91%） の 元 の 所 在 を 特 定 す る こ と が で き ま し た 。 特
筆すべき結果として、事前の人間による目視による照合では、石材はどれも同 じ よ う な 形 を し て い る こ と か ら 、１ 割 ほ ど の 対 応 付 け 誤 り が あ り ま し た が 、本システムを用いることで、このようなヒューマンエラーを取り除くことができました。従来の目視による特定作業は、数百枚の写真を見比べながらの作 業 と な る た め 数 か 月 1 を 要 し て い ま し た が 、本 シ ス テ ム を 用 い た 作 業 時 間 は１時間程度でした。
1

熊本市によると石材の移動などの他の作業を含めた時間で単純に比較はできませんが、非常に大変な作業量であったと話を聞いています。

本システムは実際の飯田丸五階櫓の復旧工事の設計に活用されており、この設計に従って着工予定です。今後は他の石垣での照合に活用されることが期待されます。
本 研 究 成 果 は 令 和 ４ 年 ７ 月 22 日 に 科 学 雑 誌 「 International Journal ofComputer Vision」 に 掲 載 さ れ ま し た 。 ま た 、 本 研 究 は JST の A-STEP（ 研 究成 果 最 適 展 開 支 援 プ ロ グ ラ ム ） ス テ ー ジ II の 支 援 を 受 け て 実 施 し た も の です。
（詳細説明）
平 成 28 年 ４ 月 に ２ 度 に わ た っ て 発 生 し た 巨 大 地 震 に よ り 熊 本 城 は 大 き な
被 害 を 受 け 、復 旧 作 業 に は 10 年 以 上 の 年 月 を 要 す る と 言 わ れ て い ま す 。熊 本
城の石垣は文化財という性質上、崩落した石材を元の正しい位置に戻す必要がありますが、石材数が膨大なため、これらの照合作業を目視で行うことは困難です。
これに対して、本研究では画像処理技術を用いて、これらの照合作業を支援する石垣照合システムを開発しました。システムでは、崩落前後の石材の形状情報や崩落前後の位置関係を頼りに、崩落石材全体の対応付けを行いました。開発したシステムは、次の①～③の３つのパートからなります。

図１．崩落した飯田丸五階櫓の石垣①崩落前石材データベースの構築
震災が起こる前の石垣の写真から、石材１つ１つの正対した画像および実寸スケールの輪郭データベースを作成しました。当初、震災前の石垣写真がな く 行 き 詰 ま っ て い ま し た が 、 凸 版 印 刷 株 式 会 社 が VR 熊 本 城 の コ ン テ ン ツ
作 成 の た め に 平 成 23 年 頃 に 一 眼 レ フ カ メ ラ で 高 精 細 な ４ 万 枚 以 上 の 石 垣 写真の撮影を行っていたため、そこから崩落前石垣のデータベースを作成することができました。
②崩落後石材の計測
石垣の崩落後、石置き場に移動させた石材をステレオカメラにより３次元で計測しました。それによりミリメートル単位の実寸スケール情報が取得でき、正面から見た形状に変換することができます。
③崩落前後の石材の照合
最後に、①②で得られた両者の情報の照合を行いました。具体的には崩落前後の石材輪郭形状および位置関係を基に対応付けを行いました。また、崩落前後の石材はジグソーパズルのように１対１に対応するため、このようなパ ズ ル 問 題 を 「 0-1 整 数 計 画 問 題 ※ 」 と し て 定 式 化 し て 解 き ま し た 。
開発した石垣照合システムを実際の熊本城の飯田丸五階櫓の石垣に適用した と こ ろ 、 370 個 の 崩 落 石 材 に 対 し て 、 337 個 （ 91%） の 石 材 の 元 の 所 在 を 特定することができました。残りの特定できなかった石材は小さい石材や割れた石材でした。特筆すべき結果として、本システムの照合により、約 1 割の石材について事前の熊本市職員による対応付けが誤っていることが判明し、本来の正しい対応関係を示すことができました。これは、数百個におよぶ石材がどれも似たような形状をしており、１枚１枚写真を見比べながらの従来の目視作業では、決して少なくない数のヒューマンエラーが生じることを示唆しています。

図 ２ ．シ ス テ ム に よ る 照 合 結 果（ 上 段 の 図 ）。下 段 の 図 は 崩 落 前 石 材（ 左 ）、人の目視により誤って対応付けされた石材（中央）、システムが提示した正しい石材（右）以上により開発システムの有効性が証明され、短期間で実用化レベルまで至ることが示されました。飯田丸五階櫓の照合結果は熊本市の石垣復旧工事の設計に活用され、これを基に工事が着工予定です。

（用語解説）※ 0-1 整 数 計 画 問 題 ： 与 え ら れ た 条 件 の 下 で 目 的 を 最 適 に 達 成 す る た め の 数
理モデルのうち、求める解が０または１であるという条件に限定する場合のモデル。
（論文情報）
論 文 名 ： ISHIGAKI Retrieval System Using 3D Shape Matching andCombinatorial Optimization
著 者 ： Gou Koutaki, Sakino Ando, Keiichiro Shirai, Tsuyoshi Kishigami
掲 載 誌 ： International Journal of Computer Vision
doi： https://doi.org/10.1007/s11263-022-01630-8
URL： https://link.springer.com/article/10.1007/s11263 -022-01630-8【お問い合わせ先】（研究に関するお問い合わせ）熊本大学大学院先端科学研究部
担当：教授 上瀧剛
電 話 ： 096-342-3646
e-mail： koutaki@cs.kumamoto-u.ac.jp（報道に関するお問い合わせ）熊本大学総務課広報戦略室
電 話 ： 096-342-3269
e-mail： sos-koho@jimu.kumamoto-u.ac.jp
信州大学総務部総務課広報室
電 話 ： 0263-37-3056
e-mail： shinhp@shinshu-u.ac.jp
凸版印刷株式会社 広報本部
e-mail： kouhou@toppan.co.jp