その後、明治20年(1887年)頃まで天守をはじめとした主要建造物は城内に残っていたが人里離れた山頂であるため管理するものもなく自然崩壊した.
その後、