天正13年に明石則実が豊岡城に転封した後、高山右近が入りこの城を破城して資材を船上城の築城に使ったとされている(『采邑私記』)。