Selv om de var bygget for å vare og benyttet mer stein i konstruksjonen enn i de fleste andre japanske bygninger, var borgene fortsatt hovedsakelig konstruert i treverk, og mange ble ødelagt i løpet av årene. Dette var særlig sant i løpet av perioden som kalles Sengoku («de(n) krigende stat(ers) tid», 1467–1603), da mange av disse borgene ble først bygd. Mange av dem ble senere ombygd, enten senere i Sengoku-tiden, i den påfølgende Edo-tiden (1603–1867), eller i vår tid som nasjonale kulturminnesteder eller museer.