城は戦乱や失火によって4度も火災にみまわれたが、1504年(永正元年)3月21日、城中からの失火によって城外まで延焼し、建物器物の大半を焼失したこともあった。