1268年（文永5年）には、火災により伽藍を焼失するが、本尊は難を逃れ、大友氏の庇護により復興。
1835年（天保6年）二之丸遭遇大火，再次重修本丸，政务的处理也移至本丸，而天守在享保大火后就没被重建，一直以御殿代替。