1596年(宣祖29年)の慶長の役のさい、金剛門一つだけを残し、あとは火災で焼失した。