天正5年(1577年)の織田信長、次いで天正13年(1585年)の羽柴秀吉による紀州攻めで全山焼失するが、奥之院の観音堂だけが類焼を免れた。