戦国時代から近世初期にかけても度々災害に見舞われているが、なかでも天正16年(1588年)には、豊臣秀長の木材奉行によって放火され、境内がことごとく焼失した。