弘治3年(1557年)、周防大内氏最後の当主大内義長が境内で自害した後、寺は一時衰退する。