しかし正平7年(1352年)、足利氏を討つために挙兵し敗れた新田義興・義宗らが当山に身を潜めたことより、足利氏により社領が奪われて衰退した。