しかしながら、1221年(承久3年)の承久の乱以降、京からの熊野詣が下火になり、そのルートであった紀伊路が衰退するとともに、荒廃と退転がすすんだ。