その後、保元年間(1156年-1158年)に現在地に移転したが、天正の頃に兵火にかかって荒廃する。