しかし応仁(1467年-1468年)の頃から造り替えが遅れ始め、やがて造り替えが行われないどころか社地すら不明となってしまった。