しかし、その後戦火にさらされ荒廃していったが、江戸時代に入り寛永13年頃(1636年頃)に江戸城の外堀が出来たのを機に現在地に移転。