慶安3年(1650年)、徳川家光より社地移転を命じられ、金杉村(現在の台東区根岸)に遷座した。