灌开始在旧江户村的高台遗迹建设江户城，1457年筑起江户城，其建造者是上杉持朝的诸侯太田道灌。扇谷上杉氏面对积极扩张的后北条氏，扇谷上杉氏连番失利，1522年北条氏纲率领大军攻陷江户城，城主由远山直景担任，其后一直由远山氏担任城主，直到1590年为止，丰臣秀吉大军围攻小田原城，虽然江户城不受战争影响，但是因为北条军败北，秀吉任命德川家康改封关东六国，他选择江户城为他的主城，此时，江户城周围只有大约一百座茅草顶的房屋。德川家康将江户城扩建，组织了士兵和工匠队伍，为江户城建设了护城河和桥梁以强化其防御功能，