В 1654 году младший брат сёгуна Иэцуны, Мацудайра Цунасигэ, правитель княжества Кофу, построил резиденцию на отмели в устье Сумиды, которую назвал . Позже сын Цунасигэ, Иэнобу, стал 6-м сёгуном, а резиденция стала собственностью сёгуната Токугава. В связи с этим название резиденции было изменено на . Начиная с этого времени каждый сёгун привносил некоторые изменения в парк. Окончательный свой вид сады приняли при 11 сёгуне Иэнари. После реставрации Мэйдзи официальная резиденция в садах была ликвидирована, а из названия убрано слово «дворец». Великое землетрясение Канто и Вторая Мировая война нанесли серьёзный ущерб садам, но уже 1 ноября 1945 года императорская семья передала парковую территорию городу, а к 1 апреля 1946 года парк был открыт для публики.