逐渐变成伯爵、子爵等华族与政府官员的宅邸。东乡平八郎在1881年（明治14年）至1934年（昭和9年）的五十三年间定居于此。宅邸旧址为现在的东乡元帅纪念公园，与四番町交界的坂也命名为 「东乡坂」。此外，永井荷风、国木田独步等文人也是此地居民。与谢野铁干曾落脚此地，并创刊杂志《明星》。
地名由来.因护卫将军的「三番组」住所而得名。
沿革.1869年（明治2年）成立三番町。