1858年（安政5年）签署日美修好通商条约的居住此地。明治时代，因邻近中央政府，多位华族、官吏在此建造宅邸，如政治家、前首相若槻礼次郎等。此外，当时町内有中江兆民主导的法兰西学舍（后改名法学塾）。此地与其他番町一样是文人的聚集地。与谢野铁干、晶子夫妇在1911年（明治44年）至1915年（大正4年）在此生活。其他着名文人有北原白秋、石川啄木等。
地名由来.因护卫将军的「四番组」住所而得名。
交通.番町学园通（番町学园通り）东西贯穿本区中央。