与皇居，包括山县有朋在内的多位政府官员与华族定居于此。1872年（明治5年），英国大使馆迁至此地。1900年（明治33年）、津田梅子创立女子英学塾（现津田塾大学）。一番町也孕育出许多文化人，如在此出生的小说家、剧作家、画家武者小路实笃，而作曲家泷廉太郎、山田耕筰则是此地居民。
地名由来.因护卫将军的「一番组」住所而得名。江户时代，旗本中负责直接护卫将军的称为，大番组的住所称为番町。大番组设立当初分一番组至六番组，就是现在一番町至六番町的前身。事实上，例如一番町还可细分为