史.江户城外郭门之一的市谷御门（现JR市谷站附近）位于此地。明治时代的町名为土手三番町。明治时期，此地变成华族与官吏的住所。此外，与其他番町一样是文人云集的地区。知名小说家泉镜花、夏目漱石门生、芥川赏得主吉行淳之介都曾是五番町居民。1938年（昭和13年），土手三番町改名五番町。
地名由来.因护卫将军的「五番组」住所而得名。