东京都千代田区西北部。北边与西部是JR中央线与，东北接千代田区九段北，东临千代田区九段南，南邻千代田区四番町、千代田区六番町。本地靠近市谷站，区内多公寓、大楼。
历史.江户城外郭门之一的市谷御门（现JR市谷站附近）位于此地。明治时代的町名为土手三番町。明治时期，此地变成华族与官吏的住所。此外，与其他番町一样是文人云集的地区。知名小说家泉镜花、夏目漱石门生、芥川赏得主吉行淳之介都曾是五番町居民。1938年（昭和13年），土手三番町改名五番町。
地名由