番町の名前の基になったのは町域が、住居表示制度の実施前に二番町～八番町、地番整理の実施前に二番丁～十番丁であったことによる。なお、地番整理は現在の町域の東西で工区が分かれていたため○番丁と○番町は一時併存している。そのような事情から現在でも番町を番丁と表記したりする。
○番丁の起番方法は一番北の通りを「一番丁」とし、南へ順に「二番丁」、「三番丁」…と振っていき、最終的に現在の県庁の南側の通りを「九番丁」とした。ただし「十番丁」は例外で、それまでの九番丁までとは異なり、かつて現在の香大附属小学校の中を貫いていた南北の通りである。その中でも現在の高松市道五番町西宝線にあたる五番丁の知名度は現在でも高く、現在でも当該道路と中央通りとの交点に当たる「番町交差点」は通称五番丁の交差点と呼ばれたり、その北側にはバス停「五番町」があるなどする。なお、現在の番町一丁目から番町五丁目の区分けはかつての一番丁～十番丁の区分けとは無関係である。
交通.
番町は高松市中心部に位置しているため、生活圏が徒歩あるいは自転車の移動圏内に収まっている。しかし、高松市郊外へ向かうにはその地区の公共交通機関が脆弱な地区が多いため、やはり自家用車での移動が中心になるが、中心部に位置しているが故、周辺道路は交通量が多く旅行速度も遅い。
公共交通機関の利用においては、市役所や県庁などの施設が町内にあるためバス路線は多くが通っているが、鉄道駅は町内に存在せず最寄のいずれの駅からも程よく距離が離れている。
道路.
町内の道路は基本的に江戸時代の武家屋敷街のころに形成された碁盤の目状の整然とした街区がそのまま残っており、それに沿う形で戦後新たな幹線道路などが建設されている。
鉄道.
町内に鉄道駅が存在しないため中心駅などは無い。最寄り駅は四方に分散し、番町はその真ん中に位置しているため町内でも場所によって最寄り駅が異なる。
バス.
また、ショッピング・レインボー循環バスは上記主要バス停の全てを経由している。
行先番号は奇数が下りまたは東回り、偶数が上りまたは西回りである。
市民病院ループバスの「県庁通り 中央公園前」バス停は現在の県庁前通りではなく、かつて県庁通りと呼ばれていた現・菊池寛通りにある。なお、同バス停は夜行便など一部を除く高速バスも停車する。
円光院 (甲府市)