治35年（1902年）展开较大规模的城垣拆除行动，首先拆除今成功路至民生路段的西门段城垣及大西门，用以开辟火车站到安平的通道。时任台南厅长山形脩人认为剩余的一座城门置于十字路口造成交通不便，于是上陈总督府，于1907年遭到拆除。大西门为当时的官民从台江内海进出府城的主要出入口，在大西门南侧有五条港之一的南河港道；而城门外直通外宫后街、水仙宫和接官亭；城门内则可通达大东门，形成台湾府城东西向的主要轴线。