そして1904年末、保存が決定した四門以外の城壁がほぼ全て取り壊され、城壁の石材は東門付近に集められ台北監獄と兵営（現在の陸軍総本部）が建設された。
不久，1904年底，除了刻意留存的四座城门之外，台湾总督府几乎已将台北城所有城墙拆除。