治时代.日治台湾时代，台北市施行市区改正，加上建总督官邸及下水道工程，因此在1905年将城垣及西门拆除。以后更因新建官方建筑如台北车站、台湾银行总行、台北监狱署及其他土木工程，台北城墙被拆除。1935年，在当时日本学者尾崎秀真、山中樵等人唿吁鼓吹下台湾总督府依《史蹟名胜天然纪念物保存法》将城门指定为史蹟加以保存。
战后至今.1966年，台北市政府以「整顿市容以符合观光需要」为由，将东门、南门、小南门的原有楼阁与大部分的城墩拆除，改建为仿华北式建筑，并于其山墙上绘制中国国民党党徽式