英爆发樟脑战争又称樟脑纠纷事件，英国军舰来犯，船砲命中城内军火库引发爆炸，城墙随之而毁，之后遂成废墟。1874年，钦差大臣沈葆桢来台处理「牡丹社事件」与日本人进行交涉，并将安平城外城的墙砖运至「二鲲鯓」建立「亿载金城」。1983年12月28日，中华民国内政部公告第一批15座一级古蹟名单，台湾城残蹟名列其中。1997年5月，《文化资产保存法》修法后，不再区分为一至三级古蹟，而採用国定、直辖市定、县市定三级。台湾城残蹟改为国定古蹟。
安平古堡古蹟纪念馆.日治时期，日本人将城垣剷