年清军入台后，政治重心移至府城内，城堡改为军装局，重要性日减，而墙垣也多倾圮失修，安平城逐渐荒废。1868年，清英爆发樟脑战争又称樟脑纠纷事件，英国军舰来犯，船砲命中城内军火库引发爆炸，城墙随之而毁，之后遂成废墟。1874年，钦差大臣沈葆桢来台处理「牡丹社事件」与日本人进行交涉，并将安平城外城的墙砖运至「二鲲鯓」建立「亿载金城」。1983年12月28日，中华民国内政部公告第一批15座一级古蹟名单，台湾城残蹟名列其中。1997年5月，《文化资产保存法》修法后，不再区分为一至三级古蹟，而採用国定、直辖市