罗民遮城，则做为全岛公家最高行政机构，俗谓赤崁楼。然而不到半年，郑成功即病逝。其世子郑经自厦门起兵返台，打败了其叔父郑世袭而即位，在1664年废东都，改称东宁。承天府裁废后，赤崁楼便成为储藏火药的场所。
清代时期.1721年，朱一贵起义反清，赤崁楼的铁铸门额被拆去镕铸武器。以后再加上人为的残损，台风飘蚀、地震颠摇，到后来，赤崁楼只余下四周的颓兀城墙，呈现一片凄清荒凉的景象。1786年干隆晚年平定林爽文事件，清朝政府把福康安将军平定过程刻成十块长方形石碑，取「石全石美」之意，四面