楼便成为储藏火药的场所。
清代时期.1721年，朱一贵起义反清，赤崁楼的铁铸门额被拆去镕铸武器。以后再加上人为的残损，台风飘蚀、地震颠摇，到后来，赤崁楼只余下四周的颓兀城墙，呈现一片凄清荒凉的景象。1786年干隆晚年平定林爽文事件，清朝政府把福康安将军平定过程刻成十块长方形石碑，取「石全石美」之意，四面碑文以汉文撰写、四面以满文撰写，两面汉满并用。其中一面汉满并用碑文分赠诸罗（嘉义），放于县城东门附近的福康安生祠内。后来石碑在1906年梅山地震后移到今新荣路三商百货附近，之后再