方移往大南门瓮城，民国49年后移到赤崁楼安置。又当年制作承载石碑的赑屃底座运抵台湾府城时，其中一座不慎掉入港内，就另以砂岩仿造一座（即运往诸罗县城），原座直到1911年才被发现，以白莲圣母的名义供奉在南厂保安宫内 。19世纪后半叶，大士殿、海神庙、蓬壶书院、赤崁楼文昌阁、五子祠等建筑，先后盖在赤崁楼的原址上。这五座建筑物，巍峨高耸，为破落的赤崁城址平添了壮伟气派。
日治时期.台湾的日治时期，日本人则以海神庙、文昌阁和五子祠当做医院和学生宿舍。1921年，日本人在拆除大士殿重