过于狭隘，将县衙迁到赤崁楼右侧（今台南市成功国小）并整修赤崁楼供人游玩，使该庙香火大盛，但信徒里的一般士民仍较少，故之后道光十五年（1835年）由台湾县知县陈炳极主倡再次重修、咸丰六年（1856年）总理詹廷贵倡议重新修缮主要由官方及吏卒出资。而进入日治时期后，由于文武吏卒的撤离，导致该庙香火不济，而有了上帝典当冠冕之讽，但大正三年（1914年）时该庙仍有重修过，山墙上有士绅合捐银钱的「重修灵祐宫碑记」。而在昭和七年（1932年）由于要扩建明治公学校（今成功国小），所以拆除了位于校地里的部分，而信徒则将整