熙五十四年（1715年）时重修，易茅以瓦，建材自厦门运来，诸罗县知县周钟瑄命名曰「灵山庙」。该庙原建于山顶上，康熙五十八年（1719年）迁到山麓；干隆四十七年（1782年）因庙宇方位不正，再次重修；道光三年（1823年）因风雨侵袭毁损，再次重修。台湾日治时期，明治卅年（1897年），关渡富商林大春因讲究风水学，收购庙地，改建为自己之住宅。后林大春捐了两百八十银元，并鸠资迁移「灵山天妃庙」到风水上称作「万水归堂穴」的现址，坐西朝东，易名为「关渡祖宫」。大正十一年（1922年）再次重修，更名为「关渡宫」