靖海侯的威名转趋负面，连带影响施公祠香火沉寂下来。以至于大正三年（1914年）因应澎湖病院兴建，将施公祠搬迁至海坛馆的伙房处（即今址，位于天后宫东侧、中央老街入口处），格局侷促而偏狭，令人难以遥想施公祠于清季香客八方来从的盛况。内有悬挂澎湖水师副将詹功显在道光十五年（1835年）所立「寰海皆春匾」，以及与澎湖水师协海坛镇营相关等多项文物，如「道光癸卯年重修碑」（1843），以及施公祠入口处「福曜海山匾」（1898），由明治戊戌年（1898）海坛镇将兵后人所立。