此时港口已不稳定，道光二十年（1840年）大型船只已无法进入。于是至道光五年（1825年）开辟香山为港口，因其位置接近福州府，而成为重要的货物集散中心。香山当地居民多由泉州府移民而来，信仰天上圣母。康熙二十二年（1683年）来往台湾与福建的商旅，自兴化府莆田县湄洲妈祖祖庙奉来天上圣母神像、大铜钟与香炉。干隆三十五年（1770年）于现址建立天后宫。道光五年（1825年）重建。光绪二年（1876年）再由生员林秀春与蔡福益等人同地方人士商议重建，北门郑家出资甚多。另郊商金长和亦奉献「灵昭海国」匾一方（现仍悬挂