隆三十二年到四十四年（1767年－1779年）之间，福德祠对岸道路已发展成商街，使得聚落中心北移，嘉庆十五年（1810年）罗汉门巡检移驻蕃薯藔街增设下隘门后，福德祠与原蕃薯藔庄旧聚落在下隘门与溪沟的隔阻下被边缘化。嘉庆十年（1805年），台湾县知县薛志亮倡建天后宫，其动机可能是受到当时海盗蔡牵活动的影响，欲以宗教力量稳住民心，另外还可能再进一步希望旗山天后宫能消融族群与阶层对立，更能如内埔六堆天后宫在重要时刻成为社会动员的基地。但隔年（1806年）蔡牵事件即告平息，薛志亮于嘉庆十二年（1807年）亦调职