设下隘门后，福德祠与原蕃薯藔庄旧聚落在下隘门与溪沟的隔阻下被边缘化。嘉庆十年（1805年），台湾县知县薛志亮倡建天后宫，其动机可能是受到当时海盗蔡牵活动的影响，欲以宗教力量稳住民心，另外还可能再进一步希望旗山天后宫能消融族群与阶层对立，更能如内埔六堆天后宫在重要时刻成为社会动员的基地。但隔年（1806年）蔡牵事件即告平息，薛志亮于嘉庆十二年（1807年）亦调职，不久病逝，天后宫的兴建募款也随之松懈。嘉庆二十一年（1816年），在吴廷栋、李大模、陈其禄先后三位巡检与蕃薯藔街众商号捐款下，历经多年的募款