使得鹿耳门不再是唯一正口，重要性受到挑战。道光三年（1823年）七月后，因湾里溪（今曾文溪）在暴雨后改道于鹿耳门出海，鹿耳门港道淤积，成为废港。同治十年（1871年）时曾文溪溪水暴涨，沖毁鹿耳门天后宫，而在旧庙被沖毁之前，神像已被抢救出来，但日后显宫鹿耳门天后宫与土城正统鹿耳门圣母庙之间的纷争亦由此埋下肇因。