防厅移驻鹿耳门，使该地有文武二馆（海防厅、汛兵千总署）。而又因为容易发生船难，故有鹿耳门妈祖庙的建立，陈文达《台湾县志》中记说「鹿耳门妈祖庙，康熙五十八年，各官捐俸同建」。而到了干隆晚期，由于鹿仔港（今彰化县鹿港镇）在干隆四十九年（1784年）开放与蚶江对渡，八里坌（今新北市八里区）在干隆五十三年（1788年）开放与五虎门对渡，使得鹿耳门不再是唯一正口，重要性受到挑战。道光三年（1823年）七月后，因湾里溪（今曾文溪）在暴雨后改道于鹿耳门出海，鹿耳门港道淤积，成为废港。同治十年（1871年）时曾文溪溪水