在此前已存在，为民间兴建的小庙。而据《台湾县志》记载，康熙年间的鹿耳门妈祖庙前殿供奉妈祖，后殿供奉观音，两旁有僧舍六间供僧人居住。又相传当时妈祖庙纵横各60步，庙前有3棵大榕树，左右两侧建有供官兵住宿的文武馆。干隆四十二年（1777年），台湾府知府蒋元枢在该庙附近建「鹿耳门公馆」，正室五进，东西各有耳房，并在该年四月立碑为记。之后据《续修台湾县志》嘉庆年间仍有总镇爱新泰重修。
曾文溪改道与大水毁庙.道光三年（1823年）七月，曾文溪改道，自鹿耳门出海，导致鹿耳门港道淤塞难以通行