Frederik III la ned grunnstenen til kirkebygget den 29. mai 1655, i forbindelse med oppførelsen av en festning som skulle beskytte den nordlige innseilingen til Lillebælt. Samtidig nedbrøt man den nærliggende Ullerup kirke fra 1100-tallet, og gjenbrukte en del av stenkvadrene til den nye kirke. I 1685 var kirken så ødelagt av krigshandlinger at den ble revet ned og den nåværende barokkirke oppført.