Duleek begynte som en tidlig kristen klosterbosetning. Sankt Patrick etablerte et bispesete her en gang rundt år 450, og som han ga ansvaret til Cianán den 24. november 489. Stedet ble plyndret flere ganger av nordboerne mellom 830 og 1149 og ble også plyndret av normannerne i 1171. I april 1014 ble likene til Brian Ború og hans sønn lagt i formell gravvake i Duleek på vei til Armagh. Den opprinnelige klosterbosetningen er kjent for å være stedet hvor Patrick og flere av hans samtidige tilbrakte vinterperioden mens de kompilerte , den første skrevne kompilerte formen av de eldgamle Brehon-lovene i Irland på 400-tallet. På 1100-tallet ble det opprinnelige klosteret rekonstituert som Saint Mary's Abbey og bispedømmet Duleek ble underordnet av bispedømmet Meath.