Vermoedelijk werd het kasteel omstreeks 1070 gebouwd, maar het werd voor het eerst vermeld in 1270. Toen was "Jan van Uitkerke" heer van Uitkerke. Omstreeks 1490 werd het kasteel verwoest door de Bruggelingen tijdens de Vlaamse Opstand tegen Maximiliaan. Heer was toen "Karel van Halewijn". De stad Brugge moest later de schade vergoeden.