Les premières mentions du château datent du début du . À l'époque la bâtisse était probablement une motte castrale occupée par la famille de Colombières : Guillaume, Raoul et Baudoin, compagnons de Guillaume le Conquérant lors de l’invasion de l’Angleterre en 1066 à Hastings. Selon le Domesday Book, Raoul se serait ensuite installé dans le comté de Kent, où il possédait plusieurs terres.