Durante los siglos después de su construcción, el castillo fue propiedad de poderosas familias de Sussex, incluida la familia Lewknors y la familia Levett, debido a los cuales la carretera de en frente del castillo lleva su nombre.