Die Burg war ursprünglich eine Motte mit Erdwerken, die "Geoffrey de Clinton" im 12. Jahrhundert bauen ließ. Um 1226 ließ die Familie "De Verdon" an dieser Stelle eine steinerne Burg mit einem Donjon und einer größeren äußeren Einfriedung errichten. Diese Burg soll von den Truppen des Barons von Kenilworth Castle 1265 „eingerissen“ worden sein, weil "John de Verdon" ein aktiver Unterstützer des Königs war.