Im Jahre 1343 wurde im Auftrag der Familie "De Criol" das erste feste Haus auf dem Gelände errichtet. Dieses Haus blieb bis zu den Rosenkriegen in der Familie; dann wurde Sir "Thomas de Criol" (oder "Kyriell") am Tag nach der zweiten Schlacht von St Albans auf Befehl von Königin Margarete von Anjou geköpft. Sir Thomas de Criol hatte keine männlichen Nachkommen und so fiel Westenhanger Castle an seinen Schwiegersohn, Sir "John Fogge". Das Herrenhaus hatte damals 126 Zimmer.