Sein Bau wurde 1480 auf Geheiß von William Hastings, 1. Baron Hastings, also in der Zeit der Rosenkriege, begonnen. Dem Baron gehörte bereits ein Herrenhaus auf diesem Gelände, das er vollkommen umbauen wollte. Die Fundamente dieses ersten Herrenhauses sieht man heute noch als Ruinen im Hof des neuen Herrenhauses. Er wollte eine befestigte Residenz mit rechteckigem Grundriss schaffen, die durch Mauern, Türme und einen Graben eingeschlossen war. Aber die Arbeiten an dem Haus wurden mit seiner Hinrichtung wegen Hochverrats auf Anweisung König Richards III. im Jahre 1483 eingestellt. Das Haus wurde nie fertiggestellt. Teile des Herrenhauses wurden anfangs von den übrigen Mitgliedern der Familie "Hastings" bewohnt, aber im 16. Jahrhundert war das Anwesen verlassen und dem Verfall preisgegeben.