Elland war bereits vor der normannischen Eroberung bis ins Mittelalter in gleichbleibendem Besitz von, da die Familie Elland von angelsächsischen Thanen abstammte. Die "Manor of Elland" bildete zusammen mit Greetland und Southowram eine Insel der "Honour of Pontefract" im umliegenden "Manor of Wakefield". Im Jahr 1350 wurde Sir John de Eland ermordet, ebenso wie sein Sohn und sein Enkel im folgenden Jahr, wodurch die männliche Linie der Familie ausgelöscht wurde und das Gut an die Familie Savile überging. Ab dieser Zeit hörte das Herrenhaus auf, der Hauptwohnsitz einer Adelsfamilie zu sein, da die Saviles ihren Sitz auf dem Wasserschloss von Thornhill hatten. Das Herrenhaus von Elland wurde nie vollständig rekonstruiert, und als es 1975 von der "West Yorkshire Archaeology Unit" wissenschaftlich untersucht wurde, stellte man fest, dass es ein sogenannten "Solar" – ein komfortabel ausgestatteter Wohn- und Schlafbereich für die Besitzer – aus dem 13. Jahrhundert enthielt. Das Herrenhaus ist eines der frühesten weltlichen Gebäude in der Grafschaft. Es stand auf einer Anhöhe, die mit der Brücke über den Fluss Calder ausgerichtet war, und wurde beim Bau der "Calderdale Way"-Umgehungsstraße zerstört. Die Wirtschaftsgebäude blieben erhalten.