Arthur, Prince of Wales
Die Ursprünge des Herrenhauses reichen bis ins 11. Jahrhundert zurück. "William Peverell", ein illegitimer Sohn von Wilhelm dem Eroberer, hatte 1087 die Grundherrschaft von "Nether Haddon" inne, als die Vermessung, die dem Domesday Book zugrunde liegt, aufgenommen wurde. Obwohl es sich nicht um eine Burg handelte, war das Herrenhaus seit der königlichen Erlaubnis dazu von 1194 mit einer Burgmauer eingefriedet. Sir Richard de Vernon erwarb die Grundherrschaft durch Heirat mit der Haddon-Erbin Anfang des 13. Jahrhunderts. Sein Sohn, Sir William Vernon, war "High Sheriff of Lancashire" und Oberster Richter von Cheshire. Prominente Familienmitglieder waren z. B. "Richard Vernon" (1390–1451), ebenfalls "High Sheriff", Abgeordneter und "Speaker" des Unterhauses. Dessen Sohn war Lord High Constable und folgte seinem Vater als "Treasurer of Calais" und Parlamentsabgeordneter für Derbyshire und Staffordshire nach; sein Enkel Sir Henry Vernon (1441–1515), Gouverneur und Schatzmeister von Arthur Tudor, heiratete "Anne Talbot", Tochter des Earl of Shrewsbury und baute Haddon Hall wieder auf.