Landeiendommen har vært familiehjemmet til familien Spencer siden det 16. århundre. Familieformuen stammer fra deres tidligste kjente stamfar, Sir John Spencer fra Wormleighton i Warwickshire, som kjøpte Althorp i 1522 for fortjeneste fra saueoppdrett. Huset var opprinnelig en rød mursteinbygningen i Tudorstil, men utseendet var radikalt forandret i det 18. århundre, da arkitekten Henry Holland fikk i oppdrag å foreta omfattende endringer. Interiøret i huset er generelt betraktet sitt sterkeste aktivum da Spencer familien har samlet en imponerende samling av portrettkunst herunder flere stykker malt av Flamske mesteren Anthony van Dyck. Althorps stallbygning har blitt omgjort til en utstilling viet til minne om Diana, prinsesse av Wales, og gir et attraktivt sandstein uttrykk som effektivt offsetter den imponerende fasaden til huset. Diana ble gravlagt på en liten øy midt i en innsjø i nærheten av herregården. I september 2009 begynte Lord Spencer et større restaureringsprosjekt for å reparere taket, murverk og de matematiske fliser som kledd i bygningen.