Han var sønn av Karl Haushofer. Faren ble kjent med Rudolf Hess ved universitetet og besøkte Hess flere ganger i Landsberg fengsel. Farens ideer kan ha påvirket som Hitler dikterte til Hess. Karl Haushofer beskrives som en farsfigur for Hess. Ideen om kan skrive seg fra Karl Haushofer. Arvid Brodersen var en venn av Albrecht og besøkte ham i Tyskland i mellomkrigstiden. Albrecht Haushofers mor, Martha født Mayer-Doss, var av delvis jødisk opphav og var trolig en «halvjøde» i nazistenes øyne. Rudolf Hess hadde skrevet ut et brev som skulle verne familien mot jødeforfølgelse. I Karl Haushofers omgangskrets var det mange jøder og han skal avvist nazistenes rasebasert antisemittisme. Karl Haushofer var aldri medlem av NSDAP. Foreldrene begikk selvmord i mars 1946.