Albrecht giftet seg 1953 med Heidi Adele Stromeyer, som døde 2002. De hadde syv barn sammen, ett av disse er CDU-politikeren Ursula von der Leyen.