Aunque Albert y Elsa no tuvieron hijos propios, Albert crió a las hijas de Elsa como suyas, viviendo en Berlín y en una casa de verano en Brandenburgo, cercana a Potsdam.