A pesar de esta oposición la pareja contrajo matrimonio en Berlín el 28 de agosto de 1928, aunque pasarían siete años antes de que Margarete Speer fuera invitada a quedarse en casa de sus suegros.