A mediados de 1922 Speer empezó a cortejar a Margarete (Margret) Weber (1905–1987), aunque su relación no era aprobada por la conciencia de clase de su madre, que sentía que los Weber eran de clase inferior (el padre de Weber era un artesano de éxito que empleaba a cincuenta trabajadores).