En 1931 Speer renunció a su puesto como asistente de Tessenow debido a los recortes salariales y se trasladó a Mannheim con la esperanza de aprovechar los contactos de su padre.