Speer var født i en velstående familie i Mannheim, ifølge ham selv var barndommen ulykkelig. Speer begynte sine arkitekturstudier på Universitetet i Karlsruhe, senere skiftet han til Techhnische Universität München I 1925 byttet han igjen - denne gang til Technische Universität Berlin – hvor han studerte under Heinrich Tessenow, som Speer beundret. Året etter eksamen i 1927 ble Speer Tessenows assistent, noe som var en stor ære for en mann på 23 år. Som Tessenows assistent underviste Speer i noen av hans fag, mens han fortsatte sine egne videregående studier. I München og senere i Berlin innledet Speer et nært og langvarig vennskap med Rudolf Wolters som også studerte hos Tessenow.