I 1945 flyttet moren med barna til besteforeldrene i Heidelberg. Speer stammet kraftig, og sluttet derfor på skolen. Men i 1952 begynte han i snekkerlære i Heidelberg, og avsluttet med Gesellenbrief i 1955. Så tok han på kveldsgymnasium. I 1955 begynte han å studere arkitektur ved Technische Universität München.