Speer var sønn av arkitekten Albert Speer som blant annet var rustningsminister i Adolf Hitlers regjering. Han hadde større innflytelse som byplanlegger enn faren som i liten grad fikk sine store byplaner realisert. Han vokste opp som eldste av seks barn med familien i Berchtesgaden og som barn besøkte han ofte «snille onkel» Adolf Hitler på hans feriested i Obersalzberg.