Speer meldte seg inn i det nasjonalsosialistiske arbeiderpartiet NSDAP i 1931. Han begynte å arbeide for Hitler fra 1933 etter å ha imponert ham med et tegningsutkast til en monumental partimøte-tribune i Nürnberg. Bruken av sterke luftvernslys for å skape imponerende lyseffekter under det nasjonalsosialistiske partiets store utendørs kveldsmøter, var Speers idé. Hitler, som siden ungdommen hadde vært lidenskapelig oppslukt av monumental klassisk arkitektur, må ha tenkt at Speer var den som kunne gjøre hans enorme byggeplaner til virkelighet. I 1934 utnevnte Hitler den 29-årige Speer til stillingen «Førerens arkitekt». I denne posisjonen fikk han etter den nasjonalsosialistiske maktovertagelsen nærmest ubegrensede fullmakter og ressurser innenfor sitt område. Han ble utnevnt til professor, og som generalinspektør for byggvesenet i Berlin fikk han med sin stab ansvaret for å forme nasjonalsosialistiske Tysklands nye arkitektur i samsvar med Hitlers idealer. I 1936 imponerte Speer med «lyskatedralen» ved Olympiaden. De 150 lyskasterne var rettet opp mot himmelen, der blendende hvite søyler av lys kunne ses som gjenskinn så langt unna som i Frankfurt am Main – de hadde en effekt på førti tusen watt.