Som «Generalbygginspektør for rikshovedstaden Berlin (Germania)» utarbeidet han sammen med Hitler konkrete planer for omdanne det nye Germania til en verdenshovedstad preget av gigantiske praktbygninger. En enorm kuppelbygning, , skulle stå i sentrum. Dette ville ennå i dag vært verdens største bygning, hadde prosjektet blitt realisert. Planen var at den nye hovedstaden skulle stå ferdig i 1960. På grunn av krigen ble kun få av byggverkene ferdige, slik som Tempelhof lufthavn og det nye rikskanselliet. Det såvidt påbegynte prosjektet innebar massivt rivningsarbeide gjennom tett befolkete sentrumsstrøk i Berlin. Senere forskning har avdekket at Speer sto sentralt i tiltakene for å deportere byens jødiske innbyggere med den hensikt å skaffe tyskerne som var blitt hjemløse på grunn av ombyggingen, nytt husly.