Historikere har interessert seg for forholdet mellom Speer og Hitler. Det har blitt hevdet at hvis Hitler hadde en nær venn så må det ha vært Speer. De omgikkes ofte privat når Hitler oppholdt seg i Obersalzberg nær Berchtesgaden. Speers hus lå kun noen hundre meter fra Berghof og Speer med familie var ofte gjester på Berghof. Fru Speer og Eva Braun var nære venninner. Gjennom Speer dyrket Hitler sine gigantomane arkitektoniske visjoner. Hitler ble helt oppslukt av en modell av det nye Berlin/Germania som Speer ga ham som bursdagspresang. Byggeplanleggingen med Speer fungerte trolig som en kjærkommen virkelighetsflukt fra de voksende problemene med krigen.