I 1940 foreslog Josef Stalin, at Speer skulle besøge Moskva. Stalin havde især været imponeret af Speers arbejde i Paris og ønskede at møde "rigets arkitekt". Hitler svingede mellem morskab og vrede og tillod ikke Speer at rejse af frygt for, at Stalin ville gemme Speer i et rottehul, indtil et nyt Moskva rejste sig. Da Tyskland invaderede Sovjetunionen i 1941, begyndte Speer trods Hitlers forsikringer at tvivle på, at projekterne i Berlin nogensinde ville blive færdiggjort.