En 1940, Joseph Staline, particulièrement impressionné par le travail de Speer, souhaitant rencontrer l'« architecte du Reich », propose à Speer de lui rendre visite à Moscou. Hitler, partagé entre l'amusement et la colère, ne l'autorise pas à se rendre en Union soviétique de peur que Staline le mette dans un « trou de rat » jusqu'à ce qu'un nouveau Moscou émerge. Lorsque l'Allemagne envahit l'Union soviétique en 1941, Speer commence à douter, malgré les garanties de Hitler, que ses projets pour Berlin soient jamais réalisés.