A inicis del 1942, Speer va ser destinat a Dnepopestrovsk, a Kíev, per treballar en la reconstrucció dels nusos ferroviaris en col·laboració amb l'Organització Todt. Aquell mateix any, el seu germà Ernst va quedar atrapat al "kessel" de Stalingrad. Pressionat pels seus pares, Speer intentà treure al seu germà a mitjans de gener de 1943; però, això no obstant, ni tan sols van poder localitzar la seva unitat, que va ser declarada com "desapareguda en acció".