El novembre de 1942, Speer se n'assabentà que el seu germà Ernst havia mort en un pobre hospital de campanya a Stalingrad, tot i les gestions que havia fet amb el mariscal Milch perquè fos evacuat en algun dels darrers avions que sortien del setge. A la mateixa època, Speer veia als informes que les estadístiques de logística anaven creixent, mostrant les espantoses pèrdues en la guerra amb la Unió Soviètica. Al seu escriptori s'acumulaven xifres desesperades en material, homes i armes. A la fi del mes, Himmler impartí una directiva que ordenava que els treballadors jueus de les fàbriques d'armaments havien de ser traslladats a camps de concentració per procedir al seu extermini, i que fossin substituïts per polonesos. Això provocà greus trastorns a Speer, que intentà revertir la disposició.