Speer wusste, dass in den ersten Monaten nach dem Angriff auf die Sowjetunion die sowjetischen Kriegsgefangenen in deutscher Hand kaum ernährt wurden. Deshalb forderte er kurz nach Amtsantritt, dass die in Deutschland arbeitenden Ausländer ausreichend zu verpflegen seien. Für die Zwangsarbeiter aus den westlichen Ländern konnte er dies erreichen, weniger jedoch für diejenigen aus dem Osten und für die Kriegsgefangenen. Am schlechtesten erging es denen aus Polen und der Sowjetunion. Die Überlebensquote sowjetischer Kriegsgefangener in Deutschland lag bei nur 42 %. Insgesamt kamen etwa 2,7 Millionen von den für das Reich arbeitenden Ausländern, Juden und KZ-Häftlingen um. Das lag jedoch nicht im Interesse Speers: Arbeitskraft war für ihn ein knappes Gut und sollte möglichst erhalten bleiben.