In den Berliner Rüstungsbetrieben waren 1942 zahlreiche Juden beschäftigt. Gemäß seiner Auffassung, dass Arbeitskräfte für die Produktion von Waffen unbedingten Vorrang haben müssten, bemühte sich Speer darum, dass diese Juden zunächst nicht in die Vernichtungslager deportiert wurden, gegen Goebbels’ erbitterten Widerstand. Er erklärte, sie seien für die Rüstungsproduktion unentbehrlich. Erst Anfang 1943, nach der Niederlage bei Stalingrad, konnte sich Goebbels bei Hitler durchsetzen. Im Herbst 1942 vereinbarte Speer mit dem Leiter des SS-Wirtschafts- und Verwaltungshauptamtes Oswald Pohl, 50.000 für die Deportation vorgesehene Juden in der Rüstungsindustrie einzusetzen. Dazu kam es nicht, weil Hitler es vorzog, Zwangsarbeiter herbeischaffen zu lassen. Wenn Speer allerdings Juden für die Rüstungsproduktion einsetzen konnte, dann griff er zu. Anders, als er später behauptete, war ihm die Judenvernichtung bekannt; er wird 1943 als Hörer der Posener Rede angesprochen. Andere NS-Verbrechen räumte er generell ein. Im September 1942 besprach Speer mit Oswald Pohl die Vergrößerung von Auschwitz und stellte dazu ein Bauvolumen von 13,7 Millionen Reichsmark zur Verfügung. In einer auf Gespräche von Speer, Pohl und dem Leiter für das Bauwesen der SS Hans Kammler basierenden Bauakte sind auch die „Kostenüberschläge“ zur „Sonderbehandlung“ mit dem „Gleisanschluss“ für die Rampe, die neuen Krematorien und andere Maßnahmen festgehalten. Nach Abschluss der Verhandlungen hob Amtschef Kammler das „außerordentlich große Bauvolumen“ des Bauvorhabens hervor, das er „Sonderprogramm Prof. Speer“ nannte.