Speer rechazó aceptar el alto rango de "SS-Oberst-Gruppenführer" que Himmler le ofreció, dado que entendió que esto le pondría en deuda con Himmler y ello le obligaría a permitirle tener voz y poder de decisión en la producción de armamentos.