Dans les mois qui suivent, et jusqu'au mois de novembre, Speer doit défendre le potentiel productif de l'industrie de l'armement face à la politique de ratissage d'effectifs humains de Goebbels, nommé plénipotentiaire pour la guerre totale, une lutte d'influence entre les deux ministres faisant rage autour des affectations des ouvriers qualifiés. Cette lutte d'influence avec le ministre de la propagande, dont les positions se nouent dans les jours qui précèdent l'attentat du 20 juillet, a pour enjeu le contrôle de l'ensemble des actions mises en place pour mener la guerre totale, conflit dont Speer sort largement perdant dès la réunion du cabinet du , malgré ses évaluations objectives des besoins de l'industrie de guerre. Après une accalmie en août, le mois de septembre voit une recrudescence des rivalités entre les deux responsables nazis : Goebbels reprend, après les échecs de l'été, sa politique de ratissage des hommes pour les envoyer au front, et compte, dans le conflit qui l'oppose à Speer, sur le soutien des cadres du NSDAP, Himmler, Robert Ley, Bormann et les responsables territoriaux, les Gauleiter. Speer tente de défendre ses prérogatives devant Hitler, mais, preuve de la baisse de son influence, il se voit explicitement subordonné à Goebbels, dans le cadre de la guerre totale. Cependant, durant l'automne, il regagne le terrain perdu, gain manifesté par le refus de Hitler de trancher systématiquement en faveur de Goebbels.