Gran parte de la controversia sobre el conocimiento de Speer del Holocausto se ha centrado en su presencia en la Conferencia de Posen el 6 de octubre de 1943, en la que Himmler dio un discurso en que detallaba a los líderes nazis el Holocausto que ya se estaba produciendo.