Im Nürnberger Kriegsverbrecher-Prozess wurde Speer zu zwanzig Jahren Gefängnis verurteilt, weil er als Rüstungsminister Sklavenarbeit durchführen ließ. Während er seine Haftstrafe im Spandauer Gefängnis absaß, schrieb er zwischen 1946 und 1966 rund 1200 Manuskriptseiten. Weil es den Gefangenen dieses Gefängnisses nicht erlaubt war, Biografien zu verfassen, schrieb er den Entwurf auf Toilettenpapier, Zigarettenpapierchen und anderen beschreibbaren Mitteln. Die Manuskripte wurden hinausgeschmuggelt, nach seiner Haftentlassung erhielt er sie zurück. Der Journalist und Historiker Joachim Fest half ihm bei der Entstehung des Werkes.