シュパンダウ戦犯刑務所
最も熱心な囚人として、自らに厳格に肉体的、精神的作業を課していた。そのため、この日課から数か月おきに自ら2週間の「休暇」を取ることにしていた。書いたものは著作が2つ、回想録の草稿が1つ、日記集が1にものぼった。回想録の執筆を申請したが却下されたため、執筆は秘密裏に行われ、原稿は買収した監視兵や世話人の手で組織的に持ち出された。著書はそれぞれ1969年と1975年に出版され、どちらもベストセラーになった。また、シュペーアは本業だった建築家としても活動した。看守の一人にカリフォルニアの別荘を設計し、また刑務所の庭を改装した。この他にも「世界旅行」を日課としていた。刑務所の図書館から地理と観光の書籍を取り寄せ、旅行を想像しながら刑務所の庭を周回したものであった。釈放までの「世界旅行」における移動距離は3万kmにものぼった。
原稿の秘密裏の持ち出しに一役買ったのは、オランダ出身のトニー・プロースト (Toni Proost) であった。元々は軍需工場で強制労働に駆り出される身であったが、シュペーアの管轄下にある病院で手当てを受け、そこで看護助手になった人物であった。1947年に保健職員として採用され、シュペーアへの感謝の念から、信書を秘密裏に持ち出していた。その後、ソ連からスパイになるよう働きかけを受けると、これを拒否して西側連合国に通報し、辞職した。