釈放翌日の1966年10月2日には国内外のマスメディアの前に姿を現し、ドイツ語・フランス語・英語の三か国語で「生きて出られてとても嬉しい」と述べた。しかし記者に質問の時間は与えず、すぐに記者会見を終えるとアメリカ機に乗って西ベルリンを離れてハノーファーへ向かい、さらにイギリス・チャーター機でシュトゥットガルトへ向かい、そこからバイエルンの家族のところへ帰っていった。西ドイツ政府は「シュペーアとフォン・シーラッハの釈放については承知・確認しているが、政治的見解を政府が特別に表明しなければならない謂われはない。ただ我々は人道的見地から罹患囚人の拘留環境緩和ないし刑期未満了釈放に努めてきた」という声明を出した。西ドイツ雑誌『シュピーゲル』は「彼の社会への帰還は、ドイツ人が終戦以来、道徳・論理観の整理・展望もないままに懸命に試みてきた過去の清算過程において呼び覚まされた記憶の数々に一株のアイロニーを加えた。シュペーアは過去が現在であった時(ナチ党政権期)に、それを克服しようとした、まさに数少ないドイツ人の一人だからである。彼は第三帝国が崩壊する直前にヒトラーと決別していた」とシュペーアに好意的な論評を載せた。1970年には刑務所の中で書いた誕生からニュルンベルク裁判までの半生を記録した回顧録『第三帝国の内幕』（英：Inside the Third Reich、独：Erinnerungen,もしくは Reminiscences）を出版し、ベストセラーとなった。同書は数少ない、ヒトラーの側近が見たナチスの内幕を描いた貴重な証言として知られている。この本の内容は非常に鮮明に、自分とヒトラーとの出会いからニュルンベルク裁判までがこと細かに書かれている。ヒトラーに熱狂する人々や党内部の抗争、終戦間近になってからのゲーリングの異様な行動、ボルマンの心情、ヒムラーの言動、ライの異様なまでの野心、正気を失っていくヒトラーとそれを共に滅びていくゲッベルスなど、生々しくも忠実に描写されている。また、ニュルンベルク裁判でのデーニッツやヘス等被告人の様子も非常に詳しく描かれている。戦時中にユダヤ人から略奪され、戦中、戦後を通じて隠していた美術品を、匿名で密かにオークションで売却し、巨額の現金を手に入れた。しかし、現在もその現金の行方はわかっていない。妻にも渡されていなかった。1981年、イギリスの愛人宅において心臓発作で倒れ、ロンドンのセント・メリー病院で死亡した。BBCに出演するために渡英していた際の死亡とされ、現在ではハイデルベルクのベルクフリートホーフに夫婦そろって埋葬されている。
シュペーア含む禁固刑を受けた7人の戦犯たちはしばらくニュルンベルク刑務所で服役を続けていたが、1947年7月18日にDC-3機でベルリンへ移送され、護送車でイギリス占領地域シュパンダウ区にあるシュパンダウ刑務所に投獄された。シュペーアの囚人番号は5番だった。刑務所内では手紙以外の執筆は認められておらず、回顧録の執筆も禁じられていたが、シュペーアは刑務所内で一章ずつこっそりと回顧録執筆を行い、オランダ人看護付添人(戦時中ドイツ軍捕虜収容所に入れられていたが、シュペーアのおかげでいい待遇を受けていた人物)を協力者にしてその原稿を刑務所外に持ち出してもらい、出版関係者に届けていた。出版社が彼の自伝を高額で買い取る交渉をしていたのは公然の事実だったという。ヘスと並ぶ読書家であり、刑務所内で約5000冊読んだという。労作業では一生懸命働いた。また囚人の中で最も率直な人物で寡黙だったという。そのため模範囚と看做されていたシュペーアだったが、時々はっきりとした理由なく看守を罵りだして懲罰を受けることがあった。アメリカ管理官ユージン・バード大佐が何故そんな事をするのか聞いたところ、シュペーアは「たまにはこんな風にストレスを発散させないと私は発狂してしまいますよ。私はわざとこんなことをしているのであり、懲罰を受けることも先刻承知しています。正気でいるためにはこれしかないんですよ」と答えたという。1966年10月1日午前0時をもってシーラッハとともに20年の刑期満了で釈放された。シーラッハは出獄の際にシュペーアに「ヘル・シュペール。過去のことは過去に、我々はこれからも連絡を取り合おう」と言って手を差しだした。シュペーアは「ああ、そうしよう」と答えて握手に応じたという。シュペーアを迎えに来た車の中にはシュペーアの妻と弁護士フレックスナーが乗っており、シュペーアは妻と手を握り合った。そして車に乗りこむと門の前に集まるマスコミの中を通過して西ベルリン内のダーレムのホテルへ向かった。
2002年（3歳）、2月24日に阪神競馬場で行われた3歳新馬戦でデビューし、単勝3番人気で2着となり、同じ開催中の3月17日に生涯唯一の芝レースとなった新馬戦では、6番人気で6着だった。その後休養し、7月13日の未勝利戦を制し、デビュー3戦めで初勝利を挙げ、続く地方競馬初遠征となった笠松競馬場での蘇水峡特別も制し、さらに盛岡競馬場での東京カップけやき賞も制し、初の重賞挑戦となるエルムステークスに出走したが10着だった。その後初のGI出走となったダービーグランプリで2着となったが、続く3走は10着、12着、8着だった。2003年（4歳）、この年初戦のガーネットステークスでは、15番人気で3着となるが、その後は4戦し3着が1回と目立った成績はなかった。そして5月11日のサウジアラビアロイヤルカップは6番人気だったが、タイムパラドックスらを相手に勝利し、4勝目を挙げた。続く欅ステークスもタイムパラドックスらを相手に勝利した。続くプロキオンステークスは2番人気で9着、クラスターカップは1番人気で2着となった。そして9月の日本テレビ盃でアグネスデジタルらを相手にレースを制し、重賞初勝利を挙げた。続くGI戦線は、マイルチャンピオンシップ南部杯を3番人気で3着、JBCクラシックを6番人気で2着、ジャパンカップダートを5番人気で4着となり、12月の東京大賞典を2番人気で制し、GI初勝利を挙げた。2004年（5歳）、前年の勢いに乗った川崎記念では1番人気となるが2着だった。その後のかしわ記念は1番人気で5着、帝王賞は3番人気で6着となり、レース後休養に入った。2005年（6歳）、3月のマーチステークスで実戦復帰を果たすが13番人気で11着だった。その後重賞6戦で2着2回、3着2回となりジャパンカップダートでは、13番人気で3着となった。当初除外の対象だった東京大賞典は、サカラートの回避により出走できたが、5番人気で10着だった。2006年（7歳）、フェブラリーステークス13着後に初の海外遠征を行うことになった。当初ゴドルフィンマイルに選出されていたがドバイワールドカップに出走となった。しかしレースは8着という結果に終わった。なおのちにブラスハットの失格により7着に繰上がっている。帰国初戦は7月のマーキュリーカップで、1番人気に支持されたが5着だった。続くしらかばステークスは10着だったが、日本テレビ盃では3番人気で2着となり、白山大賞典では3番人気で5着だった。しかしレース後は休養に入った。2007年（8歳）、この年は1走もせず、12月6日付で競走馬登録を抹消され、種牡馬入りが発表された。12月13日にブリーダーズ・スタリオン・ステーションに到着した。