1942年2月7日に軍需相（兵器・弾薬大臣）のフリッツ・トートが飛行機事故死した。シュペーアは後任の軍需相（正確には、1942 - 1943年兵器・弾薬大臣、1943 - 1945年軍需・軍事生産大臣）に就任する。はじめは門外漢であると固辞していたが、ヒトラーの熱心な要請に押される形で就任に至った。ヒトラーが若い彼を大抜擢したのは彼が過去の建築プロジェクトでみせた緻密な計画と組織経営力を兼ね備えた優秀なテクノクラートであったからと思われるが、シュペーア本人はヒトラーは指導的地位を素人で固める事を好み、ヒャルマル・シャハトのような専門家閣僚は好まなかったのが原因だろうと分析している。一般的に部品の共通化などの生産体制の効率を推し進め、軍需生産を増大させたのは全てシュペーアの功績であるように言われているが、実は彼が行った政策の殆どは前任者であるトートが既に考えていたものであった。しかしトートは、ヒトラーから政治的に全幅の信頼を寄せられていたシュペーアとは違い、政治的権力を持っていなかったため、各企業や省庁間などの利害関係の調整を纏めきれず、結果的にあまり成果を挙げることができないまま、事故死してしまう。後任のシュペーアは、ヒトラーの信頼というバックボーンを活かし、トートが立案していた部品の共通化などの実現に向け関係企業・省庁を纏めあげた。結果的に、生産体制の効率化を見事に達成しただけでなく、図らずも現在の経営工学に通じる斬新な理論を確立したという2つの大きな功績は、全て彼のものとなった。また、能率化、コストダウンを重視していたためV2ロケット、ドーラなど、ヒトラーが欲していた高コストで大きな破壊力を誇る兵器よりも小型で使い勝手のいい兵器を作りたがっていた。しかし、建築でこそヒトラーと対等に渡り合ってきたシュペーアであったが兵器に関しては全くの素人であったこともありヒトラーに押し切られてしまい、結局シュペーアの懸念が現実のものとなり新兵器開発計画は頓挫してしまった。そして初めてシュペーアはヒトラーに対し不満を覚えることになり、シュペーアは部下にヒトラーに対する愚痴をこぼしていたと、シュペーアの元部下のW.シェルケスは証言している。
1934年1月21日にトローストが死去し、シュペーアが党主任建築家の地位を引き継いだ。主任建築家となってからの彼に与えられた初期の仕事は、レニ・リーフェンシュタールの映画『意志の勝利』の舞台となり、彼の業績の中でももっとも有名なニュルンベルクの党大会会場(de:Parteitagsgelände)であった。自伝で彼は、最初のデザインではパレード会場がまるで「射撃祭り」(de:Schützenfest)に見えてしまうと自嘲気味に語っている。彼は一からデザインを作り直し、党大会会場の設計図を完成させた。会場は古代アナトリアのヘレニズム期の建築、「ペルガモンの大祭壇」（ベルリンのペルガモン博物館に収められているもの）のドーリア式建築を参考とし、これを24万人を収容できる巨大な規模に拡大したものであった。1936年の党大会では、シュペーアはパレード会場を150基の対空サーチライトで囲み、夜間には垂直に照射して光の大列柱を作り出した。この「光の大聖堂」のヴィジュアルインパクトは今も語り草となっている。以後1938年まで毎年9月、この会場はニュルンベルク党大会のために使用された。シュペーアはニュルンベルクで他にもさまざまなナチ党の建築を計画したが、殆どは実現しなかった。例えば、オリンピックに代わる競技大会の会場となる、40万人収容のスタジアム、「ドイツ・スタジアム」（de:Deutsches Stadion (Nürnberg)）はその一例である。これら党建築の設計に当たり、シュペーアは「廃墟価値の理論（Ruinenwerttheorie）」を創案した。ヒトラーが熱烈に支持したこの理論によれば、今後新築されるすべての建築は、数千年先の未来において美学的に優れた廃墟となるよう建築されるべきだということであった。古代ギリシア・古代ローマの廃墟がその文明の偉大さを現代に伝えているように、ナチスドイツが残す廃墟は第三帝国の偉大さを未来にまで伝えるべきものであった。この理論から、鉄骨構造や鉄筋コンクリートによる建築よりも、記念碑的な石造建築が多く生み出されることとなった。1937年にはシュペーアはパリ万博のドイツ館を手がけた。この建物は、スターリン様式を代表する建築家ボリス・イオファンが手がけたソ連館の正面にあり、ソ連館よりも僅かに高い。両館はそのデザインにより金メダルを同時受賞している。
武帝は290年4月に崩御し、皇太子の司馬衷（恵帝）が第2代皇帝として即位した。しかしこの皇太子は暗愚で知られた人物で、司馬昭からも太子を取り替えるべきと言われ、武帝も一時は真剣に廃太子を検討したことがあった。その前評判どおり、即位した恵帝は政治を放り出し、実権は武帝の晩年から朝政を掌握していた楊皇太后の父楊駿が輔政の形で壟断した。これが後に西晋の根幹を揺るがした八王の乱の始まりである。楊駿は2人の弟を要職に就けて一族で専横した。だが恵帝の皇后の賈后（賈充の娘）は楊氏の専横を憎み、禁軍の中にも楊氏一族に対する不満が高まり、291年に汝南王司馬亮・楚王司馬瑋と結託して楊駿を殺害した。さらに司馬亮は聡明で人望もあったため、賈后は次第に疎みだして司馬瑋を扇動して司馬亮を殺させ、その罪を全て司馬瑋に負わせて彼も殺害し、こうして結託したはずの2人も殺害して実権を掌握した。その後は賈后と甥の賈謐による10年弱の専横が続くが、政治そのものは名士の張華らが見たためかろうじて西晋は安定が保たれた。だが賈后は美少年を宮中に入れて淫行を繰り返し、299年12月、賈后は自らの実子ではない皇太子司馬遹を廃し、300年3月に殺害し、これにより西晋全土で賈后に対する専横に反発が生まれ、300年4月に趙王司馬倫は斉王司馬冏と語らって賈后とその一派を殺して首都洛陽を制圧し、301年1月に恵帝を廃して自ら即位した。厳密にはこれが八王の乱の始まりである。司馬倫の簒奪は諸王の反発を招き、また司馬倫は皇帝の虚名に酔いしれて一味徒党の誰彼に見境なく官爵を濫発したため朝廷は乱脈政治が展開され、301年に司馬倫は斉王司馬冏、河間王司馬顒、成都王司馬穎により殺害されて恵帝は復位したが、これ以後皇族同士による血を血で洗う争いが続き国内は荒廃した。このような争いに嫌気が差した知識人たちは権力から離れ、隠者になり清談や詩作にふけるようになった。その中でも有名な者が竹林の七賢である。八王の乱は最終的に306年11月に東海王司馬越によって恵帝が毒殺され（病死説もあるが、毒殺の可能性も示唆されている）、12月にその異母弟である懐帝司馬熾が第3代皇帝に擁立される事で終焉した。