スペイン領サハラの北に境を接するモロッコは、歴史的経緯から同地域がモロッコの一部として不可分な領域であり、スペインの撤退後も独立させるべきではないと長らく主張している。また南のモーリタニアも同様に、スペイン領サハラは事実としてモーリタニア領である、と同様の主張を行っている。現地人のサハラウィー人も1973年以降、アルジェリアの支援を受けたポリサリオ戦線に主導され、スペイン支配に反抗するゲリラ戦を展開。1975年10月、スペインは権力の移譲について反政府運動指導者らと秘密裏の交渉を開始。両者はアイユーンで交渉、さらにエル・ワリとスペイン外相ペドロ・コルティナ・マウリとの会談がアルジェで開かれた。モロッコは主張の正当性確保を目的として国際司法裁判所へ提訴。国際司法裁判所は、歴史における忠誠の誓いについて法的拘束を認めたものの、しかしそれは「若干の、わずかに若干の」サハラウィー部族とモロッコのスルターンのあいだのものであって、別のサハラウィー部族とモーリタニアの関係に認められる権利と異なるところはない、とした。さらにスペインの植民地化の時点で、西サハラ地域に対するモロッコおよびモーリタニアの領土主権の関係は存せず、両国の取り持った関係は、両国によるスペイン領サハラ地域併合を支持するほど広範な関係とは言えず、むしろ土着民（サハラウィー）は土地の所有者であり、したがって自決権を持つと裁判官は述べている。これは、主権をめぐる問題の政治的解決策がスペイン、モロッコ、モーリタニアによる統合、あるいは分割、また独立のいずれであっても、スペイン領サハラの人びとによって明確に承認されなければならないことを意味するものであった。この裁判の結果発行される国際司法裁判所勧告意見は10月16日に発行されることとなっていた。しかし発行前日10月15日、国際連合の派遣団がサハラウィーは「圧倒的に」独立を支持していると結論づけていたことが問題をややこしくした。モロッコ王ハサン2世は、以前に存在したモロッコとサハラウィーとのあいだの忠誠関係を引いて、みずからの立ち位置を強化するとともに、公に司法裁判所の自決権に関する判断についてなんらの言及もしていない（この態度は7年後、アフリカ統一機構で正式に住民投票に同意するまで続く）。そして勧告意見が発行に先立って、スペイン領サハラに対し「祖国の再統合」のため「緑の行進」を組織すると発表したのである。
シュペーアはたびたび前線に視察に赴き前線の意見を軍備計画に反映させることにつとめた。大戦末期、シュペーアは資源の備蓄が底を尽き始めていることを政府幹部のなかで最も痛感している一人であった。1944年1月、シュペーアは心労と過労のため倒れベルリン郊外の病院で静養生活に入った。そこで彼はヒトラーに疎んじられているとの周囲の雑音に心痛し、ヒトラーに対して辞職を申し出た。辞職願を受け取ったヒトラーは驚きすぐさま病院へ使いを出し「君に嫉妬する者が、あらぬ噂を煽り立てているだけだ。私は決して君を疎んじてなどいない。頼りにしている。病を治し一日も早く復帰することを願っている」と手紙を書き送った。5月になるとシュペーアは心労から立ち直り、現場に復帰した。その頃、米英による軍需施設や生産施設、輸送機関に対する空爆作戦でドイツの生産能力は甚大な被害を受けていた。シュペーアは燃料工場の9割が破壊されたことを受けこの時初めて「将来の破局」という直接的な表現をつかいヒトラーを戒めた。しかし、シュペーアに限らず部下の悲観的意見には決して耳を傾けることがなかったヒトラーはこの報告を無視したため、シュペーアは従来どおりの仕事を続けざるを得なかった。1944年10月、イギリス軍やアメリカ軍を中心とした連合国軍によるドイツ西部侵攻が始まった。そしてその冬、ドイツ工業の心臓部ともいえるルール地方が連合国の激しい砲火によって壊滅した。シュペーアはルール地方を視察に訪れ、もはやドイツに戦争を継続し得るだけの能力がないことを確信し、これまでの「戦争に必要な物資をいかに生産調達するか」という方針から「いかに早く敗戦後のドイツが復興できるか」という方針に転換することを決意した。そのため国内の工場や産業をいかに戦火から守るかということに苦心したが、これはヒトラーら軍幹部の方針とは正反対であった。1945年に入りヒトラーは工場、企業、インフラストラクチャー施設などを破壊するよう命令（ネロ指令）を下した。シュペーアはヒトラーのこの命令に対して激しく抵抗し、あの手この手でヒトラーにその非を直訴した。一度は翻意したヒトラーであったが結局焦土作戦は遂行され戦後ドイツ復興の足枷となった。この作戦が決行された時のシュペーアの様子について当時の部下は「こんなに激昂したシュペーアを見たことはいまだかつてなかった」と証言している。また、焦土作戦が決定されたことを受け、反逆罪を覚悟した上で、「3月18日までは戦況の好転に望みをつないでいました。しかしもうその望みは潰えました。ドイツ国民の生活基盤を破壊する破壊という手段を総統自ら行使しませんよう」とドイツを破壊するヒトラーを真正面から非難し焦土作戦の愚を書き連ねた親書をヒトラーに手渡した。しかし、ヒトラーは何もなかったかのようにその手紙のことについては不問とした。その後シュペーアは戦後復興を目指し戦後処理に向けた仕事をするためヒトラーとは別に行動するようになった。しかし4月23日、ドイツ北部から飛行機で総攻撃真っ只中のベルリン・首相官邸地下壕を訪問し、ヒトラーと会談した。その内容は、シュペーア自身は『緊急の目的』とだけ語り、誰にも詳細を明かすことはなかった。しかし、シュペーアの副官M・V・ポーザーは、シュペーア自身がヒトラーから後継者に指名されることを懸念し、ヒトラーに反対の意を直訴したのではないかと推測している。結局、これが二人の最後の面会となった。シュペーアはヒトラーの遺書の閣僚リストの中には入っておらず、カール・ザウルが後任の軍需相に指名されている。ベルリン脱出後、シュペーアはカール・デーニッツ海軍元帥の元に向かい、ヒトラー自殺後に後継指名されたデーニッツの政府で閣僚となった（フレンスブルク政府）。ドイツ降伏後、シュペーアはハンブルクのラジオ局から演説を行い、「今は敗戦を悲しむよりも復興のために働くべきだ」と訴えた。連合軍は政府の存在を認めず、5月23日にシュペーアは他の閣僚たちとともに逮捕された。シュペーアはゲーリングが収容されていたルクセンブルクのモンドルフのパレス・ホテルに送られ、8月中旬までそこで過ごした。その後、他の被告らとともにニュルンベルク裁判にかけるためにニュルンベルク刑務所へと移された。