帰国後、海軍卿（; 海軍本部ファースト・ロード、海軍大臣）として再び入閣した。スペンサーが大臣職を務めた6年間は、イギリスの海軍史において最も輝かしい日々であった。イギリス海軍はサン・ビセンテ岬の海戦やキャンパーダウンの海戦に勝利し、スピットヘッドとノアの反乱を解決した。また彼はナイルの海戦に先立ってホレーショ・ネルソンを地中海派遣艦隊の司令に指名した。続く2年間ネルソンと半公式の通信を続け、ネルソンの健康状態が海上勤務に耐えられないならば帰国するよう提案している。1801年に小ピットは首相を辞職し、スペンサーも職を離れた。