First Sea Lord
1951年12月に第一海軍卿を退任し、1981年2月12日にロンドンで死去した。フレーザーは生涯独身で子供もいなかったため、フレーザー・オブ・ノース・ケープ男爵家は一代限りで断絶した。