党内有人对于他的领导权的挑战。但在1977年的大选中，工党只增加了两席，不足以取代弗雷泽重夺执政权。因此，惠特拉姆不久决定辞去党领袖，由比尔·海登接任。其后淡出政坛。
晚年.1978年7月，惠特拉姆从众议院退休。1983年，鲍勃·霍克带领工党重新执政后，惠特拉姆被任命为澳大利亚驻联合国教科文组织的大使，3年后卸任返回澳大利亚。同时，他始终没有对当年的宪政危机事件释怀，他始终没有原谅当年的总督克尔，一直批评他的宪政危机中的作为，但惠特拉姆与弗雷泽在后来和解。2008年2月，惠特拉姆更