Whitlam kierował ALP do 1977 roku, kiedy to zastąpił go Bill Hayden. W 1978 zrezygnował z mandatu parlamentarnego, po czym przez kilka lat pracował na różnych uczelniach. W latach 1983–1986 był stałym przedstawicielem Australii przy UNESCO w Paryżu. W późniejszych latach pozostał znanym działaczem społecznym, zaangażowanym w takie kwestie jak rozwój stosunków australijsko-chińskich czy kandydatura Sydney na gospodarza igrzysk olimpijskich w 2000 roku. W czasie kampanii przedreferendalnej w 1999 był zdecydowanym zwolennikiem wprowadzenia w Australii republiki.