Il gagna les élections de 1974 avec une faible majorité, ce qui incita l'opposition majoritaire au Sénat, enhardie par les scandales gouvernementaux et une économie languissante, à le défier. À la fin de 1975, le Sénat refusa pendant plusieurs semaines de voter les projets de loi de finances, ce qui provoqua une crise constitutionnelle prolongée. Le gouverneur général, John Kerr, y mit fin en destituant Whitlam, et en nommant comme Premier Ministre intérimaire le chef de l'opposition, Malcolm Fraser, dans l'attente de nouvelles élections. Whitlam a alors déclaré "God save the Queen, but nothing can save the governor general", ce qui pourrait se traduire par « Dieu bénit la reine, mais rien ne peut sauver le gouverneur général ». Les élections furent gagnées avec une écrasante majorité par les conservateurs et Whitlam devint le seul Premier Ministre australien à avoir perdu son poste de cette manière.