Han är mest hågkommen för att den 11 november 1975 utan förvarning ha entledigat Australiens premiärminister Gough Whitlam (som hade utnämnt honom till generalguvernör) efter att denne saknade stöd i Australiens senat för statsanslag. Innan dess var den allmänna uppfattningen i Australien att generalguvernören enbart var en ceremoniell post som enbart handlade på inrådan av premiärministern, trots att den skrivna författningen "de jure" gav generalguvernören all verkställande makt, liksom att premiärministern enbart behövde stöd i parlamentets undre kammare, representanthuset. Anledningen till att han entledigade Whitlam utan förvarning var att Whitlam då som motdrag kunde ha instruerat Australiens drottning Elizabeth II att dra tillbaka Kerrs förordnande som generalguvernör. Händelserna kring detta brukar benämnas som Australiens konstitutionella kris 1975.