Cavanagh perse le primarie del Partito Democratico nel 1966, dopo che si era candidato per il Senato. Nel luglio 1967 sua moglie, Mary Helen, chiese il divorzio e la coppia si divise la custodia degli otto figli. Ad ottobre Cavanagh fece una contro denuncia, e nel 1968 gli ex coniugi affrontarono un imbarazzante processo pubblico.. Dopo essere stato criticato per la gestione delle rivolte del 1967, e dopo questi problemi personali, rinunciò alla ricandidatura nel 1969. Cavanagh tornò al lavoro da avvocato a Detroit e insegnò legge all'Università del Michigan. Nel 1974, Cavanagh si ricandidò alle elezioni, questa volta per un posto da Governatore, ma fu sconfitto nelle primarie del suo partito da Sander Levin, che a sua volta perse le elezioni generali contro il Repubblicano William Milliken. Questo fu l'ultimo tentativo politico di Cavanagh.