特兰下野后，首相一位由小皮特继任，小皮特出任首相至1801年为止，卡文迪许亦再无到内阁供职。
晚年生涯.卡文迪许卸任财相后不久，就在1784年4月失去下院约克选区议席，退出下院。此后他一度淡出政坛，但在1794年5月22日当选德比郡选区议员而重返下院， 后又于1796年年中的大选连任，但这时的卡文迪许已经时日无多。他在同年12月18日卒于兄长位于特威肯汉姆（Twickenham）的宅第，终年64岁。卡文迪许终生未婚，死时无子无女，其下院德比郡议席则由姪儿乔治·卡文迪许勋爵（Lord