他的联合政府在澳洲政坛上也是争议不断。在赢得三次大选及完成许多立法上的成就后，于1983年的大选败给了鲍伯·霍克后，弗雷泽退出政坛。
退休后.退休后的弗雷泽和自由党的理念越走越远。倾向于古典自由主义的弗雷泽不满此后的自由党在约翰·霍华德主政后越来越接近保守主义，转向左派和反美。反恐战争后，他主张美国应撤出太平洋事务。以致2009年弗雷泽在艾博特当选党魁之后决定退党。当时他说“这个党已经不是自由党，而是保守党了”。弗雷泽是澳大利亚共和运动的支持者。