欢迎的家长式和冷淡作风，当时许多人认为工党已经不可能取得连任。为了挽救败势，工党党内最终决定在大选前八周将帕尔默替换，由迈克尔·穆尔任工党党魁，并接替了他的总理职务。但工党仍在八周后的大选中失利。帕尔默最终在选举结束后从议会退休，之后曾赴英国就任英国枢密院的成员。帕尔默获得过圣米迦勒及圣乔治勋章、澳大利亚勋章。在2005年，他被指任为新西兰法律事务委员会的主管。