Callaghan tapte parlamentsvalget mot Margaret Thatcher i mai 1979. Han fortsatte som parlamentsmedlem til valget i 1987. Samme vår var han blitt medlem av Hosebåndsordenen, senere på året ble han utnevnt til life peer som baron Callaghan av Cardiff. Han var den lengstlevende britiske statsminister da han døde i 2005, bare elleve dager etter sin kone.