Da Gladstones regjering inntok kontorene våren 1880, hadde John Wodehouse ingen intensjoner om å kalle tilbake Bartle Frere. Men i juni oppfordret en seksjon i Det liberale parti Gladstone til å fjerne ham, og statsministeren gav nølende etter den 1. august 1880. Da Bartle Frere returnerte, svarte han på anklagene som hadde med hans handlinger i både Afghanistan og Sør–Afrika og forbedredte en bredere redegjørelse da han døde i Wimbledon av en alvorlig forkjølelse den 29. mai 1884. Han ble begravd i St. Pauls katedral. Prinsen av Wales avdekket i 1888 en statue av Bartle Frere ved Thames-demningen. Mount Bartle Frere (1622 moh), det høyeste fjellet i Queensland i Australia er oppkalt etter ham.