后又遭到其副手刘锡鸿诬陷，于是因病请辞。光绪四年（1878年）8月，清政府将郭召回，改派曾纪泽接任；次年5月5日，他乘船抵达长沙；由于湘阴发生守旧排外风潮，他被污蔑为“勾通洋人”，遭到不明真相的百姓和乡绅帖大字报侮辱。郭嵩焘赋闲期间曾在湖南主讲城南书院，开设禁烟会，宣传禁止鸦片。生前曾筹备成立船厂，未能实现。郭嵩焘病逝后，李鸿章奏请将其事蹟宣付史馆立传，但清廷以其「出使外洋，所着书籍，颇滋物议」为由，不准其奏。
轶闻.郭嵩焘抵达英国伦敦后不久，于1877年10月16