国后，因希望由总理衙门刊印，导致保守派人士的仇视，要求将其撤职查办；翰林院编修何金寿参劾他“有二心于英国，想对英国称臣”等语，他因此被清廷申斥，书稿亦遭毁版；而后又遭到其副手刘锡鸿诬陷，于是因病请辞。光绪四年（1878年）8月，清政府将郭召回，改派曾纪泽接任；次年5月5日，他乘船抵达长沙；由于湘阴发生守旧排外风潮，他被污蔑为“勾通洋人”，遭到不明真相的百姓和乡绅帖大字报侮辱。郭嵩焘赋闲期间曾在湖南主讲城南书院，开设禁烟会，宣传禁止鸦片。生前曾筹备成立船厂，未能实现。郭嵩焘病逝后，李鸿章奏请将