在李鸿章和上海租界里的西方势力联手下，上海终于解围。湖广总督官秀峰很欣赏顾文彬，诚邀他回到湖北共事，但遭顾文彬婉拒。1864年夏天，顾文彬举家从上海迁回苏州铁瓶巷。此后数年一直忙于家族事务。同治九年（1870年）江苏巡抚丁日昌的极力推荐下，出任浙江宁绍台道，治理浙东沿海腐败横行的现象。3年后顾文彬再次辞官，之后彻底离开官场。
修造怡园.同治年间，顾文彬归隐吴中，在吴宽旧宅遗址上营造怡园。怡园是顾家的私家园林，主题是颐性养年。园中的所有对联题词都由顾文彬一手包办，从历代诗词楹联中