举家从上海迁回苏州铁瓶巷。此后数年一直忙于家族事务。同治九年（1870年）江苏巡抚丁日昌的极力推荐下，出任浙江宁绍台道，治理浙东沿海腐败横行的现象。3年后顾文彬再次辞官，之后彻底离开官场。
修造怡园.同治年间，顾文彬归隐吴中，在吴宽旧宅遗址上营造怡园。怡园是顾家的私家园林，主题是颐性养年。园中的所有对联题词都由顾文彬一手包办，从历代诗词楹联中集萃而成。
作品.自幼酷爱书画，十八岁自亲戚魏某处购得吴道元《水墨维摩像》轴和院画《上林图》，从此热衷于字画收藏。“