治十二年（1655年），出任陕西潼关道员，为不扰地方百姓，他买了三头骡，主仆各坐一头，另一头驮着两副破旧被褥，一个竹书箱，康熙三年（1664年），汤斌的父亲过世，他回家守孝三年。康熙五年（1666年），汤斌拜孙奇逢为师，曾与顾炎武、黄宗羲等学者研读宋明理学。康熙十八年应博学鸿词科，汤斌前去应考，一举拔得头筹，授翰林院侍讲，康熙二十一年充《明史》总裁。康熙二十三年（1684年）升任内阁学士，是年出任江宁巡抚，任职期间鱼肉荤腥概不入衙署，每日只买三块豆腐作菜餚，人称“豆腐汤”、“羊裘公”，兴礼作教，抚民化俗