顺治九年（1652年）中进士，踏上仕途，选宏文院庶吉士，授国史院检讨。顺治十二年（1655年），出任陕西潼关道员，为不扰地方百姓，他买了三头骡，主仆各坐一头，另一头驮着两副破旧被褥，一个竹书箱，康熙三年（1664年），汤斌的父亲过世，他回家守孝三年。康熙五年（1666年），汤斌拜孙奇逢为师，曾与顾炎武、黄宗羲等学者研读宋明理学。康熙十八年应博学鸿词科，汤斌前去应考，一举拔得头筹，授翰林院侍讲，康熙二十一年充《明史》总裁。康熙二十三年（1684年）升任内阁学士，是年出任江宁巡抚，任职期间鱼肉荤腥概不入衙署