进士。历任内阁中书，江苏按察使，福建巡抚等职。为官清廉，康熙五十一年（1711年）正月，江苏省乡试，总督噶礼考场舞弊，以白银五十万两，徇私贿买举人，张伯行疏参噶礼。噶礼倒参张伯行“七大罪状”，即噶礼与张伯行互参案。康熙帝将此案先后交由尚书张鹏翮、总漕赫寿、尚书穆和伦、张廷枢审理。张鹏翮袒护噶礼，奏称事属全虚。当时噶礼母亲向康熙帝直言噶礼贪状，并为张伯行伸冤，康熙帝说“其母尚耻其行，其罪不容诛矣！”最后，噶礼革职。康熙称其为「江南第一清官」。张伯行虽然号称清官，但办事不力。康熙也认为“张伯行操守虽好，