革职。康熙称其为「江南第一清官」。张伯行虽然号称清官，但办事不力。康熙也认为“张伯行操守虽好，而办事多煳涂执拗之处。”，又说他“素性偏执，且短于才，封疆之寄不能胜任。”康熙五十三年（1714年），张伯行弹奏布政使牟钦元藏匿海盗张令涛，是年七月十七日，李煦密奏张伯行“一怕海贼杀他，二怕仇人杀他”，漕运总督郎廷极也指出张伯行“才性短偏，多疑苛细”。后来，发现张令涛根本不是海贼。不久，入直南书房，署仓场侍郎，充顺天乡试正考官。授户部侍郎，再充会试副考官。雍正元年（1723年），擢礼部尚书，赐「礼乐名臣」榜