慧好学，张浩尝称之曰：「吾家千里驹也。」贞元二年（1154年）进士，历任翰林待制、刑部侍郎、中都路都运使、御史大夫。张汝霖手段圆滑，谏言多被採纳。大定八年（1168年）除刑部员外郎中。进拜平章政事，封芮国公。金世宗逝世，他与太尉徒单克宁、右丞相完颜襄等同受命为顾命大臣。明昌元年十二月（1191年）正月病逝，改封莘国公。谥文襄。