镇大同军节度使。太平六年（1026年）三月，入为南院枢密使，参知政事吴叔达与张俭不协，圣宗怒，吴叔达左迁康州刺史。张俭拜左丞相、政事令。景福元年（1031年），受圣宗遗诏辅佐太子耶律宗真。辽兴宗即位，张俭任太傅，赐同德功臣称号。重熙元年（1032年），拜太师、中书令。重熙四年（1035年），致仕，加尚父位，封秦国公，赐号贞亮弘靖耆德功臣。重熙五年（1036年），张俭提出要兴宗幸礼部贡院，亲自测试进士。重熙六年（1037年），封韩王。重熙十一年（1042年），徙封陈王。张俭生活简朴，张俭经常给与亲旧财物，