累迁枢密直学士。咸雍初年，因奏事错误，被贬出京为惠州刺史。不久受召复旧职，兼任知户部司事。咸雍三年（1067年），任参知政事，枢密院知事，工部侍郎。咸雍八年（1072年），封陈国公。辽道宗认为张孝杰勤劳肯干，多次问他国事，封为北府宰相。在汉人中贵幸无比。大康元年（1075年），赐国姓耶律姓。第二年秋猎， 辽道宗一日射鹿三十只，大宴随从官员。酒酣，辽道宗下命令作赋《云上于天诗》，诏令张孝杰坐御榻旁。皇上背诵《黍离》诗：“知我者谓我心忧，不知我者谓我何求。”张孝杰奏曰：“今天下太平，陛下何忧？富有四海，陛下何求