受公事。康定年间，担任赵元昊官告使，还朝说明元昊骄僭，一定反叛，请朝廷做好边关守备。元昊攻打延州，退兵后，夏竦、韩琦计划从鄜延路深入，乘虚攻打夏军，张惟吉认为当持重伺变。领皇城司，转任内侍省押班、群牧都监，精简陕西冗兵。为入内都知。庆历八年（1048年）澶州商胡等地黄河决口时，张惟吉为澶州修河都钤辖。转运使施昌言请立即堵塞，张惟吉以为民困财乏，治河工程应稍待。转任如京使、果州团练使，复领皇城司。张贵妃死后，宋仁宗将在皇仪殿治丧，宦官们以为可行，只有张惟吉说应该次日为宰相。宰相不能执议，他深以为非。卒后赠保顺