当持重伺变。领皇城司，转任内侍省押班、群牧都监，精简陕西冗兵。为入内都知。庆历八年（1048年）澶州商胡等地黄河决口时，张惟吉为澶州修河都钤辖。转运使施昌言请立即堵塞，张惟吉以为民困财乏，治河工程应稍待。转任如京使、果州团练使，复领皇城司。张贵妃死后，宋仁宗将在皇仪殿治丧，宦官们以为可行，只有张惟吉说应该次日为宰相。宰相不能执议，他深以为非。卒后赠保顺军节度使，谥号忠安。