在翰林院任职时，弟弟张垍为唐玄宗的女婿，受玄宗宠爱，常拿唐玄宗赏赐在张均面前炫耀，张均说：“此妇翁与女婿，非天子赐学士也。”父亲张说在开元十八年（730年）逝世，张均丁忧，后任户部侍郎，转兵部。开元二十六年（738年），贬饶州刺史。以太子左庶子征，复为户部侍郎。天宝九载（750年），官至刑部尚书。自认以才能当为宰辅，受李林甫排挤。李林甫死后，依附陈希烈，又受杨国忠厌恶。陈希烈失势，张均仍为大理卿。天宝十三年，张垍因故惹怒唐玄宗，受此牵连，张均出为建安郡太守。年中即召还，再迁太常卿。755年，安史之乱爆发