唐中宗时召还。历任兵部员外郎、工部侍郎、兵部侍郎，加弘文馆学士。睿宗即位，迁升为中书侍郎。开元初年，改任中书令，开元五年（717年），贬岳州刺史。开元七年（719年），担任幽州都督。开元八年（720年），担任天兵军（驻太原）节度大使。张说大乐，亲吻王毛仲的靴尖。开元九年（721年）七月，朔方节度使诱杀突厥部落，边境不安，并州（山西太原）长史张说带领二十骑兵，持节即其部落慰抚之，还住在首领的牙帐；副使李宪认为虏情难信，驰书止之。张说回信：“吾肉非黄羊，必不畏食；血非野马，必不畏刺。士见危致命，此吾效死之秋