灵武，传位于肃宗，贾至随行至灵武，传位诏文亦由贾至撰写。贾至就在肃宗朝任中书舍人。至德中，将军王去荣杀富平县令杜徽，唐肃宗因新得陕，惜王去荣之材，下诏免死。贾至反对，唐肃宗召群臣商议，韦见素、崔器等亦不赞同免去王去荣的死罪。干元元年（758年）春，因房琯党事出京为汝州刺史。干元二年（759年）三月，九节度之师溃于相州，贾至弃城出奔襄、邓，再贬为岳州司马。干元三年，期间与李白相遇，有诗文传世。宝应元年（762年），代宗即位，由岳州召回复任中书舍人，二年再迁尚书左丞。广德二年，转礼部侍郎。永泰元年，加集