杀富平县令杜徽，唐肃宗因新得陕，惜王去荣之材，下诏免死。贾至反对，唐肃宗召群臣商议，韦见素、崔器等亦不赞同免去王去荣的死罪。干元元年（758年）春，因房琯党事出京为汝州刺史。干元二年（759年）三月，九节度之师溃于相州，贾至弃城出奔襄、邓，再贬为岳州司马。干元三年，期间与李白相遇，有诗文传世。宝应元年（762年），代宗即位，由岳州召回复任中书舍人，二年再迁尚书左丞。广德二年，转礼部侍郎。永泰元年，加集贤院待制。大历三年正月，改兵部侍郎，封信都县伯。大历五年三月，为京兆尹，兼御史大夫。终官右散骑常侍。