3年），朝廷召他为补京兆功曹，他却不去任职。二年正月，严武再任职成都，几次写信希望杜甫回来。六月，严武表荐杜甫为节度参谋、检校工部员外郎，故世又称“杜工部”。他和严武之间亦发生过矛盾。严武性格暴烈，《新唐书》记载有一次杜甫因醉酒对他不敬，说了一句“严挺之乃有此儿”而令他怀恨在心。一日欲将杜甫与梓州刺史章彝杀害，已经准备好人手，左右告诉其母之后杜甫才被救下，唯独章彝被杀。《新唐书》说严武「最厚杜甫，然欲杀甫数矣」。永泰元年（765）正月，杜甫退出严武的幕府。四月，严武病逝，杜甫失去依靠，于五月离开成都