宗相继去世，朝廷召严武回京，这时徐知道反叛，严武为兵祸所阻，九月尚未出巴州。徐知道之乱平定后，入京为太子宾客，迁京兆尹兼御史大夫。又任吏部侍郎，不久改黄门侍郎、成都尹（市长）。广德二年破吐蕃七万余人，以功进检校吏部尚书，封郑国公。严武亦能诗，杜甫在安史之乱后曾去投靠他，两人相当友好，杜甫写给严武的有三十多首，杜甫还称赞严武“诗清立意新”。但严武性格暴烈，《新唐书》记载有一次杜甫因醉酒对他不敬，说了一句“严挺之乃有此儿”而令他怀恨在心。一日欲将杜甫与梓州刺史章彝杀死，已经准备好人手，左右告诉其母之后杜甫才