元元年暮春，贾至坐房琯党，出守汝州。六月，严武亦因房琯党贬巴州。宝应元年（762年）四月，唐玄宗、唐肃宗相继去世，朝廷召严武回京，这时徐知道反叛，严武为兵祸所阻，九月尚未出巴州。徐知道之乱平定后，入京为太子宾客，迁京兆尹兼御史大夫。又任吏部侍郎，不久改黄门侍郎、成都尹（市长）。广德二年破吐蕃七万余人，以功进检校吏部尚书，封郑国公。严武亦能诗，杜甫在安史之乱后曾去投靠他，两人相当友好，杜甫写给严武的有三十多首，杜甫还称赞严武“诗清立意新”。但严武性格暴烈，《新唐书》记载有一次杜甫因醉酒对他不敬，说了一句“