记载有一次杜甫因醉酒对他不敬，说了一句“严挺之乃有此儿”而令他怀恨在心。一日欲将杜甫与梓州刺史章彝杀死，已经准备好人手，左右告诉其母之后杜甫才被救下，唯独章彝被杀。实际上《新唐书》说他「最厚杜甫，然欲杀甫数矣」。严母常担心其子骄暴被诛，甚至连坐全家。永泰元年（765年）四月，严武以四十岁暴卒。死后，其母泣曰：“我不担心会沦为官婢了。”据李白《与韩荆州书》的说法，韩朝宗曾经提拔严武。《太平广记》卷第一百三十报应二十九载有《严武盗妾》事。