幼时即生性豪爽，“读书不究精义，涉猎而已”，八岁时，父偏爱小妾英，严武用铁锤杀小妾，说：“安有大臣厚妾而薄妻者？”父屡禁其习武，然不能禁止。后以荫调太原府参军，累迁殿中侍御史。天宝十五载（至德元载）六月，严武与贾至随玄宗幸蜀，擢谏议大夫。房琯荐为给事中。历官剑南节度使，干元元年暮春，贾至坐房琯党，出守汝州。六月，严武亦因房琯党贬巴州。宝应元年（762年）四月，唐玄宗、唐肃宗相继去世，朝廷召严武回京，这时徐知道反叛，严武为兵祸所阻，九月尚未出巴州。徐知道之乱平定后，入京为太子宾客，迁京兆尹兼御史大夫。又