称疾去官，德宗知其才，召为比部员外郎，岁内三迁右司郎中，后官御史中丞。德宗很器重他，对群臣说：“武元衡是真宰相器。”其后于唐顺宗年间为王叔文等改革派排挤，罢为右庶子。唐宪宗元和二年（807年）正月，拜门下侍郎、平章事，兼判户部事。十月封临淮郡公，充剑南西川节度使。元和八年三月十一日，代高崇文为西川节度使，政绩卓着，中外同钦。武元衡精于五言诗，诗人张为编撰的《诗人主客图》，评论中唐诗人的流派，以白居易、孟云卿、李益、孟郊、鲍容、武元衡6人为主，其余为客，把武元衡奉为“瑰奇美丽为主”。其诗当时常有好事者传之