夷简弹劾而获罪，贬为临贺（今广西贺县南）尉，好友权德舆不敢送行。徐晦独至蓝田与别，权德舆问徐晦这样做真不怕被连累（“君送杨临贺，诚为厚矣，无乃为累乎！”）徐晦对曰：“晦自布衣蒙杨公知奖，今日远谪，岂得不与之别！借如明公它日为谗人所逐，晦敢自同路人乎！”李夷简奏徐晦为监察御史。李夷简说：“君不负杨凭，肯负国乎？”历官殿中侍御史、尚书郎、晋州刺史。宝历元年（825年）出任福建观察使。大和四年（830年）拜兵部侍郎，改太子宾客。官至礼部尚书。嗜酒，晚年失明，归居晋江湾海（现称安海）徐状元巷（又名徐公店徐厝巷）