伯宗不屈从，后被贬职于凤阳。后上疏谈论时政，弹劾胡惟庸，后朱元璋准奏，并召还。出使安南（今越南），取得四只大象归国。洪武十五年（1382年）为武英殿大学士。同年九月，奉命与翰林学士李翀、回回大师马沙亦黑、马哈麻等翻译《回回历》、《经纬度》、《天文》等书。洪武十七年（1384年）谪居云南，暴卒途中。伯宗无子，殁时囊空如洗，由其妻倪氏勉力归葬乡里。
着作.着有《荣进集》4卷等。