乡试中举，名列第一。洪武四年（1371年）登辛亥科状元，是明朝开国以来第一位状元。赐给冠带袍笏，授礼部员外郎，参与修编《大明日历》。当时胡惟庸独揽大权，欲其附庸，吴伯宗不屈从，后被贬职于凤阳。后上疏谈论时政，弹劾胡惟庸，后朱元璋准奏，并召还。出使安南（今越南），取得四只大象归国。洪武十五年（1382年）为武英殿大学士。同年九月，奉命与翰林学士李翀、回回大师马沙亦黑、马哈麻等翻译《回回历》、《经纬度》、《天文》等书。洪武十七年（1384年）谪居云南，暴卒途中。伯宗无子，殁时囊空如洗，由其妻倪氏勉力归葬乡里