天顺初授左春坊右谕德，以“少贱多病，杜迹山林，本无商行”为由请辞，回乡讲学。英宗三次挽留，坚辞。尝言“宦官、释氏不除，而欲天下之治，难矣。吾庸出为？”吴与弼自称经常梦见孔子、周文王二圣。。他开始透过《日录》记载梦中的情境。其一生言行皆体现于《日录》，黄宗羲撰《明儒学案》，以“崇仁之学”为首卷，称：“微康斋，焉得后世之盛哉？”宪宗成化五年卒，享年七十九。其墓位于崇仁县六家桥乡曹坊熊家村西南。着作有《康斋文集》、《日录》等。