胡广、解缙迎附朱棣。与弼年十九岁时，见《伊洛渊源图》，放弃科举，苦读闽学语录，数年不下楼。推崇程朱理学，注重“静时涵养，动时省察”。中年家贫，躬耕读书，“本之以小学、四书，持之以躬行实践”，“非其义，一介不取”，学者称康斋先生。有弟子胡居仁、陈献章、娄谅。娄谅不屑细务，一日与门人共耕，吴与弼一边挥锄，一边对娄谅说：“学者，须亲细务。”娄谅立即醒悟。天顺初授左春坊右谕德，以“少贱多病，杜迹山林，本无商行”为由请辞，回乡讲学。英宗三次挽留，坚辞。尝言“宦官、释氏不除，而欲天下之治，难矣。吾庸出为？”吴与