。庆元党案爆发，赵汝愚被贬，吴柔胜亦遭御史汤硕参奏尝“救荒浙右，擅放田租，为汝愚收人心”，罢官，闲居十余年。嘉定初，主管刑、工部架阁文字，迁国子正业，历任太学博士、工部郎中，知太平州，终官朝奉大夫，秘阁修撰。嘉定十七年（1224）卒，年七十一。有子吴渊、吴潜。