第三甲同进士出身。初为翰林院编修，后出任定远府知府，转吏部员外郎，又任礼部郎中。明命十五年（1834年），担任河内场乡试监考，因阅卷问题被革职。吴世荣革职回家之后，修葺房屋，精心奉养母亲。四方学徒都来此拜他为师学习。十八年间，吴世荣屡次拒绝朝廷征召。嗣德年间，嗣德帝派使者前往南定吴世荣家中取走吴世荣诗文阅览，安定总督阮廷宾趁机请求起复吴世荣。嗣德帝下诏令吴世荣赴京。到京之后令其到阅是堂觐见嗣德帝。嗣德帝命其应制敷陈，皆有所答。嗣德帝下旨恢复吴世荣进士身份，让他自己决定去留。吴世荣以习惯安恬生活为由返回家