题被革职。吴世荣革职回家之后，修葺房屋，精心奉养母亲。四方学徒都来此拜他为师学习。十八年间，吴世荣屡次拒绝朝廷征召。嗣德年间，嗣德帝派使者前往南定吴世荣家中取走吴世荣诗文阅览，安定总督阮廷宾趁机请求起复吴世荣。嗣德帝下诏令吴世荣赴京。到京之后令其到阅是堂觐见嗣德帝。嗣德帝命其应制敷陈，皆有所答。嗣德帝下旨恢复吴世荣进士身份，让他自己决定去留。吴世荣以习惯安恬生活为由返回家乡。离别时，朝廷公卿多以诗文饯行。吴世荣返回家后，不久去世，享年五十四岁。
作品.吴世荣着有《竹堂随笔》