Tự Đức
吳世榮革職回家之後，修葺房屋，精心奉養母親。四方學徒都來此拜他為師學習。十八年間，吳世榮屢次拒絕朝廷徵召。嗣德年間，嗣德帝派使者前往南定吳世榮家中取走吳世榮詩文閱覽，安定總督阮廷賓趁機請求起復吳世榮。嗣德帝下詔令吳世榮赴京。到京之後令其到閱是堂覲見嗣德帝。嗣德帝命其應制敷陳，皆有所答。嗣德帝下旨恢復吳世榮進士身份，讓他自己決定去留。吳世榮以習慣安恬生活為由返回家鄉。離別時，朝廷公卿多以詩文餞行。