前鞭挞，然后释放。此后归隐乡里，研究诗文，将段氏点的诗《征妇吟》译为喃字。明命三年二月二十日（1822年3月13日），潘辉益在家去世。
作品.潘辉益着有《裕庵吟录》和《裕庵文集》传世。
家庭.其子潘辉注为着名学者。