任等文官同受重用，辅佐吴文楚守北河。翌年阮惠击退清朝的进攻，潘辉益随范公治出使清朝议和。阮惠登基后，成为礼部尚书，封瑞岩侯（）。嘉隆元年（1802年），阮福映推翻西山朝，潘辉益向阮福映投降，被押至河内文庙前鞭挞，然后释放。此后归隐乡里，研究诗文，将段氏点的诗《征妇吟》译为喃字。明命三年二月二十日（1822年3月13日），潘辉益在家去世。
作品.潘辉益着有《裕庵吟录》和《裕庵文集》传世。
家庭.其子潘辉注为着名学者。