禄县收获社（今属河静省禄河县）。父亲是进士潘漌。景兴三十二年（1771年），潘辉益参加乡试，考中乂安场解元，被派往山南镇担任官职。他成为吴时仕的学生，并娶其女为妻。景兴三十六年（1775年），与吴时仕之子吴时任同时考中进士。景兴三十八年（1777年），被郑主任命为使者，册封阮岳为恭郡公。光中元年（1788年），阮惠北伐，灭后黎朝。潘辉益与吴时任等文官同受重用，辅佐吴文楚守北河。翌年阮惠击退清朝的进攻，潘辉益随范公治出使清朝议和。阮惠登基后，成为礼部尚书，封瑞岩侯（）。嘉隆元年（1802年），阮福映推