年（1829年），改授广南协镇。明命十二年（1831年），再次作为副使出使清朝。翌年被谴，降职出洋效力，前往荷属东印度的首府巴达维亚（今雅加达）公干。归国后，于明命十五年（1834年）授工部司务。不久以生病为由辞官退隐。明命二十一年（1840年）病逝于山西省广威府先丰县青梅总青梅社（今河内市巴位县万胜社），时年虚龄59岁。
着作.潘辉注着有《历朝宪章类志》、《皇越地舆志》、《华轺吟录》、《华轺续吟》和《洋程记见》等书。