市国威县柴山社瑞圭村），是潘辉益的第三子。他自幼好学，六岁时便跟随舅舅吴时任学习。嘉隆六年（1807年）、十八年（1819年），潘辉注先后两次参加乡试，考中生徒。但潘辉注一直郁郁不得志，直到明命二年（1821年）他编纂的《历朝宪章类志》刊行之后，才获得明命帝的赏识，授翰林院编修一职。明命六年（1825年），潘辉注作为副使出使清朝。归国后任承天府府丞，明命十年（1829年），改授广南协镇。明命十二年（1831年），再次作为副使出使清朝。翌年被谴，降职出洋效力，前往荷属东印度的首府巴达维亚（今雅加达）公干。