山县栗柴总瑞圭社（今属河内市国威县柴山社瑞圭村）人，曾祖父是后黎朝名臣潘漌，祖父是西山朝名臣潘辉益，父亲是明命年间名臣潘辉湜，叔父是文学家潘辉注。
生平.潘辉泳生于西山朝景盛八年（1800年）。明命九年（1828年），参加昇隆场乡试，考中举人。初授兵部主事，转员外郎。绍治二年（1842年），升广平按察使，两年后因丁父忧去职。服满后改授广义按察使，后召还回朝，改任侍读学士，充任国史馆编修。不久升光禄寺卿，办理礼部事务。嗣德初，潘辉泳署理礼部右侍郎，出历广南、广义、南定布政使。嗣德