景盛八年（1800年）。明命九年（1828年），参加昇隆场乡试，考中举人。初授兵部主事，转员外郎。绍治二年（1842年），升广平按察使，两年后因丁父忧去职。服满后改授广义按察使，后召还回朝，改任侍读学士，充任国史馆编修。不久升光禄寺卿，办理礼部事务。嗣德初，潘辉泳署理礼部右侍郎，出历广南、广义、南定布政使。嗣德六年（1853年），以吏部左侍郎衔充任如清正使，出使清朝。当时恰逢中国爆发太平天国起义，道路阻隔，潘辉泳与范芝香等滞留清朝三年才回到国内。回到国内后，升授刑部右参知，进升礼部尚书，充任育德堂讲肄，