2年），升广平按察使，两年后因丁父忧去职。服满后改授广义按察使，后召还回朝，改任侍读学士，充任国史馆编修。不久升光禄寺卿，办理礼部事务。嗣德初，潘辉泳署理礼部右侍郎，出历广南、广义、南定布政使。嗣德六年（1853年），以吏部左侍郎衔充任如清正使，出使清朝。当时恰逢中国爆发太平天国起义，道路阻隔，潘辉泳与范芝香等滞留清朝三年才回到国内。回到国内后，升授刑部右参知，进升礼部尚书，充任育德堂讲肄，教导皇长子阮福膺禛（后来的育德帝），同时充任国史馆总裁、商舶大臣。嗣德二十三年（1870年），因事降为参知致事。同