历广南、广义、南定布政使。嗣德六年（1853年），以吏部左侍郎衔充任如清正使，出使清朝。当时恰逢中国爆发太平天国起义，道路阻隔，潘辉泳与范芝香等滞留清朝三年才回到国内。回到国内后，升授刑部右参知，进升礼部尚书，充任育德堂讲肄，教导皇长子阮福膺禛（后来的育德帝），同时充任国史馆总裁、商舶大臣。嗣德二十三年（1870年），因事降为参知致事。同年八月，潘辉泳去世，寿七十一岁，追复尚书衔。
作品.潘辉泳着有《驷程随笔集》。
子女.潘辉泳有数子。