录总裁，兼管翰林院。明命十八年（1837年），因祠器使用假金伪造一案案发，潘辉湜被免职。同年，起复为礼部郎中；同年，再超格擢升为署礼部左参知。后恢复礼部尚书原职，颇受明命帝信赖。绍治元年（1841年），潘辉湜致事。次年（1842年），绍治帝北巡，接受清朝册封，潘辉湜前往行在拜谒绍治帝，获赐银币和一首御诗。绍治四年（1844年），潘辉湜去世，寿六十七岁，谥庄亮。嗣德十一年，阮朝设立贤良祠，潘辉湜入祀。
文学.潘辉湜着有《星轺纪行》、《华轺杂咏》、《使程襍咏》等。