圭社（今河内市国威县柴山社瑞圭村）人，景兴三十九年（1778年）出生，父亲是西山朝名臣潘辉益，弟弟是潘辉注。嘉隆十年（1811年），潘辉湜接受阮廷征召，出仕为官。嘉隆十六年（1817年），充任如清乙副使。明命元年（1820年），升任谅山协镇，累迁至礼部尚书。当时阮朝制度粗疏，许多礼仪制度均由潘辉湜创制。明命十三年（1832年），充任钦修实录总裁，兼管翰林院。明命十八年（1837年），因祠器使用假金伪造一案案发，潘辉湜被免职。同年，起复为礼部郎中；同年，再超格擢升为署礼部左参知。后恢复礼部尚书原职，颇受明