禄河县石洲社）的一个书香门第家庭，父亲是刑部郎中潘辉松，母亲高氏深是尚书高春肖之女。潘辉黎的家族名人辈出，如潘辉益、潘辉注、潘辉泳等。潘辉黎在1952年入学河内师范大学，当时这个学校因为战乱迁往清化省。在此期间，他的老师是越南着名的历史学家陶维英和陈文玾。后来正式进入河内师范大学史地班学习。1956年毕业时，河内师范大学被併入河内综合大学，在陶维英的指导下，他加入历史学部从事研究。1958年陶维英参加人文佳品运动、转去史学院任职之后，潘辉黎成为部门主任。1980年取得教授称号。1994年被越南政府授