参军。司马伦被扫平后，封安昌公。历任黄门侍郎、散骑常侍、侍中、秘书监。永兴末年，为中书令。永嘉年间，迁太常卿。洛阳将被汉国攻陷时，携家属东逃出成皋，想回故乡。但道遇盗匪，无法前进，在坞壁病逝，时年六十多岁。明朝张溥辑有《潘太常集》1卷，收录于《汉魏六朝百三家集》。