织罪名说他和石崇要造反，最后和石崇等人被诛灭三族。潘岳是中国历史上有名的美男子，据《世说新语》所载，潘岳每次外出，都会有不少女子手牵手地围着他的车子，又向他的车子投掷水果。成语“掷果盈车”即来自于此典故。后来人们就以「潘安之貌」形容男子俊美。潘岳与夏侯湛友好，喜欢一同出游，时人谓之连璧。同期的左思虽然长得丑，看到潘岳出游如此受人欢迎，也依样学样，特意梳洗打扮，驾车出游，“于是群妪齐共乱唾之，委顿而返”。潘岳亦以谄媚权贵着名，元好问批评潘岳，“心画心声总失真，文章宁复见为人。高情千古《闲居赋》，争信安仁拜