客数千人，“天下方术之士，多往归焉”，着名的有苏非、李尚、左吴、陈由、伍被、毛周、雷被、晋昌八人，号称「八公」。
谋反案.元朔五年（前124年），刘安的门客雷被在与淮南王世子刘迁比试剑术时，误伤世子，招致世子怨恨。雷本想随军抗击匈奴，刘安不准，雷被遂逃往长安告发刘安。武帝遣中尉段宏前去查办，刘安父子欲将段宏刺死。由于段宏只是略问雷被免官事迹，并未讯及别情，辞色甚是谦和。刘安料无他患，不如变计周旋。段宏允诺而别，回去告诉武帝。武帝召问公卿，众谓淮南王阻明诏，不令雷被入都效力，罪应弃市