允诺而别，回去告诉武帝。武帝召问公卿，众谓淮南王阻明诏，不令雷被入都效力，罪应弃市。武帝不从，只准削夺二县，赦罪勿问。刘安有两个儿子，幼子刘迁因是嫡子，被立为世子，庶出长子刘不害不得宠，刘安、王后不视他为子，刘迁不视他为兄，刘安也没有按推恩令分封他为列侯。刘不害之子刘建因为分封无望而怀恨，指称刘迁秘密策划谋反，希望一旦刘迁获罪，父亲刘不害就能成为淮南太子。刘安计划举兵反朝廷，问计于伍被，伍被力谏刘安不要造反，但是刘安不听。后来只好被迫替刘安谋划，刘安谋反事发之后，伍被向汉廷自首谋反的经过。西汉元狩元