当时王圣宅邸刚完成不久，刘保乳母王男、厨监邴吉认为不祥，反对太子刘保前去居住，于是与王圣等人爆发激烈争吵。王圣等人大怒，于是联合大长秋江京、中常侍樊丰等诬陷太子刘保的乳母王男、厨监邴吉。两人被杀，太子数为叹息。王圣等人惧有后祸，遂与樊丰、江京、汉安帝皇后阎姬共同构陷太子刘保。汉安帝召集大臣议论，太常桓焉、太仆来历、廷尉张皓等反对，汉安帝派人威胁反对废太子的大臣，最后只有来历坚决阻止汉安帝废太子。汉安帝大怒，下令罢免来历的官位，并立即废太子刘保为济阴王。来历不服，纠集11位官员和百姓上书喊冤，汉安帝不为所动。