（121年），提拔为太仆。建光二年（122年），中常侍樊丰、大将军耿宝、侍中周广、谢恽上书陷害太尉杨震，后来杨震自杀。来历便于他们断绝了关系，并对侍御史虞诩说耿宝不报国家而偏向奸臣，天灾就要降临到他的头上。这时，王男、邴吉又被王圣、王圣的女儿永、江京、樊丰等人害死，皇太子刘保怜惜王、邴两人，江、樊恐有后患，便诬陷太子。汉安帝大怒，商议要废除太子，耿宝等人迎合皇上，来历、桓焉、张皓等人极力反对，但皇帝不听，第二天便废太子为济阴王。监管太子家事的籍建、高梵等人也都被贬到朔方郡，许多大臣都去鸿都门证明太子