建光二年（122年），汉安帝商议要废黜太子，来历等人极力反对，但皇帝不听，第二天便废太子为济阴王。各路大臣都渐渐离去后，只有来历一个人还守在朝廷上，几天不肯离去。安帝便罢免了来历兄弟的官职，削减他封国的地租，而且废黜武安长公主不得相见。后来济阴王登基为汉顺帝，拜来历为车骑将军。永建三年，武安长公主去世。来历称病回家，丧满后复出为大鸿胪。