En 122, tanto él como Septicio Claro caen en desgracia, y se rompen bruscamente las relaciones con Adriano; el colofón de esta última y triste época supuso su expulsión de la Corte.