No obstante hubo tres factores que provocaron que los ciudadanos romanos no le consideraran como sucesor imperial: la condena a muerte de su madre a causa de bigamia, el matrimonio de Claudio con Agripina y la adopción de Nerón, descendiente del recordado Germánico.