Hans besteforeldre på farssiden var Nero Claudius Drusus og Antonia den yngre, datter av Marcus Antonius og Octavia den yngre. Hans besteforeldre på morssiden var Marcus Vipsanius Agrippa og Julia den eldre, datter av enehersker Augustus. Han hadde dessuten en rundt et år eldre bror, Nero Cæsar, som fikk samme skjebne som ham selv. Foruten nevnte bror Nero hadde han en yngre bror, Gaius Julius Cæsar (senere kjent som keiser Caligula), og dessuten tre søstre, Julia Livilla, Julia Drusilla, og Agrippina den yngre. Han var også nevø av den senere keiser Claudius.