Quedó huérfano muy pronto, y fue llevado a vivir a la casa de su tío materno Marco Livio Druso, quien también estaba a cargo de Servilio Cepión y Servilia, hijos del primer matrimonio de Livia con Quinto Servilio Cepión, así como de Porcia y Marco Livio Druso Claudiano (hijo adoptivo de Marco Livio, padre de la emperatriz Livia Drusila).