En junio del 29 d.C., tras la muerte de Livia, se hizo cargo de sus nietos: Calígula, Agripina la menor, Julia Drusila, Julia Livila y Antonia, hija de Claudio y de su segunda esposa, Elia Petina, hermana de Sejano.