Le dejó a cargo de su abuela Livia durante algunos años y ésta prácticamente odiaba a su nieto, puesto que le enviaba cartas donde le recriminaba cualquier cosa.