Contrario a lo que pudiera pensarse, Filipo nunca mostró mucho interés en el joven Octavio; debido a lo anterior, Octavio fue criado por su abuela materna Julia la Menor.