Su amistad con Augusto parece que se vio empañada por los celos de Marco Claudio Marcelo, en parte incrementados por las intrigas de Livia, la tercera esposa de Augusto, que temía la influencia de Agripa sobre su marido.