También surgió una gran enemistad con la viuda de Augusto, Livia Drusila, que se oponía a las desbocadas ambiciones de Agripina.