En los últimos años, su relación con el futuro emperador se fue enfriando, probablemente debido a un escarceo amoroso que Augusto tuvo con su esposa Terencia.