Suetonius hevdet at Tiberius ikke hadde en god oppfatning av Julias karakter, mens Tacitus hevdet at Julia så ned på Tiberius som under hennes rang - noe som høres tvilsomt, siden hennes forrige ektemann Agrippa kom fra lavadelen - og faktisk sendte et brev til sin far, ført i pennen av Sempronius Gracchus, som angrep ham. I 6 f.Kr. fikk Tiberius tildelt et femårig embete, samt oppgaven å slå ned uroen i Armenia. Men Tiberius ønsket bare fred og ro til å studere filosofi. Augustus protesterte i senatet, og Livia appellerte til sin sønn privat, men samme år brøt han like fullt opp fra ekteskap og Roma, og flyttet til Rhodos.