Julilla døde i 29 e.Kr. etter tyve års forvisning, og fikk heller ikke bli gravlagt i Augustus' mausoleum. Augustus' egne etterkommere var da alle forvist langt borte fra Roma og hverandre. Han omtalte dem som «sine sår og byller». Folk fant hans holdning til sine nærmeste så unaturlig at Livia ble mistenkt for å være pådriver bak. Samtidig som Augustus' etterkommere døde eller ble sendt i forvisning, ble hennes sønn Tiberius manøvrert nærmere tronen, helt til han - høyst uvillig - ble keiser etter sin stefar. Også Tacitus stilte spørsmål ved dette.