Marcus Claudius Marcellus, en nevø av Augustus, døde i 23 f.Kr., men det gikk rykter om at det ikke var en naturlig død, og at Livia sto bak dødsfallet. Etter at de eldre sønnene til Julia med Agrippa, som Augustus hadde adoptert som sine sønner og etterfølgere, hadde dødd, ble den ene gjenværende sønnen Agrippa Postumus adoptert samtidig med Tiberius. Senere ble Agrippa Postumus forvist til en øy og senere drept. Tacitus antydet at Livia ikke var uskyldig i disse dødsfallene, og Dio Cassius nevnte også slike rykter. Det var også rykter som Tacitus og Dio Cassius omtalte om at Livia også drepte Augustus selv ved å forgifte ferske fikener. Augustus’ barnebarn var Julia den yngre. En gang mellom 1 og 14 e.Kr. ble hennes ektemann Paullus henrettet, anklaget for å konspirert til en oppstand. Moderne historikere har teoretisert at Julias forvisning var ikke for påstått utroskap, men for at hun faktisk var involvert i Paullus’ opprør. Livia Drusilla selv konspirerte mot hennes stedatters familie og fikk dem ruinert. Det førte til åpen medynk for den falne familie. Julia døde i 14 e.Kr. uten å få tillatelse av sin far å komme tilbake til Roma fra sin forvisning.