Muligens allerede før hun født sine tvillinger, hadde Livilla innledet en intim affære med Lucius Aelius Sejanus, prefekt av pretorianergarden til Tiberius. Senere var det flere, inkludert Tiberius, som mistenkte Sejanus for å være far til tvillingene. Drusus, kronarving siden Germanicus døde i 23 e.Kr., døde det samme året, kort tid etter å ha slått Sejanus i ansiktet under en opphisset debatt. I henhold til Tacitus, Suetonius, Dio Cassius, hadde Sejanus forgiftet Drusus, ikke bare for at han fryktet vreden til den framtidige keiser, men også for at han selv hadde utsikt til å få den høyeste maktposisjonen og hadde som mål å få fjernet den fremste konkurrenten, og med Livilla som sin medsammensvorne. Om Drusus faktisk ble forgiftet førte hans dødsfall ikke til mistanke på dette tidspunktet.