Drusus giftet seg med sin kusine på farssiden, Livilla, i 4 e.Kr. Deres datter Julia Livia ble født kort tid etter. De fikk to sønner, Tiberius Gemellus og Tiberius Claudius Cæsar Germanicus II Gemellus i 19 e.Kr., sistnevnte døde som svært ung allerede i 23 e.Kr. I 19 e.Kr. døde Tiberius' adopterte sønn Germanicus, noe som gjorde Drusus til den nye arving. Germanicus' enke Agrippina mistenkte Tiberius for å ha drept ektemannen for å gjøre Drusus til sin arving, men det er ikke sannsynlig.