Hun var oppkalt etter farens favorittsøster Julia Drusilla, og ble født ikke lenge etter at Caligula giftet seg med Cæsonia. Enkelte kilder oppgir fødselen til samme dag som bryllupet, men datoen for inngåelsen av ekteskapet har ikke blitt nøyaktig avklart, men det var en gang i løpet av sommeren 39 e.Kr. Cæsonia hadde tre barn fra før av fra sitt første ekteskap. Da Drusilla ble født, tok Caligula henne til et tempel med statuer av gudinner, og la henne i fanget på Minerva, instruerte gudinnen om at hun måtte gi hans datter næring og opplæring. Årsaken for Caligulas hastige bryllup med verken den unge eller helt vakre Milonia Cæsonia, var den påståtte illegitimitet av hans datter: om Caligula giftet seg med sin datters mor, ble barnet også hans arving.