Dio Cassius skrev at Caligula innledet en affære med Caesonia i forkant av at de giftet seg (sent i 39 eller tidlig i 40). Hun var gravid da de ble gift, og fødte Julia Drusilla en måned senere. Sveton, på den annen side, hevder hun fødte på deres bryllupsdag. Dio Cassius understreker at det offentlige Roma ikke så med blide øyne på Caligulas giftermål med Caesonia.