Di Rupo er sønn av italienske emigranter. Hans foreldre kommer fra San Valentino i Abruzzo Citeriore i regionen Abruzzene. Elio er den eneste i familien som ble født i Belgia. Alle hans brødre og søstre ble født i Italia. Da han var et år døde faren hans og moren måtte ta seg av alle sju barna på egen hånd. På grunn av finansielle problemer ble tre av barna sendt til barnehjem i nærheten.