Rossetti var sønn av Gabriele Pasquale Giuseppe Rossetti, en politisk flyktning fra Napoli i Italia. Faren var en forsker på Dante Alighieri og ble professor i italiensk språk på King's College i London i 1831. Rossettis hustru, Frances Polidori, var halv italiensk og søster til Lord Byrons venn og lege, John William Polidori.