I 1874 giftet han seg med Lucy Madox Brown, datter av maleren Ford Madox Brown som hadde vært brorens læremester. Deres bryllupsreise gikk til Frankrike og Italia. Deres første barn, Olivia Frances Madox, ble født i september 1875, og hennes fødsel ble feiret i en ode av Swinburne. En sønn, Gabriel Arthur, ble født i februar 1877, fulgt av enda en datter, Helen Maria, i november 1879, og deretter tvillinger, Mary Elizabeth og Michael Ford, i april 1881. Deres sønn Michael døde som barn. Rossetti og hans hustru døpte ikke sine barn, og heller ikke ble de oppfostret i kristen husholdning. Barna ble undervist i hjemmet av deres mor og guvernanter. I 1897 giftet Olivia seg med en italiensk, anarkistisk flyktning, Antonio Agresti. De flyttet senere til Italia hvor Olivia ble en oversetter og skribent. Etter at hun ble enke i 1926 innledet hun et vennskap med forfatteren Ezra Pound, og de to brevvekslet hyppig.