Dumas' aner gjorde at han ble omtalt som en kvadron. Hans far, general Thomas-Alexandre Dumas, var mulatt, født på Haiti av en mor som var slave , trolig av afrikansk bakgrunn. Farens opplevelser dannet trolig grunnlaget for og kanskje også for . Dumas måtte tåle en del rasisme i løpet av sin levetid. Særlig tegnede karikaturer spilte uhemmet på hans utseende. Selv om Dumas ble gift, i tråd med tradisjonen blant franskmenn av høyere samfunnsklasser, skal han ha hatt tallrike utenomekteskapelige affærer, og ble far til minst fire illegitime barn, blant annet Alexandre Dumas den yngre, som også ble forfatter, mest kjent for (1848). Blant hans andre affærer hadde Dumas en med Adah Isaacs Menken, en amerikansk skuespiller på halvparten av hans alder.