Seymour var sønn av tidligere slaver i sørstatene. Hvem som eide (slave) Seymours far, Simon Seymour, er ukjent(?), men hans mor, Phillis Seymour, var eid av plantasjeeieren Adeland Carlin. Det var på Carlins plantasje William Seymour ble født.