Hun vokste opp i en fattig familie, som den yngste av tre søstre. Moren, Harriet Elizabeth Billings, kom fra en familie av slaverimotstandere i New York. Faren, Hector de Cleyre, var omvandrende skredder. Han var opprinnelig fransk, men hadde fått sitt amerikanske statsborgerskap ved å kjempe i den amerikanske borgerkrigen. Voltairine fikk sitt navn etter den franske filosofen Voltaire.