Elizabeth Ann Bayley ble født inn som andre barnet i en familie som tilhørte Den episkopale kirke. Farens foreldre nedstammet fra franske hugenotter og fra England. Mange hugenotter var emigrert fra hjemlandet for å slippe fra religionsforfølgelser; navnevalget , der fars foreldre bodde nord for byen New York, er oppkalt etter franske La Rochelle, viktig i de franske hugenottenes historie.