Susan Archer Talley nasceu em Hanover County, Virgínia, em 14 de fevereiro de 1822, na fazenda de seu avô paterno. Foi descendente de protestantes franceses, que, para escapar da Noite de São Bartolomeu, fugiram para os Estados Unidos e estabeleceram-se em Virginia. Seu avô serviu na Guerra da Independência Americana. Seu pai estudou direito em Norfolk, na Virgínia. Sua mãe era filha de Captain Archer, de uma das mais antigas e ilustres famílias de Norfolk.&lt;/ref&gt;