Se había casado con Maria Poe, la madre de Virginia, el 12 de julio de 1817, tras la muerte de su primera esposa, Harriet, prima hermana de Maria.