Lee se encontraban entre los primeros pobladores de Virginia, su familia era considerada una de las más antiguas de Virginia.