Lee døde i 1815 i Fauquier County i Virginia i en alder av 56 eller 57 år. Han er gravlagt i i Warrenton, Virginia.