Lee mengde zich ook in de politiek van zijn land. Lee, die tegen de afscheiding van de zuidelijke staten was geweest, bleef na de oorlog ongeveer dezelfde mening houden. Hij steunde president Andrew Johnsons plan: de "Reconstruction". Hij was het niet eens met de republikeinen, die gelijke rechten voor de zwarten in het zuiden eisten en beschouwde zwarten als minderwaardig. Lee was van mening dat onderwijs voor zwarten zowel goed was voor de zwarten zelf als voor de blanken. Maar hij vond het ook onverstandig dat de zwarten stemrecht zouden krijgen, iets wat veel mensen in het noorden en zwarte burgers in het zuiden wilden. Stemrecht voor zwarten zou volgens Lee "tot beschamende vertoningen leiden".