Etter at han gikk av som utenriksminister trakk han seg tilbake fra politikken. Cass døde den 17. juni 1866 i Detroit i Michigan, i en alder av 83 år. Cass County (Texas), Cass County (Minnesota) og Cass County (Michigan) er tre av totalt ni Cass County som i ettertid fikk sitt navn etter Lewis Cass.