Vinson flyttet tilbake til Baldwin County, Georgia, der han bodde som pensjonist til sin død 1. juni 1981. Han er gravlagt i Memory Hill Cemetery i Milledgeville, Georgia.