Mit dem Ende seiner Vizepräsidentschaft endete Garners politische Laufbahn und der inzwischen 71-jährige zog sich ins Privatleben nach Texas zurück. Trotz innenpolitischer Differenzen hatte er zu Roosevelts Nachfolger Harry S. Truman, Präsident von 1945 bis 1953, ein gutes persönliches Verhältnis. Die beiden Demokraten verstanden sich bereits während Garners Vizepräsidentschaft, als Truman Senator war, gut. Nach dem Tod seiner Frau 1948 lebte Garner meist zurückgezogen in Texas. Am 22. November 1963 erhielt er telefonische Glückwünsche zu seinem 95. Geburtstag von Präsident John F. Kennedy, nur Stunden bevor dieser in Dallas einem Attentat zum Opfer fiel. Garner starb am 7. November 1967 wenige Wochen vor seinem 99. Geburtstag. Er erreichte damit das bislang höchste Alter aller amerikanischen Vizepräsidenten. Er fand in Uvalde in Texas, wo er zuletzt gelebt hatte, auf dem Stadtfriedhof seine letzte Ruhe.