Vinson var medlem av representantenes hus fra Kentucky i perioden 1924 til 1929 og fra 1931 til 1938. Han ble valgt inn på et tilleggsvalg i 1924 på grunn av at William J. Fields hadde blitt delstatens guvernør. I 1928 tapte Vinson valget, mye på grunn av at han stod for nære den daværende presidentkandidaten Al Smith. Han ble likevel medlem av Kongressen igjen i 1930. I Kongressen ble han personlig kjent med partikollegaen Harry S. Truman, som var medlem av Senatet for Missouri, og gjennom disse årene ble Vinson en pålitelig rådgiver for Truman. Da Truman forlot presidentembedet på 1950-tallet forsøkte han å overtale Vinson til å stille opp som presidentkandidat.