Polk ble valgt inn i Representantenes hus i 1825, og han ble valgt til leder i Representantenes hus i 1835. Han er den eneste speakeren som senere er blitt valgt til president. Han fungerte som speaker til han ble valgt til guvernør i Tennessee i 1839. Han tapte imidlertid guvernørvalget både i 1841 og 1843. Da han fikk tilbud om å bli marineminister i John Tylers regjering takket han nei, for han ville heller satse på å bli visepresident ved valget i 1844.