Davis ble en uventet storkandidat i presidentnominasjonen i Det demokratiske parti i både 1920 og 1924. I 1924 var William Gibbs McAdoo den klare vinneren av primærvalgene, men et svært splittet landsmøte klarte ikke å enes om ham etter at han fikk uttalt støtte fra Ku Klux Klan, som McAdoo til gjengjeld nektet å fordømme. McAdoos tilhengere var heller ikke villige til å stemme på Al Smith. Davis' venn og kollega Frank Polk organiserte Davis' valgkamp ved landsmøtet, hvilket var vellykket, idet Davis, som fordømte Ku Klux Klan, til slutt ble valgt som kompromisskandidat ved den 103. avstemningen. Guvernøren i Nebraska, Charles W. Bryan, ble valgt til visepresidentkandidat.