Det så tidlig ut som om Crawford hadde fordelaktige sjanser for å stille som kandidat til presidentvalget i 1824, men ett år før valget ble han rammet av et hjerneslag, noe som også gikk utover hans kampanje. Demokrat-republikanerne ble splittet i presidentvalget, og en gruppering nominerte Crawford til presidentkandidat. Han ble bare nummer tre i valget bak John Quincy Adams og Andrew Jackson til tross for at hans helse hadde blitt bedre og både Thomas Jefferson og James Madison støtten han. Den nyvalgte presidenten John Quincy Adams forespurte Crawford om han ville fortsette som finansminister, men takket nei og dro tilbake til Georgie hvor han ble utnevnt til dommer i delstatens høyeste domstol.