Da perioden hans gikk ut, trakk Van Buren seg tilbake til sin eiendom, Lindenwald på hjemstedet Kinderhook, hvor han planla å returnere til Det hvite hus. Han så ut til å ligge godt an til å sikre seg nominasjonen i 1844, men hans berømte brev datert 27. april 1844 der han gikk imot annekteringen av Texas som uten tvil bidro til hans nederlag, ble ikke offentliggjort før han følte seg helt sikker på å bli nominert. På demokratenes landsmøte fikk han ikke de to tredjedelene av stemmene han trengte, selv om han fikk flertall. Etter åtte avstemninger ble navnet hans trukket. I stedet ble James K. Polk nominert.