Sommeren 1819 hadde Buchanan forlovet seg med den unge millionærarvingen Anne Coleman. Dette var et forhold hennes familie ikke likte, for de mente at Buchanan kun var ute etter pengene. Noen måneder etter forlovelsen hadde paret en så heftig krangel at Coleman brøt forlovelsen der og da og reiste bort til slektninger i Philadelphia. Coleman døde av det som antageligvis var selvmord. Buchanan var knust da nyhetene nådde ham og følte seg ansvarlig for hennes bortgang. Han sendte et åpenhjertig brev til foreldrene hvor han tigget om å være til stede i begravelsen, men brevet kom tilbake uåpnet. Buchanan sverget at han aldri ville gifte seg igjen og ble den eneste ungkarspresidenten i Det hvite hus.