Da Polk gikk av i 1849 var igjen Buchanan en av favorittene til å bli presidentkandidat, men denne gang tapte han mot veteranen Lewis Cass. Buchanan hadde håpet på en viktig stilling i den neste regjeringen, men siden Cass tapte valget dro Buchanan tilbake til Lancaster hvor han hadde kjøpt seg en stor eiendom.