તેમણે કોંગ્રેસ અને જનતા તરફથી ટીકાઓનો સામનો કરવો પડ્યો, અને 1840 ની ચૂંટણીમાં જ્યારે તેઓ બીજી મુદત માટે દોડ્યા ત્યારે તેઓ વ્હિગના ઉમેદવાર વિલિયમ હેનરી હેરિસન સામે હારી ગયા .