ક્લે 1832 માં એન્ડ્રુ જેક્સન અને 1844 માં જેમ્સ કે. પોલક સામે હારી ગયા.