Han gjorde seg kjent som en av de dyktigste folketalerne i Free Soil Party og ble innvalgt i 1854 i den amerikanske kongressen, der han først sluttet seg til det nativistiske «Know-Nothingpartiet», men gikk over til Det republikanske parti da dette ble opprettet i 1855.