En 1860 fue derrotado en su candidatura a la Presidencia de la Cámara de Representantes; la coalición de representantes que se le opusieron objetaban su moderada visión respecto de la esclavitud y de la importancia de conservar la Unión.