I 1852 avslo Smith et tilbud om stille til valg til parlamentssetet for Sheffield ved valget det samme året. I 1854 gikk han derimot sammen med pastor M.W. Malet og W.J. Evelyn (parlamentsmedlem for Surrey) i å danne Anti-sentraliseringsunionen, som overlevde fram til 1857. Det samme året la han til mellomnavnet «Toulmin» som en referanse til sin oldefar Joshua Toulmin.