Urodził się 6 marca 1797 w Utice, w majętnej rodzinie. W wieku 9 lat przeniósł się z rodziną do Peterboro, a następnie uczęszczał do szkół w Clinton. W 1818 roku ukończył Hamilton College, gdzie studiował nauki prawne. W latach 20. XIX wieku był delegatem do legislatur stanowych. W 1835 przyłączył się do ruchu abolicjonistycznego, a pięć lat później został wybrany na przewodniczącego nowo powstałej Partii Wolności, postulującej zniesienie niewolnictwa. Jednocześnie został kandydatem na gubernatora Nowego Jorku, a osiem lat później – na prezydenta. Po porażce wyborczej i rozpadzie partii powrócił do praktykowania prawa. W 1853 roku został wybrany do Izby Reprezentantów z ramienia Partii Wolnej Ziemi. Rok później zrezygnował z mandatu i ponownie zajął się prawem. Był bliskim przyjacielem Johna Browna. Po insurekcji, która doprowadziła do egzekucji Browna, Smith przeszedł załamanie nerwowe i na kilka tygodni trafił do szpitala psychiatrycznego. Zmarł 28 grudnia 1874 w Nowym Jorku.