Smith ble født i Birmingham i 1816 og flyttet til London i 1835 der han arbeidet mot en karriere som advokat og studerte ved Lincoln's Inn. Smith opptrådte ikke i retten før i 1849 da han avbrøt sine jusstudier for å bosette seg med sin nye hustru Martha i USA hvor han foreleste i filosofi og frenologi. Han var samtidig en ustoppelig skribent. I 1839 fikk han et diplom fra Det kongelige danske samfunn for antikviteter i København for sitt arbeid om den norrøne oppdagelsen av Amerika, . Hans interesse for geologi og påfølgende avhandling førte til at han ble tilbudt en stilling som president for nylig opprettede Geologists' Association, skjønt han avslo.