Smith blei født i Charleston i Sør-Carolina i 1825, som fjerdemann av sju barn til de frie svarte foreldrene Carlos og Catharine Smith. Han og familien ankom Liberia i 1833, og foreldrene hans døde av malaria før ett år hadde gått. Etter å ha jobba med en hvit doktor i American Colonization Society (ACS) dro Smith tilbake til USA for å studere ved University of Vermont College of Medicine. Han blei overført til Berkshire Medical Center i Pittsfield i Massachusetts, hvor han fikk en medisinsk doktorgrad i 1848. Han dro deretter tilbake til Liberia og jobba som lege for ACS.