Fue hijo del editor George Smith (1789-1846), cofundador de la editorial victoriana Smith, Elder & Co., junto con Alexander Elder (1789–1846).