Smith var sønn av en tollfunksjonær. Faren døde mens han var spedbarn, 6 måneder før han ble døpt. Da han var rundt 4 år gammel, ble han kidnappet av sigøynere, men ble raskt reddet av onkelen, som bragte Smith tilbake til moren.