Smith vokste opp i Durban, som er en by på østkysten av Sør-Afrika. Han begynte å surfe i en alder av 6 år.