Arbeid på gården kombinert med undervisning fra hans mor var Jans liv de neste årene. I løpet av hans tidlige barndom, fremdeles for ung til å få formelt ansvar på gården, arbeidet han sammen med de fargede gårdsarbeiderne. På denne tiden var forholdet mellom herrer og tjenere definitivt ikke basert på sosial likhet. Men på disse gårdene i Swartland var der lite av den rigide segregasjonen som allerede dukket opp andre steder i Sør-Afrika og som senere skulle få så alvorlige konsekvenser. Siden 1828 hadde Kapp nedskrevet i lovene prinsippet om likhet mellom rasene. I motsetning til resten av Sør-Afrika, hadde alle voksne menn rett til å stemme og å stille til valg til koloniens forsamling, kun underlagt kravet til eiendom. Derfor eksisterte der en viss intimitet i disse land-distriktene mellom gårdeierne og deres arbeidere. Ved innhøstingen var det vanlig å se begge grupper arbeide sammen for å sanke inn avlingen, og det var også vanlig å se gårdens barn leke med hverandre, uten å ta hensyn til rase.