James første konkurransebil var en Mini som han selv bygde om. Lønn fra forskjellige strøjobber bidro til å finansiere prosjektet, og etter to år stilte han opp i sin første konkurranse, bare for å bli diskvalifisert på grunn av et ikke godkjent førersete; en gammel hagestol fra foreldrenes hjem. James hadde ikke funnet noe i regelverket om at dette ikke var tillatt. De første årene av karrieren var preget av slit og pengemangel. Men det harde arbeidet ga etter hvert bedre resultater. Han deltok i løp i Formel Ford-klassen og senere i Formel 3-løp rundt om i Storbritannia og Europa. Resultatene varierte, blant annet fordi James hadde en egen evne til å krasje det meste av kjøretøy han satte seg bak rattet i. Klengenavnet ”Hunt the Shunt” ble sterkt knyttet til imaget hans på slutten av sekstitallet, og ble hengende ved i flere år. Han ble likevel sett på som en fører med stort talent. Han holdt som regel større fart enn sine konkurrenter, og så lenge han unngikk de mest spektakulære ulykkene (som det var mange av), var navnet hans høyt oppe på resultatlistene.