Hans foreldre skilte seg da han var ung og han vokste opp hos franskfødte mor som tok inn leieboere for å øke inntektene. Han ble introdusert til trotskismen av en av disse, Ralph Lee, som hadde vært med på å stifte det sørafrikanske kommunistparti, men som selv ble ekskludert for å være trotskist. Lee diskuterte politikk med ham og skaffet ham kopier av , en trotskistiske avisen i USA. I 1934 grunnla Lee Bolshevik-Leninist League of South Africa sammen med den 15 år gamle Isaac Blank og hans søster Zena. Denne lille trotskistisk gruppen slo seg snart sammen med andre med tilsvarende overbevisning for å opprette Workers Party of South Africa. Senere det samme året besluttet Grant, Lee og Max Basch å flytte til London hvor de håpet på bedre framtidsutsikter for bevegelsen. Ettersom passasjerskipet til Europa var tysk, og ettersom både Isaac og Max var jøder, besluttet de anglifisere sin navn og dokumenter og ble henholdsvis Ted Grant og Sid Frost. I Paris traff Grant Leon Sedov, sønn av Lev Trotskij.