Mahlangu wuchs bei seiner Mutter, einer Hausangestellten, in Mamelodi auf, nachdem der Vater die Familie 1962 verlassen hatte. Er besuchte die dortige Highschool, die er nicht beenden konnte, da die Schule aufgrund von Unruhen geschlossen wurde. Bis zu seinem 17. Lebensjahr war er unpolitisch, erst der Aufstand in Soweto führte dazu, dass Mahlangu sich dem African National Congress (ANC) und den Protesten anschloss. Bald darauf ging er ins Exil nach Mosambik, wo er vom Umkhonto we Sizwe (MK) zum Kämpfer ausgebildet wurde. 1977 wurde er mit zehn weiteren Mitgliedern des MK mit Waffen und Flugblättern über Swasiland nach Südafrika zurückgeschickt; ihr Ziel war Johannesburg.