Ein Jahr nach dem Aufstand in Soweto wurde der 28-Jährige auf Basis des Terrorismus-Gesetzes zu einer zehnjährigen Freiheitsstrafe verurteilt. Diese verbrachte er bis 1987 auf der Gefängnisinsel Robben Island vor Kapstadt, wo auch Nelson Mandela inhaftiert war. Während seiner Haft nahm sich der Anti-Apartheid-Kämpfer Walter Sisulu Motlanthes an und wurde dessen politischer Lehrer. Motlanthe, der ein Fernstudium an der Universität von Südafrika absolvierte, war nach seiner Haft als leitender Angestellter und ab 1992 als Generalsekretär für die National Union of Mineworkers (NUM) tätig, sowie als Gewerkschafter im Congress of South African Trade Unions (Cosatu) aktiv, wo er 1987 zum Gewerkschaftskomitee des großen Streiks gehörte. Parallel dazu trieb er seine politische Karriere im ANC voran. Anfang der 1990er Jahre oblag ihm der ANC-Vorsitz in seiner Heimatregion. 1997 wurde er zum Nachfolger des scheidenden ANC-Generalsekretärs Cyril Ramaphosa gewählt. Dieses Amt hatte er bis 2007 inne.