In 1956, terwyl hy nog 'n hoërskoolleerling was, sluit hy by die ANC-Jeugliga aan. Nadat hy sy skoolloopbaan voltooi het, raak hy betrokke by verskeie ondergrondse aktiwiteite in die Pretoria-Witwatersrand-gebied ná die ANC in 1960 verban is. Hy probeer in 1961 die republiekwording van Suid-Afrika verhinder, maar verlaat uiteindelik in 1962 die land op aanbeveling van die ANC.
Mbeki gaan na Zimbabwe en toe na Kenia vir 'n kort tyd, voordat hy na Londen vertrek waar hy sy Britse A-vlak-eksamen in 1962 voltooi. Hy skryf hom in aan die Universiteit van Londen waar hy sy eerstejaargraad in ekonomie as 'n buitemuurse student behaal. Terselfdertyd mobiliseer hy studente om in Londen protes teen Apartheid aan te teken. Mbeki studeer in Londen tot 1966 toe hy sy Meestersgraad in Ekonomie aan die Universiteit van Sussex verwerf.
Vanaf 1967 tot 1970 werk hy vir die ANC se kantoor in Londen, wat hom vir militêre opleiding in die Sowjetunie stuur. Tussen 1971 en 1978 verrig hy verskeie take vir die ANC in Afrika. Hy reis onder meer na Botswana, Swaziland (nou Eswatini) en Nigerië, waar hy met verskeie persone onderhandel. Hy trou in 1974 met Zanele Dlamini.
In 1978 beklee Mbeki die rang van politieke sekretaris in die kantoor van die president van die ANC. Hy vorder in 1984 tot Direkteur van die departement van inligting en publisiteit van die ANC, 'n pos wat hy tot en met 1989 hou. Hy was ook betrokke by geheime vergaderings tussen ANC-lede en lede van die destydse Nasionale Party-regering, asook by die Dakar-beraad waar vername Afrikaanssprekendes die ANC ontmoet het.