Mbeki meldte seg inn i African National Congress (ANC) i 1935, steg i gradene og ble formann der i 1956. Han ledet også det sørafrikanske kommunistpartiet (South African Communist Party). Han ble arrestert i 1963, og ble tiltalt sammen med åtte andre ANC-ledere i den kjente Rivoniarettssaken. Han ble sammen med Nelson Mandela, Walter Sisulu og de andre dømt for terrorisme og landsforræderi, og fengslet på livstid. Han sonet fra 1964 til 1987, og mesteparten av tiden på Robben Island.