Etter at han ble løslatt fra fengselet i oktober 1989 ble han valgt inn til ANC-landsstyret og til den sørafrikanske kommunistpartiets sentralkomite (SACP). Han ble den nasjonale lederen for SACP i 1995. Han ga ut sine memoarer i bokform i april 2001. I 2004 ble Mhlaba diagnostisert med avansert leverkreft, og i desember. Han døde av leverkreften på et privatsykehus i Sør-Afrika i februar 2005.