Han ble dømt til livsvarig fengsel i Rivonia Trial, og han ble sperret inne på fengselet på Robben Island. I 1982 ble han overført til Pollsmoor fengsel. Ved en spesiell tillatelse giftet han seg med sin andre kone Dedika Heliso i 1986, som han fikk tre barn sammen med. Nelson Mandela var et av vitnene til deres bryllups-seremonien, som ble gjennomført i fengselet. i kommandantboligen kontor. Etterpå Mhlaba var lovlig adgang til å ta på sin kone for første gang på 22 år.