Etter det første valget i Zimbabwe i 1980 ble Nkomo utnevnt til innenriksminister og senere minister uten portefølje i Robert Mugabes regjering. På grunn av et konfliktfylt forhold til Mugabe gikk han ut av regjeringen i 1982, og i de følgende årene pågikk en lavintens borgerkrig mellom ZANU og ZAPU. I 1987 kom det til enighet om å slå sammen ZANU og ZAPU til ZANU-PF. Nkomo ble første minister ved presidentkontoret, og i 1988 ble han visepresident i Zimbabwe. Denne stillingen hadde han frem til sin død i 1999.