Nkomo var sønn av et lærer- og legpredikantektepar fra Sør-Rhodesia og tilhørte den etniske gruppen ndebele i Matabeleland. Han utdannet seg til sosialarbeider i Sør-Afrika, og møtte bl.a. Nelson Mandela ved Universitetet i Fort Hare.