Juntou-se à FRELIMO em 1963, pouco após o início da Guerra da Independência de Moçambique, na então Lourenço Marques e abandonou Moçambique em 1964 para estudar numa escola especial na Ucrânia, base de Perevalny. No Governo de Transição (1974-1975), Guebuza ocupou a pasta da Administração Interna e no primeiro Governo do Moçambique independente a pasta de Ministro do Interior. Foi como Ministro do Interior que emitiu a ordem conhecida como "24 20" que dava a todos os residentes portugueses 24 horas para deixar o país, não lhes sendo permitido levar consigo mais de 20 quilos de bagagem. Durante os anos 80, foi responsável pelo muito impopular programa "Operação Produção", que visava deslocar os desempregados das áreas urbanas para as áreas rurais no norte do país. Após a morte de Samora Machel, num acidente de aviação na África do Sul, fez parte da comissão que investigou o acidente. Essa comissão não chegou a qualquer conclusão. Em 1992, foi nomeado chefe da delegação do governo na Comissão de Supervisão e Implementação do Acordo Geral de Paz para Moçambique.