En 1962 fue elegido presidente del recién formado Frente de Liberación de Mozambique o FRELIMO, que estaba formado por grupos nacionalistas más pequeños. En 1963 estableció la sede del FRELIMO fuera de Mozambique, en Dar es Salaam, en la vecina Tanzania. Con el apoyo tanto de las potencias occidentales como de la URSS, el FRELIMO empezó en 1964 una guerra de guerrillas para intentar obtener la independencia mozambiqueña de Portugal que desembocaría en la Guerra de Independencia de Mozambique.