Rundt 1960-61 ble flere mosambikiske nasjonalistorganisasjoner etablert i nabolandene. Machel traff Eduardo Mondlane da han kom på besøk fra USA til Lourenço Marques i 1961. Året etter lyktes det å forene de ulike nasjonalistorganisasjonene, i form av etableringen av FRELIMO, der Eduardo Mondlane ble valgt som leder. Machel reiste fra Mosambik tidlig i 1963, og kom via Botswana til Dar-es-Salaam i Tanzania der FRELIMO hadde sitt hovedsete. Han fikk militær opplæring i Algerie og var i militærleirer i Tanzania og Malawi.