El 1961 va tornar a Moçambic, on aviat va contactar amb el moviment nacionalista. Va participar en política i fou un dels membres actius del "Núcleo dos Estudantes Africanos Secundários de Moçambique" (NESAM). Aquesta organització es va integrar al Frelimo el juny del 1962 i Mondlane en fou elegit president. El 1963 va establir definitivament els quarters de l'organització fora de Moçambic, a Dar es Salaam. Amb el suport tant de les potències occidentals com de la URSS, el FRELIMO va començar el 1964 una guerra de guerrilles per intentar obtenir la independència moçambiquesa de Portugal que desembocaria en la Guerra d'independència de Moçambic.