Nyusi werd geboren in het district Mueda, gelegen in de provincie Cabo Delgado in het uiterste noordoosten van Mozambique. Hij behoort tot de Makonde, een etnische groep. Aan het begin van de onafhankelijkheidsstrijd van Mozambique in 1964 stak Nyusi de Ruvumarivier over naar Tanzania, waar hij vervolgens een deel van zijn jeugd doorbracht. Later keerde hij terug naar Mozambique en volgde hij onderwijs in Beira. Op 14-jarige leeftijd sloot hij zich aan bij FRELIMO, de vrijheidsbeweging waar ook zijn ouders lid van waren.