Mendes ble født i Niterói, Brasil; byen ligger ved Guanabara-bukten, tvers overfor Rio de Janeiro. I biografien fortalte han at han i barndommen var gipset i tre år fordi han hadde osteomyelitt. Faren hans var lege, og Sergio Mendes var en av de første pasientene i Brasil som fikk penicillin. Sergio var pianoelev ved det lokale musikkkonservatoriet; planen var at han skulle bli klassisk pianist. Etter hvert ble han mer og mer interessert i jazz, og på slutten av 1950-tallet begynte han å spille på nattklubber; det var på denne tiden at musikksjangeren bossa nova begynte å få utbredelse. Bossa novaen har røtter i sambaen, med sterke innslag av jazz.