Jagger vokste opp i en relativt velstående familie, der begge foreldrene hans var lærere. Han hadde også en yngre bror, Chris, som også er musiker, om enn noe mindre profilert enn sin bror. Det var da Jagger begynte på barneskolen i Dartford (Kent) at han traff Keith Richards, som han senere skulle starte The Rolling Stones sammen med. Som sine foreldre, var Jagger en dyktig student, noe som etter hvert førte til at han fikk stipend for å begynne på Europas fremste økonomiskole, London School of Economics and Political Science. Han fullførte imidlertid aldri studiet, da The Rolling Stones slo gjennom før han hadde gått på skolen i to år.