Hans far var bake og hans mor arbeider i en sigarettfabrikk. Han ønsket å bli lærer og underviste også i to år på . Hans mor arbeidet sammen med moren til sopranen Mirella Freni, som ble en av de sangerinner som ofte sang mot Pavarotti på scener verden rundt. Hans far var kjent som tenor i byen Modenas kor. Det var også her at Luciano Pavarotti gjorde sine første sangererfaringer. Pavarottis første musikalske impulser var farens grammofonplater med datidens populære tenorer som Beniamino Gigli, Giovanni Martinelli, Tito Schipa og Enrico Caruso. I niårsalderen begynte han å synge med sin far i et lite kirkekor på hjemstedet.