Pavarottis privatliv var komplisert, og ikke fritt for medieskandale. I 1996 oppdaget tabloidfotografer ham på en strand mens han kysset sin 26 år gamle sekretær Nicoletta Mantovani. Kort etter gikk han fra sin hustru gjennom 35 år, Adua Veroni (pikenavn), og flere års bitre skilsmisseforhandlinger fulgte. Han giftet seg med Mantovani i 2003. Han har tre døtre fra første ekteskap og en datter fra det annet.