Han ble beskyldt for store skatteunndragelser, og da han gjorde opp for seg dreide det seg om en etterbetaling på mange millioner. I 2002 skilte Pavarotti lag med sin manager gjennom 36 år, Herbert Breslin. Oppbruddet var tumultuøst, og to år etter kvitterte Breslin med en bok med tittelen som kom med en rekke nedsettende påstander om Pavarottis musikalske ferdigheter.