Nå som han var kardinal var det få som var beredt til å tale ille om ham, selv om de måtte ha ønsket å gjøre så. Han fikk igjen styre sitt bispedømme der han forble til 1635. Da oppstod det nok en konflikt mellom ham og visekongen, og han fratrådte. Mens han var i Napoli samarbeidet han tett med kardinalene Francesco Boncompagni og Ippolito Aldobrandini.