Fortsatt regelmessig bosatt i Ellwangen, fikk han en koadjutor her den 30. april 1770. Nesten helt blind sa han fra seg administrasjonen av prostembetet den 1. november 1777, men beholdt tittelen og to tredjedeler av inntektene. Han investerte nå all sin energi i sitt bispedømme. Han var spesielt opptatt av å fremme religiøst liv og sikre bispedømmet. Han lyktes også i å fullstendig gjenvinne herredømmet over Donaustauf, som hadde vært pantsatt i århundrer.