Etter heftig strid med rådet i (den protestantiske) riksbyen Speyer la han sin residens til Bruchsal, hvor han lot bygge et slott, bl.a. med hjelp fra sin brors byggmester Balthasar Neumann. I 1722 ble han koadjutor til bispedømmet Konstanz, men fikk først 18 år senere tatt dette bispedømmet i besittelse, da han etterfulgte Johann Franz Schenk von Stauffenberg.