Sin embargo en 1746, el príncipe-obispo desapareció y su sucesor, que no tenía mucha prisa en terminar las obras de la residencia, relevó a Neumann de sus funciones.