Después de la muerte de José I en 1711, Fischer von Erlach recibió menos encargos del nuevo emperador Carlos IV y de su corte, siendo desplazado en gran parte por su rival Johann Lukas von Hildebrandt.