Sin embargo, empezó a perder importancia bajo el reinado del hijo de María Teresa, José II, en especial cuando las joyas de la corona fueron llevadas a Viena en 1783 en un intento de fortalecer la unión entre Austria y Hungría.