Sin embargo, poco después tanto Escoiquiz como el duque de San Carlos fueron destituidos de sus cargos de maestro del príncipe y de ayo de su cuarto, respectivamente, por orden del rey Carlos IV.