Opposé à Juan José d'Autriche (favori et demi-frère bâtard de Charles II), il fut frappé d’une mesure de bannissement intérieur, et c’est par lui sans doute que fut alors écrit le poème satirique "Un fraile y una corona…", dans lequel Juan José d’Autriche et sa mère étaient raillés. Fort âgé déjà et affligé de tracas de santé, dont la goutte, il se retira sur ses terres de Mondéjar. Lors de la guerre de Succession, il adopta une attitude neutre, mais pendant la campagne de 1706, lorsque l’archiduc Charles d’Autriche fit son entrée à Madrid, maints nobles lui feront allégeance, parmi eux au moins trois de ses fils : José, Vicente et Nuño. En conséquence, il dut, pour préserver le patrimoine familial, les déshériter en faveur de son petit-fils Nicolás.