Entre 1627 et 1635, Olivares fit des efforts ultimes pour imposer ses réformes par la voie autoritaire. La politique d'unification était à ses yeux l'unique possibilité de sauver la monarchie, et il était également nécessaire que les royaumes contribuent aux charges militaires que la Castille ne pouvait plus assumer seule. Toutefois, les résistances furent importantes ; couplées aux déroutes militaires, elles minèrent le prestige de la couronne. Après le premier choc de la mutinerie de la (1630-1631), le mécontentement intérieur des royaumes de la péninsule éclata finalement au grand jour en 1640. Avec l'occupation française de Salses dans le Roussillon, la guerre touchait la Catalogne ; ce fut le prétexte avancé par Olivares pour imposer la Unión de Armas. Cependant, le système de recrutement fut déclaré contraire aux constitutions catalanes par la Députation catalane. Les troubles nés de l'obligation de loger les troupes créèrent un climat de tension débouchant sur le Corpus de Sang () et la sécession de la Catalogne, qui ne sera étouffée qu’en 1651. De la même manière, quelques mois plus tard et pour des raisons similaires, débutat en la guerre de Restauration, qui aboutit à la dissolution de l'Union ibérique et à l’indépendance du Portugal. Aux défaites castillanes aux batailles de Montjuïc () et de Lleida (), s'ajouta la du et de Francisco Manuel Silvestre de Guzmán, marquis de Ayamonte à l’été 1641. Cette conspiration fit perdre tout crédit politique au comte-duc et le força à l'exil en 1643. Il se retira d'abord dans ses domaines de Loeches, dans les environs de Madrid. Mais ses détracteurs continuèrent à formuler des accusations contre lui, jusqu'à pousser le roi à l'exiler plus loin à Toro (1643) et l'Inquisition à le juger en 1644. Il mourut à Toro en 1645.