كونت-دوق أوليفاريس سياسة في الأراضي الإسبانية الأخرى، الدبلوماسية والحروب:
أثناء وجود فيليبي الرابع في أراغون، كانت زوجته، إيزابيل دي بوربون، نشطة سياسيًا في البلاط، مما أكسبها إعجاب الشعب.
في ديسمبر 1642، تم استبدال الهيئة الرئيسية للحكم في السنوات الأخيرة، وهي "جنتا دي إخيكوسيون"، بثلاث لجان أو غرف، ربما لأن مصطلح "الجنتا" أصبح غير محبوب. هذه الغرف كانت: غرفة الحكم التي اجتمعت في أجنحة الكونت-دوق، وغرفة التجنيد، وغرفة توفير الإمدادات للجيوش في إسبانيا وإيطاليا وفلاندرز.
رغب الكونت-دوق أوليفاريس في شن حملة ضد البرتغال في مطلع 1643، لكن الوزراء الآخرين أبدوا ترددهم لأن ذلك كان سيستدعي تقسيم القوات. أما الملك، فتجاهل نصيحة الكونت-دوق وقرر تركيز قواته في كاتالونيا.
توفي الكاردينال ريشليو في 4 ديسمبر 1642، ووصلت النبأ إلى مدريد في مطلع يناير 1643. خلفه الكاردينال مازارينو. في 10 يناير، تلقى الكونت-دوق رسالة من فرانسيسكو دي ميلو تشير إلى أن مازارينو كان رجل دولة عظيمًا لكنه يفتقر إلى "الحزم والعنف" الذي كان يميز ريشليو. اتفق الكونت-دوق مع هذا التقييم واعتبره فرصة جيدة للتوصل إلى سلام مع فرنسا، رغم أن ذلك قد ينطوي على "إذلال صريح"، ووافق المجلس الملكي على قراره.
منذ عودة الملك من أراغون، بدأ النبلاء بالغياب عن الفعاليات في البلاط. في 25 ديسمبر 1642، كان الشاب كونت سانتا كولما وحده يجلس في المكان المخصص للنبلاء في الكنيسة الملكية. ومن جانبهم، انتقد الوعاظ في البلاط الحكومة في خطبهم.
نسبت الأقاويل البلاطية سقوط الكونت-دوق أوليفاريس إلى مؤامرة شاركت فيها إيزابيل دي بوربون، ومارغريتا دي سافوي، وآنا دي غيفارا (كانت مربية الملك)، والراهبة ماريا دي خيسوس دي أجرِدا، التي بدأت منذ 1643 مراسلة فيليبي الرابع. خرجت مارغريتا دي سافوي من دير أوكايا الذي كانت محتجزة فيه وظهرت في البلاط في 3 يناير 1643، وهو ما اعتُبر فألًا سيئًا للكونت-دوق.
كان كونت كاستريلو يرأس منذ 1632 مجلس الهند، وقد حل محل الكونت-دوق في بعض المهام الإدارية. وفي 1640،  عُيَّن كبير إداريي القصر. حاول من خلال علاقته بإيزابيل دي بوربون أن يؤسس لقاعدته السياسية، لكن خطته فشلت بعد وفاة حاميته في 1644.
وفقًا لرسالة من سفير البندقية بتاريخ 7 يناير 1643، كان الكونت-دوق هو الذي طلب من الملك السماح له بالاعتزال، وأرسل أوراقه الرسمية إلى المكتب الملكي. وعندما اطلع فيليبي الرابع عليها، أعادها إليه، ثم ذهب للصيد.
في 14 يناير 1643، أجرى سفير جنوة محادثة مع أحد الوزراء، وأبلغه أن الكونت-دوق بدأ بإدارة الأمور بنفسه دون مساعدة أحد، مما أدى إلى بطء في سير الأعمال.
في 17 يناير 1643، أرسل الملك رسالة من برج لا بارادا إلى الكونت-دوق، مفادها أنه مستعد لقبول طلبه المتكرر بالتقاعد. وفي 24 يناير، أبلغ الملك رسميًا غرفة قشتالة باعتزال الكونت-دوق بالصياغة التالية:
"لقد طلب مني الكونت منذ أيام متتالية أن أمنحه الإذن للاعتزال والراحة من كل ما بذله من جهد في خدمتي بما يرضيني، إذ أنه متعب ويعاني من سوء صحة يمنعه من العمل بالنشاط والحيوية التي كان يعمل بها حتى الآن. لقد أجلت منح هذا الإذن نظرًا لحاجتي لشخصه وللشعور بالوحدة التي ستسبّبها غيابه."
كتب سفير مودينا، إيبوليتو كاميلو جويدي، تقريرًا صحفيًا عن سقوط الكونت-دوق، بعنوان سقوط الكونت د’أوليفاريس.
انتقل الكونت-دوق أوليفاريس إلى لوخيس وقطع اتصاله مع البلاط. وفقًا لأنطونيو كارنييرو، سكرتير غرفة قشتالة، ترك ذلك أصدقاءه هناك في حزن شديد.
في فبراير 1643، صدر كتيب كتبه أندريس دي مينا، ينتقد سياسة الكونت-دوق الداخلية والخارجية. وفي مايو 1643، ظهر رد مجهول بعنوان نيكاندرو يدافع عنه.
أثار كتيب نيكاندرو جدلًا واسعًا، واضطر الملك إلى إصدار أمر بمصادرة جميع النسخ ومعاقبة المسؤولين. تم اتهام خوان دي أهومادا بالتواطؤ مع المؤلفين، وأُقيل من منصبه كمربي لخوان خوسيه دي أستورياس، الابن غير الشرعي لفليب الرابع. وُضع عمدة البلاط ليزما، شقيق سكرتير الكونت-دوق جيرونيمو دي ليزما، تحت الحراسة بسبب السماح بطباعة الكتيب. أما المتهمون بطباعة وتوزيع الكتيب، ماتيو فرنانديز ودومينغو دي هيريرا، خادم الكونت-دوق، فحُكم عليهم بعقوبات خفيفة نسبيًا. من جهة أخرى، وبفضل النفوذ الذي لا يزال يتمتع به أنصار الكونت-دوق، عوقب أندريس دي مينا بشدة بغرامة ونفي لمدة ست سنوات إلى وهران، وتلقى الطابع العقابي للناشر عقوبة أشد من كتيب نيكاندرو.
قام نبلاء إسبانيا، الذين شعروا بالإهانة بسبب انتقادات نيكاندرو، بتشكيل وفد استُقبل من قبل الملك. وكان أعداء الكونت-دوق، من بينهم دوق إنفانتادو، دوق ميدينا سيلي، كونت ليموس، ودوق هيخار، واثقين من أن الكونت-دوق أوليفاريس قد يواصل التأثير في السياسة حتى وهو يعيش في لوخيس، بوجود زوجته إينيس دي ثونيجا في خدمة القصر الملكي في مدريد. ويبدو أن الملك تواصل مع الكونت-دوق ليبلغه بأنه من المناسب أن تبقى زوجته معه في لوخيس.
قلقًا على مستقبل زوجته وابنه غير الشرعي، طلب ماركيز مايرينا من ابن أخيه، لويس دي هارو، مساعدته. في 24 مايو 1643، ذهب لويس دي هارو إلى لوخيس ليخبره بأن الملك يعتقد، نظرًا للتأثير الذي أحدثه كتيب نيكاندرو، أنه يجب عليه مغادرة المكان والانتقال إلى ممتلكاته في الأندلس. وفي 25 مايو، عبر اليسوعي خوان مارتينيز دي ريبالدا، أبلغ الكونت-دوق لويس دي هارو بأن هواء الشمال أفضل لصحته، وطلب من الملك السماح له بالعيش في تورو أو ليون.
في 12 يونيو 1643، غادر الكونت-دوق أوليفاريس لوخيس متوجهًا إلى تورو، حيث عرضت عليه أخته، ماركيزا ألكانيسيس، قصرها، ووصل إلى هناك في 20 يونيو.
في 3 نوفمبر 1643، وبناءً على نصيحة الراهبة ماريا دي أجرِدا، جعل فيليب الرابع إينيس دي ثونيجا تغادر خدمة القصر الملكي في مدريد. وفي نفس اليوم، أُبعد ماركيز مايرينا، الذي كان يخدم الملك في أراغون، وانتقل للعيش مع زوجته في لوخيس.
في ربيع 1644، اضطر الكونت-دوق للتخلي عن منصب كبير أمناء الهند، كما اضطر للتنحي عن منصب كبير الخيالة، الذي انتقل إلى ماركيز دل كاربيو.
في 31 أغسطس 1644، تم اعتقال جيرونيمو دي فيلانويفا، الذي كان قريبًا جدًا من الكونت-دوق، من قبل محكمة التفتيش وسُجن في طليطلة بسبب بعض الفضائح في دير سان بلاسيدو في مدريد، الذي كان قد دعم تأسيسه. خلال الاعتقال، تمت مصادرة أوراق حساسة تتعلق بحكومة الكونت-دوق أوليفاريس، والتي أصبح مكانها اليوم مجهولًا.
في ديسمبر 1644، أشار كيكيفيدو إلى أن محققًا من طليطلة قد سافر إلى تورو في مهمة سرية. تم التحقيق في التزام الكونت-دوق الديني من قبل محكمة التفتيش، لكن التحقيق توقف بفضل المفتي العام دييغو دي أرس وي رينوسو، الذي ازدهر خلال فترة حكمه.
توفي الكونت-دوق أوليفاريس في تورو في يوليو 1645. وكانت آخر الكلمات التي سُمعت منه قبل وفاته: "عندما كنت المدير، عندما كنت المدير!".
تم نقل تابوته إلى كنيسة دير سان إلديفونسو في تورو. وفي أغسطس، دُفن في دير العقيدة الطاهرة في لوخيس. كما دُفن في هذا الدير آنذاك رفات ابنته ماريا، التي كانت موجودة في كنيسة كلية سانتو توماس في مدريد.
في ربيع 1646، اتهم شخص يُدعى خوان فيديس الكونت-دوق أمام محكمة التفتيش بقراءة القرآن وكتب مارتن لوثر، لكن القضية لم تثمر عن شيء لأن المتهم كان قد توفي بالفعل.
تزوج غاسبار دي غوزمان إي بيمينتيل من إينيس دي ثونيجا إي بيلاسكو (1584-1647)، وأنجبا ابنة واحدة:
ماريا دي غوزمان إي ثونيجا (1609-1626)، وهي ماركيزة هيليتشي، وتزوجت من راميرو نونيز دي غوزمان (1612-1668)، دوق ميدينا دي لاس توريس.
كان للكونت-دوق ابن من علاقته في 1612 مع إحدى سيدات البلاط:
جوليان غوزمان أو جوليان دي فالكارسيل، الذي اعترف به علنًا كابن من قبل الكونت-دوق في 1641، وأخذ حينها اسم إنريكي فيليبيز دي غوزمان (1613-1646)، ماركيز مايرينا وكونت لوخيس. تزوج سرًا من ليونور دي أونزويتا، لكن عندما علم والده بالأمر، حصل على بطلان الزواج من روما ثم رتب له الزواج من جوانا دي فيلاسكو إي توفار، ابنة دوق فرياس وكونستيبل كاستيا، وأنجبا:
غاسبار دي غوزمان إي فرنانديز دي فيلاسكو (1646-1648).
الألقاب:
الكونت الثالث لأوليفارس، مع مكانة النبلاء الكبرى في إسبانيا منذ 12 أبريل 1621.
بدأ الكونت الثالث لأوليفارس يُعرف بلقب "الكونت-الدوق لأوليفارس" منذ أن مُنح دوقية سانلوكار في 1625. عند وفاته، تم فصل لقب كونت أوليفارس عن دوقية سانلوكار. بموجب أمر ملكي صادر في 1882، تم الإعلان أن لقب كونت أوليفارس يُفهم بالجمع بين لقب الكونت والدوقية، أي كونت-دوق أوليفارس.
القائد الأبدي للقلعة الملكية وللسفن الملكية في إشبيلية (مناصب أدرجها ضمن إرثه العائلي).
المسؤول الأعلى في دار التجارة في إشبيلية.