מפלגת הלייבור התנגדה בתקיפות לתוכנית ההתחמשות מחדש. ב-21 בדצמבר 1933 אמר קלמנט אטלי: "מבחינתנו, אנו מתנגדים לכל דבר שקרוב להתחמשות מחדש". ב-8 במרץ 1934 אמר אטלי, לאחר שבולדווין הגן על הערכות המצב של הכוחות האוויריים, "אנו מצדנו לא תומכים בהתחמשות מוחלטת מחדש". ב-30 ביולי 1934 הגישה מפלגת הלייבור הצעת אי-אמון נגד הממשלה על רקע תוכניות ההרחבה של חיל האוויר המלכותי. אטלי אמר בדיון על ההצעה: "אנו מתכחשים לצורך להגדלת כוחות האוויר... ואנו מתנגדים לתביעה לשוויון כוחות". סר סטפורד קריפס אמר גם באותה הזדמנות שזו סברה מוטעית לחשוב שבריטניה יכולה להשיג ביטחון באמצעות הגדלת חיל האוויר שלה. ב-22 במאי 1935, ביום לאחר נאומו של היטלר בו הוא טען שהתחמשותה מחדש של גרמניה לא מהווה איום על השלום, העריך אטלי שנאומו של היטלר נתן "סיכוי לעצירת מרוץ החימוש". אטלי גם גינה את הספר הלבן בנושא ההגנה של 1937: "אין אנו מאמינים שהממשלה מתכוננת להשיג ביטחון כלשהו למדינה באמצעות ההתחמשות מחדש".
התפטרותו של המלך אדוארד השמיני.
עלייתו לכס המלוכה של המלך אדוארד השמיני ומשבר ההתפטרות שלו מיד לאחר מכן, העמידו את בולדווין בפני המבחן העיקרי האחרון שלו כראש הממשלה. המונרך החדש היה תומך נלהב של ההבנה בין בריטניה לבין גרמניה והיו לו דעות מוצקות בנוגע לזכותו להתערב בענייני המדינה, אך הדאגה העיקרית של הממשלה הייתה חוסר שיקול הדעת שלו. בכוונתו של המלך היה לשאת לאישה את ווליס סימפסון, אישה אמריקאית שהייתה גרושה פעמיים. בולדווין, שניחן בחשיבה הגיונית, חש שהוא יוכל לסבול אותה כ"פרוצה מכובדת", כל עוד היא תישאר הרחק מכס המלכות, אך לא בתור "המלכה וולי". סימפסון הייתה גם חשודה על ידי הממשלה בשל רגשותיה הפרו-גרמניים הידועים והייתה אמונה שהיו לה קשרים קרובים עם חוגים מונרכיסטיים גרמניים.
באוקטובר ובנובמבר 1936 הצטרף בולדווין למשפחה המלכותית בניסיון להניא את המלך מכוונתו להוציא לפועל את הנישואים הללו, בטענה שנישואים של המלך לאישה גרושה פעמיים כמלכה לא תתקבל על ידי הממשלה, על ידי העם ועל ידי האימפריה ושקול העם חייב להישמע. כאשר דעת הקהל כלפי המלך נפגעה קשות, נתן לו ראש הממשלה זמן לשקול מחדש את רעיון הנישואים. על פי ההיסטוריון פיליפ ויליאמסון, "הפגיעה שעמדה בבסיס ההשלכות של הקשר בין המלך לגברת סימפסון עבור מוסריותו של הציבור הרחב והיושרה החוקתית שכעת התקבלו, במיוחד על ידי בולדווין, כמחזקים את אחדות האומה ואת חוזקה".
החדשות על הרומן התפרסמו לראשונה בעיתונים ב-2 בדצמבר. הייתה תמיכה במידה מסוימת לאיחולי הצלחה למלך, במיוחד בלונדון ובסביבתה. הרויאליסטים הרומנטיים, צ'רצ'יל, מוסלי וברוני העיתונות, הלורד רותרמיר מהדיילי מייל והלורד ביברברוק מהדיילי אקספרס, כולם הכריזו שלמלך זכות לשאת לאישה את כל מי שהוא יחפוץ בה. משבר זה יצר ממד פוליטי כאשר ביברברוק וצ'רצ'יל ניסו לקבל את תמיכת הפרלמנט לנישואים. אף על פי כן, תומכיו של המלך הצליחו לקבץ רק 40 חברי פרלמנט ודעת הרוב צידדה בבולדווין ובממשלת השמרנים. מנהיג הלייבור, קלמנט אטלי, אמר לבולדווין "שבעוד לאנשי הלייבור אין כל התנגדות שאמריקאית תהפוך למלכה, הוא בטוח בכך שהם לא יהיו מוכנים לאשר את גברת סימפסון למעמד זה", בעיקר באזורי הפריפריה ובדומיניונים. הארכיבישוף מקנטרברי, קוסמו לנג, החזיק בדעה שהמלך, כראש הכנסייה האנגליקנית, לא יכול להתחתן עם אישה גרושה, בעוד שעיתון הטיימס טען שיוקרתה של המלוכה תפגע אם "רצונו הפרטי של המלך יתנגש עם חובתו הציבורית".
בעוד שמבקרים מאוחרים יותר הלינו על כך שבולדווין סירב לבקשה סבירה לזמנה, בהעדיפו להתמיד בלחץ על המלך ומעולם לא רמז על כך שהחלופה לנישואים תהייה התפטרותו של המלך, בית הנבחרים יצא מידית ובאופן גורף כנגד הנישואים. מפלגת הלייבור, המפלגה הליברלית, קונגרס האיגודים המקצועיים והדומיניונים של אוסטרליה וקנדה הצטרפו לעמדתו של הקבינט הבריטי בדחיית הפשרה של המלך, שבמקור הוצגה ב-16 בנובמבר, על פיה הנישואים יהיו נישואים מורגנטיים. המשבר איים על אחדותה של האימפריה הבריטית, בשל העובדה שיחסיו האישיים של המלך עם הדומיניונים היו הקשר החוקתי האחרון שנותר להם.
בולדווין עדיין קיווה שהמלך יבחר בכתר על פני גברת סימפסון. מבחינתו של המלך פעולה כנגד רצון הקבינט שלו הייתה מהווה גורם למשבר חוקתי. במקרה כזה היה על בולדווין להתפטר ואף אחד ממנהיגי המפלגות האחרות לא היה מוכן לכהן כראש ממשלה תחת אדוארד השמיני. מפלגת הלייבור כבר הבהירה שהיא לא תרכיב ממשלה כדי להצדיק התנהלות בלתי הולמת. בולדווין אמר לשרי הקבינט שאחד מחברי הפרלמנט של הלייבור שאל, "האם תהיה לנו מונרכיה פשיסטית?" כאשר הקבינט סירב לרעיון של נישואים מורגנטיים, החליט אדוארד השמיני להתפטר מרצונו.
בקשתו האחרונה של המלך במהלך המשבר, ב-4 בדצמבר, הייתה שתינתן לו האפשרות לשדר נאום לאומה. בקשה זו נדחתה על ידי בולדווין שטען ששידור זה יגרום לפילוג. על כל פנים, בפגישתו האחרונה עם המלך ב-7 בדצמבר, ניסה בולדווין לדבר כל הלילה למצפונו של המלך, אך המלך היה נחוש בדעתו לבצע את החלטתו. ב-10 בדצמבר הודיע בולדווין בבית הנבחרים על החלטת המלך להתפטר. הרולד ניקולסון, חבר פרלמנט מהלייבור, שנכח בנאום, כתב ביומנו:
עם תום נאומו של בולדווין התפזרו חברי הבית ובדרכו החוצה נתקל ניקולסון בבולדווין ששאל אותו מה דעתו על הנאום. ניקולסון השיב שהנאום היה מצוין ותשובתו של בולדווין הייתה: " כן... זו הייתה הצלחה. אני יודע זאת. הוא היה כמעט ללא הכנה. הייתה לי הצלחה, ניקולסון היקר, ברגע זה הייתי ממש זקוק לזה. כעת הגיע הזמן להמשיך".
ב-11 בדצמבר התפטר אדוארד השמיני ותחתיו עלה לכס המלוכה אחיו, ג'ורג' השישי. לאדוארד הוענק על ידי אחיו התואר דוכס וינדזור. ביוני 1937 התקיים בצרפת טקס הנישואים שלו עם סימפסון, לאחר שגירושיה עם ארנסט סימפסון נכנסו לתוקף.
בולדווין מנע מהמשבר להפוך לפוליטי על ידי כך שהפך אותו למשבר חוקתי. הפתרון החשאי שהגה התאים לדעה הכללית וכך השתקמה האהדה הציבורית כלפיו. הוא זכה לשבחים מכל הצדדים על הדרך הסבלנית שבה טיפל במשבר ולפחות הוא לא נתקל באי נוחות מצדם של המפגינים שצעקו "אל נצור המלך, מבולדווין!", או "הכו את בולדווין! הכו אותו!! אנו רוצים את אדוארד".
פרישתו.
התפטרות.
באפריל 1937, עת היה כמעט בן 70, הודיע בולדווין כי בכוונתו לפרוש מראשות הממשלה. בולדווין התפטר ב-28 במאי 1937 ופינה את תפקיד ראש הממשלה לבן מפלגתו, נוויל צ'מברלין. פעולתו האחרונה כראש ממשלה הייתה להעלות את שכרו השנתי של ראש הממשלה מ-400 ליש"ט ל-600 ליש"ט ולהנהיג תשלום משכורת למנהיג האופוזיציה. הייתה זו העלאת השכר הראשונה של חברי הפרלמנט מאז הונהג ב-1911 והיא הטיבה בעיקר עם חברי הפרלמנט של הלייבור. הרולד ניקולסון כתב ביומנו "שזה נעשה עם הטעם המושלם הרגיל של בולדווין. איש לא סיים את תפקידו כך בפרץ כזה של חיבה". ב-28 במאי הוענק לבולדווין תואר אביר מסדר הבירית והוא קיבל את תואר האצולה "הרוזן בולדווין מביודלי" (Earl Baldwin of Bewdley) וב-8 ביוני התואר "ויקונט קורוודייל". ביוני 1937 נכנס בולדווין כחבר לבית הלורדים.
עמדתו בנוגע למדיניות הפיוס.
בולדווין תמך בהסכם מינכן וב-26 בספטמבר 1938 הוא אמר לצ'מברלין: "אם אתה יכול להבטיח את השלום, יגדפו אותך הרבה חמומי מוח, אך על דברתי אתה תבורך על ידי אירופה ועל ידי הדורות הבאים". ב-4 באוקטובר אותה שנה נשא בולדווין נאום נדיר בבית הלורדים בו הוא אמר שהוא לא היה יכול להגיע למינכן אך הוא מברך את אומץ הלב של צ'מברלין. הוא הוסיף ואמר שאחריותו של ראש הממשלה היא לא להכניס את המדינה למלחמה עד אשר הוא סמוך ובטוח שהיא מוכנה להילחם. גם אם הסיכויים למלחמה בעתיד עומדים על 95%, אנחנו עדיין נבחר בחלופה של שלום. הוא גם אמר שהוא היה מעביר את התעשייה למערך מלחמתי מחר, שכן ההתנגדות למהלך שכזה נמוגה. צ'רצ'יל אמר בנאום שנשא אז: "הוא אמר שהוא יגייס את הצבא מחר. אני סבור שזה היה טוב יותר אם הרוזן בולדווין היה אומר זאת לפני שנתיים וחצי כאשר כולם דרשו שמשרד האספקה יוקם".
שבועיים לאחר ועידת מינכן אמר בולדווין בשיחה עם הלורד הינצ'ינגברוק: "האין באפשרותנו להפנות את היטלר מזרחה? נפוליאון התמוטט כאשר הוא נלחם כנגד הרוסים. להיטלר עשוי להיות גורל דומה".
שנות הפרישה של בולדווין היו שקטות. לאחר מותו של צ'מברלין ב-1940, התפישה לגבי חלקו במדיניות הפיוס הפכה אותו לדמות בלתי אהודה במהלך מלחמת העולם השנייה ואחריה. לאחר רצף הכישלונות הצבאיים הבריטים ב-1940 החל בולדווין לקבל מכתבי ביקורת. בתחילה ערמומיים ולאחר מכן אלימים ופוגעניים. לאחר מכן החלו בכך העיתונים ולבסוף הוא ספג ביקורת קשה בציבור. לא הייתה לו מזכירה ולכן הוא נאלץ להתמודד עם המכתבים הבלתי נעימים שנשלחו אליו לעיתים תכופות. לאחר מכתב ביקורת מריר שנשלח אליו על ידי אזרח, כתב בולדווין: "אני יכול להבין את המרירות שלו. הוא זקוק לשעיר לעזאזל ומצא אותי".
פרשת שערי הברזל.