הדוכס מפורטלנד הסכים תחילה לדרישת קנינג לפטר את קאסלריי, אך נמנע מלפעול במשך מספר חודשים ובסופו של דבר אפשר לפרשה לזלוג לידיעת הציבור הרחב. כשגילה קאסלריי שקנינג פעל להדחתו מהממשלה קרא את קנינג לדו-קרב. קנינג, שלא ירה מעודו באקדח, נענה, ירה, והחטיא. קאסלריי, מצידו, ירה ופצע את קנינג בירכו. הדו-קרב הפך לשערורייה לאומית כאשר עיקר דעת הקהל צידדה בעמדתו של קאסלריי, מעצם כך שהיה זה קנינג שזמם להביא לפיטוריו ומכאן שקאסלריי היה הקורבן של הפרשה. ויליאם פיילי (William Paley) תאולוג נוצרי ופילוסוף רב השפעה כתב: . לנוכח הביקורת על כך ששני שרים בכירים בחרו באמצעי מרחיק לכת זה ליישוב המחלוקות שביניהם, שניהם התפטרו.
שר החוץ בממשלת ליברפול.
סוף המלחמה.
במשך שלוש השנים שלאחר הדו-קרב מול קנינג, גם הלה וגם קאסלריי נותרו מחוץ לקבינט. ב-1812, לאחר רצח ראש הממשלה ספנסר פרסיבל, ירש אותו רוברט ג'נקינסון, הלורד ליברפול, שהציע לקאסלריי את משרת מזכיר המדינה לענייני חוץ. קאסלריי נענה להצעה ושב לעמדת סמכות והשפעה. את תפקיד שר החוץ מילא בעשר השנים הבאות, עד מותו, וכן היה מנהיג בית הנבחרים במקביל. קאסלריי מונה לתפקיד כאשר הגלגל של המלחמה התהפך לטובתה של בריטניה: באותה השנה פלשה צרפת בהנהגת נפוליאון לתוך רוסיה. הצבא הצרפתי הושמד כליל לנוכח האקלים הקיצוני ואסטרטגיית האדמה החרוכה של הצבא הרוסי. בעקבות כך נסוג נפוליאון מרוסיה כאשר הרוסים אחר זנבו והוא כמעט נלכד בידיהם. נסיגתו ומפלתו הצבאית הובילה להתמוטטות דוכסות ורשה (מדינת חסות צרפתית), להתגייסות פרוסיה חזרה אל המלחמה נגד צרפת בדמות הקואליציה האנטי-צרפתית השישית, ולהתערערות התמיכה בנפוליאון מבית (היה עליו לשוב מהמערכה לפריז לנוכח ניסיון הפיכה כושל נגדו).
במקביל, במלחמת חצי האי שב ארתור ולסלי לפיקוד על חיל המשלוח הבריטי והוביל עוד לאותה השנה לסדרת ניצחונות שהביאו לשחרור מדריד מידי הצרפתים ולנסיגת הצבא הצרפתי לצפון-מזרח ספרד. לקאסלריי היה חלק מרכזי בהקמת הקואליציה האנטי-צרפתית השישית, שבסופו של דבר כללה את רוסיה, פרוסיה, בריטניה, ממלכת שוודיה ובשלב מאוחר יותר גם אוסטריה, ממלכת סרדיניה וממלכת סיציליה. לאחר הניצחון המכריע של הקואליציה על נפוליאון בקרב לייפציג הצטרפו לקואליציה מספר נסיכויות גרמניות וצבאות הקואליציה החלו לסגור על צרפת עצמה בחציית נהר הריין ובתחילת המערכה על צרפת בתחילת 1814. קאסלריי פעל לשימור הקואליציה בשלמותה. על כן הוא הוביל לחתימה על הסכם שומון (Chaumont), בין אוסטריה, רוסיה, פרוסיה והממלכה המאוחדת, לפיו כל הארצות החתומות יחתרו להסדר שלום כולל עם צרפת ולא סדרת הסכמים נפרדים לנוכח הצעותיו של נפוליאון. ההסכם בהמשך היווה את הבסיס עבור הברית הקדושה.
קאסלריי תרם ליחסי שלום בין בריטניה לרפובליקה האמריקנית החדשה של ארצות הברית. בשנת 1812 הוא הסיר, במטרה למנוע מלחמה, את גורמי המחלוקת העיקריים בין שתי המדינות, אלא שבגלל קשיי תקשורת, הידיעה על כך הגיע במאוחר לאמריקה, ומלחמת 1812 כבר פרצה. במהלך המלחמה קידם ניסיונות להביא להסדר מדיני. ב-3 בינואר 1814, נשיא ארצות הברית ג'יימס מדיסון נענה להזמנה של קאסלריי למשא ומתן ישיר לשלום. לאחר המלחמה הוא פעל שוב, הפעם במועד ובהצלחה, לשיפור היחסים בין מדינות אלה, ולריכוך מחלוקות שונות.
קונגרס וינה ו"הקונצרט האירופי".
ב-31 במרץ 1814 הושלם הקרב על פריז ונפוליאון הודח לאי אלבה. בסיומה של המלחמה חלק גדול מהסדר השלום נקבע בידי קאסלריי. צרפת שבה לגבולותיה טרם המהפכה כפי שהיו ב-1792 ובית בורבון הושב לשלטון בדמות לואי השמונה עשר, מלך צרפת במסגרת רסטורציה. לא הוטלו על צרפת פיצויים כבדים וכל זאת כדי להביא לייצוב יחסי המעצמות באירופה שלאחר המלחמה. כשר החוץ הבריטי היה לו חלק מרכזי בקונגרס וינה שלאחר המלחמה, אשר במידה רבה עיצב וייצב את אירופה בעשורים שלאחר מכן ('הקונצרט האירופי'). מטרת הקונצרט הייתה להביא לסדר כוחות שוויוני משהו בין המעצמות שימנע את פריצתה של מלחמה נוספת בקנה מידה רחב. דרך כך החלה תקופת "השלום הבריטי", שנמשכה מאה שנה. במטרה לשמור על ריבונותן של ארצות השפלה הוקמה הממלכה המאוחדת של ארצות השפלה וקאסלריי וידא שתועבר לידיה מחדש מושבת איי הודו המזרחיים ההולנדיים.
עבור בריטניה עצמה קאסלריי שמר את השליטה במושבות המפתח של מלטה בים התיכון ומושבת הכף בקצה הדרומי של יבשת אפריקה. דרך שימור מעמדה של צרפת כמעצמה והימנעות מהשפלה מוחלטת שלה, קאסלריי ייצב את סדרי הכוחות ווידא כי אף מעצמה אירופית אחרת לא תפנה נגד בריטניה אלא תשתף פעולה עימה במקרה של התחזקות צרפתית מחודשת. בעת קונגרס וינה היה קאסלריי ציר מטעם המשלחת הבריטית ומנהלה. העיר וינה, בירת אוסטריה, הייתה מלאה בחגיגות ניצחון ואופוריה. נגד קאסלריי הופנתה ביקורת מבית על שהותיר למעשה את עיקרה של איטליה (מלבד ממלכת סרדיניה) בחסות האימפריה האוסטרית.
משהו מיציבות זו החזיק מעמד אף עד מלחמת העולם הראשונה, מאה שנים אחר כך. כל אותן מאה שנים לא ידעה אירופה אף מלחמה בקנה מידה רחב בין המעצמות (הכי קרוב למלחמה שכזו היו מלחמת קרים ומלחמת צרפת–פרוסיה). בשנים הראשונות שלאחר הקונגרס פעל 'הקונצרט', שבמידה רבה היה פרי תכנונו, על פי שיטה ולפיה, בין היתר, נפגשו ראשי המעצמות הראשיות החתומות על תוצאות הקונגרס לעיתים מזומנות, ודנו על הנושאים שעל סדר היום האירופי, על מנת לפתור את הבעיות המתעוררות מתוך הסכמה רבה עד כמה שאפשר. שיטת ה'קונצרט', שתולדה שלה הייתה מעורבות בריטית עמוקה יחסית, ובלתי אופיינית לתקופה, בענייני אירופה, קרסה בתחילת שנות העשרים. שיטה זו גם גונתה לא פעם מבית, כיוון שתולדה של היציבות מתוך הסכמה, הייתה תמיכה במשטרים ריאקציונריים מדכאים, ופנייה עקיפה כנגד כוחות ליברליים. גם בבריטניה עצמה נקטה הממשלה, שקאסלריי היה אחד מחשובי השרים בה, באמצעים קשים יחסית כנגד כוחות רפורמיסטיים, והדבר עורר עליו ביקורת קשה.
עוד ב-1815 ברח נפוליאון מגלותו באי אלבה ושב לצרפת, שם הוכתר מחדש לקיסר והמלך לואי השמונה עשר ברח לארצות השפלה. כל המעצמות האירופיות הכריזו פעם נוספת על מלחמת קואליציה (השביעית במספר) נגד צרפת המהפכנית של נפוליאון ובכך החלה מלחמת "מאה הימים". קאסלריי הגן בפרלמנט על ההחלטה לצאת למלחמה נוספת נגד צרפת על בסיס הגנה עצמית וצורכי ביטחון ולא פעולה אנטי-מהפכנית ריאקציונרית. הלכה למעשה, קאסלריי סלד מבית בורבון וטען כי היו אלו פעולותיו בתוך צרפת שהובילו למהפכה לכתחילה. מאמציו נשאו פרי ומהר מאוד נפגש צבאו של נפוליאון בצבאות הקואליציה במערכה על ארצות השפלה. בקרב ווטרלו היה זה ארתור ולסלי, הדוכס מוולינגטון, שעמד בראש חיל המשלוח הבריטי, לצד מפקד הכוחות הפרוסים גבהרד לברכט פון בליכר. לאחר קרב ווטרלו איבד נפוליאון את התמיכה מבית והוגלה פעל נוספת, הפעם נשלח הרחק מאירופה אל האי סנט הלנה בלב האוקיינוס האטלנטי. הסדר שקדם למאה הימים שב עם רסטורציה שנייה של הבורבונים בהנהגת לואי השמונה עשר בהנהגת צרפת. הסכם השלום החדש כלל סדרת פיצויים וויתורים מצידה של צרפת, אך נותר בעיקרו בעל אותו אופי כקודמו שנה קודם לכן. הצעד החריף ביותר של ההסכם החדש היה כיבוש חלקי של צרפת בן שלוש שנים שנמשך עד 1818.
קאסלריי התנגד לעמדה הפרוסית כי יש לנטרל את צרפת מכוחה כמעצמה דרך ויתורים טריטוריאליים חריפים והפיכתה למעצמה מדרגה שנייה. בהקשר לשאלת הפיצויים והעונשים הקלים שהטיל על צרפת, קאסלריי כתב לראש הממשלה, הלורד ליברפול: לאחר "מאה הימים" הוסדרה הברית הקדושה בין פרוסיה, רוסיה ואוסטריה על בסיס הצעתו של אלכסנדר הראשון, קיסר רוסיה ועל בסיס הסכם שומון. קאסלריי נמנע מעירוב בריטניה בברית ודרך כך הביא לשלב מוקדם ב"בדידות המזהירה" של בריטניה מהמאבקים הפנים-אירופיים.
המאבק בעבדות.
קאסלריי היה אחד מהמתנגדים הנחרצים ביותר לעבדות בכלל ולסחר העבדים האטלנטי בפרט. חוק סחר העבדים 1807 שהונהג בידי ויליאם וילברפורס הביא לאיסור על מסחר בעבדים בתוך שטחי האימפריה הבריטית. באותה העת בריטניה גם אסרה על קיום עבדות בשטחה ופחות משלושים שנה לאחר מכן, חוק ביטול העבדות 1833 ביטל את העבדות בכל רחבי האימפריה הבריטית. דעת הקהל הבריטית התנגדה נחרצות למוסד העבדות, וממשלות בריטיות שונות פעלו להביא גם לביטול העבדות ברחבי העולם. מתוך כך, על קאסלריי הורעפה הערכה ותמיכה נרחבת מבית על בסיס הצלחתו בהבאת המעצמות להבטיח בקונגרס וינה כי יגבילו את סחר העבדים.
קאסלריי וידא כי לואי השמונה עשר ישמור על האיסור הצרפתי על סחר העבדות כפי שהוסדר בימיו של נפוליאון. על אף ירידת התמיכה הציבורית בו ולקותו בסדרת מחלות לאחר סיום המלחמה, קאסלריי המשיך לפעול כדי להביא להסדר דיפלומטי בשאלת סחר העבדים. עבור ביטול סחר העבדים בידי ספרד ופורטוגל (מלבד אפשור קיום מינורי שלו באזורים מסוימים בלבד), קאסלריי העביר לכל אחת מהן 700,000 פאונד, סכום עתק באותם הימים. בהמשך נקבע הסדר עם צרפת שאפשר לצי המלכותי הבריטי לעצור לפי דרישתו כל ספינה צרפתית ולחפש עבדים על סיפונה. ארצות השפלה הסכימו לבקשה הבריטים לבטל את סחר העבדים ללא כל תנאים.
משברים מבית.