בבחירות של 1949 ניצחו הליברלים וקייסי שב לבית הנבחרים. מנזייס מינה אותו להיות שר האספקה והפיתוח ושר העבודות הציבוריות והשיכון. במרץ 1950 הוא מונה להיות שר הפיתוח הלאומי. ב-1951, כאשר נשלח שר החוץ, פרסי ספנדר (יריב נוסף של מנזייס), להיות השגריר בוושינגטון, מונה קייסי להחליפו. קייסי כיהן כשר החוץ בתקופת השיא של המלחמה הקרה, של משבר סואץ, של מלחמת וייטנאם ושל אירועים בינלאומיים נוספים. הוא יצר מערכת יחסים קרובה עם אנתוני אידן, עם ג'ון פוסטר דאלס ועם מנהיגים נוספים. החל ממרץ 1950 כיהן קייסי גם כשר האחראי על ארגון המחקר התעשייתי והמדעי (CSIRO) והיה לו חלק בהצלחת הארגון.