גריי נבחר לבית הנבחרים הבריטי לראשונה ב-1885 מטעם המפלגה הליברלית. הוא נתמנה לשר החוץ בממשלה הליברלית החל ב-1905 ונשאר בתפקידו זה במשך 11 שנים - הכהונה הארוכה ביותר בתולדות משרד החוץ הבריטי. עוד לפני המלחמה נודע גריי כשר חוץ בעל יכולות מרשימות, ובין הישגיו נרשמו ההסכם האנגלו-רוסי, אשר הביא לסיומו של המשחק הגדול, ייצג את בריטניה במהלך המשבר המרוקאי השני וכן במשא ומתן הדיפלומטי הבינלאומי בעקבות מלחמות הבלקן ב-1913.