בשנת 1897 מונה היי על ידי הנשיא ויליאם מקינלי לשגריר ארצות הברית בבריטניה. בקיץ 1898 הוא נקרא לארצות הברית ומונה למזכיר המדינה, תפקיד במסגרתו הוא תרם רבות למשא ומתן לגיבוש חוזה פריז שהביאה לסיום מלחמת ארצות הברית–ספרד. הוא נותר בתפקידו לאחר הירצחו של מקינלי וכיהן בתפקיד תחת הנשיא תאודור רוזוולט ועד לפטירתו שלו, בשנת 1905. במהלך שנים אלו הונהגה על ידיו מדיניות הדלת הפתוחה ביחסי ארצות הברית וסין, שייתכן והשפיעה על מדיניות ארצות הברית במרד הבוקסרים ובתכנון תעלת פנמה. כ-50 אמנות בינלאומיות בעלות חשיבות נחתמו בתקופתו, מהן בנוגע לתעלת פנמה, לסמואה ולהכרעת גבולות אלסקה.