קיי נולד במנצ'סטר והצטרף לקבוצת בולטון וונדררס ב-1911. מאוחר יותר באותה השנה הצטרף לבלפסט סלטיק והפך לקפטן האנגלי הראשון של קבוצת כדורגל אירית. לאחר ההפסקה בכדורגל האנגלי בעקבות מלחמת העולם הראשונה, חזר קיי לאנגליה לקבוצת וסטהאם יונייטד, וב-1923 הוליך אותה לזכייה בגביע ה-FA במשחק הגמר הראשון ששוחק באצטדיון ומבלי.