ב-4 באוקטובר 1974 התמנה ארמפילד לתפקיד מאמן לידס יונייטד מהליגה הבכירה. ארמפילד נבחר להחליף את בריאן קלאף, ששרד בתפקיד 44 ימים בלבד. יחד עם עוזרו דון האו, הוביל ארמפילד כבר בעונת הבכורה שלו את לידס לגמר גביע אירופה לאלופות 1975, שם הפסידה 2-0 לבאיירן מינכן. באותה עונה הוא הצליח לשקם את הסגל של דון ריווי, מאמן הקבוצה לאורך 13 העונות הקודמות שהוחלף בקלאף באותו הקיץ על מנת לאמן את הנבחרת האנגלית. ארמפילד הוביל את הקבוצה במשך ארבע עונות, במהלכן הוביל אותה להעפלות לגביע אופ"א ולחצי גמר גביע ה-FA.