נולד בכפר בצ'שייר, בריטניה לא רחוק ממנצ'סטר, אביו היה נגן ג'אז. כבר מגיל צעיר נמשך מאייל למוזיקת ג'אז ובלוז מאוסף התקליטים של אביו ובפרט לגיטריסטים אדי לאנג ולדבלי ונגני פסנתר בסגנון בוגי ווגי. בגיל 18 התגייס לחיל ההנדסה המלכותי ושירת שלוש שנים בקוריאה. בשנת 1962 חבר לאלכסיס קורנר וניגן עמו במועדון מרקי ובהיותו בן 31 (ב-1964) ייסד את להקתו, ה-John Mayall's Bluesbreakers, הלהקה ליוותה בין היתר אמני בלוז מארצות הברית בהופעותיהם בבריטניה, בהם ג'ון לי הוקר, טי-בון ווקר וסוני בוי וויליאמסון. באפריל 1965 פרש אריק קלפטון מלהקת היארדבירדס ומאייל צירף את הגיטריסט בן ה-20 ללהקתו. קלפטון פרש פחות משנה לאחר מכן, יחד עם נגן הבס של הלהקה, ג'ק ברוס, על מנת להקים את להקת קרים, אך לא לפני שהקליט את התקליט "John Mayall's Bluesbreakers featuring Eric Clapton" שהיה לרב-מכר ושאתר Allmusic הכתיר כ"תקליט הבלוז הבריטי הטוב ביותר". לאחר מכן ניגנו בגיטרה מובילה בהרכב, פיטר גרין (1966–1967; פרש עם נגני הלהקה ג'ון מקווי ומיק פליטווד ללהקת פליטווד מק) ומיק טיילור (1967–1969; פרש ללהקת האבנים המתגלגלות). אתר Allmusic מציין שנגנים צעירים ומוכשרים אלה האפילו על כישרונו הבינוני יחסית של מאייל עצמו, אך שהוא היה זה שגילה אותם והעניק להם תנאים ליצירה והקלטה.