לאחר שצפה במייקל ג'יי פוקס מנגן בגיטרה בסרט "בחזרה לעתיד", החל מאייר להתעניין בנגינה, ואביו שכר עבורו ועבור אחיו גיטרה אקוסטית. מספר שנים לאחר מכן, מאייר קנה לעצמו גיטרה של חברת וושבורן, אותה בחר בהשפעת הגיטריסט נונו בטנקורט מלהקת אקסטרים. עם קבלת הגיטרה האקוסטית מאביו, הוא קיבל משכנו קלטת של סטיבי ריי ווהן והחל לשמוע מוזיקת בלוז. בחיפושיו אחר זמרי בלוז, החל מאייר להאזין למוזיקה של באדי גאי, בי בי קינג, פרדי קינג, אוטיס ראש ולייטנינג הופקינס. בשנים מאוחרות יותר יטען שנישואיהם של הוריו באותה התקופה גרמו לו "לרצות להיעלם וליצור לעצמי עולם שאוכל להאמין בו". הוא החל ללמוד לנגן אצל בעל חנות גיטרות מקומי, ולאחר שנתיים של למידה, החל לנגן בברים ובאירועים בעיר הולדתו במקביל ללימודיו בתיכון. בנוסף להופעות הסולו שלו הוא גם היה חבר בלהקה שנקראה "Villanova Junction" (על שם שירו של ג'ימי הנדריקס).
בגיל 17 אובחן מאייר כבעל הפרעת קצב לבבית ואושפז בבית חולים למשך ארבעה ימים. כשהוא נזכר בלילה בו עזב את בית החולים, טוען מאייר ש"זהו הרגע בו נולד כותב השירים שבתוכי", ובאותו הלילה כתב את שירו הראשון. לאחר שחרורו מבית החולים החל מאייר לסבול מהתקפי חרדה וחשש להישלח לבית חולים פסיכיאטרי. מאייר סובל עד היום מהתקפים כאלו, איתם הוא מתמודד באמצעות תרופות נוגדות חרדה. עם סיום לימודי התיכון, עבד במשך כ-6 חודשים בתחנת דלק, ובכסף אותו חסך, קנה גיטרת פנדר סטראטוקסטר.
1996–1999: תחילת הקריירה.
בתחילה חשב מאייר לוותר על הלימודים בקולג' ולנסות לפתח קריירה מוזיקלית, אך הוריו הניאו אותו מכך. בשנת 1997, בגיל 19, נרשם מאייר למכללת ברקלי למוזיקה בבוסטון. לאחר שני סמסטרים עזב את הלימודים בעידודו של חברו הטוב קליי קוק ועבר יחד עמו לאטלנטה. הם הקימו יחד להקה בשם "Lo-Fi Masters" והחלו להופיע בבתי קפה ובמועדונים מקומיים. לפי קוק, עקב טעמם המוזיקלי השונה ורצונו של מאייר להתקרב יותר לסגנון הפופ, נפרדו השניים ומאייר פתח בקריירת סולו.
בעזרתו של מפיק מוזיקלי מקומי בשם גלן מטולו, הקליט מאייר מיני-אלבום עצמאי בשם "Inside Wants Out". המיני-אלבום מכיל שמונה שירים בהם מאייר מנגן בגיטרה ושר. בהקלטת השיר הראשון במיני-אלבום, "Back To You", השתתפה להקה שלמה, כולל אחד המפיקים שניגן על גיטרת בס. מאייר המשיך להופיע עם אותו המפיק למשך השנים הבאות. קליי קוק כתב במשותף עם מאייר את רוב השירים במיני-אלבום, כולל הסינגל הראשון מתוכו, "No Such Thing". אולם, השיר היחיד בו הוא משתתף בשירה הוא שירת רקע בשיר "Comfortable".
2000–2004: פריצה מסחרית.
לאחר יציאת האלבום, מאייר החל להופיע בג'ורג'יה ובמדינות הסמוכות לה. הקריירה המסחרית שלו התפתחה במקביל להתפתחותו של ענף המוזיקה באינטרנט, אשר תרם להתפרסמותו המהירה. במרץ 2000 הופיע מאייר בפסטיבל "South by Southwest" והחל למשוך אליו את תשומת לב התקשורת והמבקרים, ובמקביל קיבל עובד חברת אוור רקורדס הקלטות של שיריו. לאחר שהופיע בפסטיבל האמנים של חברת התקליטים ושיריו נכללו באוספים שלה, יצא אלבומו הראשון של מאייר באינטרנט בלבד - "Room for Squares". באותה התקופה חתמה אוור רקורדס על הסכם עם קולומביה רקורדס, שבמסגרתו, תוכל זו להחתים מאמניה של אוור רקורדס לפי בחירתה. בספטמבר 2001 בקולומביה בחרו להחתים את מאייר, ערכו והוציאו מחדש את "Room for Squares", הפעם לא רק באינטרנט, והוסיפו אליו את השיר "3X5" וגרסאות אולפן מחודשות של ארבעת השירים הראשונים מהאלבום "Inside Wants Out".
האלבום כלל מספר להיטים כמו "No Such Thing" ו-"Why Georgia" ואחד מלהיטיו הגדולים ביותר של מאייר - "Your Body Is A Wonderland", אשר זיכה אותו בפרס גראמי בקטגוריית "ביצוע הפופ הטוב ביותר של זמר". הביקורות היללו את האלבום ואת מאייר שהיה לכוכב פורץ בתוך תקופה קצרה יחסית, והיו שהשוו אותו לדייב מת'יוס. בנאום הזכייה שלו בגראמי אמר מאייר כי "זה מאוד, מאוד מהיר בשבילי. אני אשתדל לעמוד בקצב" בהתייחס לזכייתו בפרס לאחר תקופה כה קצרה בעולם המוזיקה.
בפברואר 2003, הוציא מאייר אלבום ודי.וי.די מהופעתו החיה בברמינגהאם, אלבמה בשם "Any Given Thursday", אשר כלל שירים של מאייר שלא הוקלטו קודם לכן כמו "Man on the Side", "Something's Missing" ו-"Covered in Rain". האלבום הגיע למקום ה-17 במצעד הבילבורד 200. הביקורות היו טובות, אך מאופקות מהביקורות על אלבומו הקודם, כשחלקן מתייחסות בעיקר לתדמית "כוכב הפופ" שנוצרה לו, וחלקן מתמקדות במיומנות שלו בנגינה על גיטרה. בקיץ אותה השנה יצא מאייר יחד עם להקת Counting Crows לסיבוב הופעות ברחבי ארצות הברית.
אלבומו השני של מאייר, "Heavier Things" יצא בספטמבר 2003. הביקורות על האלבום היו ברובן חיוביות, אך גם הוא לא הצליח לשחזר את ההצלחה של אלבומו הראשון. מבחינה מסחרית, הצלחת האלבום לא הייתה מוטלת בספק, והוא הגיע למקום הראשון במצעד בילבורד 200. הסינגל הראשי מתוך האלבום, "Daughters", זיכה אותו בפרס גראמי בקטגוריית "שיר השנה" בשנת 2005, והוא הגיע למקום ה-19 במצעד הבילבורד הוט 100 ולמקום הראשון במצעד שירי הפופ למבוגרים של המגזין. מאייר הקדיש את הפרס לסבתו שנפטרה במאי 2004. כמו כן, הוא זכה בגראמי בשנית בקטגוריית "ביצוע הפופ הטוב ביותר של זמר". בריאיון לאלן דג'נרס בשנת 2009, אמר מאייר כי בעיניו שירה של אלישה קיז, "If I Ain't Got You", היה צריך לזכות בגראמי בשנת 2005 במקום השיר שלו, ועל כן שבר את הפסלון שקיבל, ונתן את מחציתו לקיז ומחצית ממנו נותר ברשותו. בטקס פרסי "היכל התהילה של כותבי השירים", שנערך בשנת 2006, נכנס מאייר להיכל.
במהלך מסע ההופעות שלו ברחבי ארצות הברית בשנת 2004, מאייר הקליט שבע מהופעותיו והעלה אותן לחנות ה-iTunes תחת הכותרת "As/Is" (בעברית: כמו שזה) - על מנת להדגיש שההופעות הוקלטו במלואן, גם הקטעים הטובים וגם הפחות מוצלחים. האלבום כלל גרסת כיסוי לשירו של מרווין גיי, "Inner City Blues (Make Me Wanna Holler)".
2005–2008: שינוי כיוון מוזיקלי.
בתחילת הקריירה שלו, מאייר התפרסם בעיקר בסגנון ה-Adult contemporary וכזמר-יוצר. אולם עם התפתחות הקריירה שלו, היה חופשי להתעסק בסגנונות שיותר משכו אותו בצעירותו, כמו הג'אז והבלוז. הוא הצטרף למוזיקאי הבלוז באדי גאי בהופעתו באולם בכיכר יוניון בניו יורק בדצמבר 2003. הוא יצא לסיבוב הופעות משותף עם מוזיקאי הג'אז הרבי הנקוק והופיע איתו בפסטיבל המוזיקה בונארו. הוא הופיע בשירים מאלבומיהם של זמרים שונים כמו אריק קלפטון (באלבום "Back Home" ובפסטיבל הגיטרה קרוסרואדז), באדי גאי (באלבום "Bring 'Em In"), ג'ון סקופילד (האלבום "That's What I Say") ובי בי קינג (באלבום "80"). בזכות שיתופי פעולה אלו, המשיך מאייר להיות זמר-יוצר, אך החל להיות מוכר גם כגיטריסט בעל שם.
לאחר תום מסע ההופעות של האלבום "Heavier Things", החל מאייר לעבוד עם מוזיקאים מז'אנרים שונים. קולו עובד לשירו של הראפר האמריקאי קומון והוא הופיע בשירו של קניה ווסט "Bittersweet Poetry" מתוך האלבום "Graduation". שיתופי פעולה אלו זכו לאהדה מצד אמנים בעלי שם בעולם הראפ כמו ג'יי זי ונלי. באביב 2005, הקים מאייר את "שלישית ג'ון מאייר" עם הבסיסט פינו פאלדינו והמתופף סטיב ג'ורדן, את שניהם פגש בהקלטות עבר שביצע. הלהקה שילבה בין מוזיקת בלוז למוזיקת רוק. באוקטובר 2005, הלהקה הייתה למופע החימום של להקת הרולינג סטונז ובנובמבר הוציאה אלבום הופעה בשם "Try!". בספטמבר 2006 הודיע מאייר שהם החלו לעבוד על אלבום בכורה.
אלבומו השלישי של מאייר, "Continuum" יצא ב-12 בספטמבר 2006. הוא הופק בידי מאייר וסטיב ג'ורדן, ולפי מאייר הוא משלב את סגנונות הבלוז והפופ. שני שירים מ-"Try!" גם נכללו באלבום, והם - "Vultures" ו-"Gravity". הסינגל הראשון מתוך האלבום, "Waiting on the World to Change", יצא ב-11 ביולי אותה השנה - הוא היה לשיר השלישי בכמות ההורדות שלו באותו השבוע ב-iTunes והוא הגיע למקום ה-25 במצעד הבילבורד הוט 100. ב-1 בספטמבר 2006, הופיע מאייר בתוכנית הטלוויזיה CSI, כשהוא שר את השירים "Waiting on the World to Change" ו-"Slow Dancing in a Burning Room". השיר "Gravity" הושמע בתוכניות הטלוויזיה האוס ומספ7ים.
ב-7 בדצמבר 2006, היה מאייר מועמד ל-5 פרסי גראמי, ושלישיית ג'ון מאייר גם הייתה מועמדת לפרס על האלבום !Try. הוא זכה בפרס בקטגוריות "אלבום הפופ של השנה" (על "Continuum") ו"ביצוע הפופ הטוב ביותר של זמר" (על השיר "Waiting on the World to Change"). מאייר הקליט בלוס אנג'לס חמש גרסאות אקוסטיות לשירים מהאלבום "Continuum" יחד עם המוזיקאים בן הרפר ורובי מקינטוש, שיצאו כמיני אלבום בשם "The Village Sessions" ב-12 בדצמבר 2006. סיבוב ההופעות בצפון אמריקה שהוא יצא אליו בעקבות "Continuum" הגיע לסופו בהופעה במדיסון סקוור גארדן ב-28 בפברואר 2007, אותה שיבח במיוחד העיתון ניו יורק פוסט.
ב-20 בנובמבר 2007, יצאה מהדורה מחודשת של "Continuum", שכללה חמש גרסאות בהופעה חיה של שיריו וגרסת כיסוי לשירו של ריי צ'ארלס, "I Don't Need No Doctor". שירו "Belief" היה מועמד לפרס "ביצוע הפופ הטוב ביותר של זמר" בטקס פרסי גראמי ה-50 בשנת 2007. בטקס עצמו הוא ליווה את אלישה קיז בגיטרה בשירה "No One". כמו כן, הוא נבחר על ידי עורכי מגזין טיים לאחד מ-100 האנשים המשפיעים של השנה בתחום האמנות.