במקביל החל לשחק בתיאטרון הקאמרי, וכן בהצגה "שורש כל רע" במועדון החמאם, שבמסגרתה שר את "שיר הנשים". בהמשך הקים יחד עם חברו ללהקת הנח"ל, אריק איינשטיין, ועם בני אמדורסקי, את "שלישיית גשר הירקון". רבים משיריה של הלהקה היו להיטים גדולים בזמר העברי, ובהם "לילה בחוף אכזיב", "סרנדה לך", "אותך" ו"איזה יום יפה". השלישייה הקליטה יחד את האלבום "אהבה ראשונה". גאון פרש כשנה לאחר הקמת השלישייה, על מנת להתרכז בקריירת סולו.
בשנת 1965 הוציא גאון אלבום סולו ראשון, בשם "כל העיר מרכלת עלינו". האלבום הורכב כולו משירים שכתב יוסי גמזו, ובהם הלהיט "איפה הן הבחורות", שנכתב על פי לחן עממי, שלושה שירים מתוך האלבום, "ליל אביב", "אמרו לי" ו"אולי תפסיקי כבר", הולחנו על ידי יעקב הולנדר. כמו כן נכללה באלבום גרסה עברית לשירה של להקת הביטלס "I Want to Hold Your Hand", שבגרסתו של גמזו נקרא "זה נדבק". כעבור שנה הוציא גאון מיני-אלבום בשם "קיץ אחד של כושר", ובו ארבעה שירים שכתב גמזו והלחין סשה ארגוב.
ב-1966 נסע גאון לארצות הברית על מנת ללמוד משחק. הוא שב ארצה לאחר שיואל זילברג, שעמד לביים את המחזמר "קזבלן", נזכר בזמר הכישרוני, ופנה אליו כדי שיגיע לארץ למבחני במה. המחזה, אותו כתב יגאל מוסינזון, על רקע "השטח הגדול" ביפו, עובד למחזמר, הופק על ידי גיורא גודיק ב-1966 וזכה להצלחה גדולה, שהפכה את גאון לאחד הזמרים המובילים בארץ. שני שירים מתוכו, "כל הכבוד" ו"יש מקום" מזוהים עמו עד היום.
ההצלחה כזמר.
גאון, שהפך מאז אמצע שנות השישים לכוכב גדול בעולם הבידור והזמר הישראלי, נחשב לאחד הזמרים הגדולים והחשובים במוזיקה הישראלית.
בפסטיבל הזמר והפזמון 1969 זכה בשני המקומות הראשונים, עם השירים "בלדה לחובש" שכתב דן אלמגור ללחן של אפי נצר ולעיבוד של שמעון כהן ו"עץ האלון" שכתב יורם טהרלב ללחן של מוני אמריליו ולעיבוד של שמעון כהן. גאון שר בפסטיבל שיר נוסף, "לילה בהיר", שהלחין משה וילנסקי למילים של שמרית אור. השיר נכלל באלבומו של גאון "בשירי משה וילנסקי", שיצא באותה שנה והוקדש כולו לשיריו של וילנסקי. האלבום כלל להיטים כ"אמא אמא", "יש לי חלום", "לילה של פריחות", "שלכת בלב" ו"כשהיינו ילדים".
עוד באותה שנה הוציא גאון אלבום בשם "רומנסות בלאדינו", ובו שירים ששר בלאדינו, וכן אלבום בשם "שירי שבת". אלבום נוסף שהוציא באותה שנה היה "איפה את אהובה", שכלל גם הוא להיטים רבים, כ"איפה את אהובה" (תרגום עברי של תלמה אליגון-רוז לשיר בספרדית בביצוע הזמר הארגנטינאי לאונרדיו פאביו), "גשר אלנבי", שהקליט עבור סרט הקולנוע "המלחמה שלאחר המלחמה", "אזכור את הדרך" ו"רוח שטות".
בשנת 1971 העלה גאון תוכנית יחיד, שתועדה על גבי אלבומו מאותה שנה, "בתוכנית יחיד". בין שירי התוכנית בלט הלהיט "רוזה", שכתב חיים חפר והלחין דובי זלצר. שירים מוכרים נוספים מהתוכנית היו "אל תשטה באהבה", "רחל" ו"אני זוכר", שנכתב עבור סרט הקולנוע "לופו". כמו כן נכללה בה גרסתו של גאון לשירם של אהוד מנור ונורית הירש "אולי על שפת הים", ששרה במקור להקת "השוקולדה".
באותה שנה יצר גאון את הסרט "אני ירושלמי" על משפחתו הירושלמית ועל העיר ירושלים, שבמסגרתו שר מספר שירים. שירי הסרט תועדו על גבי האלבום "אני ירושלמי" שיצא באותה שנה. נמנו עליהם להיטים רבים, כ"הנני כאן", "אני עושה לי מנגינות", "השר משה מונטיפיורי" ו"מעל פסגת הר הצופים".
ב-1972 הוציא את האלבום "שלכם לשעה קלה", וב-1973 את האלבום "אהבה ים תיכונית", ובו השיר "קומי צאי", שהלחינה נעמי שמר על פי מילים של חיים נחמן ביאליק.
בשנת 1975 הוציא גאון את האלבום "אותך שרים". בין שיריו המוכרים היו "אנחנו לא נפסיק לשיר" ו"בית אבי", שניהם של חיים חפר ודובי זלצר. באותה שנה יצא אלבום הופעה של גאון, שתיעד את הופעתו בהיכל התרבות. באלבום זה נכלל לראשונה שירו של גאון "המלחמה האחרונה". כמו כן נכללו בו גרסאותיו של גאון לשירים "שיר העבודה והמלאכה", "גולני שלי" ו"לילה לילה".
בשנת 1976 הוציא גאון אלבום בשם "קסם מולדת", ובו גרסאות מחודשות בביצועו לשירים שהלחין מרדכי זעירא, כ"ניגון עתיק" ו"מה אומרות עינייך".
ב-1977 הוציא את האלבום "עוד לא אהבתי די". שיר הנושא של האלבום, שכתבה והלחינה נעמי שמר, היה להיט גדול, והפך לריקוד עם נודע. שיר נוסף שהתפרסם מהאלבום הוא "שלום לך ארץ נהדרת" (גרסה עברית של אילן גולדהירש). באותה שנה הוציא גאון אלבום נוסף, "שמש עולה".
ב-1979 העלה גאון תוכנית יחיד שהורכבה משיריהם של חיים חפר ודובי זלצר. התוכנית לא זכתה להצלחה רבה, אך התפרסמו מתוכו השירים "שמרי לי על המנגינה" ו"את בת שש עשרה". שירי התוכנית תועדו על גבי האלבום "79".
באמצע 1980 הוציאה חברת "סי.בי.אס" לגאון את האוסף "להיטי זהב מספר 2" שכלל את מיטב להיטיו עד זה ואת השיר החדש "רבותי ההיסטוריה חוזרת" (מילים: תלמה אליגון רוז, לחן: דובי זלצר, עיבוד: בני נגרי)
ב-1981 הוציא את האלבום "סימני דרך". בין שיריו המוכרים היו "סימני דרך" ו"על כל אלה" של נעמי שמר, לחניה של נורית הירש לשירים "הכניסיני תחת כנפך" של חיים נחמן ביאליק ו"לילה טוב לאהבה" של אילן גולדהירש, וכן גרסתו של גאון לשירו של יוסף שריג "אור וירושלים".
בשנת 1983 הוציא גאון על גבי תקליט שדרים את השיר "איתך בלעדייך", שכתב נתן אלתרמן והלחינה נורית הירש. השיר זכה להצלחה רבה.
בשנת 1984 יצא אלבומו "אמצע הדרך" ובו הלהיט "בפרדס ליד השוקת", שכתב יורם טהרלב והלחינה נורית הירש. השיר זכה להצלחה רבה, ודורג במקום השני במצעד הפזמונים העברי השנתי לשנת תשמ"ד. שירים מוכרים נוספים באלבום היו "לא תנצחו אותי", שכתבה והלחינה נעמי שמר, ו"בואי נשוב אל הטנגו", שכתב יורם טהרלב והלחין שייקה פייקוב. ננסי ברנדס עיבד וניהל מוזיקלית את האלבום.
בשנת 1986 יצא האלבום "אלף נשיקות". שיר הנושא של האלבום, שאת הטקסט שלו עיבדה מירית שם אור (בהשראת מכתב אהבה של אבשלום פיינברג איש מחתרת ניל"י לאהובתו) והלחין צביקה פיק, היה להיט גדול. פרט לו, הצליחו מהאלבום גם השירים "אישה חופשייה" (מילים: חיים חפר, לחן: יאיר קלינגר), "כמו חצב" ו"דיוקן אמי" (בשניהם - מילים ולחן: נעמי שמר), "כן כן" (גרסה עברית: חיים חפר), "ואולי אותה שתיקה" (מילים: שמרית אור, לחן: נורית הירש). רמי לוין עיבד והפיק מוזיקלית את שירי האלבום.
בשנת 1988 הקליט גאון בדואט עם ירדנה ארזי את השיר "אדם אחר" (מילים: רחל שפירא, לחן: נורית הירש, עיבוד: עדי דגני). השיר זכה להצלחה גדולה, ודורג במקום ה-10 במצעד הפזמונים לשנת תשמ"ח של רשת ג'. השיר נכלל באלבומה של ארזי "עוד יום אחד".
במרץ 1989 יצא אלבומו "ירח מלא", בהפקתו המוזיקלית של מתי כספי. מבין שיריו התפרסמו הדואט שלו עם בעז שרעבי "מה יביא איתו הרוח" ו"ליבבתיני" (שכתבה והלחינה שמר). למרות ההפקה המושקעת, האלבום נכשל מסחרית. באותה שנה חזר גאון לשחק במחזמר "קזבלן" שבה גילם את התפקיד שעמו זוהה יותר מכל. את המחזמר הפיק בעצמו בעזרת חברת ההפקה שהקים "הפקות חמש חמש". המחזמר זכה אמנם להצלחה בקופות, אך ההפקה נקלעה לחובות כבדים וירדה לאחר זמן מה מהבמה. גאון נקלע לחובות כבדים שאותם הצליח להחזיר רק לאחר מספר שנים.
בשנות ה-90 של המאה ה-20 הוציא גאון מספר אלבומים נוספים, שלא זכו להצלחה רבה. עליהם נמנו "נשמה", שיצא ב-1992 וכלל שירי מסורת ודת דוגמת "פתח לנו שער", "שיר המעלות", והבן יקיר לי אפרים". את שירי שירי האלבום עיבד תמיר קליסקי. ב-1993 הוציא אלבום הופעה, וב-1996 אלבום שנשא את שמו. בשנת 1997 תכנן גאון להוציא אלבום אוסף שיכלול את שיריו המוכרים. מכיוון שהתקשה להשיג זכויות יוצרים על ההקלטות המקוריות ועל מנת לחסוך בכסף, הקליט מחדש, בעיבוד מחודש, את השירים ושיווק אותם כאוסף בן חמישה תקליטורים.
בשנת 2007 גילם את עצמו במחזמר "כמו בסרט", כזמר ומנחה המגיע לעיירת פיתוח כדי לאתר כישרון צעיר.
בסוף שנת 2008 העלה מופע זמר ובידור בשם "בכל הכבוד", בו סיכם עשרות שנות פעילות על הבמה ושילב שירים ישנים וחדשים לצד מונולוגים משעשעים שאותם כתב במיוחד למופע. המופע זכה להצלחה גדולה, ואף היה מועמד לפרס הצגת הבידור של השנה.
בשנת 2013 שב גאון להקליט שירים חדשים. באותה שנה יצא אלבומו "כביום היוולדי", שאת כל שיריו כתב והלחין עמיר בניון. את שירי האלבום עיבדו ליאור שושן ואודי תורג'מן. מבין שיריו התפרסמו השירים "תן לי כוח", "בסוף היום" ו"לא אני ולא אתה", שאותו שר גאון בדואט עם בניון.
ביולי 2014 הקליט גאון גרסה מחודשת לשיר "ארץ צבי", לו נוסף בית חדש שנכתב על ידי תלמה אליגון לזכרו של רועי קליין, קצין גולני בעל עיטור העוז שנהרג במלחמת לבנון השנייה כאשר זינק על רימון יד כדי להציל את חייליו. ב־21 בספטמבר 2014 הקליט גאון את השיר "שלומי" שכתבה זלדה, אותו עיבדה נורית הירש, לזכרו של רס"ן בניה שראל, מפקד פלס"ר גבעתי שנהרג במבצע צוק איתן.
בדצמבר 2019 הוציא לכבוד יום הולדתו ה-80 את השיר "אם רק תסכימי" שכתבה עדית פאנק והלחין ועיבד עידן רייכל.
בשנת 2021 לקח חלק בפרויקט "יעלה ויבוא", כמחווה לשיריו של יורם טהרלב, ובו ביצע את השיר "עוד לא תמו כל פלאייך".
סגנונו כזמר.