החל את דרכו בתיאטרון הקאמרי, שם שיחק בין השנים 1953–1958. ב-1958 יצא לשנת השתלמות בלימודי משחק באקדמיה למוזיקה ולאמנויות הדרמה של לונדון במימון התיאטרון. כשחזר לישראל לא חזר לשחק בקאמרי. ב-1961 שיחק בתיאטרון חיפה במשך שנה כשגילם את אנדריי בהצגה "אנדורה" מאת מקס פריש שביים יוסף מילוא. ב-1962 גילם את קאלימקו בהצגה "שורש כל רע" מאת חיים חפר, דן בן אמוץ ויורם מטמור (ע"פ המחזה לה מנדראגולה של מקיאבלי) שביים שמואל בונים במועדון החמאם. עבר לשחק בתיאטרון העונות: ב-1963 גילם את קוביאלו בהצגה "ארלקינו" שכתב וביים נסים אלוני, וב-1964 שיחק בהצגה "אל תגעו בנוימן" מאת שבתי טבת שביים נסים אלוני. ב-1965 חזר לשחק בקאמרי עד לפרישתו לגמלאות ב-2014. כרמון היה שחקן בתיאטרון הקאמרי במשך יותר מ-50 שנה, במהלכן השתתף בכ-40 הצגות, 17 מהן מאת חנוך לוין. בין תפקידיו הידועים הוא תפקיד הזקן במחזה "אשכבה", אותו גילם משנת 1999 עד שנת 2014.
בתיאטרון הקאמרי.
ב-1955, ביום בו התחתן, הוקפץ להחליף את יצחק שילה (שחלה בדלקת מעיים) בתפקיד הראשי, אורלנדו, בהצגה "כטוב בעיניכם" מאת שייקספיר שביים תיאו אוטו. כרמון למד את התפקיד במהלך היום, התחתן בשעה שש בערב, ובשעה שמונה עלה לבמה, והתפקיד נשאר שלו. ב-1957 גילם את בנווליו בהצגה "רומיאו ויוליה" מאת שייקספיר שביים יוסף מילוא.
ב-1964 גילם את ריצ'רד ריץ' בהצגה "אדם לכל עת" מאת רוברט בולט שביים גרשון פלוטקין, ובהצגה "צ'יפס עם כל דבר" מאת ארנולד וסקר שביים עודד קוטלר. ב-1965 שיחק בהצגה "תוציא את השטקר, המים רותחים" שכתב וביים אפרים קישון. ב-1966 שיחק בהצגה "המלט" מאת שייקספיר שביים קונרד סוינרסקי. ב-1967 שיחק בהצגה "הפטנט" מאת אן ג'ליקו שביים שמואל בונים ובהצגה לילדים "הנסיכה והרועה" מאת ניקולאס סטיוארט גריי שביים דוד לוין. ב-1966 שיחק בהצגה "אלוף הבונים" מאת הנריק איבסן שביים גרשון פלוטקין. ב-1967 שיחק בהצגה "הנסיכה טורנדוט" מאת קרלו גוצי שביים שמואל בונים. ב-1968 שיחק בהצגה "אנריקו" מאת לואיג'י פיראנדלו שביים גרשון פלוטקין. ב-1969 גילם את הרמילוס בהצגה "ליזיסטרטה" מאת אריסטופאנס שביים עודד קוטלר, ושיחק בהצגה "פילומנה" מאת אדוארדו דה פיליפו שביים לאונרד שך.
ב-1970 שיחק בהצגה "חלום ליל קיץ" מאת שייקספיר שביים שמואל בונים. ב-1971 גילם את מרטין אנדרשאפט בהצגה "הן לא תקחהו עמך" מאת ג'ורג' קאופמן ומוס הארט שביים היי קיילוס, גילם את אב בית הדין בהצגה "משפט הסופרים" מאת סטיוארט הוד שביים גרשון פלוטקין, שיחק בהצגה "החשבון" מאת ג'ון הרברט שביים הלל נאמן ושיחק בהצגה "המלך אובו" מאת אלפרד ז'ארי שביים שמואל בונים. ב-1972 שיחק בהצגה "הסוחר מוונציה" מאת שייקספיר שביים יוסי יזרעאלי, שיחק בהצגה "חגיגת קיץ" מאת נתן אלתרמן שביים שמואל בונים, שיחק בהצגה "הם יגיעו מחר" מאת נתן שחם שביים יוסף מילוא וגילם את לידנטל בהצגה "יעקובי ולידנטל" שכתב וביים חנוך לוין בשיתוף עם תיאטרון צוותא. הצגה זכתה בפרס הראשון בפסטיבל אדינבורו, הוצגה בפסטיבל תיאטרון האומות בסופיה ובתיאטרון לה מאמא בניו-יורק. ב-1973 שיחק בהצגה "מאורע מוצלח" מאת סלאבומיר מרוז'ק שביים דן רונן, ובהצגה "התאווה לזהב" מאת בן ג'ונסון שביים לאונרד שך. ב-1974 גילם את הנהג בהצגה "נעורי ורדהל'ה" שכתב וביים חנוך לוין, שיחק בהצגה "ביקור הגברת הזקנה" מאת פרידריך דירנמאט שביים יוסף מילוא ושיחק בהצגה "כי עודני מאמין בך" מאת עמוס קינן שביימה עדנה שביט. ב-1976 גילם את אנדריי בהצגה "שלוש אחיות" מאת אנטון צ'כוב שביים פיטר ג'יימס, וגילם את המושל בהצגה "מושל יריחו" מאת יוסף מונדי שביים דוד מוכתר. ב-1977 גילם את ברוטוס בהצגה "יוליוס קיסר" מאת שייקספיר שביים פיטר ג'יימס. ב-1978 גילם את יוחנן צינגרבאי בהצגה "סוחרי גומי" שכתב וביים חנוך לוין על בימת צוותא, שיחק בהצגה "רביזור" מאת גוגול שביים שמואל בונים, ושיחק בהצגה "הדוד וניה" מאת צ'כוב שביים לאופולד לינדטברג. ב-1979 שיחק בהצגה "נפוליון - חי או מת!" שכתב וביים נסים אלוני, שיחק בהצגה "פאולה" מאת ערן פרייס שביים חנן שניר וגילם את האב בהצגה "הוצאה להורג" שכתב וביים חנוך לוין.
ב-1981 גילם את סולומון בהצגה "סולומון גריפ" מאת חנוך לוין שביים חנן שניר. באותה שנה גילם את איוב בהצגה "יסורי איוב" שכתב וביים חנוך לוין. הפקה זו ספגה ביקורת מאחר שכללה סצנה בה איוב העירום משופד באחוריו על מוט על ידי חיילי הקיסר, ונותר כך למשך כל שארית המחזה. מרים גלזר-תעסה, סגנית שר החינוך והתרבות, טענה מעל בימת הכנסת כי המדינה אינה צריכה לממן תיאטרון "בו גבר עירום תלוי עשרים דקות וכל ערוותו מתנדנדת". חרף ביקורת זו, זכה יוסף כרמון בפרס כינור דוד לשחקן השנה בתיאטרון. בסקירתו על הצגת הבכורה מציין מיכאל הנדלזלץ כי היה חשש שמא אנשים יזדעזעו מההצגה ויצאו באמצע ולכן בהצגת הבכורה רק חצי מהקהל היה מורכב מקוני כרטיסים רגילים וחציו השני ממכרים שהוזמנו במיוחד.
ב-1982 גילם את בראדך בהצגה הזונה הגדולה מבבל שכתב וביים חנוך לוין ושיחק בהצגה "גדול וקטן" מאת בותו שטראוס שביים אילן רונן. ב-1983 גילם את מוטקה צחורי בהצגה "אורזי מזוודות" מאת חנוך לוין שביים מייקל אלפרדס. ב-1984 גילם את אגממנון בהצגה "הנשים האבודות מטרויה" שכתב וביים חנוך לוין. ב-1985 גילם את פוזנא בהצגה "כולם רוצים לחיות" שכתב וביים חנוך לוין. ב-1986 גילם את מיכאל קולהאס בהצגה "מיכאל קולהאס" מאת ג'יימס סונדרס על פי היינריך פון קלייסט. הצגה זו הוזמנה להופיע בפסטיבל אדינבורו, בגרמניה, בפולין, במוסקבה ובסנט פטרבורג. באותה שנה גילם את הוא חרופצ'ה, אבא של יאקיש בהצגה "יאקיש ופופצ'ה" שכתב וביים חנוך לוין.
ב-1988 כיכב בתפקיד הראשי במחזה "גשם" מאת גלעד עברון. ב-1989 גילם את 'מקבת' בהצגה "מקבת'" מאת שייקספיר שביים מיכאל גורביץ', ואת יעקב בהצגה "סוגרים את הלילה" מאת יוסף מונדי שביים ישראל גוריון.
ב-1992 גילם את קלארנס בהצגה ריצ'רד השלישי מאת שייקספיר שביים עמרי ניצן. ב-1993 גילם את פליישר בהצגה "פליישר" מאת יגאל אבן אור שביים עמית גזית, וגילם את האב בהצגה "ענבי זעם" מאת פרנק גלאטי המבוסס על רומן באותו שם מאת ג'ון סטיינבק שביים אילן רונן. ב-1994 גילם את יוז'ק בהצגה "פנטסיה לפסנתר" מאת עליזה אולמרט שביים גדליה בסר. ב-1995 שיחק בהצגה "בויטרה" שכתב וביים הלל מיטלפונקט (ע"פ משה קולבאק), ובהצגה "פעורי פה" שכתב חנוך לוין וביים רוברט סטורואה. ב-1996 גילם את טייגלך בהצגה "חפץ" מאת חנוך לוין שביים אילן רונן. ב-1998 גילם את השחקן בהצגה "השחקן" שכתב וביים הלל מיטלפונקט.
ב-1999 החל לגלם את הזקן בהצגה "אשכבה" שכתב וביים חנוך לוין. תפקיד זה הפך לאחד התפקידים המזוהים עם כרמון, והצגה הוזמנה להופיע במקומות רבים בעולם. כרמון גילם את התפקיד הזה עד פרישתו מהתיאטרון בשנת 2014, ורמי ברוך החל לגלם את הזקן. ב-2000 גילם סניטר, צופה וסוס בהצגה "הבכיינים" מאת חנוך לוין שביים אילן רונן. ב-2001 גילם את אורלנדו בהצגה "כטוב בעיניכם" מאת שייקספיר שביים עמרי ניצן. ב-2002 גילם את חייצ'יק בהצגה "רומנטיקאים" מאת חנוך לוין שביים מיכה לבינסון, וגילם את חואן בהצגה "מעיין הכבשים" מאת לופה דה וגה שביים אילן רונן. ב-2003 גילם את ג'פרי תורנטון בהצגה "המלביש" מאת רונלד האוורד שביים מיכה לבינסון. ב-2004 שיחק בהצגה "עיר הנפט" שכתב וביים הלל מיטלפונקט. ב-2006 גילם את אחד מזקני העיר תבי בהצגה "אנטיגונה" מאת סופוקלס שעיבד וביים חנן שניר, בשיתוף תיאטרון הבימה. ב-2007 השתתף בהצגה "זה הים הגדול" שכתב יוסף בר-יוסף וביימה דדי ברון. ב-2008 שיחק בהצגה "תרה" מאת פנינה ודורית גרי (על פי הספר בעל אותו השם מאת צרויה שלו) שביימה דדי ברון. ב-2009 גילם את מוניה פלד בהצגה "ג'וני הלך" מאת יהונתן גפן שביים אלדד זיו.
ב-2010 גילם את קנוט ברוויק בהצגה "אלוף הבונים" מאת הנריק איבסן שעיבד וביים חנן שניר בשיתוף תיאטרון הבימה. באותה שנה החליף את יוסי גרבר בהצגה "מכולת" שכתב וביים הלל מיטלפונקט, בשיתוף תיאטרון בית ליסין. ב-2013 גילם רב בהצגה "רומן משפחתי" שכתבה וביימה עדנה מזי"א.
בתיאטרוני ישראל.
בצוותא: ב-1971 שיחק בהצגה "התור" מאת ישראל הורוביץ שביימה עדנה שביט.
בתיאטרון שידורי ישראל: ב-1975 שיחק בהצגה "סטלה" מאת משה בן שאול שביים רם לוי.
בתיאטרון החאן: ב-1977 שיחק בהצגה "פנשן" מאת דייוויד הר שביים חנן שניר.
ב-2000 השתתף בהצגת "קורצ'אק ידיד הילדים" מאת ניצן כהן וצביקה קורמן ובבימיו של קורמן, בהפקת נאוה הפקות.
בפסטיבל פותחים מסך: ב-2002 שיחק בהצגה "קלון האדם" מאת רודיה קוזלובסקי שביים אלון אופיר בפסטיבל פותחים מסך 3.
בסמינר הקיבוצים: ב-2003 שיחק וביים את ההצגה "חפץ" מאת חנוך לוין.
בתיאטרון תמונע: ב-2006 גילם את הלפרין וגם ביים את ההצגה "הלפרין וג'ונסון" מאת ליונל גולדשטיין.
בתיאטרון ארצי לנוער: ב-2007 שיחק בהצגה "שורשים" מאת ניצן כהן וצביקה קורמן שגם ביים.
בתיאטרון הקיבוץ: ב-2007 שיחק בהצגה "בראשית" - הצגת תיאטרון-מחול לילדים שעלתה במרכז סוזן דלל.
בקולנוע ובטלוויזיה.