על אף ההקשרים ההיסטוריים של הירש לאמנות האקספרסיוניסטית הגרמנית ולמסורת הרישום של בצלאל, יצירתו איננה שייכת לזמן ולסגנון מוגדרים, אלא כבר היום נראית כאמנות שמעבר לזמן. רוב הרישומים שלו מעוררים אי שקט, מטרידים ומדרבנים למחשבה, על אף ואולי בזכות, שלמותם הוויזואלית ורמת הביצוע הגבוהה. רובם רישומים בעט, מכחול ודיות, לעיתים בתוספת של נגיעות בגרפיט, צבע מים או גיר, העשויים מתוך התבוננות מחמירה, במגע יד ווירטואוזי ובאירוניה דקה הגובלת לעיתים בסרקזם. מכלול היצירה ומעמדו של יוסף הירש ממשיכים לעורר שאלות באשר לתפקידו של האמן, תפקיד האמנות ומקומו של הצופה.
לימים יאמר על הירש שהשתתף בבצלאל רק בשיעורי הרישום. אולם אין ספק שלמד גם בשיעורי כתב אצל ירחמיאל שכטר, שכן ציור שלטים וכתיבת טקסטים במכחול ובציפורן הייתה פרנסתו העיקרית בעשרים השנה לאחר מכן. אהבתו לכתב וההשתעשעות בו כבאמצעי אמנות נפרד ימשיכו וילוו אותו כל השנים.
וירטואוזיות.
לאיש מן הכותבים על יצירתו של הירש לא היה ספק ביכולתו הווירטואוזית. כבר מוריו בבצלאל הבחינו בכישרונותיו הבולטים: "התלמיד הזה עולה בידיעותיו ברישום על כולם בבית ספרנו, ובלי הגזמה הוא הכישרוני או אחד הכישרוניים ביותר, וראוי למחלקה לאמנות טהורה. דמיון לו מוגבל לפי שעה, אך זה נובע מפחד לעשות דבר-מה שלא כדין. הוא שואף לדעת, להבין, ונדמה לי שדרך האמנות היא היחידה אשר תרכז אותו. דומני שבו כשרון אמיתי ורק דרושה התעמקות כדי שיתגלה כולו". ב-1976 כתב עליו יגאל צלמונה: "הירש הוא 'מאיסטר' שבכל נגיעת מכחול שלו חשים את האחריות והכבוד למקצוע. איכות יצירותיו נשענת על ארגון מוצלח של האור והצל (כשחלקים מגולים של הדף מהווים, בדרך כלל, את האזורים הבהירים ביותר); ארגון, הבא לא רק לשם יצירת אפקטים של נפח ועומק אלא בייחוד לסיפוק צרכים קומפוזיציוניים והבעתיים".
כישרונותיו הווירטואוזיים ברישום ובקליגרפיה העמידו את יצירתו בהשוואה מתמדת עם יצירות מופת ברישום של אמנים מן העבר, כמו גם עם אמנים בני זמננו. האובססיה של אמן למדיום אחד, לפורמט מצומצם ולמבחר קבוע של נושאים, הוכרו על ידי רבים כחותם של אמנים הפועלים מעבר לממד הזמן, ללא קשר מובהק לסגנונות ולערכים של תקופתם. יצירתו של הירש הושוותה לזו של ג'רג'יו מוֹרַנדי כמו גם  ליצירתם ברישום של פרנסיסקו דה גוֹיה, אונור הדומיֶה, ואחרים: "הירש עובד יותר במסורת של גויה, דומייה, ברלך, מולר וליברמן מאשר במסורת האקספרסיוניסטית. הוא משתמש באמצעי הבעה שמזכירים את האקספרסיוניזם הגרמני אבל האמצעי הזה מוביל למטרה שונה מזו של מחאה, עיוות לשמו או מיזנתרופיה. העובדה שבדמויותיו יש בכל זאת אספקט גרוטסקי, אספקט כמעט קריקטורלי, מצביעה על תוצאות של ראייה לשמה יותר מאשר על אמצעי-מחאה".
עיוות, מוזיקליות ותנועה.
העיוות של גוף האדם הוא תו היכר בולט ביצירותיו של הירש. בשנות החמישים והשישים היו רישומיו קוויים, קונטרסטיים וגרוטסקיים. בתערוכותיו הראשונות הופיעו דמויות אנושיות מוארכות או מושמנות ותנועתן הייתה תיאטרלית ומוגזמת. עיוות לצורך חיזוק הרגש היה מקובל בקרב אמנים בני דורו וצעירים יותר, כנפתלי בזם, רות שלוס ואברהם אופק. אלא שאצלם בא העיוות לבטא עוצמה, התחדשות ומחאה סוציאלית, בעוד נושאיו של הירש היו החולשה האנושית, עליבות ורפיון הגוף. בשנות הארבעים והחמישים פיתח ז'אן דובופה בצרפת את שיטתו הציורית המבוססת על דימויים השואבים השראתם מציורים של חולי נפש ומגרפיטי: דמויות של נשים ושל פרות מצוירות בסגנון ילדותי ותוקפני. בצד השני של האוקיינוס החל באותה התקופה וילם דה-קונינג בסדרה של ציורי נשים מעוותות שיתפתחו לכיוון של ציור הפעולה הידוע. הציור הרציני באירופה, ארצות הברית ובארץ לאחר מלחמת העולם השנייה לא יכול היה לשוב ולעסוק בנושא גוף האדם מתוך גישה אסתטית ו"מהוגנת".
בשנת 1967 תרגם הירש מאמר של תיאודור אדורנו, שנקרא "האם האמנות עליזה?", שהתפרסם בעיתון בגרמניה: "מאז נקראה האמנות אל דגל תעשיית התרבות היא מוצאת עצמה על מדף אחד עם מוצרי תצרוכת; עליזותה נהיית סינתטית, שקרית, מכושפת. לא תיתכן עליזות אמיתית עם מה שמופעל על-פי הזמנה מראש... עליזות כיום היא מעוותת בגין הופעתה לפי פקודה, ומגיעה עד לקביעה הפסבדו-טרגית והמתנחמת הרת-האסון: 'ככה החיים!' האמנות, באשר היא לא תיתכן יותר ללא מחשבה, צריכה מצידה לוותר על עליזות, קודם כל בגלל מה שקרה לאחרונה. המשפט שלא ייתכן לכתוב שיר אחרי אושוויץ אינו נכון כפשוטו, אך ודאי הוא שלאחריה - בגלל שזה התאפשר בכלל ושזה נשאר אפשרי לעדי-עד, לא תיתכן יותר אמנות עליזה. היא הייתה נהפכת לצינית, אפילו אם תנסה לקחת הלוואה לעצמה מטוב הלב של ההבנה האנושית".
ברבים מרישומיו הראשונים של הירש הופיעו נושאים מוזיקליים: כנר, גיטריסט, חלילן, זמר, מבקר מוזיקלי וקונצרט. "יש שהדמות מופיעה בלבוש מעוות, אך ללא שבירת צורות, בקיצורים המזכירים אמנים הולנדיים בני זמננו, גם הם הומוריסטיים אכזריים, לוסברט, למשל", כתבה המבקרת מרים טל על תערוכתו השנייה של הירש בשנת 1962. שינוי הפרופורציות של איברי הגוף לשם הגברת הרושם האקספרסיבי, צוין במשך השנים על ידי המבקרים בביטויים קריקטורלי, סרקסטי, אכזרי ואף דמוני. אולם התחביר הפנימי של העיוות לא נבע מתוך רצון ללעוג לזולת אלא מתוך הזדהות עצומה עם חולשות אנוש ועם המבע של הגוף, באמצעות הגזמה בפרופורציות ובמחווה התנועתית. שנים אחר כך אמר הירש: "יש לי בעיה בעניין זה עם ציור הדיוקן. עקב עוותו אני מעדיף תמיד לצייר אנשים הקרובים אלי, המכירים אותי, המוכנים 'לבלוע צפרדעים', והמודעים לכוונותיי הטובות. הלוך הרוח שלי בזמן העבודה הנו של לומד את האדם, של מי שיוצא מתוך הצורה כמתוך נקודת-זינוק ומנסה ללמוד דבר-מה אודות האדם כנציג האנושות; מנסה ללמוד מה הוא הפן המייחד אותו בקונטקסט הכללי". הירש תיאר את עקרון ה"מימזיס", יכולת הביטוי המימטי, מושג שתיאודור אדורנו ראה בו מרכיב מרכזי של שפת האמנות. לפי אדורנו, חיקוי הופך למימזיס (חיקוי מתוך הזדהות), כאשר האדם מחקה את רעהו מתוך הכרה ובכוונה, ובכך מוביל ל"הכפלה" של הטבע. אדורנו, והירש בעקבותיו, ראה ב"מימזיס" את הצורה המקורית של הרציונליות.
להירש הייתה היכרות עמוקה עם גוף האדם. ככל שהתבגר, כך הלך ופחת הצורך שלו בעיוות קיצוני. בשנות השמונים והתשעים הפכו העיוותים ברישומים שנעשו מהסתכלות למתונים ומרומזים יותר, ונבעו בעיקר מהחסרה או הדגשה של פרטים. הם העבירו לצופה תחושות של מצבים פסיכולוגיים מורכבים:  "בני האדם שיוצר הירש הם מיוסרים. עיניהם החולדתיות מכווצות ופיותיהם קפוצים ממאמץ נפשי לשלוט בלחצים פנימיים בעיקר. אלה אנשים בעלי ראשים גדולים ביחס לגופם וגפיהם, כאותו 'צינובר', יציר רוחו של א.ת. הופמן. יש בהם אלמנטים דמוניים לצד יסודות גרוטסקיים". העניין במוזיקה ובתנועה התפתח ביצירתו המאוחרת של הירש לעיסוק בעקרונות הוויזואליים בהקשרים של סדר, שפה ותמטיקה. לא הכנר או המנצח הם הנושא אלא הרמוניה, מקצב, סינקופה ופוליפוניה. על אף העובדה שהמשיכו להופיע ביצירותיו שמות כרקדן, מהלך על חבל ועל פי התהום, הנושאים והתחושות הם של שיווי משקל דינמי, התנגדות לכוח הכבידה, מתח ורפיון. דמויותיו המומצאות של הירש, כפי שיוסבר להלן, משלבות ביחסיהן זו עם זו ועם הסביבה המצוירת יחסים של כוריאוגרפיה מתוזמרת: "ריקוד" הדמויות וכתמי הדיו במרחב הרישום דומה לדף פרטיטורה שאפשר "לקרוא" בו.
ראייה וזיכרון.