לשירה העברית בספרד נחשף בפעם הראשונה בגיל 12. במהלך שיעורי העברית, קרא עם מורו את קינות תשעה באב, והתאהב בשיר "ציון הלא תשאלי" לרבי יהודה הלוי. בעקבות זאת, הוא תרגם את השיר לרוסית וביקש למצוא חומר נוסף בנושא. חיפושיו הביאו אותו לספרו של יחיאל מיכל זק"ש על שירת הקודש העברית של יהודי ספרד, וכדי שיבינו טוב יותר תרגם חלקים ממנו לרוסית. במקביל, הוא החל לאסוף חומר בנושא ולקטלג אותו לפי מיקומו הגאוגרפי.
בשנת 1920, בעקבות מהפכת אוקטובר, נאלץ לעקור עם משפחתו לגרמניה, ושם רק בשנת 1924, בהיותו בגיל 20, סיים את לימודיו בגימנסיה גרמנית. הדבר נבע, ככל הנראה, בשל קשיי המעבר, והצורך להסתגל לסביבה חדשה, לרבות הצורך ללמוד את השפה הגרמנית. הוא נרשם ללימודים באוניברסיטת ברלין, ובחר ללמוד בלשנות שמית, בפרט משום שרצה לדעת ערבית, שפת חובה לכל מי שמבקש ללמוד על שירת ימי הביניים בספרד. במקביל ללימודיו באוניברסיטה למד במשך חמש שנים בבית המדרש הגבוה למוזיקה בברלין, שם המשיך ללמוד כינור, אצל קרל קלינגר. כמו כן, השתתף בשיעוריו של יצחק משה אלבוגן, בבית המדרש הגבוה למדעי היהדות.
בשנת 1930 הגיש את עבודת הדוקטורט שלו, שעסקה בתרגומו של אלחריזי למחברות אלחרירי.
לאחר סיום לימודיו השתתף בכתיבת למעלה מ-300 ערכים באנציקלופדיה יודאיקה של הוצאת אשכול. בשנת תרצ"א (1930), יסד זלמן שוקן את המכון לחקר השירה העברית, והעמיד בראשו את חיים ברודי. תחילה היה המכון בברלין, אך בחודש אב ה'תרצ"ג, לאחר עליית הנאצים לשלטון, הוא סגר את שעריו. בחודש סיוון ה'תרצ"ד הוא החל לפעול בארץ ישראל. שירמן החל לעבוד במכון מייד עם היווסדו ועד לשנת 1942, לצדם של ברודי, מנחם זולאי ומאוחר יותר גם אברהם מאיר הברמן. במסגרת עבודתו במכון, נסע שירמן, בשנים 1931 ו-1932, לאוניברסיטת קיימברידג', לשם העתקת קטעי שירה ופיוט מהגניזה הקהירית.
בשנים 1932–1933 נענה להזמנתו של אלבוגן, והרצה בבית המדרש הגבוה למדעי היהדות, אולם בשנת 1934 נאלץ לעקור בשנית, הפעם מגרמניה הנאצית, ועלה לארץ ישראל.
בשנת 1942 הוא הוזמן להרצות באוניברסיטה העברית, על שירת ימי הביניים. בשנת 1954 הוא מוּנה לפרופסור. שנה אחר כך (בשנת 1955) החל לערוך את הרבעון למדעי היהדות "תרביץ", עד לשנת 1969. בשנת תשט"ו-1955 נבחר לחבר האקדמיה ללשון העברית (משנת תרצ"ט היה חבר בוועד הלשון העברית), וכיהן שם במספר ועדות.
בשנת תשי"ז זכה שירמן בפרס ישראל למדעי היהדות, על ספרו "השירה העברית בספרד ובפרובאנס". בשנת 1960 נבחר לשמש ראש המכון למדעי היהדות ובשנת 1964 נבחר כחבר האקדמיה הלאומית הישראלית למדעים. בין לבין, הוזמן שירמן כמרצה אורח למוסדות אקדמיים באירופה ובארצות הברית. בין היתר ביקר גם בלנינגרד וניתנה לו אפשרות לעיין, באופן חלקי, במספר כתבי יד מאוסף פירקוביץ' שבספרייה הציבורית של העיר. בשנת 1967 יזם, יחד עם עזרא פליישר, את הקמת "המפעל לחקר השירה והפיוט", באקדמיה הלאומית הישראלית למדעים, במטרה לקטלג את קטעי השירה והפיוט ששרדו בגניזה. בשנת 1968 הוא פרש מהוראה פעילה באוניברסיטה, וכיהן כפרופסור אמריטוס. בשנת תשכ"ח זכה בפרס לייב יפה של קרן היסוד לעבודות מחקר על ספרו "שירים חדשים מן הגניזה".
שירמן נפטר בפריז, בשנת 1981, והובא לקבורה בירושלים. חלק ממפעל הנצחתו כולל ערב לזכרו, פרסום הביבליוגרפיה המעודכנת שלו ומאמר אחד שלו במהדורה מצומצמת. כמו כן, יצאה לאור חוברת מאמרים לזכרו ונקרא על שמו רחוב בעיר באר שבע.
עבודתו ומחקריו.
בגרמניה.
עבודתו המדעית הראשונה שפורסמה (בשנת 1930) הייתה כאמור עבודת הדוקטורט שלו, על תרגומו של אלחריזי למחברות אלחרירי.
בשנת 1931 ובשנת 1932, שהה כאמור באוניברסיטת קיימברידג', שם חשף קטעי שירה ופיוט מהגניזה הקהירית, המצויים באוסף טיילור-שכטר ונקראים כיום בשם "הסדרה הישנה". תוך כדי עבודתו על התעודות, ועל מנת שיוכל להשתמש בקטעים מהן, הוא היה למעשה החוקר שסימנן וסידרן לראשונה. בנוסף לעבודתו על "הסדרה הישנה", הוא בדק קטעי גניזה באוסף אחר באוניברסיטת קיימברידג', וגם באוספים נוספים שבווסטמיניסר קולג' בקיימברידג' ובמוזיאון הבריטי בלונדון. בנוסף, הוא בדק את הקטעים השמורים באוניברסיטת אוקספורד, שלא הוכנסו לקטלוג של א. קאולי.
בשנת 1931 הופיע מאמרו הראשון: "Eine hebräisch-italienische Komödie des XVI Jahrhunderts" ("Monatsschrift für Geschichte und Wissenschaft des Judentums" 75 (1931), 97-118), שעסק בקומדיה עברית איטלקית מן המאה השש עשרה, צחות בדיחותא דקידושין ליהודה סומו, שנחשב למחזה העברי הראשון. המחזה יצא לראשונה לאור על ידי שירמן רק בשנת 1946 ובמהדורה שנייה מתוקנת, בשנת 1965. פרסום המאמר ובפרט ההוצאה לאור של המחזה על ידי שירמן, הביאו להתעניינות גוברת הן במחזה והן במחברו. חוקרים נוספים החלו לחוקרו ולפרסם מאמרים אודותיו והוא אף עוּבּד והוצג מספר פעמים בישראל.
בשנת 1933, הוציא שירמן לאור בכרך הראשון של "ידיעות המכון לחקר השירה העברית", מאמר גדול (בגרמנית): "לתולדות השירה העברית באפוליה וסיצילה". שנה אחר כך, זמן קצר לפני עלייתו לישראל בשנת 1934, הוציא שירמן לאור, במסגרת פרסומי המכון לחקר השירה העברית, את פרסומו הראשון בעברית, והוא גם ספרו הגדול הראשון: מבחר השירה העברית באיטליה. הספר מהווה אוסף של 311 שירים מאיטליה, מהמאה התשיעית לתחילת המאה העשרים, ו-102 מתוכם נדפסו בפעם הראשונה, והוא נחשב עד היום לאוסף השירים הטוב ביותר בנושא זה.
שני נושאים אלה, השירה והדראמה העברית באיטליה והשירה העברית בספרד (אותה, כאמור, חקר לראשונה בעבודת הדוקטורט שלו), המשיכו להעסיקו כל חייו.
בישראל.
בין השנים 1936–1945, פרסם שירמן את מאמרו הגדול, שהתפרסם בשלושה כרכים של ידיעות המכון לחקר השירה העברית: "המשוררים בני דורם של משה אבן עזרא ויהודה הלוי". באותה שנה (1936) פרסם בהמשכים את מאמרו הקלאסי על שמואל הנגיד, תוך שהוא נשען ברובו על ניתוח השירים שבדיואן שמואל הנגיד. בשנת 1938 החל לפרסם בהמשכים את מאמרו "חיי יהודה הלוי", בכתב העת "תרביץ". גם את ממצאי מאמר זה ביסס שירמן על ניתוח השירים שבדיואן של יהודה הלוי, אם כי במקביל הוא שאב מידע גם מכותרות השירים, שכתבו עורכי הדיואן, וממספר קטעים מהגניזה. המאמר חולל מהפכה בכל מה שהיה ידוע עד לאותו הזמן על יהודה הלוי ונחשב עד היום למופת של מחקר אמין. מרבית הממצאים שנקבעו על ידי שירמן רלוונטיים גם כיום, אם כי הודות לגילוי האוטוגראפים של יהודה הלוי בגניזה הקהירית על ידי ש. ד. גויטיין, המידע הקשור לימיו האחרונים של ר' יהודה הלוי חייב היה בעדכון. שירמן עשה זאת בדרך של תיקון מספר טעויות במאמרו וכתיבת מאמר נוסף, משלים.
בשנת 1954 הוציא לאור את הכרך הראשון של השירה העברית בספרד ובפרובאנס, הכולל מבחר שירים של גדולי משוררי ספרד (משנת 950 לשנת 1150). לשירים נלוו מבואות וביאורים של שירמן. בשנת 1956 הוציא לאור את הכרך השני, הכולל מבחר שירים של גדולי משוררי ספרד ופרובאנס (משנת 1150 לשנת 1492). לדברי תלמידו, החוקר עזרא פליישר: "המדובר בספר שעשה למען הכרתה והערכתה של שירתנו בספרד בקרב השכבות של העם יותר מכל מהלך פופולריזטורי שבוצע אצלנו מעולם. השירה העברית ידועה אצלנו לקהל הרחב כמעט באופן בלעדי בזכותו".
במהלך חופשות הקיץ של שנים 1957–1959, ביקר שירמן בשנית באוניברסיטת קיימברידג' וסייע בפירוקם של 26 ארגזים, שהם כיום חלק מ"הסדרה החדשה" של תעודות הגניזה הקהירית. לאחר עיון ממושך בתעודות שבארגזים אלה ובאלפי צילומים של "הסדרה הישנה" בקיימברידג' ובצילומי תעודות ממקומות נוספים בעולם, בהם קיימים מסמכי הגניזה, הצליח שירמן לזהות מאות פיוטים, שירי חול ומקאמות של רבנים ומשוררים, מפורסמים ואלמונים, הן מצפון אפריקה והן מספרד. השירים וכן מבוא לכל משורר יצאו לאור בשנת 1965, בספרו: שירים חדשים מהגניזה.
בנוסף לספרים ומאמרים שנזכרו לעיל, כתב שירמן עשרות רבות של מאמרים נוספים, וכן עשרות ערכים אנציקלופדיים, בעיקר בתחומי התמחותו, כאמור באנציקלופדיה יודאיקה, וכן באשכול - אנציקלופדיה ישראלית ובאנציקלופדיה העברית. כמו כן הוציא לאור שני קובצי שירה שיועדו לתלמידי בתי הספר התיכוניים: קובץ השירים הראשון, היה של שלמה אבן גבירול, והוא יצא לאור בשנת תש"ד; הקובץ השני, משירי יהודה הלוי, יצא לאור בשנת תש"ו. כל אחד מהקבצים זכה לשלוש מהדורות ולכעשרים הדפסות חוזרות.
בשנת 1972 נענה שירמן לבקשתה של קבוצה מתלמידיו, ידידיו ומוקיריו של חוקר התפילה יצחק משה אלבוגן, והסכים לעמוד בראש צוות מומחים שיתרגם לעברית את ספרו הנודע: התפילה בישראל בהתפתחותה ההיסטורית, ויעדכן את כל מה שנתחדש מאז פורסם לראשונה בגרמנית, בשנת 1913 ועודכן פעם אחת בלבד, בשנת 1924. בנוסף לעמידתו בראש צוות המומחים, דאג שירמן לעדכן בעצמו את פרקי הספר העוסקים בשירת הקודש (בעיקר מה שנכתב על הפיוטים והסליחות ועל הפייטנים הראשונים מארץ ישראל, מאשכנז ומספרד). הספר במתכונותו החדשה נותר רלוונטי עד היום ונחשב ספר חובה לכל חוקר בתחום התפילה והפיוט, ולמעשה אין כמעט מחקר או ספר היוצאים בתחום זה שאינם מתבססים עליו או מאזכרים אותו, לרבות מחקרים וספרים שיצאו מתוך זרם היהדות האורתודוקסית. עדות לחשיבות מהדורה זו ולמידת הרלוונטיות שלה גם כיום, היא העובדה שבשנת 1993, עשרים שנה כמעט לאחר צאתה לאור, תורגמה המהדורה העברית לשפה האנגלית, על ידי ריימונד פ' שיינדלין (Raymond P. Scheindlin).