בקיץ 1998 חצה ירמיס את הכביש אל היריבה העירונית המושבעת, באיירן מינכן, בה שיחק עד לתום קריירת המשחק הפעיל שלו בשנת 2006. עם באיירן מינכן זכה ירמיס בשש אליפויות בבונדסליגה, ארבעה גביעים מקומיים, ארבעה סופר-קאפ, זכייה אחת בליגת האלופות בשנת 2001 לאחר ניצחון במשחק הגמר על ולנסיה, ממנו נעדר עקב צבירת כרטיסים צהובים, וזכייה אחת בטורניר הגביע הביניבשתי בשנת 2001, לאחר ניצחון 1-0 בגמר על בוקה ג'וניורס. בשתי העונות האחרונות של ירמיס בבאיירן מינכן, סבל מפציעות רבות ונאלץ לפרוש ממשחק פעיל בגיל 32 בלבד. ירמיס צבר 160 הופעות וכבש שישה שערים במדי באיירן מינכן, כאשר החשוב שבהם היה שער ניצחון על ריאל מדריד בחצי גמר ליגת האלופות, בדרך לזכייה בשנת 2001.