ירמיס ערך בכורה בנבחרת גרמניה בשנת 1997, וייצג את גרמניה במונדיאל 1998, יורו 2000, מונדיאל 2002 בו גרמניה הפסידה בגמר לנבחרת ברזיל, ויורו 2004, בו הודחה גרמניה כבר בשלב הבתים עם שתי נקודות בלבד. לאחר כישלון זה, פרש ירמיס מהנבחרת והצהיר שבכוונתו להשקיע את מאמציו בבאיירן מינכן.