בשנת 1979, כאשר היה בן 32, חתם מילר בבאיירן מינכן, כמחליפו של ספ מאייר שפרש בגין תאונת דרכים, והחל להתחרות על המקום בהרכב עם השוער ואלטר יונגהאנס, הצעיר ממנו ב-11 שנים. עם באיירן מינכן זכה מילר בשתי אליפויות הבונדסליגה ובשני גביעים מקומיים, כאשר הוא ויונגהאנס משחקים לסירוגין בהרכב הקבוצה, הן בזירה המקומית והן בזירה האירופית. בעונת 1982 הגיעה באיירן מינכן לגמר גביע אירופה לאלופות, בו הפסידה לאסטון וילה, במשחק בו מילר פתח בהרכב. בשנת 1984 פרש מילר ממשחק פעיל עם 48 הופעות במדי באיירן מינכן, לאחר שאיבד את מקומו בהרכב לשוער הבלגי ז'אן-מרי פפאף, שהגיע במקום יונגהאנס שעבר לשאלקה 04 בשנת 1982.