לאחר המונדיאל עבר ברייטנר לריאל מדריד הספרדית, ובעקבות מהלך זה החליט לפרוש מנבחרת גרמניה. ב-1977 הוא חזר לגרמניה, לקבוצת איינטרכט בראונשווייג, וכעבור שנה שב לבאיירן מינכן. ברייטנר נותר מחוץ לסגל הנבחרת הלאומית עד ל-1981, עת שוכנע על ידי מאמנה, יופ דרוואל, לשוב לשחק בה. ברייטנר העפיל עם הנבחרת לגמר מונדיאל 1982 ואף הבקיע שער במשחק הגמר מול נבחרת איטליה, שלא מנע את הפסד נבחרתו. בעקבות הישג זה ברייטנר הוא אחד מארבעה שחקנים שכבשו בשני משחקי גמר של גביע העולם, כאשר השלושה האחרים שעשו זאת הם פלה, ואוה וזינדין זידאן.