האולימפיאדה האחרונה שלו כנשיא, אולימפיאדת מינכן בשנת 1972, עמדה בסימן מחלוקת: באזכרה לאחר רצח 11 הספורטאים הישראליים על ידי טרוריסטים, גינה ברנדג' בנאומו את הפוליטיזציה של הספורט, אך סירב לבטל את המשך משחקי מינכן, והצהיר כי "המשחקים חייבים להימשך". למרות שבשעתו, זכתה הצהרתו של ברנדג' למחיאות כפיים רבות על ידי הצופים באצטדיון, זכתה בהמשך החלטתו, להמשיך את המשחקים, לביקורת חריפה, ונטען כי פעולותיו בשנת 1936 וב-1972 מהוות עדות לאנטישמיות. לאחר שפרש מתפקיד נשיא הוועד האולימפי ב-1972, נשא לאישה נסיכה גרמניה ומת כעבור שלוש שנים ב-1975.