Zijn meest omstreden beslissing nam hij in 1972, na het bloedbad tijdens de Spelen van München: hij liet de Spelen doorgaan, hetgeen hij aankondigde met de woorden: "The Games must go on!" ('De Spelen moeten doorgaan'). Na de Olympische Spelen van 1972 trok Brundage zich terug en werd hij opgevolgd door Lord Killanin.