Faktisk hadde Brundage vært en av de mest prominente nazisympatisører i USA selv etter at utbruddet av den andre verdenskrig, og kravet om at han ble fjernet som president for IOC hadde vært en av de tre uttrykte målene til Olympic Project for Human Rights (Olympiske prosjektet for menneskerettigheter).