Les Jeux olympiques de 1940 ne peuvent pas avoir lieu à cause de la guerre. Brundage cherche donc à organiser des Jeux de l'hémisphère ouest qui pourraient se disputer malgré le climat international difficile. Il est un des leaders de la fondation des Jeux panaméricains, participant aux premières discussions en août 1940 à Buenos Aires (Argentine). À son retour, il renomme l'Association olympique américaine en Fédération sportive des États-Unis d'Amérique (, USASF), qui mettra en place le Comité olympique des États-Unis (l' ne sera pas convoqué). Il crée un autre comité pour permettre la participation américaine aux Jeux panaméricains. Brundage devient un des premiers membres de la commission internationale des Jeux panaméricains. La première édition prévue à Buenos Aires est cependant reportée à cause de la guerre pour avoir lieu finalement en 1951, en présence de Brundage. Malgré son rôle dans leur fondation, Brundage voit les Jeux panaméricains comme une imitation des Jeux olympiques sans lien réel avec l'Antiquité.