Malgré la construction du mur de Berlin dès 1961, qui augmentent les tensions entre l'Est et l'Ouest, Brundage parvient à maintenir l'équipe unifiée pour les Jeux olympiques d'été de 1964 à Tokyo, au Japon. Les Allemands de l'Est, soutenus par les membres du CIO originaires d'Europe de l'Est, souhaitent cependant avoir leur propre équipe. La Fédération internationale d'athlétisme amateur (dirigée par le marquis d'Exeter, ancien Lord Burghley) reconnaît une équipe est-allemande séparée à partir des Championnats d'Europe d'athlétisme 1966, ce qui représente un progrès important dans leur quête. Les Allemands de l'Est font de leur mieux pour obtenir le soutien de Brundage et, à la session du CIO de Mexico en 1968, ils reçoivent une place de membre à part entière. Ils peuvent participer aux Jeux avec leur propre équipe et leur propre drapeau, sous lequel ils apparaissent quatre ans plus tard en Allemagne de l'Ouest lors des Jeux olympiques de Munich. Brundage soutient finalement une équipe est-allemande individuelle tout en considérant cette séparation comme une défaite pour les idéaux olympiques.