Como presidente del "Amateur Athletic Union" desde 1928 y del Comité Olímpico Estadounidense desde 1928 hasta 1953, se opuso firmemente al boicot de los Juegos Olímpicos de Berlín 1936 organizados por el gobierno nazi, a pesar de que las leyes de Núremberg suponían una violación de la carta olímpica.