De Baillet-Latour se convirtió en miembro del COI en 1903 y, posteriormente, cofundó el Comité Olímpico belga.