Baillet-Latour ble medlem i IOK i 1903, og var med å stifte den belgiske olympiske komité. Han var med i organiseringen av OL i Antwerpen i 1920. Byen fikk tildelingen på kun ett års varsel, i tillegg var Belgia fortsatt preget av den første verdenskrig, men likevel ble det arrangert vellykkede leker.