Após a aceitação da proposta pelo Congresso, era necessário escolher uma data para os primeiros Jogos Olímpicos modernos. Coubertin sugeriu que os Jogos fossem realizados em Paris simultaneamente com a Exposição Mundial de Paris em 1900. Temendo que os seis anos de espera pudessem arrefecer o interesse público, os congressistas optaram por realizar os Jogos inaugurais em 1896. Com uma data estabelecida, os membros do Congresso voltaram sua atenção para a seleção de uma cidade-sede. Nos anos seguintes, tanto Coubertin quanto Dimítrios Vikélas iriam oferecer lembranças do processo de seleção que contradiziam a ata oficial do congresso. A maioria dos relatos afirmam que vários congressistas primeiramente propuseram Londres como o local, mas Coubertin discordou. Após uma breve discussão com Vikélas, que representou a Grécia, Coubertin sugeriu Atenas. Vikélas fez a proposta oficial de Atenas em 23 de junho e, como a Grécia tinha sido o lar de origem dos Jogos Olímpicos, o Congresso aprovou por unanimidade a decisão. Vikélas foi então eleito o primeiro presidente do recém-criado Comitê Olímpico Internacional (COI).