Nel 1906 Diem iniziò la sua carriera olimpica, guidando il contingente di atleti tedeschi ai Giochi olimpici intermedi: per ragioni non del tutto chiare, la delegazione tedesca entrò per prima nello Stadio Panathinaiko durante la sfilata degli atleti. Nel 1909, i V Giochi olimpici dell'estate 1912 vennero assegnati a Stoccolma, ma il Comitato Olimpico Internazionale affidò alla Germania l'organizzazione dei Giochi della VI Olimpiade del 1916, con sede a Berlino. Nel 1912 fu promotore della creazione del Brevetto Sportivo Tedesco, prendendo ispirazione da un premio svedese visto nella capitale svedese.