W 1912 roku był kapitanem niemieckiej drużyny olimpijskiej na Letnie Igrzyska Olimpijskie 1912 w Sztokholmie. Po zakończeniu igrzysk ogłoszono decyzję o przyznaniu organizacji kolejnej olimpiady w 1916 roku Berlinowi. Na wniosek przewodniczącego "Deutscher Reichsausschuss für Olympische Spiele" Victora von Podbielskiego (1844–1916) Diem został sekretarzem generalnym komitetu organizacyjnego. Pomimo pełnienia tej funkcji, Diem zgłosił się w 1914 roku na ochotnika do wojska. Igrzyska w Berlinie zostały ostatecznie odwołane z powodu trwającej wojny.