Zu den Olympischen Spielen 1912 reiste er als Kapitän der deutschen Mannschaft nach Stockholm und führte die Mannschaft ins Stadion. Während der Spiele wurde die Ausrichtung der nächsten Olympischen Spiele 1916 nach Berlin vergeben. Auf Vorschlag des Vorsitzenden Victor von Podbielski wurde Diem im November 1912 vom „Deutschen Reichsausschusses für Olympische Spiele“ (DRAfOS) zum Generalsekretär für die Olympischen Spiele gewählt. Der hauptamtliche Sportfunktionär meldete sich trotz seiner verantwortungsvollen Position bei Beginn des Ersten Weltkriegs freiwillig zum Fronteinsatz. Wegen des Krieges fanden die Spiele schließlich nicht statt. Der DRAfOS wurde 1917 in Deutscher Reichsausschuss für Leibesübungen (DRAfL) umbenannt und Diem zu seinem Generalsekretär ernannt.