V roce 1906 začíná Diemova olympijská kariéra. Byl vedoucím německé výpravy na tzv. olympijských mezihrách v Aténách. V roce 1909 byl Diem ujištěn, že Berlín získá pořadatelství Letních olympijských her 1916. Diem se okamžitě pustil do příprav her. Mezitím, v roce 1912, inicioval vznik Německého sportovního odznaku po vzoru švédského národního ocenění udělovaného na hrách ve Stockholmu.