Danach widmete Podbielski seine Aktivität dem Sport. 1909 wurde er Präsident des Deutschen Reichsausschusses für Olympische Spiele (DRAfOS) und wirkte 1912 als Leiter der deutschen Olympiamannschaft bei den Olympischen Spielen in Stockholm. Als Vorstandsmitglied im "Union-Klub" für Pferderennen wirkte er maßgeblich an der Entstehung der Rennbahn Grunewald 1909 mit und sicherte die Finanzierung des im Inneren der Rennbahn errichteten und 1913 fertiggestellten Deutschen Stadions, damals im Grunewald auf dem Gelände des heutigen Olympiastadions gelegen. Dort sollten die Olympischen Spiele 1916 ausgetragen werden, die wegen des Ersten Weltkriegs nicht stattfanden. Eine im Stadion befindliche markante Eiche wurde anlässlich seines 70. Geburtstags 1914 in seinem Beisein "Podbielskieiche" benannt.