Han arbeidet fra 1965 til 1981 i hotellbransjen. Fra 1981 besatte han en rekke sentrale posisjoner i ungarsk idrett, blant annet som direktør for Ungarns nasjonalstadion, generalsekretær og president (1989–2010) i Ungarns olympiske komité. Fra 1999 til 2007 var han president i World Olympians Association. Schmitt er siden 1983 medlem av Den internasjonale olympiske komité.