Jarolímek var en allsidig idrettsutøver, og drev blant annet med friidrett (800 og 5000 meter), skiløping, fotball, svømming, sykling, tennis og hockey. Han var medlem av Tsjekkoslovakias olympiske komité og FIS, og var tsjekkoslovakisk lagleder under fem OL.