Pierwszy sukces w karierze Jef Scherens osiągnął w 1931 roku, kiedy zdobył brązowy medal w sprincie indywidualnym zawodowców podczas torowych mistrzostw świata w Kopenhadze. W zawodach tych wyprzedzili go jedynie Duńczyk Willy Falck Hansen oraz Francuz Lucien Michard. Na siedmiu kolejnych mistrzostwach Belg zdobywał medale w tej konkurencji: złote podczas MŚ w Rzymie (1932), MŚ w Paryżu (1933), MŚ w Lipsku (1934), MŚ w Brukseli (1935), MŚ w Zurychu (1936) i MŚ w Kopenhadze (1937) oraz srebrny na MŚ w Amsterdamie (1938). Swój ostatni medal Scherens wywalczył już po zakończeniu II wojny światowej, na mistrzostwach świata w Paryżu w 1947 roku blisko 40-letni Belg ponownie zwyciężył w sprincie zawodowców. Pod względem zdobytych tytułów w sprincie Scherens zajmuje drugie miejsce w historii ex aequo z Włochem Antonio Maspesem. Rekordzistą jest Japończyk Kōichi Nakano z dziesięcioma zwycięstwami. Ponadto Jef Scherens wielokrotnie zdobywał medale torowych mistrzostw Belgii, w tym szesnaście złotych. Startował również w wyścigach szosowych, ale bez większych sukcesów. Nigdy nie wystąpił na igrzyskach olimpijskich. Na jego cześć od 1963 roku w Leuven organizowany jest wyścig Grote Prijs Jef Scherens.