Największy sukces w karierze Sjef Janssen osiągnął w 1947 roku, kiedy zdobył brązowy medal w wyścigu ze startu wspólnego podczas mistrzostw świata w Reims. W zawodach tych wyprzedzili go jedynie jego rodak Theo Middelkamp oraz Belg Albert Sercu. W tej samej konkurencji był też dwudziesty na rozgrywanych dwa lata później mistrzostwach świata w Kopenhadze. Kilkakrotnie startował w Tour de France, najlepszy wynik osiągając w 1947 roku, kiedy zajął 32. miejsce. Rok wcześniej wziął udział w Vuelta a España, ale nie ukończył rywalizacji. Nigdy nie wystąpił na igrzyskach olimpijskich. W 1954 roku zakończył karierę.