Największy sukces w karierze Josef Ripfel osiągnął w 1968 roku, kiedy wspólnie z Erikiem, Tomasem i Göstą Petterssonem zdobył brązowy medal w drużynowym wyścigu na dochodzenie podczas torowych mistrzostw świata w Montevideo. Był to jedyny medal wywalczony przez Ripfela na międzynarodowej imprezie tej rangi. W 1968 roku wystartował również na igrzyskach olimpijskich w Meksyku, gdzie rywalizację w wyścig na 1 km zakończył na 22. pozycji. Startował także w wyścigach szosowych, zdobywając między innymi dziewięć tytułów mistrza Szwecji.