Największym osiągnięciem w karierze Juhaniego Kärkinena jest zdobycie złotego medalu podczas zawodów na normalnej skoczni, w czasie Mistrzostw Świata w Narciarstwie Klasycznym 1958 w Lahti. Zwyciężył on także podczas zawodów Turnieju Czterech Skoczni w Oberstdorfie w 1960.