Pierwszą dużą imprezą w karierze Karjalainena były mistrzostwa świata w Lahti w 1978 roku. Jouko po skokach znajdował się na czwartej pozycji, jednak w biegu zaprezentował się słabiej i ostatecznie został sklasyfikowany na ósmym miejscu. Pierwszy sukces osiągnął dwa lata później, podczas igrzysk olimpijskich w Lake Placid. W rozgrywanych tam zawodach indywidualnych awansował z siódmego miejsca po skokach na drugie po biegu. Lepszy okazał się tylko reprezentant NRD Ulrich Wehling, a trzecie miejsce zajął jego rodak Konrad Winkler. W 1981 roku wygrał zawody w kombinacji podczas Holmenkollen ski festival. Rok później wystąpił na mistrzostwach świata w Oslo, gdzie indywidualnie był czwarty, przegrywając walkę o brązowy medal z Uwe Dotzauerem z NRD. W zawodach drużynowych wspólnie z Rauno Miettinenem i Jormą Etelälahtim wywalczył srebrny medal. Po skokach zajmowali trzecie miejsce, z niewielką stratą do zajmujących drugie miejsce Norwegów. W biegu zdołali ich wyprzedzić, jednak po podliczeniu punktów okazało się, że Norwegowie i Finowie uzyskali identyczny wynik punktowy (1243,60 pkt), wobec czego srebrne medale przyznano obu drużynom.