I siste halvdel av 1900-tallet ble klubbens håndballaktivitet gradvis mer fremgangsrik enn fotballutøvelsen. Klubbens herrelag i håndball rykket opp til første divisjon (som var toppnivået innen norsk håndball). Også klubbens damelag markerte seg; blant annet vant Skiens Ballklubb dameklassen i håndballcupen som ble arrangert i Telemark i 1969. Herrelaget fortsatte å holde seg blant landets beste håndballag. Da både Skiens Ballklubb og skienslaget Herkules hadde kvalifisert seg til herrenes eliteserie for sesongen 1996-1997, diskuterte de to lagene et samarbeid, men klarte ikke å bli enige.