Spartas fremste meritter skriver seg fra bandysporten, der klubben hadde Brakerøyabanen som hjemmebane, en arena de delte med nabo og rival Bragerøen. I 1935 ble Sparta tilsluttet Norges Bandyforbund og den lokale bandykretsen. Sparta debuterte i kretsserien i 1935/36-sesongen, vant umiddelbart og spilte seg dermed opp i 2. divisjon. I sesongen 1937/38 fikk Sparta sitt gjennombrudd som bandyklubb. De vant sin 2.divisjonsavdeling, og etter seire i kvalifiseringskamper mot B.14 og Moss var de klare for spill i 1. divisjon. Plassen i den øverste divisjonen ble sikret greit, og ved krigsutbruddet i 1940 ble Sparta regnet blant landets beste lag. Da man startet opp igjen med bandy etter frigjøringen, beholdt Sparta posisjonen blant de bedre norske klubbene. I 1947/48-sesongen kom de til semifinalen i NM, men tapte der 4-2 mot Frigg. Dette kvalifiserte imidlertid Sparta til deltagelse i den svensk-norsk serien som var en årlig turnering mellom de beste norske klubbene og utvalgte svenske lag. Turneringen eksisterte i perioden mellom 1937 og 1940, samt mellom 1946 og 1950. Sparta klarte seg nokså godt mot de presumptivt bedre svenske klubbene og oppnådde hederlige ettmålstap i begge kampene med svensk motstand.