Największy sukces w karierze Karl-Heinz Marsell osiągnął w 1961 roku, kiedy wywalczył złoty medal w wyścigu ze startu zatrzymanego zawodowców podczas mistrzostw świata w Zurychu. W zawodach tych bezpośrednio wyprzedził Belga Paula Depaepe oraz Szwajcara Maxa Meiera. Na rozgrywanych trzy lata później mistrzostwach świata w Paryżu Marsell zajął trzecie miejsce w tej samej konkurencji, ulegając jedynie Hiszpanowi Guillermo Timonerowi i Belgowi Leo Proostowi. Wielokrotnie zdobywał medale torowych mistrzostw kraju, w tym dwa złote. Nigdy jednak nie wystąpił na igrzyskach olimpijskich.