Scholl spilte for Karlsruher SC (fra 1982 til 1992) før han gikk til Bayern München i juli 1992, der han ble resten av karrieren.