Som seksåring startet Oliver Kahn sin tid i Karlsruher SC. Hans far, Rolf, hadde spilt for klubben i årene 1962 til 1965. Han startet i klubbens ungdomsakademi som utespiller, men begynte etterhvert som keeper. Før sesongen 1987/1988 ble Kahn flyttet opp i klubbens førstelags-tropp, som på dette tidspunktet var i Tysklands øverste divisjon. 27. november 1987 fikk han sin senior- og førstelags-debut. I 1990 overtok Kahn etter tidligere førstekeeper Alexander Famulla.