Første gang Oliver Kahn var med det tyske landslaget, ble han kalt inn som back-up før VM i 1994. Tysklands førstekeeper på denne tiden var Andreas Köpke, som forøvrig sto alle kampene i turneringen. Men Kahn fikk omsider sin landslagsdebut i en kamp mot Sveits 23. juni 1995. Kampen endte 2-1 til tyskerne. I EM 1996 i England var Kahn igjen med som reserve da Tyskland gikk helt til topps i mesterskapet. Da VM i 1998 ble avholdt i Frankrike, var Kahn igjen med som innbytter, men etter mesterskapet gjorde Köpke det kjent at han skulle legge opp, og Kahn tok hans plass som førstekeeper på landslaget.