Klinsmann hadde en innholdsrik landslagskarriere. Han debuterte for i 1987. Han spilte i Sommer-OL 1988, der Tyskland tok bronse. Han spilte i europamesterskapene i 1992, da Tyskland kom til finalen. Klinsmann ble også kåret til turneringens beste spiller i 1996, da Tyskland ble europamestre. Han deltok også i tre verdensmesterskap som spiller, i 1990 (da Tyskland ble verdensmestre), 1994 og 1998. Han avsluttet landslagskarrieren etter VM 1998.