Klinsmann begynte å spille fotball åtte år gammel. I begynnelsen spilte han på alle plasser, også som målvakt. Han begynte å spille profesjonelt da han var 17 år gammel, i Stuttgarter Kickers, som spilte i andre divisjon. I 1984 gikk han til VfB Stuttgart i første divisjon.