Som spiller tilbragte Klopp store deler av karrieren i Mainz 05, som befant seg i andre divisjon av tysk fotball i tiden etter han signerte for klubben i 1990. Som hardtarbeidende og fysisk sterk spiller var han først benyttet som angrepsspiller, før han ble omskolert til å spille som forsvarsspiller resten av karrieren. Etter at Klopp avsluttet sin karriere som profesjonell fotballspiller i 2001, ble han ansatt som klubbens trener.