Löw begynte å spille for 2. Bundesliga-klubben SC Freiburg i 1978. Han kom tilbake til klubben to ganger (i 1982 og 1985). I 1980 gikk Löw til VfB Stuttgart i Bundesliga, men fikk bare fire kamper for laget, uten å score mål. Sesongen 1981–82 spilte Löw for Eintracht Frankfurt (24 kamper, 5 mål), men gikk tilbake til Freiburg året etter. I 1982–83 scoret han 8 mål på 34 kamper, og i 1983–84 17 mål på 31 kamper i 2. Bundesliga. Deretter returnerte han til Bundesliga med Karlsruher SC, igjen uten suksess (2 mål på 24 kamper). Senere spilte han ytterligere fire sesonger for Freiburg (116 kamper, 38 mål). Löw avsluttet karrieren i Sveits, der han spilte for FC Schaffhausen (1989–1992) og FC Winterthur (1992–1994).