I 1995–96 var han assistenttrener for VfB Stuttgart under Rolf Fringer. Da Fringer overtok ansvaret for Sveits' landslag, overtok Löw etter hvert hovedansvaret. Laget vant den tyske cupen, og nådde året etter finalen i cupvinnercupen, Der de tapte 0–1 mot Chelsea. Dette året endte de på fjerdeplass i Bundesliga.