I oktober 2001 ble Löw trener for FC Tirol Innsbruck, og ledet klubben til østerriksk mesterskap i 2002. Samme år gikk klubben konkurs og ble oppløst, og Löw var igjen uten arbeid. Hans neste jobb var i Austria Wien (juni 2003 – mars 2004), før han overraskende ble ansatt som assistenttrener for det tyske landslaget under hovedtrener Jürgen Klinsmann 1. august 2004.