13 Temmuz 2006 tarihinde Klinsmann sözleşme yenilememe kararı aldıktan sonra Almanya teknik direktörlüğü için Löw'ün adı geçti. İki yıllık sözleşme imzalayan Löw, Klinsmann'ın ofansif oyun tarzını devam ettirmek istediğini açıkladı. Löw, özellikle oyuncularının topu ayağında fazla tutmasından endişeliydi. Görev süresince bunu azaltarak oyun hızını artırdı. Euro 2008'i kazanmak istediğini söyledi. Takımın başındaki ilk maçına 16 Ağustos 2006 tarihinde Gelsenkirchen'de İsveç karşısında çıktı. Miroslav Klose'nin attığı iki gol ve Bernd Schneider'in bir golüyle maçı 3-0 kazandılar.