V srpnu 2004 se Joachim Löw stal asistentem Jürgena Klinsmanna, který po krachu na mistrovství Evropy 2004 převzal trénování národního mužstva. Práci obou dvou měl doplňoval manažer a další bývalý fotbalista Oliver Bierhoff.