Il a été le sélectionneur de l'équipe nationale d'Allemagne pendant quinze ans, de 2006 à 2021 avec laquelle il remporte notamment la Coupe du monde en 2014 et la Coupe des confédérations en 2017. Le 9 mars 2021, il annonce qu'il ne sera plus sélectionneur de l'équipe nationale d'Allemagne après l'Euro 2020. Le 29 juin 2021, Löw dirige son et dernier match à la tête de la "Nationalmannschaft". Cette ultime rencontre se solde par une défaite en huitième de finale de l’Euro face à l’Angleterre. Il est remplacé par Hansi Flick qui était son adjoint de 2006 à 2014.