Desde 2006 hasta Junio de 2021 fue el director técnico de la selección alemana, a la que condujo a la victoria en la Copa Mundial de Fútbol de 2014 de Brasil y en la Copa FIFA Confederaciones 2017, celebrada en Rusia. Además, bajo su dirección los alemanes consiguieron llegar a la final de la Eurocopa 2008,y a las semifinales de Copa Mundial de Fútbol de 2010 y la Eurocopa 2012. Anteriormente, había sido entrenador asistente de la selección en la Copa FIFA Confederaciones 2005 y la Copa Mundial de Fútbol de 2006.