I mai 2006 ble han ansatt som ny trener i Borussia Mönchengladbach, og 31. januar 2007 trakk han seg fra jobben etter 14 kamper på rad uten seier. I 2009 hadde han et kort opphold som trener i Bayern München. Han var trener for Bayer Leverkusen i perioden 2009 – 2011. Igjen trener for Bayern München fra 2011. Men han la opp som trener etter å ha vunnet trippelen med Bayern München i sesongen 2012/13.