Dopo aver chiuso nel 2001 una modesta carriera da calciatore che lo ha visto militare sempre nel , ha intrapreso quella da allenatore, guidando proprio il Magonza e poi e . Con la squadra di Dortmund ha vinto due campionati tedeschi (2010-2011 e 2011-2012), una Coppa di Germania (2011-2012) e due Supercoppe di Germania (2013 e 2014), mentre alle redini dei "Reds" ha vinto una UEFA Champions League, una Supercoppa UEFA, una Coppa del mondo per club FIFA (tutte nel 2019) e un campionato inglese (2019-2020). Ha inoltre disputato due finali di Coppa di Germania (nel 2013-2014 e nel 2014-2015), due di Supercoppa di Germania (nel 2011 e nel 2012), due del Community Shield (nel 2019 e nel 2020), una finale di League Cup (nel 2015-2016), due di UEFA Champions League (nel 2012-2013, con il Borussia Dortmund, e nel 2017-2018, con il Liverpool) e una di Europa League (nel 2015-2016, con il Liverpool).