6月12日举行的德国足协盃决赛中击败拜仁慕尼黑，赢得冠军。2003–04赛季，他带领云达不莱梅夺得双冠王，即同时赢得德国足球冠军以及德国足协盃冠军。他个人也获选为德国足球年度最佳教练。2008–09赛季，他带领球队打进欧洲足总盃的决赛，可惜在决赛中败给乌克兰球队顿涅茨克矿工。这场比赛的10天后，云达不莱梅在德国足协盃决赛击败拜耳勒沃库森，夺得队史第六座，也是沙夫执教生涯的第三座德国足协盃冠军。2009年12月，沙夫与云达不莱梅续约，但球队战绩却每况愈下。2013年5月15日，在确定以第14名的成绩结束赛