999年10月，勒夫返回德国，出任老东家卡尔斯鲁厄主帅，但因未能带领球队保级而遭到解雇。2000年12月，他再次前往土耳其执教阿达纳，但3个月后再度因战绩不佳而下课。2001年10月，勒夫出任奥地利球队蒂罗尔因斯布鲁克主教练。次年，勒夫带领球队问鼎奥超联赛冠军。然而，蒂罗尔因斯布鲁克随后因财政问题宣布破产，勒夫再度赋闲在家。2003年6月，他被聘请执教奥超卫冕冠军奥地利维也纳。
国家队.2004年8月1日，德国足协出人意料地宣布勒夫将担任德国国家队的助理教练，辅助球队的新主帅尤