感冒又落后了五分钟，因此完全丧失了夺冠的希望。虽然在最后一周里他在阿尔卑斯山的阶段里奋发，在剩下的两次计时赛中仅败给阿姆斯特朗，但是最后他只得了第四名。这是他到当时为止在环法自行车赛中最低的成绩。在雅典的奥林匹克夏季运动会上他未能保持其冠军地位。保罗·贝蒂尼夺冠。在计时赛中乌尔里希仅获第七名。
2005年.2005年春乌尔里希与其女友分手。在环瑞士自行车赛上他得第三名。在环法自行车赛开始时阿姆斯特朗宣布此后将退役，因此这是乌尔里希最后一次赶上阿姆斯特朗的机会，但是最后他只得