Rasmussen var en av favorittene til å vinne klatretrøyen i Tour de France 2005. I det samme løpet vant han sin hittil største seier i karrièren da han utklasset konkurrentene på den harde 9. etappen. Han vant også klatretrøyen sammenlagt dette året.