Blessé en début de saison 2004, il fait son retour en janvier 2004 à Kitzbühel avec une de son combiné. Tout proche d'un podium lors de la descente de Garmisch avec une Eberharter, Fritz Strobl et Fattori, Défago (amputé d'une moitié de saison) termine à la du général. Lors de la saison 2005, il réalise alors sa meilleure saison en Coupe du monde, il compte 12 top-10 dont trois podiums ( du combiné de Wengen, du super G de Garmisch et du super G de Kvtfjell), il termine au du général avec 684 points et au du combiné derrière Benjamin Raich et Kjus. Durant cette saison, il croit remporter son deuxième succès en Coupe du monde lors du combiné de Val d'Isère mais sa victoire est ensuite annulée après qu'un responsable de la FIS jugea la hauteur des plaques sous la fixation des skis non conforme au règlement, la victoire revenant à Walchhofer. La fédération suisse de ski déposa alors un dossier au Tribunal arbitral du sport, qui donnera raison à la FIS en août 2006 en appel. Aux mondiaux 2005, il ne monte cependant pas sur un podium, malgré de bonnes prestations : il prend la de la descente, la du super G, la du géant et la du combiné.