Quelques jours plus tard, il décide de quitter son entraîneur Laurent Depouilly en janvier 2005 pour retrouver son premier entraîneur Véronique Guyon, juste une semaine avant les championnats d'Europe de janvier 2005 à Turin. Malgré ce changement précipité, il est vice-champion européen derrière le russe Evgeni Plushenko. Aux championnats du monde de mars 2005 à Moscou, il va redescendre du classement mondial en ne prenant qu'une étonnante sixième place. La mauvaise prestation qu'a présentée Brian a sans doute été provoquée par l'abandon de son principal rival Evgeni Plushenko après le programme court, qui lui ouvrait ainsi les portes de la médaille d'or. Après l'annonce de l'abandon du russe, Brian n'a semble-t-il pas réussi à gérer la pression et une chute sur un saut au début de son programme libre va le déstabiliser tout au long de son programme et le faire tomber plusieurs fois. En juin 2005, il quitte à nouveau Véronique Guyon pour préparer la saison olympique à venir avec un entraîneur russe, Andrei Berezintsev.