W 1999 roku Guillaume brał udział w mistrzostwach świata w Ramsau, gdzie indywidualnie był dziewiąty w Gundersenie, a w sprincie zajął 28. miejsce. W sztafecie Francuzi zajęli czwartą pozycję, przegrywając walkę o brązowy medal z reprezentantami Rosji o zaledwie 0,1 sekundy. Ostatnią dużą imprezą w jego karierze były mistrzostwa świata w Lahti w 2001 roku. Osiągnął tam jednak słabe wyniki: indywidualnie plasował się poza czołową trzydziestką, a wraz z kolegami zajął dziewiątą pozycję w sztafecie. Ostatni oficjalny występ zanotował 19 stycznia 2002 roku w Saalfelden am Steinernen Meer, gdzie był ósmy w zawodach Pucharu Świata B rozegranych metodą Gundersena. W 2002 roku zakończył karierę.