Kyburz gewann 2009 in Italien die Junioren-Weltmeisterschaft im Sprint. 2011 sorgte er für Aufsehen, als er in Porvoo den Weltcupauftakt gewann. Im Laufe der Weltcupsaison kam er zudem zweimal auf einen dritten Platz. In der Gesamtwertung belegte er Rang vier hinter Daniel Hubmann, Thierry Gueorgiou und Matthias Merz. Bei den Weltmeisterschaften 2011 in Frankreich gewann Kyburz ausserdem seine Sprint-Qualifikation, im Finale kam er aber nur auf den 20. Platz.