Skiant depuis l'âge de dix ans, Ulvang fait ses débuts dans la Coupe du monde en février 1984 à Falun (), obtient son premier podium en janvier 1986 à Bohinj sur un cinq kilomètres, puis sa première victoire trois ans plus tard au quinze kilomètres classique de Kavgolovo. En 1990, il réalise l'exploit de remporter le classement général de la Coupe du monde sans gagner la moindre course (5 deuxièmes places), avec seulement un point d'avance sur le quintuple vainqueur de la compétition Gunde Svan. Auparavant, il a gagné sa première médaille olympique, en bronze, sur le trente kilomètres à Calgary en 1988, où il est aussi quatrième et septième en individuel. Aux Championnats du monde 1987, son premier grand rendez-vous, il a obtenu la médaille de bronze sur le relais. Deux ans plus tard, aux Mondiaux de Lahti, il se pare d'argent au trente kilomètres et de bronze au quinze kilomètres classique.