Трижды участвовал в олимпийских играх. На Олимпиаде в Турине в 2006 году завоевал бронзовую медаль в эстафете 4×10 км, а в гонке на 15 км занял 6-е место. На Олимпиаде-2010 в Ванкувере впервые стал олимпийским чемпионом в эстафете. В гонке на 30 км (15+15) долгое время шёл первым, с максимальным отрывом от группы преследователей в 25 секунд, однако не удержал лидерство и в итоге занял третье место. В финальной гонке на 50 км Ольссон также был третьим. На финише между ним и швейцарцем Дарио Колонья начала разгораться борьба, когда Колонья на повороте перед финальной прямой попытался сравняться с Ульссоном. Но в этот самый момент Колонья упал, а Ульссон таким образом выиграл бронзу. В 2014 году в олимпийском Сочи Ульссон второй раз в карьере стал олимпийским чемпионом в эстафете, а также выиграл серебряную медаль в гонке на 15 км классикой.