Han debuterte i VM i orientering i 1995. I tyske Detmold ble han nummer seks på kortdistansen og var med på det svenske laget som tok bronse på stafetten. Ivarsson løp tredje etappe på laget som ellers besto av Lars Holmqvist, Jimmy Birklin og Jörgen Mårtensson. Som ankermann gjentok Ivarsson bedriften og bidro til ny bronsemedalje i stafett under verdensmesterskapet i skotske Inverness i 1999. Denne gangen var Birklin, Håkan Eriksson og Jörgen Olsson de øvrige på laget som ble slått av Norge og Finland i de britiske skogene.