Für Schweden nahm Ivarsson im Juniorenbereich an den U18-Junioren-Europameisterschaften 1980 und 1981 teil. Im Seniorenbereich stand er im Aufgebot seines Landes bei den Olympischen Winterspielen 1988 in Calgary. Bei allen drei Turnieren gewann er mit seiner Mannschaft jeweils die Bronzemedaille.