Omstendighetene var da heller ikke gunstige for Irgens. I 1678 angrep svenskene Røros med plyndring og brente bygninger som resultat. Irgens forsøkte å møte befolkningen på krav om oppreisning, men disse ble stadig utsatt. Bedre ble det ikke av at svenskene i 1679 angrep på ny med samme resultat, om enn med noe mindre økonomisk tap for verket. Dette ledet naturligvis til ytterligere nød for arbeiderne. På tross av at han ikke kunne klandres for ulykken ble ikke omdømmet til Irgens bedre, snarere tvert om.