Torgils Knutsson forsøkt etter best evne å beherske hertugene, men ga opp og oppløst formynderregjeringen i 1303 for å innsette en ny regjering underlagt kong Birger. De to hertugene hadde egne militære ressurser i hertugdømmene og var en makt utenfor kontroll av den svenske kongemakten eller den nye regjeringen. Kongen og marsken tok grep i 1304, tvang Erik og Valdemar til å signere et dokument som i praksis frarøvet dem full råderett i hertugdømmene. Forbitret over dette flyktet Erik og Valdemar vestover til Norge.