Kong Birger fryktet med rette for sine brødre og deres planer. Han tvang dem til å signere et dokument i 1304 for å gjøre dem mindre farlige. Brødrene flyktet deretter til Norge, men i 1305 ble brødrene igjen forsonet med kongen og fikk tilbake hertugtitlene sine.