Da Birger ble myndig oppsto det en konflikt med den svenske kirken over fortolkningen av kirkens privilegier som hadde blitt satt i 1280. Kongens brødre, Erik Magnusson og Valdemar Magnusson, grep som så mange ganger tidligere i svensk historie, fordel av konflikten. Valdemar Magnussons svigerfar Torgils Knutsson, tidligere leder av formynderregjeringen, ble henrettet i 1306 som et tegn på forsoningen mellom Birger og brødrene. Det samme året ble Birger tatt til fange av sine brødre.