Tross dette ekteskap forble Dyveke kongens elskerinne og store kjærlighet, og han installerte henne i behagelig nærhet av kongeslottet. I 1517 døde Dyveke uventet, og kongen anklaget lensmannen på Københavns slott, Torben Oxe, for å ha forgiftet henne, og tross forbønn fra Riksrådet og hoffet lot kongen Torben Oxe halshugge. Etter denne episoden neglisjerte kongen adelen, og Riksrådet handlet heretter nesten utelukkende etter råd fra mor Sigbrit og Malmös danske borgermester Hans Mikkelsen. I denne perioden fungerte Sigbrit Willums nærmest som landets finansminister.