Etter å ha blitt konge i 1513, valgte Christian som sin hovedresidens Københavns slott. ga Christian Dyveke og moren husrom i Hvidøre slott, bygget av kong Hans ved Skovshoved like nord for København. Det var ingen hemmelighet at Christian holdt en frille, men han kan ha ønsket å være diskret om det. Problemet var at han skulle gifte seg med den 14 år gamle Elisabeth av Habsburg (også kjent som Isabella av Burgund), for å få i stand en allianse med hennes farfar, den mektige keiser Maximilian 1. Erkebiskop Erik Walkendorf og Elisabeths familie forsøkte derfor å overtale ham til å droppe forholdet, som vakte allmen forargelse. Kongen avslo, og forholdet til Dyveke kom til å vare i ti år - også etter at utsendinger fra Elisabeths farfar, keiser Maximilian 1., i 1516 (året efter brylluppet) kom til Danmark og forlangte at Dyveke straks skulle forlate landet - ellers ville det skje en ulykke med henne. Ikke en gang denne åpne trusselen fikk kongen til å avslutte skandalen. Tvertom syntes han at Dyveke var for langt unna der oppe i Hvidøre. I slutten av mars 1516 kjøpte han en bygård ved Amagertorv av Mogens Gøye, og der flyttet Dyveke og Sigbrit inn, bare fem minutters gange fra kongeslottet.