I 1532 lyktes det Frederik å lokke Christian II fra Norge til Danmark under løfte om fritt leide. Kongen brøt sitt løfte til brorsønnen og satte ham i fengsel på Sønderborg slott. I 1549 ble den da 68-årige Christian II overført til Kalundborg slott, hvor han oppholdt seg til sin død i 1559.