Da forholdet mellom Ellen Marsvins datter, Kirsten Munk og kong Christian IV, begynte å slå sprekker, ble Kirsten Munk forvist fra København til Boller, der hun i praksis satt i husarrest. Motvillig måtte Ellen Marsvin oppgi gården og overlate den til datteren, men benyttet sjansen til å ta hevn over datteren for å ha brutt med kongen. Da Kirsten Munk kom til Boller i april 1630, var kobberet på taket fjernet, de forgylte vindfløyene, takrenner og nedløpsrør, dørene og alt kjøkkenutstyr. Bare nakne murer stod tilbake. Kong Christian tapte mye sympati på dette, for adelen kjente seg krenket som stand over at kongen utsatte sin tidligere «hustru til venstre hånd» for dette.