Beboerne ble i første omgang boende til tross for den svenske besettelsen og de mange krigshandlingene, hvor man blant annet opplevde at kanonkuler gikk gjennom murene og landet mellom sengene. I november 1658 ble beboerne flyttet inn til byen og ble innkvartert i en gård i Pilestræde og Ny Vartov forfalt.