Nyboder var flere ganger utsett til å rives helt ned, ofte fordi staten var fristet av pengene den kunne få for området. I 1650 var det en lang diskusjon om salg av området, det ble beholdt men få år senere ble det skåret av i ytterkantene. På 1700-tallet ble mange av de opprinnelige husene revet og nye hus på to etasjer ble bygget. Av de opprinnelige er det kun rad igjen, nemlig i Sankt Pauls Gade, Nyboders Mindestuer, som ble bygget i 1635 og fredet i 1918.