Ny Vartov besto av fire grunnmurte hospitalbygninger samt en tilhørende ladegård. Sammenblandingen mellom festningsanlegg og hospital kan virke pussig og det gikk da også galt under Københavns beleiring hvor Vartov Skanse og dermed hospitalet den 13. august 1658 ble angrepet og delvis lagt i ruiner.