W czasach rozbiorów władze rosyjskie zamieniły Nowy Zamek w szpital i koszary, w znacznym stopniu niszcząc przy okazji jego architekturę. W 1840 roku zniszczona została barokowa Kaplica Wielka. Od 1918 roku w okresie II Rzeczypospolitej w Nowym Zamku mieścił się szpital. W następstwie napaści na Polskę w 1939 roku zamek został przejęty przez ZSRR. Po zerwaniu sojuszu z ZSRR przez III Rzeszę i ataku w czerwcu 1941 roku budynek został zniszczony na skutek bombardowania niemieckiego. Nowy Zamek odbudowano po roku 1952 w stylu socrealistycznym, zmieniając wygląd korpusu głównego i wyburzając pozostało Kaplicy Wielkiej, jednak skrzydła boczne zachowały częściowo wygląd z okresu baroku. W czasach ZSRR w budynku mieścił się komitet obwodowy Komunistycznej Partii Związku Radzieckiego. Od 1993 roku mieści się w nim Grodzieńskie Państwowe Muzeum Historyczno-Archeologiczne.