Az orosz hatóságok az Új kastélyt kórházzá és laktanyává alakították át, nagyrészt tönkretéve annak építészeti kincseit. 1840-ben a barokk Nagy kápolna megsemmisült. 1918-tól a Második Lengyel Köztársaság idején kórház működött benne. Az 1939-es lengyelországi inváziót követően az épületet a Szovjetunió vette át. Miután a Harmadik Birodalom és az 1941 júniusi Barbarossa hadművelet megszakította a Szovjetunióval való szövetséget, az épületet német bombázás rombolta le, mely során az értékes rokokó épületrészek elpusztultak. Miután a város a határ túloldalára került, a szovjetek sietős és meglehetősen felszínes felújítást végeztek rajta, azzal a céllal, hogy a helyi obkom központjává váljon. Az Új kastélyt 1952 után szocialista realista stílusban építették újjá, megváltoztatva a főhomlokzat megjelenését és lebontva az újjáépített Nagy kápolnát, de az oldalszárnyak részben megtartották barokk megjelenésüket. A Szovjetunió idején az épületben a Szovjetunió Kommunista Pártjának regionális bizottsága működött. A Szovjetunió felbomlását követően Fehéroroszországhoz került, ekkor az épületben múzeumi kiállításokat helyeztek el. 1993 óta a Hrodnai Állami Történeti és Régészeti Múzeumnak ad otthont.