Після Листопадового повстання 1830-31 рр. царський уряд вигнав Шльосберга та привласнив будівлю. У 1831 році на території колишнього палацу постала російська військова Віленська фортеця з ровами та валами, у той час як будинок А. Шльосберга, сам по собі оточений канавою, було перетворено на військовий штаб.