На протяжении всего XIX века и первых десятилетий XX века замок находился в ведении русских, немецких и польских военных властей. Во времена Российской империи здесь было офицерское собрание, казарма, военный госпиталь, склады. В 1863—1864 годах замок использовался также как временный острог для участников восстания. Ещё около 1880 года над воротами замка находился герб Стефана Батория, который впоследствии был снят русской военной администрацией.