Entre 1653 i 1664 el príncep Janusz Radziwill va ordenar la seva reconstrucció i rehabilitació, que li va donar la seva forma actual. Després de la seva defunció, el senyoriu va passar d'una família noble a una altra, primer la Worlowski, va passar a la família Zabiello i, finalment, el 1820 va ser comprat per Benedykt Tyszkiewicz. Després de la revolta de novembre, el castell va ser devastat per l'exèrcit rus, tanmateix, va ser reconstruït poc després. La renovació 1832-1855 li va donar la forma neogòtica, encara que algunes restes del renaixement i elements gòtics encara estan visibles –per damunt de tot, la torre rodona que es creu que és part de la fortalesa teutònica de l'original–. En aquell temps la casa estava envoltada d'un ampli jardí d'estil anglès, amb una gran orangerie de llimoners. El 1835 la capella de fusta va ser substituïda per una església dissenyada per un exiliat italià Wawrzyniec Cezary Anichini –qui més tard va morir a la «casa de maó vermell» i a ser enterrat a la vora de l'església que va dissenyar–. Entre 1856 i 1860 la finca va ser ampliada, amb molts més edificis dissenyats per un arquitecte alemany de nom Voler. Aquesta modificació va incloure un nou hivernacle, estables i oficines.