El edificio actual lo mandó edificar el príncipe polaco-lituano Janusz Radziwiłł, y se levantó entre los años 1635 y 1653, con diseño del arquitecto Jan Ullrich. El complejo quedó en estado ruinoso tras la guerra de los Trece Años, permaneciendo abandonado durante centurias. Durante la Primera Guerra Mundial fue ampliamente devastado, conservándose tan sólo su ala norte. En la década de 1980 fue restaurado parcialmente para albergar una sección del museo de arte lituano.