È probabile che un palazzo in legno di Mikołaj Krzysztof Radziwiłł soprannominato il Nero sorgesse nello stesso sito nel XVI secolo: l'attuale edificio fu costruito per ordine di Janusz Radziwiłł dal 1635 al 1653 seguendo il progetto di Jonas Ullrich. La struttura finì in rovina dopo l'invasione moscovita del 1655-1660 e rimase in gran parte trascurata per secoli, venendo ulteriormente devastata durante la prima guerra mondiale: solo l'ala settentrionale del palazzo sopravvisse. Alla fine, è stato restaurato negli anni '80 e oggi si trova una divisione del Museo d'arte lituano. Una parte del palazzo è ancora oggi da ristrutturare. Attualmente, questa sezione del Museo nazionale d'arte lituano contiene opere celebri di Ludovico Lipparini, Giuseppe Rossi, Antonio Bellucci, Carlo Dolci, Giovanni Paolo Panini e Bartholomäus Spranger.