El penúltimo heredero detrás de Nieśwież y Ołyka era Karol Stanisław "Panie Kochanku" Radziwiłł, Voivoda de Vilna, hijo de Michał Kazimierz "Rybeńko" Radziwiłł. Había heredado grandes propiedades de su padre y su tío, lo que le hizo el magnate más rico de Polonia en la segunda mitad del siglo XVIII y uno de los hombres más ricos de Europa. Alquiló el palacio a Franciszek Ryx para instalar allí un teatro que representaba obras y realizaba bailes de máscaras. Durante el Gran Sejm de 1788-1792, invitaba diariamente a todos los miembros de los cuatro estamentos del Parlamento para que cenaran allí. Cada día se servían dos comidas: el desayuno, antes de la sesión diaria, para trescientas personas, y la cena, tras la sesión. Uno de los banquetes más impresionantes que dio fue en el día de Santa Catalina, el 25 de noviembre, de 1789, 25º aniversario de la coronación del Rey Stanisław August, conmemorando también la Unión de Lituania con la Corona de Polonia. Se invitaron a cuatro mil huéspedes, y el banquete costó más de dos millones de złotys.