Palasset ble reist mot slutten av det 17. århundre til fyrst Dominik Mikołaj Radziwiłł etter tegninger av Tulman van Gameren, og tilhørte Radziwiłł-familien frem til begynnelsen av det 19. århundre (med unntak av årene 1744–1759 da det tilhørte biskop Michał Załuski og hans bror Józef, og i årene 1762–1775 da det ble leid av Michał Fryderyk Czartoryski). Rundt 1757 ble nye bygg reist ved Miodowa-gaten etter tegninger av Jakub Fontana. Under Warszawaoppstanden av 1794 ble palasset delvis ødelagt. Under den prøyssiske okkupasjonen i årene 1807–1809 ble bygningen brukt som teater, brakke og lasarett.