Palasset ble bygd på 1700-tallet og tilhørte Stanisław August Poniatowski. Fra 1818 var det residensen til storhertug Konstantin Pavlovitsj, som flyktet fra Warszawa under novemberoppstanden i 1830. Etter første verdenskrig, da Polen gjenvant sin selvstendighet, var palasset setet til Józef Piłsudski fra 1926 til 1935.