O edifício atual é o mais recente de vários que estavam no local desde 1660. O palácio uma vez pertenceu ao último rei da Polônia, Estanislau II Augusto da Polônia, que o usou como uma fábrica manufatureira de porcelana. A partir de 1818 foi a residência do Grão-Duque russo Constantino Pavlovich da Rússia, que fugiu do local no início do Levante de Novembro.