På begynnelsen av det 18. århundre stod bygningen til byrådsmannen Jakub Schulzendorf på dagens palassområde, sannsynligvis tegnet av Tylman van Gameren. Bygningen ble kjøpt opp i 1717 av Kujaviabiskopen Konstanty Szaniawski, som ombygde den til et barokkpalass. Senere gikk palasset over til Jan Szembek og videre til Stanisław Mycielski.