Die Baugeschichte des Ensembles ist umstritten. Unklarheiten entstehen aus der Dimension des Grundstückes, auf dem vermutlich mehrere Objekte gestanden haben. Ein erstes Herrenhaus wurde hier wahrscheinlich im Jahr 1630 für den Bischof Jakub Zadzik errichtet. Während des schwedischen Einfalls brannte dieses Gebäude. 1670 war Andrzej Kazimierz Giełgut, ein königlicher Sekretär, Eigentümer des Anwesens. 1743 war Konstancja, die Ehefrau des Woiwoden Piotr Jan Czapski, Besitzerin. Nachfolgende Eigentümer (eventuell nur von Teilen) stammten aus den Familien Zyberkow und Rzewuski.