Na początku XVII wieku posiadłości w okolicach Piekoszowa stały się własnością Tarłów herbu Topór – jednego z najbogatszych w Polsce rodów magnackich. Najprawdopodobniej to Jan Aleksander Tarło, wojewoda lubelski, postanowił wybudować pałac godny jego drugiej żony, księżniczki Anny Czartoryskiej. Projektantem i budowniczym rezydencji został Tomasz Poncino, włoski architekt barokowy, który wybudował także m.in. Pałac Biskupów Krakowskich w Kielcach. Prace rozpoczęły się w 1649 roku, a ukończono je prawdopodobnie sześć lat później tuż przed najazdem Szwedów na Polskę.