Việc xây dựng cung điện bắt đầu vào năm 1593, xuất phát từ sáng kiến của Giám mục Płock Wojciech Baranowski. Sau khi trở thành Tổng giám mục của Ba Lan, ông đã biến cung điện thành trụ sở của Tổng giám mục. Nó đã bị phá hủy trong những năm của Đại Hồng Thủy Thụy Điển vào năm 1655-1657. Kiến trúc sư Józef Fontana đã được thuê để tái thiết nơi đây. Tuy nhiên, nó đã bị cướp phá một lần nữa vào năm 1704 bởi Saxons, Vlachs và Cossacks.