Nó được xây dựng tại địa điểm của một trang viên gỗ thuộc sở hữu của gia đình Firlej. Tòa nhà đầu tiên đã bị phá hủy trong cuộc chiến tranh Ba Lan - Thụy Điển năm 1655-1660 (được gọi là vụ Đại hồng thủy). Cung điện bằng gạch và đá được thành lập bởi các người gác thành trì của Krakow, Stanisław Warszycki vào cuối thế kỷ 17 (giữa 1669 và 1681). Đó là một tòa nhà baroque hai tầng với tầng hầm và một gác mái, được lợp bằng một mái nhà mansard. Nó có thể được coi là một đại diện của một loại trang viên "entre sem et jardin". Trước cung điện từng có một khoảnh sân với cổng vào và phía sau tòa nhà có một khu vườn nằm trên sườn đồi. Vào thế kỷ 18, cung điện thuộc sở hữu của gia đình Męciński, người đã trang trí lại bên trong theo phong cách cổ điển. Vào những năm 1850, chủ nhân mới của cung điện là gia đình Poleski. Michał Poleski, nhà khoa học và quân nổi dậy của cuộc nổi dậy tháng 1 năm 1863, đã tạo ra một trường học nông học tư nhân nằm trên tầng thứ hai của cung điện. Một trong những phòng được đổi thành phòng thí nghiệm hóa học và vật lý, một phòng khác được dùng làm thư viện. Trường tồn tại ở đây giữa năm 1870 và 1880. Có lẽ vào khoảng đầu thế kỷ 20, cung điện được xây dựng lại theo phong cách tân cổ điển. Chủ sở hữu cuối cùng của cung điện là Nữ bá tước Maria Elwira O'Rourke, đến từ một gia đình quý tộc Ba Lan gốc Ailen. Bà rời Włodowice có lẽ vào năm 1927 hoặc 1928, bán cung điện cho một gia đình địa phương. Tình trạng mục nát hiện tại của cung điện là kết quả của hai vụ hỏa hoạn xảy ra vào năm 1935 và 1956, cùng với quyền sở hữu bất cẩn.