Żywiec reste en possession de la famille Komorowski pendant presque 150 ans. Elle y fait construire un château, une église et un clocher qui existent jusqu’à présent. En 1624, Mikołaj Komorowski cède le domaine à la reine Constance, épouse du roi Sigismond III Vasa. Lors de l'invasion suédoise de 1655, les envahisseurs pillent et brûlent une partie de la ville. En 1675, le domaine est racheté par Jan Wielopolski qui le quitte après avoir récupéré sa propriété à Pieskowa Skała.