Син Вилема I Вітек II з Ландштейна 1359 року продав Свіни панам з Рожмберка, які включили їх до складу Новоградського панства. У першій половині гуситських воєн Свіницький замок набув стратегічного значення, у зв'язку з чим в 1420 року був зайнятий Яном Жижкою. Коли після війни замок повернувся у володіння Ольдржіха II з Рожмберка, той був у настільки пошкодженому стані, що власник вирішив не відновлювати його й лишив напризволяще. До 1480 року замок був подекуди значно зруйнований і розібраний на каміння для будівництва інших об'єктів. На місці Свіницького замку розташована Козінова площа. Від самого замку не лишилося жодного сліду.