През 1439 г. унгарският крал Алберт предоставил крепостта в апанаж на бана на Мачва Ласло Гарай. През 1463 г., след като османските турци завзели Босна, тук крал Матияш Корвин сключва съюз с Венеция срещу Османската империя. Архиепископ Петрус де Варада през 1490/94 г. ръководи опасването на града с още един ред стени, но въпреки това турците го завземат през 1526 г. след злополучната за християните битка при Мохач и го държат в ръцете си до 1687 г., когато християнското му владение е възвърнато за Свещената лига от Свещената Римска империя в хода на т.нар. Голяма турска война. Новите владетели, австрийците, разширили крепостта през 1690 г. с укрепления бастионен тип /по това време в българските земи подбудени от австрийците се разгарят Чипровското и Карпошовото въстание/. Една гравюра от това преустройство се пази във военния музей в Карлсруе. През 1716 г. турците правят безрезултатен опит да си възвърнат крепостта.