В XVI веке замок стал резиденцией вдов поздних бранденбургских курфюрстов. При Екатерине Брауншвейг-Вольфенбюттельской замок был перестроен в стиле ренессанса. Дальнейшие разрушения замка произошли во время Тридцатилетней войны (1618—1648). Замок заняли шведы, которые оккупировали Кросно в 1631—1644 годах (с перерывами) и усилили существующие укрепления, построив венец бастионов вокруг замка и города. В очередной раз замок был разрушен и разграблен русскими войсками, вступившими в Кросна после победного сражения при Пальциге. В конце XVIII века и в XIX веке значение замка значительно уменьшилось — он перестал быть резиденцией вдов курфюрстов, к тому же уменьшилось и его военное значение. Однако наибольшие разрушения замок получил во время Второй мировой войны, когда он был сожжен советскими войсками.