Замок служил резиденцией мазовецких князей вплоть до XV века. Из-за частичного обвала склонов холма, в 1532 году замок получил некоторые повреждения, которые вскоре удалось устранить. В 1538 году мазовецкие князья проживали во вновь построенном дворце за стенами замка, что позволило передать комплекс замка бенедиктинцам. Во время войн против Швеции замок был сильно поврежден, сначала в 1657 году, а затем в 1705 году. После реконструкции комплекс замка превратился в бенедиктинское аббатство в стиле барокко, которое существовало вплоть до 1781 года. Когда после разделов Польши Пруссия получила замок, власти приказали разрушить некоторые оборонительные стены. С 1865 года в замке проходили духовные семинары.