Nach über 200 Jahren als Verwaltungssitz kam die Burg erst während der schwedischen Sintflut (1655–1660) wieder zeitweilig in den militärischen Gebrauch der Schweden. Während dieses polnisch-schwedischen Krieges verpfändete Johann II. Kasimir 1657 die Burg im Vertrag von Bromberg an den Kurfürsten von Brandenburg im Gegenzug für die Stellung von Soldaten. Der polnische Heerführer Stanisław Potocki verweigerte jedoch später die Herausgabe der Burg, die in seiner Starostei lag. Erst nach dessen Tode unternahmen die Brandenburger den Versuch einer gewaltsamen Übernahme 1668 und konnten diese dann bis zur ersten Teilung Polens 1772 halten.