Zamek rozpoczął pełnić funkcję siedziby polskiego starostwa grodowego. W 1422 r. starostą, z nadania króla Władysława Warneńczyka został Jan Wedel. Po nim, w czasie wojny trzynastoletniej z zakonem krzyżackim (1454–1466) funkcję sprawował Sędziwój Czarnkowski z Człopy. Zwycięstwo Polaków i postanowienia II pokoju toruńskiego osłabiło plany Zakonu połączenia się z Nową Marchią. Ta została sprzedana Brandenburczykom. Zamek drahimski z roli strategicznej twierdzy zszedł do roli siedziby okręgu administracyjnego, gdzie granice starostwa drahimskiego pokrywały się z granicami Królestwa. Taki stan trwał niemal 200 lat. Podczas II wojny północnej (Potop szwedzki (1655–1660)) zamek został przejęty czasowo przez wojska szwedzkie, następnie opanowany przez oddziały Stefana Czarnieckiego. W 1657 r., na mocy traktatów: welawskiego i bydgoskiego – król Jan Kazimierz postanowił oddać zamek (w zastaw), ponieważ był winien zapłaty elektorowi brandenburskiemu za werbunki na sumę 120 tysięcy talarów reńskich. Decyzja króla polskiego została zignorowana przez hetmana Stanisława Rewerę Potockiego, ówczesnego starostę drahimskiego, który utrzymał warownię w rękach polskich. Na skutek braku regulacji zadłużenia, które nadal spoczywało na królu polskim – Brandenburczycy przejęli ją siłą dopiero po śmierci hetmana w 1668 r. i zarządzali nią do I rozbioru Polski w 1772 r.