W 1350 margrabia Ludwik z dynastii Wittelsbachów, przekazał miasto w lenno Henningowi von Wedlowi. W cztery lata później Wedlowie wykupili miasto na własność osiedlając się zapewne w siedzibie wójtów, która miała istnieć w obrębie murów obronnych. Siedziba ta, jak również miasto, zostały częściowo zniszczone w 1370 przez księcia pomorskiego Kazimierza III. Dwa lata później Wedlowie otrzymali pozwolenie na budowę zamku, który został usytuowany po południowo-wschodniej stronie miasta, za murami obronnymi. Na początku XV wieku miasto było jeszcze dwukrotnie oblegane i częściowo niszczone przez rycerstwo polskie pod dowództwem Jana Czarnkowskiego i Arnolda Brzyckiego. W XV w. po zachodniej stronie miasta zbudowany został szpital z kaplicą św. Jerzego. Od 1454 miasto należało (ponownie) do Brandenburgii. W 1657 Ińsko zniszczone zostało przez walczące ze Szwedami wojska Stefana Czarnieckiego, również później jego mieszkańcy znacznie ucierpieli w wyniku toczonych na terenie Pomorza wojen: siedmioletniej i północnej. Zniszczone zostały wówczas obwarowania miejskie, zamek i kaplica św. Jerzego.