Od XII wieku Człuchów wchodził w skład kasztelanii w Szczytnie, w której od 1299 roku kasztelanem był wojewoda kaliski Mikołaj z Ponieca. Po aneksji Pomorza Gdańskiego w 1308 roku synowie kasztelana Mikołaja sprzedali Człuchów Zakonowi Krzyżackiemu, który po 1340 roku wybudował w Człuchowie zamek dla ochrony szlaku prowadzącego z krajów niemieckich do Prus. W czasie wojen z Zakonem wojska polskie próbowały bezskutecznie zdobyć zamek w 1414 roku i 1433 roku. Zamek w rękach krzyżackich pozostał do Wojny trzynastoletniej, gdy został opanowany w 1454 roku przez wojska królewskie. W tym samym roku Krzyżacy próbowali bezskutecznie odbić zamek, a następnie w roku 1455 i 1456, jednak załoga polska odparła ataki. Kolejne ataki na zamek przeprowadzono w 1520 w czasie wojny pruskiej i 1563 roku, kiedy zamek zaatakowały wspierające Krzyżaków wojska Dytrycha Schoenberga. Odtąd zamek był w rękach polskich aż do rozbiorów. Z ramienia Królestwa Polskiego na zamku rezydował starosta królewski wraz z załogą. Wśród starostów występowali przedstawiciele najsłynniejszych polskich rodów, takich jak Wejherowie, Sanguszkowie i Radziwiłłowie. W 1627 roku bezskutecznie próbowali zdobyć zamek Szwedzi. W czasach Potopu Szwedzi nie potrafili zająć zamku od wczesnej jesieni 1655 roku i udało im się to, dopiero gdy wykorzystali zimą zamarznięte wody jeziora, dzięki czemu udało im się wedrzeć na zamkowe mury. Po zakończeniu wojny zamek z powrotem trafił w polskie ręce.