Został wzniesiony przez zakon krzyżacki w XIV w. Pierwsza wzmianka źródłowa o budowli pochodzi z 1414 r. Wzmiankowany jest także w 1424 r. pod nazwą "castrum Lemdegke" oraz w dokumencie z 1447 r. Powstał w celu obrony zachodniej granicy państwa zakonu krzyżackiego oraz kontroli przeprawy przez Gwdę i szlaków komunikacyjnych, jakie krzyżowały się w Lędyczku - drogi margrabiów oraz szlaku z Pomorza do Wielkopolski. Po opuszczeniu przez krzyżaków w 1454 r. w czasie wojny trzynastoletniej stracił swoje znaczenie obronne i popadł w ruinę.