През 1340 архиепископ Фридрих Банер заповядва на 2 km от сегашния център на Гулбене да се построй крепост, която да брани района от постоянните набези на Великото московско княжество. Въпреки взетите мерки за укрепване на защитните стени и крепостта те не успяват да удържат напора на руснаците и през 1577 по време на Ливонската война градът е превзет. Някои от жителите се спасяват, успявайки да напуснат града, други загиват, а трети изселени от района. Разрушеният тогава замък повече никога не е построен, а районът е напълно обезлюден.