Het landgoed van Palmse omvatte een groot gebied. Zo behoorden Eru, Ilumäe, Joandu, Tõugu, Uusküla, Vatku, Võhma, Võsu en Võsupere bij het landgoed. Vermoedelijk was er al in 1300 een landhuis. In de periode 1522-1677 was het landgoed in handen van de familie Metztacken. Tijdens de Lijflandse Oorlog gingen de gebouwen op het landgoed grotendeels verloren. Pas na de Wapenstilstand van Altmark van 1629 begon de herbouw. Het landgoed was inmiddels overgegaan op de familie von der Pahlen.