Linnanpäällikkö Tönne Olofson Wildeman rakennutti kivisen päärakennuksen, Tjusterbyn kartanolinnan, 1500-luvun puolivälissä. Venäläiset tuhosivat rakennuksen vuonna 1571, mutta se rakennettiin pian uudelleen. Lopullisesti venäläiset tuhosivat kartanolinnan isonvihan aikana. Jäljelle jäi harmaakivinen perustus ja kellarikerros. Kartanolinnan rauniot sijaitsevat nykyisen päärakennuksen lähistöllä ja ne ovat kiinteä muinaisjäännös.