Sachverhalt:
A.
X._ ist in der Politischen Gemeinde Salenstein Eigentümerin der Parzellen Nrn. 6460 (im Ortsteil Fruthwilen) und 243 (Hinderburg). Die Parzelle Nr. 6460 ist nicht überbaut. Auf dem Grundstück Nr. 243 besteht ein Fachwerkhaus samt Ökonomiegebäude. Gemäss dem Zonenplan von 1982 befanden sich eine Teilfläche von Parzelle Nr. 6460 in der Wohnzone W2 und eine Teilfläche von Parzelle Nr. 243 in der Dorfzone. Mit einer Änderung des Zonenplans, die das Departement für Bau und Umwelt des Kantons Thurgau (DBU) am 14. Juli 2005 genehmigte, wurden von der Parzelle Nr. 6460 lediglich noch 550 m2 der Bauzone W2 und der Rest der Landschaftsschutzzone zugewiesen. Die Parzelle Nr. 243 (Hinderburg) und die nördlich angrenzende Parzelle Nr. 242 (Sichelweg) wurden mit Ausnahme eines Forststreifens im südlichen Teil von Parzelle Nr. 243 neu gesamthaft der Landschaftsschutzzone zugewiesen. Eine Beschwerde der Grundeigentümerin gegen diese Zonenplanänderungen wies das Verwaltungsgericht des Kantons Thurgau am 20. September 2006 ab. Dieser Entscheid erwuchs unangefochten in Rechtskraft.
B.
Am 18. Oktober 2007 reichte X._ bei der Enteignungskommission des Kantons Thurgau Klage ein mit dem Rechtsbegehren, die Politische Gemeinde Salenstein sei zu verpflichten, ihr den Betrag von Fr. 4'440'350.-- nebst 3,5% Zins seit 18. Oktober 2007 zu bezahlen. Mit der neuen Zonenplanung seien von den betroffenen Parzellen 4'689 m2 Bauland ausgezont und der Landschaftsschutzzone zugewiesen worden.
Die Enteignungskommission wies die Klage mit Entscheid vom 30. September 2010 ab. Zur Begründung führte sie im Wesentlichen aus, das Baugebiet im Zonenplan von 1982 sei überdimensioniert gewesen. Damit entspreche dieser nicht den Anforderungen des Raumplanungsgesetzes des Bundes (RPG, SR 700). Die von der Politischen Gemeinde Salenstein vorgenommenen Zonenplanänderungen seien in Bezug auf die streitbetroffenen Parzellen somit als Nichteinzonungen zu qualifizieren, die grundsätzlich nicht zu entschädigen seien. Keine der drei Parzellen sei von einem Ausnahmetatbestand betroffen, der eine Entschädigung begründe.
Gegen diesen Entscheid gelangte X._ an das Verwaltungsgericht. Sie brachte vor, der Zonenplan aus dem Jahr 1982 sei entgegen der Auffassung der Enteignungskommission RPG-konform gewesen. Wenn nun im Rahmen der Zonenplanrevision einzelne Liegenschaften aus dem Baugebiet ausgeschieden seien, handle es sich um entschädigungspflichtige Auszonungen. Aber selbst wenn eine Nichteinzonung angenommen würde, wäre eine volle Entschädigungspflicht der Politischen Gemeinde Salenstein gegeben. Entgegen den Darstellungen der Enteignungskommission sei ohne weiteres von der Bebaubarkeit der betreffenden Parzellen auszugehen.
Das Verwaltungsgericht bejahte mit Urteil vom 26. Oktober 2011 das Vorliegen einer materiellen Enteignung in Bezug auf die Parzelle Nr. 6460 und wies die Sache zur Festsetzung der Entschädigung an die Enteignungskommission zurück. Im Übrigen wies es die Beschwerde ab.
C.
Gegen das Urteil des Verwaltungsgerichts vom 26. Oktober 2011 haben sowohl X._ (Verfahren Nr. 1C_573/2011) als auch die Politische Gemeinde Salenstein (Verfahren Nr. 1C_581/2011) beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. Während X._ eine zusätzliche Entschädigung aus materieller Enteignung für die Parzellen Nrn. 242 und 243 (Hinderburg) von mindestens Fr. 3'717'805.-- nebst Zins von 3.5% seit 18. Oktober 2007 verlangt, beantragt die Politische Gemeinde Salenstein in ihrer Beschwerde betreffend die Parzelle Nr. 6460 die Bestätigung des Entscheids der Enteignungskommission und die Abweisung des Entschädigungsanspruchs der Beschwerdeführerin.
D.
Zur Beschwerde von X._ stellen das Verwaltungsgericht, die Enteignungskommission und die Politische Gemeinde Salenstein Antrag auf Abweisung der Beschwerde. In weiteren Eingaben halten die Verfahrensbeteiligten an ihren Begehren fest.
In Bezug auf die Beschwerde der Politischen Gemeinde Salenstein beantragen das Verwaltungsgericht und X._, die Beschwerde sei abzuweisen. Die Enteignungskommission schliesst auf Gutheissung der Beschwerde der Gemeinde. In weiteren Eingaben halten die Verfahrensbeteiligten an ihren Auffassungen fest.
Das Bundesamt für Raumentwicklung ARE hat sich zu den beiden Beschwerden nicht vernehmen lassen.
E.
Eine Delegation des Bundesgerichts hat am 21. Juni 2013 einen Augenschein durchgeführt. Die Verfahrensbeteiligten hatten Gelegenheit, sich zum Protokoll des Augenscheins zu äussern.
Erwägungen:
1.
1.1. Das angefochtene Urteil ist in Bezug auf die Parzellen Nrn. 242 und 243 ein Endentscheid einer letzten kantonalen Instanz und betrifft eine Angelegenheit des öffentlichen Rechts (Art. 90, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 82 lit. a BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht ist daher zulässig (Art. 82 BGG).
Die Beschwerdeführerin X._ hat am vorinstanzlichen Verfahren teilgenommen, ist durch den angefochtenen Entscheid als Grundeigentümerin der Parzelle Nr. 243 besonders berührt und hat ein schutzwürdiges Interesse an der Aufhebung bzw. Änderung, weshalb sie zur Beschwerde befugt ist (Art. 89 BGG). Auf ihre form- und fristgerecht eingereichte Beschwerde ist einzutreten.
1.2. Die Gemeinde Salenstein ist gestützt auf Art. 34 Abs. 2 lit. a RPG i.V.m. Art. 89 Abs. 2 lit. d BGG zur Beschwerdeführung berechtigt. In Bezug auf die Parzelle Nr. 6460 entschied das Verwaltungsgericht vorab über die materiellrechtliche Grundsatzfrage, ob die Verkleinerung des Baubereichs auf diesem Grundstück eine materielle Enteignung bewirkt hat. Dieser Entscheid schliesst das Schätzungsverfahren nicht ab, sondern stellt lediglich einen wichtigen Schritt zur Beurteilung des Entschädigungsanspruchs dar. Nach Art. 93 Abs. 1 lit. b BGG ist die Beschwerde gegen selbstständig eröffnete Vor- und Zwischenentscheide zulässig, wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde. Diese Voraussetzungen liegen hier vor: Wäre die Beschwerde gutzuheissen und eine materielle Enteignung zu verneinen, so könnte der Entschädigungsanspruch der Grundeigentümerin sofort abgewiesen werden; damit bliebe den Parteien und den Behörden ein weiteres aufwendiges Verfahren für die Ermittlung der Entschädigungshöhe erspart (Urteil des Bundesgerichts 1C_281/2008 vom 7. April 2009 E. 1, in: ZBl 111/2010 S. 289 f.). Da auch die übrigen Sachurteilsvoraussetzungen in Bezug auf die Beschwerde der Politischen Gemeinde Salenstein erfüllt sind, ist darauf ebenfalls einzutreten.
2.
2.1. Nach Art. 5 Abs. 2 RPG und Art. 26 Abs. 2 BV ist volle Entschädigung zu leisten, wenn Planungsmassnahmen zu Eigentumsbeschränkungen führen, die einer Enteignung gleichkommen. Dies ist der Fall, wenn einem Eigentümer der bisherige oder ein voraussehbarer künftiger Gebrauch seines Grundeigentums untersagt oder besonders stark eingeschränkt wird, weil ihm eine aus dem Eigentumsinhalt fliessende wesentliche Befugnis entzogen wird.
Geht der Eingriff weniger weit, so kann ausnahmsweise eine Eigentumsbeschränkung einer Enteignung gleichkommen, falls ein einziger oder einzelne Grundeigentümer so getroffen werden, dass ihr Opfer gegenüber der Allgemeinheit unzumutbar erscheint und es mit der Rechtsgleichheit nicht zu vereinbaren wäre, wenn hierfür keine Entschädigung geleistet würde (sog. Sonderopfer).
In beiden Fällen ist die Möglichkeit einer zukünftigen besseren Nutzung der Sache nur zu berücksichtigen, wenn im massgebenden Zeitpunkt anzunehmen war, sie lasse sich mit hoher Wahrscheinlichkeit in naher Zukunft verwirklichen. Unter besserer Nutzung ist in der Regel die Möglichkeit der Überbauung eines Grundstücks zu verstehen (BGE 131 II 728 E. 2 S. 730; 125 II 431 E. 3a S. 433; je mit Hinweisen).
2.2. Wird bei der erstmaligen Schaffung einer raumplanerischen Grundordnung, die den verfassungsrechtlichen und gesetzlichen Anforderungen entspricht, eine Liegenschaft keiner Bauzone zugewiesen, so liegt gemäss der Rechtsprechung des Bundesgerichts eine Nichteinzonung vor, und zwar auch dann, wenn die in Frage stehenden Flächen nach dem früheren, der Revision des Bodenrechts nicht entsprechenden Recht überbaut werden konnten. Die Nichteinzonung in eine Bauzone löst in der Regel keine Entschädigungspflicht aus (BGE 131 II 728 E. 2.1 S. 730 f. mit Hinweisen). Dies gilt nicht nur bei der Revision altrechtlicher, vor Inkrafttreten des RPG (1. Januar 1980) erlassener Zonenpläne, sondern auch bei der Anpassung von Zonenplänen, die zwar unter der Herrschaft des RPG in Kraft getreten sind, aber materiell nicht in jeder Hinsicht auf die bundesrechtlichen Planungsgrundsätze ausgerichtet waren (vgl. Urteile des Bundesgerichts 1A.8/2002 vom 22. Juli 2002 E. 3.3; 1A.155/1999 vom 22. Mai 2000 E. 2d; 1A.58/1997 vom 10. Oktober 1997 E. 4c). Eine - grundsätzlich entschädigungspflichtige - Auszonung wird dagegen angenommen, wenn ein Grundstück mit einem bundesrechtskonformen Nutzungsplan der Bauzone zugeteilt war und aufgrund einer Zonenplanrevision einer Nichtbauzone zugeteilt wird (BGE 131 II 728 E. 2.3 mit Hinweisen).
2.3. Massgebender Zeitpunkt für die Beurteilung, ob eine materielle Enteignung vorliegt, ist grundsätzlich das Datum des Inkrafttretens der Eigentumsbeschränkung (BGE 132 II 218 E. 2.3 und 2.4 S. 221 f. mit Hinweisen). Im vorliegenden Fall ist dies der 14. Juli 2005, als der revidierte Zonenplan durch das kantonale Departement für Bau und Umwelt genehmigt wurde (Art. 26 Abs. 3 RPG).
3.
3.1. Für die Beurteilung, ob die Umzonung der streitbetroffenen Parzellen Nrn. 242, 243 und 6460 eine entschädigungspflichtige materielle Enteignung darstellt, ist in erster Linie zu prüfen, ob diese planungsrechtliche Massnahme als Auszonung oder Nichteinzonung zu qualifizieren ist. Dabei stellt sich die Frage, ob der alte Zonenplan in materieller Hinsicht RPG-konform war. Dieser wurde von der Gemeinde Salenstein am 26. Juni 1981 erlassen und am 11. Mai 1982 durch den Regierungsrat des Kantons Thurgau genehmigt, mithin nach Inkrafttreten des RPG am 1. Januar 1980. Der Erlass oder die Genehmigung eines Nutzungsplans nach Inkrafttreten des RPG bedeutet nicht, dass er den Anforderungen des Bundesrechts auch tatsächlich entspricht. Fehlt diese Voraussetzung, so kann auch bei einer späteren Redimensionierung der Bauzone eine Nichteinzonung vorliegen (E. 2.2 hiervor).
3.2. Eine Nutzungsordnung entspricht den materiellen Anforderungen des RPG, wenn sie unter anderem die Abgrenzung von Bau- und Nichtbaugebiet nach den Kriterien von Art. 15 und Art. 1 bis 3 RPG vornimmt. Trifft dies zu, so sind spätere Redimensionierungen in der Regel als Auszonungen und nicht als Nichteinzonungen zu qualifizieren, namentlich wenn die Bauzonen sachgerecht bemessen wurden, sich die Dimensionierungen indessen erst hinterher beispielsweise wegen der demografischen Entwicklung und wegen neuer Verdichtungs- bzw. Umnutzungsmöglichkeiten als zu gross erweisen (BGE 131 II 728, E. 2.3 S. 732; BERNHARD WALDMANN/PETER HÄNNI, Handkommentar zum Raumplanungsgesetz, 2006, N. 56 zu Art. 5 RPG).
3.3. Die Vorinstanz legt dar, dass das kantonale Amt für Raumplanung im Prüfbericht zur Ortsplanungsrevision Salenstein vom 5. Dezember 2002 die Kapazität des Baugebiets als zu gross bezeichnete. Das Amt für Raumplanung bezog sich dabei namentlich auf eine Einschätzung der Einwohnerentwicklung und auf die Dimensionierungsvorgaben von Art. 15 RPG und § 33 des kantonalen Planungs- und Baugesetzes vom 16. August 1995 (PBG/TG). Im Genehmigungsbeschluss vom 11. Mai 1982 hatte der Regierungsrat festgehalten, dass im Zonenplan 57,7 ha definitive und 11,8 ha Reserve-Bauzonen ausgewiesen seien; dies genüge für rund 1'500 Einwohner. Werde berücksichtigt, dass nicht alles eingezonte Land für die Überbauung freigegeben werde, könne der Umfang der Bauzone als angemessen und der übergeordneten Gesetzgebung entsprechend bezeichnet werden. lm Rekursentscheid vom 23. November 2005 (E. 5b) führte das kantonale Departement für Bau und Umwelt aus, das im Jahre 1982 genehmigte Baugebiet sei zu gross und daher nicht bundesrechtskonform gewesen. In Entscheiden vom 16. August 2006 und 20. September 2006 kam das Verwaltungsgericht ebenfalls zum Schluss, dass das Baugebiet der Politischen Gemeinde Salenstein nach dem alten Zonenplan zu gross dimensioniert gewesen sei. Zur Begründung wurde insbesondere angeführt, der Regierungsrat habe nach dem Entscheid des Bundesgerichts vom 30. April 1986 (BGE 112 la 155) in Anwendung von Art. 36 Abs. 2 RPG verordnet, dass die Reservebauzonen der Etappierung des Baugebietes dienten, womit die Reservebauzonen (wieder) zum Baugebiet gehören würden.
Das Verwaltungsgericht berücksichtigt im angefochtenen Entscheid zusätzlich, dass das Bundesgericht trotz der im Anschluss an BGE 112 la 155 ergangenen Verordnungsänderung festgestellt habe, dass die altrechtlichen Reservebauzonen nicht als Bauzonen zu qualifizieren seien (vgl. Urteile 1A.219/2006 vom 2. April 2007, E. 6 und 1C_163/2008 vom 8. Januar 2009, E. 2.1). Da die Reservebauzonen nach neuerer bundesgerichtlicher Rechtsprechung somit nicht zum Baugebiet gehörten, erschienen auch die Aussagen des Departements für Bau und Umwelt sowie des kantonalen Amts für Raumplanung und insbesondere auch des Verwaltungsgerichts in ihren Entscheiden vom August/September 2006, wonach die Bauzone von Salenstein überdimensioniert gewesen sei, als überholt bzw. nicht mehr zutreffend. Im Rahmen der Zonenplanrevision sei das Baugebiet (inkl. Reservebauzone von 5.2 ha) von total 69 ha lediglich um rund 5 ha auf total 64,2 ha (neu ohne Reservebauzone) verkleinert worden (vgl. S. 3 f. des Anhangs zum Planungsbericht vom 10. Mai 2004). Unter den gegebenen Umständen und insbesondere angesichts der vom Bundesgericht nunmehr vorgenommenen Qualifikation der Reservebauzone als Nichtbauzone könne in Bezug auf den am 11. Mai 1982 genehmigten Zonenplan jedenfalls nicht (mehr) von einer RPG-widrigen bzw. überdimensionierten Bauzone gesprochen werden.
3.4. Die Auffassung der Vorinstanz, mit dem im Jahre 1982 genehmigten Zonenplan liege ein RPG-konformer Nutzungsplan vor, weshalb die mit dem neuen Zonenplan erfolgte Verkleinerung der Bauzone als Auszonung zu behandeln sein, wird weder von der Gemeinde noch von der Grundeigentümerin ausdrücklich in Frage gestellt. Die Enteignungskommission stellt in ihrem Entscheid vom 30. September 2010 hingegen darauf ab, dass das Baugebiet gemäss dem Zonenplan von 1982 gesamthaft betrachtet überdimensioniert gewesen sei und sich daher materiell als nicht RPG-konform erweise. Die Verkleinerung der Bauzone durch die Revision des Zonenplans von 2004 sei somit in Bezug auf die hier umstrittenen Parzellen als Nichteinzonung zu qualifizieren. Die Frage, ob eine Auszonung oder Nichteinzonung im Sinne der bundesgerichtlichen Rechtsprechung vorliegt, ist eine Rechtsfrage, die das Bundesgericht von Amtes wegen prüft (Art. 106 Abs. 1 BGG).
3.5. Mit dem Verwaltungsgericht kann davon ausgegangen werden, dass unter Beachtung der bundesgerichtlichen Rechtsprechung (Urteile 1A.219/2006 vom 2. April 2007, E. 6, und 1C_163/2008 vom 8. Januar 2009, E. 2.1) die Reservebauzone nicht mehr zum Baugebiet gezählt werden kann. Ob damit die Dimensionierung der Bauzone des Zonenplans von 1982 den Anforderungen des RPG entsprach, ergibt sich daraus noch nicht. Aus dem Planungsbericht vom 10. Mai 2004 folgt, dass die definitive Bauzone von 1982 (ohne Reservebauzone) auf 1'569 Einwohner ausgelegt war. Retrospektiv betrachtet war die Bauzone 1982 auch ohne Reservebauzone zu gross: Die Gemeinde verzeichnete in den Jahren 1980 bis 1990 eine Zunahme der Einwohnerzahl um durchschnittlich 2% und seit 1990 um durchschnittlich 3% pro Jahr. Sie hat sich von 1980 bis 2004 um ca. 55 % auf ca. 1'180 Einwohner erhöht, nachdem sie in der Zeit von 1910 bis 1980 im Wesentlichen unverändert geblieben war. Wird berücksichtigt, dass Prognosen über die Bevölkerungsentwicklung mit einer grossen Unsicherheit behaftet sind, kann nicht verlangt werden, dass die Annahmen im Zeitpunkt des Erlasses eines Nutzungsplans während des Planungszeitraums von 15 Jahren auch tatsächlich eintreffen. Indessen erscheint eine Bauzonengrösse wie jene des Zonenplans von 1982, welche auf eine Verdoppelung der Bevölkerungszahl ausgerichtet ist, weit von den Planungszielen gemäss Art. 15 RPG entfernt (BGE 116 Ia 221 E. 3b S. 232). Ein Abweichen von dem nach anerkannter Methode geschätzten 15-jährigen Baulandbedarf als Obergrenze für die Bemessung der Bauzone, ist nur ausnahmsweise, nach einer umfassenden Abwägung aller wesentlichen - auch regionalen und überregionalen - Interessen, zulässig (vgl. BGE 136 II 204 E. 7.1 S. 212 mit Hinweisen). Solche Interessen sind in Bezug auf die Gemeinde Salenstein nicht ersichtlich. Geht die im Jahre 1982 genehmigte Bauzone somit ohne die Reservebauzone auch unter Beachtung der mit der Prognose über die Bevölkerungsentwicklung verbundenen Unsicherheiten offensichtlich über den in Art. 15 lit. b RPG festgelegten Planungshorizont von 15 Jahren hinaus, kann nicht von einem RPG-konformen Nutzungsplan gesprochen werden. Die vorliegende Angelegenheit ist somit nach den Regeln über die Nichteinzonung zu beurteilen.
4.
Nichteinzonungen lösen grundsätzlich keine Entschädigungspflicht aus. Sie treffen Grundeigentümer nur ausnahmsweise enteignungsähnlich. Solche Ausnahmen ergeben sich insbesondere dort, wo eine Einzonung der betreffenden Parzellen geboten gewesen wäre und die Eigentümer auf eine Einzonung vertrauen durften. Dies sind beispielsweise Grundstücke, die überbaubar oder grob erschlossen waren und von einem gewässerschutzrechtskonformen generellen Kanalisationsprojekt (GKP) erfasst waren, oder solche, die im weitgehend überbauten Gebiet gemäss Art. 15 lit. a RPG lagen (Baulücken). Zudem muss der Eigentümer für die Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet haben, damit der Nichteinzonung eines Grundstücks eine enteignungsgleiche Wirkung zukommt (BGE 132 II 218 E. 2.2 S. 220 f. mit Hinweisen; Lukas Bühlmann/Christoph Jäger, Entschädigungsfragen bei Rückzonungen, in: Raum und Umwelt 6/2010 S. 8). Eine Gesamtwürdigung solcher Umstände kann zum Schluss führen, es habe eine hohe Wahrscheinlichkeit bestanden, dass der Eigentümer sein Land aus eigener Kraft hätte überbauen können (BGE 132 II 218 E. 2.2 und 2.3 S. 220 f. mit Hinweisen; Urteil des Bundesgerichts 1C_120/2010 vom 9. Juni 2010 E. 2.3).
Liegt keine Ausnahme dieser Art vor, so kann nicht von einer enteignungsgleichen Wirkung der Nichteinzonung gesprochen werden. Der Eigentümer besitzt grundsätzlich keinen Anspruch auf Einweisung seines Landes in eine Bauzone, auch nicht, wenn er erschlossenes oder erschliessbares Land besitzt. Dies ergibt sich aus dem Vorrang der rechtlichen Gegebenheiten, auf die in erster Linie abzustellen ist (BGE 132 II 218 E. 2.2 S. 221; 122 II 455 E. 4a S. 457 f.; je mit Hinweisen).
5.
Zu prüfen ist somit je im Einzelnen, ob in Bezug auf die Parzellen Nr. 6460 (Fruthwilen) sowie Nrn. 243 (Hinderburg) und 242 (Sichelweg) im Ortsteil Salenstein in ihrer Gesamtwirkung ein Ausnahmetatbestand erfüllt ist, welcher die von der Klägerin behauptete Entschädigungspflicht zur Folge hätte.
5.1. Die Parzelle Nr. 6460 liegt am östlichen Rand des Ortsteils Fruthwilen, an der südlichen Seite der Strasse Richtung Ermatingen. Im alten Zonenplan lag ein Teil dieser Parzelle im Umfang von ca. 1'700 m2 in der Bauzone W2. Der neue Zonenplan teilt dagegen entlang der Kantonsstrasse eine Fläche von 550 m2 der Bauzone W2 zu. Die Restfläche wurde wie der übrige Teil des Grundstücks der Landschaftsschutzzone zugewiesen. Zugunsten einer besseren Überbaubarkeit dieser Parzelle wurde mittels einer Baulinie der gesetzliche Abstand von 25 m zur nordwestlich angrenzenden Waldfläche auf 10 m verringert. Wie der Augenschein sodann ergeben hat, reichte die bisherige Bauzone gegen Süden über einen steilen Abhang hinaus bis zum Rebbaugebiet. Die Parzelle ist zudem südlich der Kantonsstrasse das letzte Baugrundstück und kann allein schon aufgrund dieser geografischen Lage nicht dem geschlossenen Siedlungsbereich zugeordnet werden. Wenn sich diese Parzelle aber nicht im weitgehend überbauten Gebiet befindet, besteht in dieser Hinsicht kein Einzonungsgebot, für dessen Nichtbeachtung nun nachträglich eine Entschädigung zu leisten wäre. Weiter ist nicht ersichtlich, dass die Grundeigentümerin für die Erschliessung und Überbauung des Grundstücks schon erhebliche Kosten aufgewendet hätte. Weder die Bachsanierung im Leuentobel noch der Aufwand für die Einzonung der Restfläche von 550 m2 bei der Zonenplanänderung von 2005 erscheinen als solche erhebliche Kosten. Die Bachsanierung diente dem Schutz des gesamten Grundstücks, insbesondere auch der bereits nach dem alten Zonenplan in der Landschaftsschutzzone gelegenen Teile von Parzelle Nr. 6460. Die Anwalts- und Verfahrenskosten für ein Einspracheverfahren, mit welchem die Einzonung der Teilfläche von 550 m2 erreicht worden sein soll, stellen auch keine erheblichen Kosten für die Überbauung des über diese Teilfläche hinausgehenden Parzellenteils dar. Besondere Gesichtspunkte des Vertrauensschutzes, welche ebenfalls ausnahmsweise eine Entschädigungspflicht auslösen könnten, sind nicht ersichtlich. Bezüglich der Parzelle Nr. 6460 ist daher kein Ausnahmetatbestand im Sinne der Ausführungen in E. 4 hiervor erfüllt, welcher trotz der Nichteinzonung eine Entschädigungspflicht auslösen würde.
5.2.
5.2.1. Die Parzelle Nr. 243 (Hinderburg) im Ortsteil Salenstein misst rund 3'500 m2 und ist mit einem historischen Fachwerkhaus als Wohnhaus sowie zusätzlich mit einem Ökonomiegebäude überbaut. Diese Gebäude befinden sich auf einer Krete exponiert und abgesetzt vom übrigen Siedlungsgebiet oberhalb des Ortsteils Mannenbach und werden als für sich abgeschlossene, isolierte Einheit wahrgenommen. Aufgrund der gesamten topografischen Verhältnisse kann diese Liegenschaft nicht mehr dem geschlossenen Siedlungsbereich zugeordnet werden.
Im Weiteren eignet sich das Land aufgrund der übermässig starken Hanglage unterhalb der Krete nur beschränkt zur Überbauung. Zumindest wäre hierzu im Bereich des Steilhangs nach Norden ein erheblicher Mehraufwand erforderlich. Die Parzelle erscheint auf den Teilflächen, die überhaupt aufgrund ihrer topografischen Verhältnisse für eine Überbauung geeignet sind, mit den bestehenden Gebäuden im Wesentlichen bereits überbaut. Die Art. 24 ff. RPG (insbesondere die erweiterte Besitzstandsgarantie nach Art. 24c RPG und Art. 42 RPV [SR 700.1]) belassen der Grundeigentümerin zusätzliche Erweiterungsmöglichkeiten. Sie erleidet diesbezüglich mit der neuen Zonenordnung keine Beeinträchtigungen, die sie in ihren Nutzungsmöglichkeiten in enteignungsrechtlich relevanter Weise einschränken würden. Die übrigen Teilflächen des Grundstücks stehen aufgrund der topografischen Verhältnisse, insbesondere der ausgewiesenen Steilheit des Geländes, für eine zusätzliche Überbauung praktisch nicht zur Verfügung. Zudem ist die strassenmässige Erschliessung über die Krete und die Hintergasse nach den Erkenntnissen am Augenschein nur ansatzweise vorhanden, wie dies bereits das Verwaltungsgericht im angefochtenen Entscheid festgestellt hatte. Die bestehende schmale Zufahrt mag als Erschliessung für die bestehenden Gebäude und die nach Art. 24 RPG zulässige Erweiterung genügen, reicht indessen für mehrere zusätzliche Wohneinheiten nicht aus. Die von der Grundeigentümerin beantragte Expertise zu den Baumöglichkeiten auf der Parzelle Nr. 243 erscheint unter den gegebenen Umständen nicht notwendig. Weiter kann offen bleiben, ob eine bauliche Entwicklung mit zusätzlichen Wohnbauten nur gestützt auf einen bisher nicht vorliegenden Gestaltungsplan (§ 61 des kantonalen Planungs- und Baugesetzes vom 16. August 1995; PBG/TG) hätte bewilligt werden können, wie dies die Gemeinde geltend macht.
Auch soweit die Grundeigentümerin vorbringt, die Gemeinde habe ihr vor Erlass des Zonenplans von 1982 zugesichert, die Dorfzone werde im Bereich der bestehenden Gebäude nach Süden erweitert, was den Bau zusätzlicher Wohneinheiten in diesem Bereich der Parzelle Nr. 243 erlaubt hätte, liegt kein vertrauensbegründender Tatbestand im Sinne der bundesgerichtlichen Rechtsprechung zur Entschädigungspflicht bei Nichteinzonungen vor. Die entsprechende von der Grundeigentümerin behauptete Zusage erscheint als Absichtserklärung der Gemeinde, die nie zu einer rechtskräftigen Erweiterung der Dorfzone führte, weshalb sie im vorliegenden Verfahren nicht weiter beachtet werden kann. Die Grundeigentümerin beruft sich weiter darauf, dass ihr Ehemann gemäss Urteil des Bundesgerichts C 94/885 vom 4. Juli 1985 in der Erbteilung die Gebäude der Hinderburg wegen der besonderen Aussichtslage und des historischen Werts nicht zum landwirtschaftlichen Ertragswert, sondern zu einem Liebhaberwert von über Fr. 500'000.-- übernahm. Auch dieser Umstand stellt keinen Gesichtspunkt des Vertrauensschutzes dar, der zu einer Entschädigungspflicht für die vorliegende Nichteinzonung führen würde. An den damaligen Gründen für die Berücksichtigung eines Liebhaberwerts hat sich mit dem Einbezug des ganzen Grundstücks in die Landschaftsschutzzone grundsätzlich nichts geändert.
Eine gesamthafte Würdigung der verschiedenen Gesichtspunkte ergibt, dass bei Parzelle Nr. 243 kein Ausnahmetatbestand im Sinne der Ausführungen in E. 4 hiervor vorliegt, der bei der vorliegenden Nichteinzonung die Zusprechung einer Entschädigung aus materieller Enteignung rechtfertigen könnte.
5.2.2. Auch die nördlich an Parzelle Nr. 243 angrenzende Parzelle Nr. 242 (Sichelweg), die gemäss dem ursprünglichen Zonenplan in der Dorfzone lag, ist neu der Landschaftsschutzzone zugewiesen worden. Es handelt sich dabei um einen mit Gras bewachsenen Weg, der eine Kurve beschreibt, ca. 50 m lang ist und als Sackgasse auf Parzelle Nr. 243 endet (Fläche 151 m2). Bezüglich dieser Parzelle gilt das für die Parzelle Nr. 243 (Hinderburg) bereits Gesagte in analoger Weise. Es ist sodann zumindest fraglich, ob bezüglich dieser kleinen Wegparzelle überhaupt eine Nutzungseinschränkung vorliegt. Jedenfalls sprechen die topografischen Verhältnisse gegen eine Überbauung dieser Parzellenfläche. Dies gilt auch, wenn die Parzelle Nr. 242 in Verbindung mit der Parzelle Nr. 243 betrachtet wird. Mangels des Vorliegens eines Ausnahmetatbestands löst die Nichteinzonung daher auch bezüglich der Parzelle Nr. 242 keine Entschädigungspflicht aus.
5.3. Zusammenfassend ergibt sich, dass bei keiner der drei Parzellen Nrn. 6460, 242 und 243 ein Ausnahmetatbestand im Sinne der Ausführungen in E. 4 hiervor erfüllt ist, welcher zu einer Entschädigung wegen materieller Enteignung der betroffenen Grundeigentümerin führen würde. Die Beschwerde der Politischen Gemeinde Salenstein (Verfahren 1C_581/2011) ist gutzuheissen und der angefochtene Entscheid vom 26. Oktober 2011 aufzuheben, soweit darin ein Entschädigungsanpruch der Grundeigentümerin teilweise bejaht wird und die Sache zur Festsetzung der Entschädigung aus materieller Enteignung infolge Teilauszonung der Parzelle Nr. 6460 an die Enteignungskommission zurückgewiesen wird (Dispositiv-Ziffer 1 des angefochtenen Entscheids). Die Beschwerde der Grundeigentümerin (Verfahren 1C_573/2011) ist hingegen abzuweisen.
6.
Bei diesem Ausgang des bundesgerichtlichen Verfahrens sind die Gerichtskosten der unterliegenden Grundeigentümerin aufzuerlegen (Art. 66 Abs. 1 BGG). Der obsiegenden Gemeinde Salenstein steht keine Parteientschädigung für das bundesgerichtliche Verfahren zu (Art. 68 Abs. 3 BGG).
In Bezug auf die Kosten des kantonalen Verfahrens ergibt sich, dass der Enteigner unabhängig vom Verfahrensausgang für die Kosten des erstinstanzlichen Verfahrens und für alle übrigen Kosten im Zusammenhang mit der Enteignung aufzukommen hat; der Enteignete hat Anspruch auf Ersatz seiner Parteikosten, soweit er das Verfahren nicht ungebührlich erschwert hat (§ 36 des kantonalen Gesetzes vom 27. Februar 1984 über die Enteignung; EntG/TG). Das Verwaltungsgericht hat in Dispositiv-Ziffer 2 seines Entscheids vom 26. Oktober 2011 die Parteientschädigung zugunsten der Grundeigentümerin für das erstinstanzliche Verfahren neu festgesetzt. Diese Neuregelung der Parteientschädigung wurde nicht beanstandet und wird mit dem vorliegenden Urteil nicht geändert. Indessen sind die Kosten des verwaltungsgerichtlichen Verfahrens anders zu verteilen (Art. 67 BGG). Nach § 77 des kantonalen Verwaltungsrechtspflegegesetzes vom 23. Februar 1981 (VRG/TG) trägt in streitigen Verfahren in der Regel der Unterliegende die Kosten; bei teilweisem Unterliegen wird dem Unterliegenden nur ein Teil der Kosten auferlegt. In Anwendung dieser Regel wurde die Grundeigentümerin in Dispositiv-Ziffer 4 des angefochtenen Entscheids zur Bezahlung einer reduzierten Gebühr für das verwaltungsgerichtliche Verfahren verpflichtet. Zudem wurde der Grundeigentümerin gestützt auf § 80 VRG/TG eine reduzierte Parteientschädigung zugesprochen. Im bundesgerichtlichen Verfahren verlangt sie für den Fall der Gutheissung ihrer Beschwerde eine Neubeurteilung der Kostenfolgen des verwaltungsgerichtlichen Verfahrens. Den Grundsatz der Kostenauflage nach dem Unterliegerprinzip im verwaltungsgerichtlichen Beschwerdeverfahren stellt sie indessen nicht in Frage. Da der angefochtene Entscheid insoweit, als darin die Beschwerde der Grundeigentümerin gutgeheissen wurde, mit dem vorliegenden Urteil aufzuheben ist, ist ihr grundsätzlich die volle Verfahrensgebühr für das verwaltungsgerichtliche Verfahren aufzuerlegen. Diese wird in Änderung der Dispositiv-Ziffer 4 des angefochtenen Urteils auf Fr. 5'000.-- festgesetzt, wobei an diesen Betrag der geleistete Kostenvorschuss von Fr. 700.-- anzurechnen ist. Zufolge des Unterliegens der Grundeigentümerin steht ihr gestützt auf § 80 VRG/TG keine Parteientschädigung für das verwaltungsgerichtliche Verfahren zu, was zu einer Streichung von Dispositiv-Ziffer 5 des angefochtenen Urteils führt. Dem obsiegenden Gemeinwesen wird nach § 80 Abs. 4 VRG/TG in der Regel keine Parteientschädigung zugesprochen. Es besteht hier kein Grund, von dieser Regel abzuweichen.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde der Politischen Gemeinde Salenstein (Verfahren 1C_581/2011) wird gutgeheissen und Dispositiv-Ziffer 1 des Urteils des Verwaltungsgerichts des Kantons Thurgau vom 26. Oktober 2011 aufgehoben.
2.
Die Beschwerde von X._ (Verfahren 1C_573/2011) wird abgewiesen.
3.
Die Gerichtskosten für die beiden bundesgerichtlichen Verfahren von insgesamt Fr. 7'000.-- werden X._ auferlegt.
4.
Dispositiv-Ziffer 4 des Urteils des Verwaltungsgerichts des Kantons Thurgau vom 26. Oktober 2011 wird wie folgt geändert:
"4. Die Beschwerdeführerin bezahlt eine
- Verfahrensgebühr von Fr. 5'000.--
- abzüglich Kostenvorschuss Fr. 700.--
- Total Fr. 4'300.-- "
5.
Dispositiv-Ziffer 5 des Urteils des Verwaltungsgerichts des Kantons Thurgau vom 26. Oktober 2011 wird aufgehoben.
6.
Dieses Urteil wird den Parteien, der Enteignungskommission, dem Departement für Bau und Umwelt und dem Verwaltungsgericht des Kantons Thurgau sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 30. August 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag