Sachverhalt:
A.
Das Grundstück Nr. 165 mit einer Fläche von 10'893 m 2 liegt zwischen der Rüti- und der Hofstettenstrasse am Rand des Dorfkerns von Amden. Auf dem Grundstück befindet sich ein denkmalgeschütztes Wohnhaus. Die Liegenschaft steht zu je einem Viertel im Miteigentum
- der Erbengemeinschaft von X._ (bestehend aus A._ und B._),
- der Erbengemeinschaft von Y._ (bestehend aus C._, D._,.E._, F._, G._, H._, I._, J._, K._, L._, M._, N._, O._, P._, Q._, R._),
- der Erbengemeinschaft von Z._ (bestehend aus S._ und T._) sowie von
- U._ (im Folgenden: Grundeigentümerschaft).
Gemäss dem Zonenplan Amden-Dorf von 1989/1993 war das Grundstück Nr. 165 drei verschiedenen Zonen zugewiesen: Der Teilbereich im Norden bzw. Nordosten der Parzelle um das geschützte Haus lag in der Kernzone K3 (drei Vollgeschosse). Rund 2'500 m 2 im Westen bzw. Südwesten der Parzelle befanden sich in der Zone WE2 (Wohnzone für zweigeschossige Ein- und Zweifamilienhäuser); dieser Teilbereich war mit einer Überbauungsplanpflicht belegt. Die Restfläche im Süden bzw. Südosten der Parzelle gehörte zum Nichtbaugebiet. Bei der Revision des Zonenplans von 2009 wurde eine Teilfläche von rund 1'120 m 2 im Südwesten der Parzelle von der Zone WE2 zum übrigen Gemeindegebiet umgeteilt. Gleichzeitig wurde die Überbauungsplanpflicht für den verbleibenden Teilbereich in der WE2 aufgehoben.
B.
Am 3. Juni 2015 reichte die Grundeigentümerschaft ein Entschädigungsbegehren wegen materieller Enteignung aufgrund dieser Umzonung bei der Schätzungskommission für Enteignungen des Kantons St. Gallen ein. Die Schätzungskommission wies das Begehren mit Entscheid vom 16. Dezember 2015 ab.
Dagegen gelangte die Grundeigentümerschaft an das Verwaltungsgericht des Kantons St. Gallen. Dieses hiess die Beschwerde mit Entscheid vom 26. Oktober 2017 gut und wies die Sache zur Festsetzung der Entschädigung aus materieller Enteignung an die Schätzungskommission zurück. In den Erwägungen bejahte es das Vorliegen einer materiellen Enteignung und die daraus folgende Entschädigungspflicht der Gemeinde.
C.
Die Politische Gemeinde Amden erhebt mit Eingabe vom 28. November 2017 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragt, der Entscheid des Verwaltungsgerichts sei aufzuheben, eventualiter sei die Sache zu neuer Beurteilung an das Verwaltungsgericht zurückzuweisen.
Die Grundeigentümerschaft ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) äussert sich in der Vernehmlassung vom 11. April 2018 zur Sache, ohne einen Antrag zu stellen.
In der Replik vom 31. Mai 2018 hält die Politische Gemeinde Amden an ihren Begehren fest. In der Folge haben sich die übrigen Verfahrensbeteiligten nicht mehr vernehmen lassen.
D.
Der Präsident der I. öffentlich-rechtlichen Abteilung hat das Gesuch der Beschwerdeführerin um Gewährung der aufschiebenden Wirkung mit Verfügung vom 20. Dezember 2017 abgewiesen.
Erwägungen:
1.
1.1. Der angefochtene, kantonal letztinstanzliche Entscheid betrifft eine öffentlich-rechtliche Angelegenheit. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a und Art. 86 Abs. 1 lit. d BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Da ein Entscheid über eine Entschädigung als Folge von Eigentumsbeschränkungen im Sinne von Art. 5 RPG (SR 700) angefochten wird, ist die beschwerdeführende Gemeinde gestützt auf Art. 34 Abs. 2 lit. a RPG i.V.m. Art. 89 Abs. 2 lit. d BGG zur Beschwerde legitimiert. Zu prüfen ist indessen, ob es sich beim Entscheid des Verwaltungsgerichts um einen anfechtbaren Entscheid gemäss Art. 90 ff. BGG handelt.
1.2. Die Vorinstanz hat die Angelegenheit an die unterinstanzliche Schätzungskommission zur Festsetzung der Entschädigung aus materieller Enteignung zurückgewiesen. Beim angefochtenen Entscheid handelt es sich damit um einen Zwischenentscheid. Dagegen ist die Beschwerde an das Bundesgericht nach Art. 93 Abs. 1 BGG nur unter eingeschränkten Voraussetzungen zulässig. Eine Gutheissung der beim Bundesgericht eingelegten Beschwerde würde das Schätzungsverfahren sofort beenden und ein aufwendiges Verfahren für die Ermittlung der Entschädigungshöhe ersparen. Die Voraussetzung von Art. 93 Abs. 1 lit. b BGG ist daher erfüllt und die Beschwerde unter diesem Gesichtspunkt zulässig (vgl. Urteil 1C_573/2011 vom 30. August 2013 E. 1.2 mit Hinweis).
1.3. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2.
2.1. Umstritten ist, ob die 2009 erfolgte Umzonung einer Teilfläche von ca. 1'120 m 2 von der Bauzone WE2 in das übrige Gemeindegebiet eine materielle Enteignung darstellt. Massgebender Zeitpunkt für die Beurteilung, ob eine materielle Enteignung vorliegt, ist grundsätzlich das Datum des Inkrafttretens der Eigentumsbeschränkung (BGE 132 II 218 E. 2.3 und 2.4 S. 221 f. mit Hinweisen). Stichtag im vorliegenden Fall ist der 2. September 2009, als der revidierte Zonenplan durch das kantonale Baudepartement genehmigt wurde (Art. 26 Abs. 3 RPG). Nach dem damals anwendbaren kantonalen Recht waren im übrigen Gemeindegebiet Bauten und Anlagen nur unter den restriktiven Voraussetzungen der Landwirtschaftszone zulässig (vgl. Art. 21 des bis Ende September 2017 geltenden Gesetzes über die Raumplanung und das öffentliche Baurecht vom 6. Juni 1972 [aBauG; nGS 36-89] und dazu BGE 140 II 509 E. 2.1 S. 511 f.).
2.2. Die Frage der Entschädigungspflicht für die Zuweisung dieser Teilfläche zum Nichtbaugebiet beurteilt sich nach Art. 5 Abs. 2 RPG. Diese Bestimmung hält - ebenso wie Art. 26 Abs. 2 BV - als Grundsatz fest, dass volle Entschädigung zu leisten ist, wenn Planungen zu Eigentumsbeschränkungen führen, die einer Enteignung gleichkommen. Dies ist der Fall, wenn einem Eigentümer der bisherige oder ein voraussehbarer künftiger Gebrauch seines Grundeigentums untersagt oder in einer Weise eingeschränkt wird, die besonders schwer wiegt, weil ihm eine aus dem Eigentumsinhalt fliessende wesentliche Befugnis entzogen wird. Geht der Eingriff weniger weit, so kann ausnahmsweise eine Eigentumsbeschränkung einer Enteignung gleichkommen, falls ein einziger oder einzelne Grundeigentümer so getroffen werden, dass ihr Opfer gegenüber der Allgemeinheit unzumutbar erscheint und es mit der Rechtsgleichheit nicht zu vereinbaren wäre, wenn hierfür keine Entschädigung geleistet würde (sog. Sonderopfer). In beiden Fällen ist die Möglichkeit einer zukünftigen besseren Nutzung der Sache nur zu berücksichtigen, wenn im massgebenden Zeitpunkt anzunehmen war, sie lasse sich mit hoher Wahrscheinlichkeit in naher Zukunft verwirklichen. Unter besserer Nutzung ist in der Regel die Möglichkeit der Überbauung eines Grundstücks zu verstehen (BGE 131 II 728 E. 2 S. 730; 125 II 431 E. 3a S. 433; je mit Hinweisen).
Wird bei der erstmaligen Schaffung einer raumplanerischen Grundordnung, die den verfassungsrechtlichen und gesetzlichen Anforderungen entspricht, eine Liegenschaft keiner Bauzone zugewiesen, so liegt gemäss der Rechtsprechung des Bundesgerichts eine Nichteinzonung vor. Die Nichteinzonung in eine Bauzone löst in der Regel keine Entschädigungspflicht aus (BGE 131 II 728 E. 2.1 S. 730 f. mit Hinweisen). Dies gilt nicht nur bei der Revision altrechtlicher, vor Inkrafttreten des RPG (1. Januar 1980) erlassener Zonenpläne, sondern auch bei der Anpassung von Zonenplänen, die zwar unter der Herrschaft des RPG in Kraft getreten sind, aber materiell nicht in jeder Hinsicht auf die bundesrechtlichen Planungsgrundsätze ausgerichtet waren (vgl. Urteil 1C_573/2011 vom 30. August 2013 E. 2.2 in: ZBl 116/2015 S. 201 mit Hinweisen). Eine grundsätzlich entschädigungspflichtige Auszonung wird dagegen angenommen, wenn ein Grundstück mit einem bundesrechtskonformen Nutzungsplan der Bauzone zugeteilt war und aufgrund einer Zonenplanrevision einer Nichtbauzone zugeteilt wird (BGE 131 II 728 E. 2.3 S. 732 mit Hinweisen).
2.3. Die betroffene Teilfläche wurde am Stichtag dem übrigen Gemeindegebiet zugewiesen. Auch wenn dieses zum Nichtbaugebiet gerechnet wird, handelt es sich dabei um eine Art Reservezone; sie ist für die künftige bauliche Entwicklung bestimmt (vgl. BALTHASAR HEER, St. Gallisches Bau- und Planungsrecht, 2003, N. 391 f.). An sich ist es denkbar, dass der betroffene Grundstücksteil bei einer späteren Zonenplanrevision wieder dem Baugebiet zugeschlagen wird. Es sind jedoch im vorliegenden Verfahren keine konkreten Angaben für derartige Bestrebungen vorgebracht worden. Da die aus der fraglichen Umzonung folgende Eigentumsbeschränkung inzwischen seit über neun Jahren andauert, lässt sich in zeitlicher Hinsicht eine enteignungsgleiche Wirkung der Massnahme nicht ausschliessen (vgl. BGE 109 Ib 20 E. 4a S. 22 f.; Urteil 1C_510/2009 vom 14. Juli 2010 E. 4.1, in: RDAF 2010 I 518).
2.4. Die Ortsplanungsrevision von 2009 löste einen Nutzungsplan von 1989/1993 ab; bereits letzterer war somit nach Inkrafttreten des RPG festgesetzt worden. Ob schon jener Nutzungsplan den Anforderungen des RPG genügte, hängt davon ab, ob er als Ganzes mit den raumplanerischen Grundsätzen vereinbar war (BGE 122 II 326 E. 5b S. 330 f.). Nach den Feststellungen der Vorinstanz wurde die Verkleinerung der Baulandfläche beim Grundstück der Beschwerdegegner im Jahr 2009 mit einer Einzonung von Flächen an anderer Stelle in der Gemeinde verbunden. Die Beschwerdeführerin hält den Beschwerdegegnern in diesem Zusammenhang vor, Bauland gehortet zu haben. Die Umlagerung diente nach Angaben der Beschwerdeführerin dazu, die an sich vorgesehene bauliche Entwicklung der Gemeinde dort zu ermöglichen, wo aufgrund der Überprüfung eine bauliche Realisierung zu erwarten und auch erwünscht war. Im vorliegenden Fall sind keine Anhaltspunkte ersichtlich, dass das Baugebiet der Gemeinde im Nutzungsplan von 1989/1993 nicht sachgerecht dimensioniert gewesen wäre. Es ist nicht zu beanstanden, wenn die kantonalen Instanzen im Hinblick auf die Revision von 2009 von einer - teilweisen - Auszonung ausgegangen sind.
3.
Bei der Anwendung der für die Auszonung massgebenden Grundsätze sind die kantonalen Instanzen zu gegenteiligen Ergebnissen gelangt. Die unterinstanzliche Schätzungskommission verneinte das Vorliegen einer materiellen Enteignung, während die Vorinstanz eine solche bejaht hat. Die Beschwerdeführerin macht geltend, es sei nur eine Teilfläche des Grundstücks der Beschwerdegegner umgezont worden, und zwar rund ein Viertel des vorherigen Baulandes dieses Grundstücks (ca. 1'120 m 2 von ca. 5'040 m 2). Allein die in der Zone WE2 verbliebene Teilfläche sei grösser als die auf der anderen Seite der Hofstettenstrasse gelegenen Grundstücke. Zudem sei bei dieser Teilfläche im Jahr 2009 die Überbauungsplanpflicht aufgehoben worden. Insgesamt sei eine bestimmungsgemässe, wirtschaftlich gute bauliche Nutzung des Grundstücks erhalten geblieben. Zu Unrecht gehe der angefochtene Entscheid nicht darauf ein, dass bloss eine Teilauszonung vorliege. Zwar trifft es zu, dass dieser Rügenkomplex erstmals vor Bundesgericht erhoben wird. Dieser Umstand steht aber der verfahrensrechtlichen Zulässigkeit dieser Vorwürfe nicht entgegen (vgl. BGE 142 I 155 E. 4.4.3-4.4.6 S. 156 ff.).
3.1. Das angefochtene Urteil setzt sich nicht ausdrücklich mit dem Umstand auseinander, dass im vorliegenden Fall nur eine Teilfläche der Parzelle umgezont bzw. mit einem Bauverbot belegt worden ist. Den Urteilserwägungen lässt sich jedoch entnehmen, dass die Vorinstanz eine materielle Enteignung angenommen hat, weil sie die betreffende planerische Massnahme als Auszonung erachtet (vgl. oben E. 3 am Anfang). Die enteignungsrechtliche Qualifizierung dieses Eingriffs ist nicht eine Frage des rechtlichen Gehörs, sondern der materiellen Beurteilung. Die Begründung des angefochtenen Urteils ist so abgefasst, dass die Beschwerdeführerin dieses sachgerecht anfechten konnte. Ihre diesbezügliche Gehörsrüge geht fehl.
3.2. Ob ein Eingriff enteignungsgleich wirkt, beurteilt sich grundsätzlich unter Einbezug des betroffenen Grundstücks als Ganzes. An diesem Grundsatz hat das Bundesgericht auch in neuerer Zeit bei teilweisen Bauverboten auf einer Parzelle (vgl. Urteile 1A.73/2005 vom 11. August 2005 E. 3.2.2; 1A.62/1996 vom 21. August 1996 E. 4c/bb, in: ZBl 98/1997 S. 368), ebenso bei Massnahmen des Denkmalschutzes (vgl. Urteile 1C_725/2013 vom 8. April 2015 E. 3.5, in: ZBl 117/2016 S. 557; 1C_487/2009 vom 10. August 2010 E. 2.2; 1A.19/2004 vom 25. Oktober 2004 E. 2.2, in: ZBl 107/2006 S. 41) oder bei einer Abzonung (vgl. Urteil 1C_349/2011 vom 9. Januar 2012 E. 3.5) festgehalten. Bleibt eine bestimmungsgemässe, wirtschaftlich sinnvolle und gute Nutzung der Parzelle erhalten, so liegt nach dieser Rechtsprechung kein entschädigungspflichtiger Eingriff vor. Im öffentlichen Interesse liegende Änderungen des zulässigen Nutzungsmasses mit Erhaltung einer sinnvollen Überbauungsmöglichkeit lösen keine Entschädigungspflicht des Gemeinwesens aus (vgl. BGE 123 II 481 E. 6c und 6d S. 489; Urteil 1C_349/2011 vom 9. Januar 2012 E. 3.5).
Das Bundesgericht lehnt es ab, die Grenze der Entschädigungspflicht schematisch anhand eines festen Prozentsatzes der Wertminderung zu ziehen. Verlangt wird eine Gesamtbetrachtung der Verhältnisse im Einzelfall (vgl. BGE 112 Ib 263 E. 4 S. 266 f.). In seiner bisherigen Praxis erblickte es im Umstand, dass ein Grundstück zu einem Drittel mit einem Bauverbot belegt wurde bzw. dass es eine entsprechende Werteinbusse erfuhr, keinen enteignungsähnlichen Tatbestand, wenn die Eigentümer ihre Parzellen nach dem Eingriff in angemessener, wirtschaftlich sinnvoller und guter Weise nutzen konnten (vgl. Urteile 1C_349/2011 vom 9. Januar 2012 E. 3.5; 1C_487/2009 vom 10. August 2010 E. 6.5, je mit Hinweisen; ENRICO RIVA, in: Praxiskommentar RPG: Nutzungsplanung, 2016, N. 209 ff. zu Art. 5 RPG). Die Grenze zwischen entschädigungspflichtigem und entschädigungslosem Eingriff lässt sich aber bei einer Abzonung nicht einfach bei einem Drittel der Verminderung des Landwerts festmachen (Urteil 1C_473/2017 vom 3. Oktober 2018 E. 2.6 und 2.7).
3.3. Die Regel, dass bei der Bestimmung der Werteinbusse vom ganzen Grundstück auszugehen ist, gilt allerdings nicht absolut. Sie ist ohne weiteres in jenen Fällen gerechtfertigt, in denen die Einschränkung der baulichen Nutzungsmöglichkeiten in einem direkten Zusammenhang mit dem weiterhin zulässigen wirtschaftlichen Gebrauch der Parzelle steht. Dies trifft regelmässig bei Ab- oder Umzonungen zu (vgl. zu dieser Kategorie RIVA, a.a.O., N. 214 zu Art. 5 RPG). Bei Bauverboten auf einem Teil des Grundstücks aufgrund von Baulinien oder Denkmalschutz oder bei einer Teilauszonung ist es ebenfalls gerechtfertigt, die Werteinbusse anhand der gesamten Grundstücksfläche zu bestimmen, wenn die überbaubar bleibende Restfläche und der vom Bauverbot erfasste Teil mit Blick auf ihre wirtschaftliche Nutzbarkeit eine Einheit bilden. Hingegen rechtfertigt sich dieses Vorgehen dort nicht, wo der bestimmungsgemässe Gebrauch einer Parzelle - wie dies namentlich bei grossen Grundstücken vorkommen kann - unterschiedlichen Nutzungsregimes untersteht und daher nicht einheitlich ist oder wo - wie bei sehr kleinen Grundstücken - eine Parzelle wirtschaftlich gar nicht nutzbar ist. Ein durchgehendes Abstellen auf die Gesamtfläche eines Grundstücks bei der Bestimmung der Werteinbusse hätte zur Folge, dass die Entschädigungspflicht von der mehr oder weniger zufälligen Eigentums- und Parzellarordnung abhängen würde. Eigentümer grosser Parzellen müssten regelmässig grössere Teilbauverbote entschädigungslos hinnehmen als Eigentümer kleinerer Grundstücke.
Das Bundesgericht hat deshalb bereits in seiner bisherigen Rechtsprechung erklärt, dass besonderen Umständen Rechnung zu tragen sei (vgl. BGE 101 Ib 277 E. 9b S. 290; 89 I 381 E. 2 S. 385 f.; Urteil 1C_367/2015 und 1C_392/2015 vom 7. Januar 2016 E. 4.2). Auch in der Literatur wird darauf hingewiesen, dass zu beachten ist, ob eine selbständige Verwertung des betroffenen Grundstücksteils rechtlich möglich und wirtschaftlich sinnvoll gewesen wäre (RIVA, a.a.O., N. 227 zu Art. 5 RPG).
3.4. Die umstrittene Umzonung bewirkt ein Teilbauverbot auf einem Grundstück, das planerisch in drei Teile zerfällt. Bei rund der Hälfte der Parzelle im Umfang von grob 5'000 m 2 ist eine Überbaubarkeit schon nach dem Zonenplan von 1989/1993 ausgeschlossen gewesen. Die Revision von 2009 hat insoweit keine erhebliche Änderung verursacht. Diese Teilfläche ist bei der vorliegenden Überprüfung ausser Betracht zu lassen. Hingegen befand sich nach dem Zonenplan von 1989/1993 die andere Hälfte der Parzelle mit ebenfalls grob 5'000 m 2 im Baugebiet, und zwar weiter unterteilt in je flächenmässig gleiche Anteile in der Kernzone und der Zone WE2.
Im rund 2'500 m 2 messenden Teilbereich in der Kernzone steht das geschützte Wohnhaus. Er blieb bei der Revision von 2009 im Wesentlichen erhalten. Die Beschwerdegegner widersprechen der Aussage der Beschwerdeführerin, dass im Kernzonenbereich der Parzelle eine zusätzliche bauliche Nutzung möglich sei. Ein Bauverbot für den Umschwung dieses Gebäudes in der Kernzone ist jedoch weder ersichtlich noch geltend gemacht. In der Kernzone ist an sich eine dichte Bauweise erlaubt, dafür sind aber erhöhte Anforderungen bezüglich Einordnung, Architektur und Umgebungsgestaltung vorgeschrieben (vgl. Art. 9 f. des Baureglements von Amden vom 2. September 2009). Das geschützte Gebäude ist stattlich und muss erhalten werden. Zudem steht es mitten im Kernzonenbereich und schräg versetzt zur Rütistrasse, wobei die grundstücksinterne Zufahrt diesen Bereich zusätzlich zerschneidet. Seitlich neben dem Gebäude besteht im Kernzonenbereich der Parzelle wenig Raum für eine zusätzliche Überbauung.
Auch wenn beim Teilbereich in der Kernzone eine zusätzliche Überbauung nicht ausgeschlossen ist, so diente die Zuteilung der Teilfläche von 2'500 m 2 zur Zone WE2 im Zonenplan von 1989/1993 dazu, die bauliche Entwicklung dort zu konzentrieren. Die Voraussetzungen für eine bauliche Nutzung der Parzellenbereiche in der Kernzone und der Zone WE2 unterscheiden sich damit erheblich.
Zugleich war die im Jahr 2009 umgezonte Teilfläche aufgrund ihrer Form und Dimensionierung für eine selbständige bauliche Verwertung geeignet. Von der Beschwerdeführerin wird auch die von der Vorinstanz festgestellte gute Erschliessung des Parzellenbereichs in der Zone WE2 nicht konkret in Frage gestellt. Diesem ist deshalb ein eigenständiges planerisches Schicksal zuzubilligen. Die Beschwerdeführerin stellt nicht substanziiert in Abrede, dass eine bauliche Verwertung allein der vom planerischen Eingriff betroffenen Teilfläche vor dem Stichtag rechtlich möglich und wirtschaftlich sinnvoll gewesen wäre. Es wäre den Beschwerdegegnern auch ohne weiteres möglich gewesen, die der WE2 zugewiesene Fläche vom Restgrundstück abzuparzellieren und zu verkaufen.
3.5. Die dargestellten Verhältnisse verbieten es, bei der Beurteilung der Eingriffsintensität der fraglichen Teilauszonung das gesamte Grundstück heranzuziehen, wie dies die Beschwerdeführerin geltend macht. Zu einem sachgerechten Ergebnis führt vielmehr eine Betrachtungsweise, bei der die Intensität des Eingriffs von 2009 nur mit Blick auf den Teilbereich in der Zone WE2 beurteilt wird. Der Parzellenbereich der Zone WE2 wurde im Zonenplan von 2009 um ca. 1'120 m 2 der zuvor ca. 2'500 m 2 betragenden Fläche bzw. um etwa 44 Prozent reduziert. Eine solche Verminderung der Nutzungsmöglichkeit übersteigt nach der dargestellten Rechtsprechung (oben E. 3.2) in der Regel das Mass, das noch entschädigungslos hinzunehmen ist.
Die von der Beschwerdeführerin in den Raum gestellte Möglichkeit einer Überbauung auf der Parzelle über die Grenze zwischen Kernzone und Zone WE2 hinweg ändert daran nichts Wesentliches. Auch die am Stichtag wegfallende Überbauungsplanpflicht auf der Restfläche in der Zone WE2 vermochte die Intensität dieses Eingriffs entgegen der Ansicht der Beschwerdeführerin nicht erheblich zu mildern. Im Hinblick auf die konkreten Baumöglichkeiten auf der Parzelle waren keine zusätzlichen Abklärungen der Vorinstanz geboten. Die diesbezüglichen Vorwürfe der Beschwerdeführerin sind unbegründet.
Auch weitere Umstände, welche die Schwere des Eingriffs vermindern würden, sind nicht ersichtlich. Die fragliche Teilauszonung erfolgte, um der Baulandhortung entgegenzuwirken. Seit dem Erlass von Art. 15a RPG sind die Kantone in Zusammenarbeit mit den Gemeinden verpflichtet, die Bauzonen ihrer Bestimmung zuzuführen (Abs. 1), und können zu diesem Zweck eine Frist zur Überbauung ansetzen (Abs. 2; vgl. dazu BGE 143 II 476 E. 3.3 S. 480 ff.). Die Kantone und Gemeinden verfügen damit über ein wirksames Instrument, um gegen die Baulandhortung vorzugehen. Stattdessen gehortetes Bauland auszuzonen, erscheint demgegenüber fragwürdig. Einerseits können die Grundeigentümer legitime Interessen haben, ihr Bauland nicht sofort zu überbauen, und sie müssen nicht damit rechnen, dass ihr Land bei Nichtüberbauung ausgezont wird, jedenfalls wenn sie wie im vorliegenden Fall zu einer Überbauung nicht verpflichtet waren. Anderseits beruht die Nutzungsplanung auf übergeordneten Erwägungen über die angestrebte räumliche Entwicklung, die nicht aufgrund privater Bauabsichten wieder in Frage gestellt werden sollte.
Die Vorinstanz hat kein Bundesrecht verletzt, wenn sie eine Entschädigungspflicht nicht bereits aufgrund der verbleibenden Nutzungsmöglichkeiten auf der Restparzelle verneint hat.
4.
4.1. Im Streit liegt zusätzlich, ob die Überbauungsplanpflicht auf der umgezonten Teilfläche die für eine materielle Enteignung geforderte, genügend hohe Realisierungswahrscheinlichkeit der Überbaubarkeit ausgeschlossen hat. Massgebend für diese Beurteilung sind alle rechtlichen und tatsächlichen Gegebenheiten, welche die künftige Nutzungsmöglichkeit beeinflussen können. Gegen die mit hoher Wahrscheinlichkeit zu erwartende Überbauung eines Grundstücks in naher Zukunft spricht namentlich das Erfordernis einer Ausnahmebewilligung, einer Änderung in der Zonenplanung, eines Erschliessungs-, Überbauungs- oder Gestaltungsplans, einer Baulandumlegung oder weitgehender Erschliessungsarbeiten (BGE 131 II 72 E. 3.3 S. 77 mit Hinweisen). Allerdings schliesst nicht jedes zusätzliche Verfahren, welches das kantonale Recht vor der Erteilung einer Baubewilligung verlangt, die Ausrichtung einer Entschädigung aus: Es kommt vielmehr auf die konkreten Umstände und auf die effektive Tragweite dieses Erfordernisses nach kantonalem Recht an (BGE 131 II 151 E. 2.4 und 2.5 S. 157 ff.). Auch wenn das Instrument des Überbauungsplans beim vorgenannten BGE 131 II 72 ausdrücklich aufgeführt wird, so ist dessen Tragweite anhand einer konkreten Prüfung der Verhältnisse zu untersuchen, wie es die Vorinstanz getan hat.
4.2. Nach dem damals anwendbaren kantonalen Recht unterlag der Überbauungsplan im Unterschied zum Zonenplan nicht dem (fakultativen) Referendum, sondern wurde von der zuständigen Gemeindebehörde bzw. dem Gemeinderat erlassen (vgl. Art. 30 aBauG [nGS-18-56]; HEER, a.a.O., N. 63). Jedoch bedurfte der Überbauungsplan der Genehmigung durch das zuständige kantonale Departement (vgl. Art. 31 aBauG; nGS 42-55). Mit diesem Planungsinstrument liess sich in geeigneten Fällen eine von den Regelbauvorschriften abweichende Überbauung verwirklichen (HEER, a.a.O., N. 144). Unter Umständen durfte dabei eine Mehrausnützung gewährt werden, solange letztere die Grenze einer materiellen Zonenplanänderung nicht überschritt (vgl. GVP 2006 Nr. 123, 2003 Nr. 19; HEER, a.a.O., N. 145). Soweit es im öffentlichen Interesse lag, konnten auch die Gemeinden eine Überbauungsplanpflicht für bestimmte Gebiete vorsehen (vgl. HEER, a.a.O., N. 146).
4.3. Die Überbauungsplanpflicht beim Parzellenbereich in der Zone WE2 stand im Dienst des Denkmal- und Ortsbildschutzes. Sie bezweckte gemäss der Vorinstanz, die Umgebung des geschützten Gebäudes von störenden Bauten und Anlagen freizuhalten bzw. die Einfügung von neuen Bauten ins Ortsbild zu gewährleisten. Diese Vorgabe überlagerte insoweit die Bauvorschriften für die zugrunde liegende Zone WE2. Die Vorinstanz hat nicht verkannt, dass die Pflicht zu einem Überbauungsplan in der Umgebung eines Denkmalschutzobjekts die hohe Realisierungswahrscheinlichkeit ausschliessen kann. Eine solche Konstellation hat die Vorinstanz jedoch für den konkreten Fall verneint.
Die Beschwerdegegner weisen darauf hin, dass der Überbauungsplan einzig Land von ihnen betraf und sie grundsätzlich aus eigener Kraft in der Lage waren, die Überbaubarkeit herbeizuführen. Dem widerspricht die Beschwerdeführerin nicht substanziiert. Sie betont zwar den weiten Ermessensspielraum bei der Genehmigung eines Überbauungsplans und die damit verbundene Rechtsunsicherheit. Dies spreche gegen eine rasche Überbaubarkeit. Die Planungsbehörden waren aber gehalten, die auf dem Spiel stehenden Interessen unter Berücksichtigung der konkreten Verhältnisse abzuwägen und angemessene Entscheide zu treffen (vgl. BGE 135 I 176 E. 3.3 S. 180 f.). Es ist nicht zu beanstanden, wenn die Vorinstanz dem fraglichen Überbauungsplan die Tragweite zugemessen hat, die Modalitäten der zulässigen baulichen Nutzung zu regeln, ohne den Zweck der Nutzung zu verändern. Mit grundlegenden Hindernissen gegen eine zonenkonforme Überbauung hatten die Beschwerdegegner bei objektiver Betrachtung nicht zu rechnen. Die dagegen gerichtete Argumentation der beschwerdeführenden Gemeinde steht im Widerspruch zu ihrer raumplanerischen Festlegung von 1989/1993, mit der sie die Überbauung des ausgeschiedenen Parzellenbereichs fördern wollte.
Der Wegfall der Überbauungsplanpflicht anlässlich der Zonenplanrevision von 2009 bildet vor allem eine verfahrensrechtliche Vereinfachung, weil die Befugnis zur Überbauung der Restfläche in der Zone WE2 direkt mit einer Baubewilligung erlangt werden kann. Wie die Vorinstanz dargelegt hat, musste der zuvor vorbehaltene Überbauungsplan keinen dichten Regelungsinhalt aufweisen. Auch der kantonalen Genehmigungspflicht brauchte vorliegend keine Tragweite beigemessen zu werden, die der Annahme einer hohen Realisierungswahrscheinlichkeit in naher Zukunft entgegenstand.
4.4. Bei Auszonungen aus einer bundesrechtskonformen Bauzone kommt es nach der Rechtsprechung nicht darauf an, ob der Grundeigentümer für die nahe Zukunft Bauabsichten hegte (vgl. BGE 113 Ib 318 E. 3c und 3d S. 322 ff.; Urteile 1A.120/1993 vom 23. Mai 1995 E. 5d, in: ZBl 98/1997 S. 179; 1C_510/2009 vom 14. Juli 2010 E. 4.3, in: RDAF 2010 I 518). Es ist deshalb nicht entscheidend, dass die Beschwerdegegner eine Überbauung der betroffenen Teilfläche nie konkret in Betracht zogen. Wie bereits ausgeführt wurde, waren die Beschwerdegegner nicht verpflichtet, den fraglichen Grundstücksteil zu überbauen (vgl. vorn E. 3.5). Es kann auch nicht gesagt werden, dass die Beschwerdegegner mit dem Zuwarten ihr grundsätzliches Desinteresse an einer Überbauung kundgetan hätten, wie dies die Beschwerdeführerin anzutönen scheint.
4.5. Aus diesen Gründen hat die Vorinstanz eine ausreichend hohe Realisierungswahrscheinlichkeit der Überbaubarkeit auf der umgezonten Teilfläche zu Recht angenommen. Insgesamt verstösst es nicht gegen Bundesrecht, dass die Vorinstanz im vorliegenden Fall das Vorliegen einer materiellen Enteignung bejaht hat.
5.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten der Beschwerdeführerin aufzuerlegen, die in ihren Vermögensinteressen betroffen ist (Art. 66 Abs. 1 und 4 BGG). Sie hat die Beschwerdegegner für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1-3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 4'000.-- werden der Beschwerdeführerin auferlegt.
3.
Die Beschwerdeführerin hat den Beschwerdegegnern insgesamt eine Parteientschädigung von Fr. 5'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien, der Schätzungskommission für Enteignungen des Kantons St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen, Abteilung I, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 12. März 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Kessler Coendet