Zugrecht, hat sich ergeben:
A.- Doris Schenkel-Plattner und Jakob Beat Schenkel (Erben des Jakob Schenkel) sowie Annemarie Schenkel sind Miteigentümer der Grundstücke Kat. Nrn. 4280, 669, 860 und 5652 (sog. Schenkelwiese Nord) sowie der Parzelle Kat. Nr. 5338 (Schenkelwiese Süd). Das gesamte Areal von 29'601 m2 befand sich gemäss Zonenplan zur Bauordnung der Stadt Winterthur vom 25. April 1966 teils in der Wohnzone W2, teils in der Wohnzone W3.
Bei der Vorbereitung der neuen Nutzungsplanung beantragte der Stadtrat (Exekutive) dem Gemeinderat (Legislative) im Juni 1984, es sei das Gebiet der Schenkelwiese grösstenteils erneut den Wohnzonen W2 und W3, ein überbauter Teil der Kernzone III zuzuweisen. Am 29. Oktober 1985 wurde eine Volksinitiative für eine Freihaltezone im Bereich der Schenkelwiese eingereicht mit dem Ziel, diese unüberbaut zu belassen. In der Volksabstimmung vom 28. September 1986 wurde diese Initiative angenommen und ein Gegenvorschlag von Stadt- und Gemeinderat, welcher die Schenkelwiese Nord der Reservezone und den Rest der Wohn- bzw. Kernzone hätte zuweisen wollen, wurde abgelehnt. Damit gelangten 24'322 m2 der erwähnten Grundstücke in die Freihaltezone. Der Regierungsrat genehmigte diese Festlegung am 22. April 1987.
B.- Jakob und Annemarie Schenkel meldeten am 3. Oktober 1986 Entschädigungsforderungen wegen materieller Enteignung an. Am 9. Juli 1987 erklärten sie für den grössten Teil der der Freihaltezone zugewiesenen Fläche den Heimschlag.
Mit Entscheid vom 28. November 1988 bejahte die Schätzungskommission IV für die gesamte Fläche von 24'322 m2 eine materielle Enteignung und setzte dafür eine Entschädigung von insgesamt Fr. 8'806'270. -- nebst Zins fest. Für die Zusprechung des Eigentums an den heimgeschlagenen Parzellen und Parzellenteilen im Halte von insgesamt 19'162 m2 verpflichtete sie die Stadt Winterthur zur Bezahlung einer zusätzlichen Entschädigung von Fr. 383'240. -- nebst Zins.
C.- In Abweisung einer Klage der Stadtgemeinde Winterthur bestätigte das Verwaltungsgericht des Kantons Zürich am 13. Juli 1990 den erstinstanzlichen Entscheid und wies das Eventualbegehren der Klägerin um Zusprechung (auch) des Eigentums an den nicht heimgeschlagenen Grundstückteilen aus Kat. Nrn. 669, 860, 4280 und 5652 ab (der Entscheid ist auszugsweise publiziert in ZBl 91/1990 S. 553 ff.).
D.- Gegen diesen Entscheid (VK 89/0012) hat die Stadtgemeinde Winterthur mit Eingabe vom 1. September 1990 "Staatsrechtliche Beschwerde/Verwaltungsgerichtsbeschwerde" erhoben (Verfahren 1A.165/1990). Sie beantragt, es sei Ziff. 2 des Dispositivs des angefochtenen Entscheids aufzuheben, soweit der Beschwerdeführerin das Eigentum an den in der Freihaltezone gelegenen Grundstücken und Grundstückteilen von Kat. Nrn. 669, 860, 4280 und 5652 nicht zugesprochen worden ist, und es sei ihr dieses zuzusprechen. Sie rügt eine Verletzung der Gemeindeautonomie und von Art. 4 aBV.
Die Erben des Jakob Schenkel sowie Annemarie Schenkel beantragen Abweisung der Beschwerde, soweit darauf einzutreten sei. Den gleichen Antrag stellt das Verwaltungsgericht. Das Bundesamt für Raumplanung hat auf eine Stellungnahme verzichtet.
E.- Mit Entscheid vom 20. Dezember 1990 (RG 90/0012) wies das Verwaltungsgericht ein Revisionsgesuch der Stadtgemeinde Winterthur ab. Gegen diesen Entscheid hat die Stadtgemeinde Winterthur mit Eingabe vom 18. Februar 1991 staatsrechtliche Beschwerde erhoben (Verfahren 1P.119/1991).
Sie stellt folgende Anträge:
"1. Der angefochtene Entscheid sei aufzuheben und es seien die Anträge der Beschwerdeführerin bezüglich des Entscheids VK 89/0012 gutzuheissen, nämlich
1. Ziff. 2 des Dispositivs sei aufzuheben, soweit der Beschwerdeführerin das Eigentum an den in der Freihaltezone gelegenen Grundstücken bzw. Grundstücksteilen von Kat. Nrn. 669, 860, 4280 und 5652 nicht zugesprochen wird.
2. Vom Beschluss des Stadtrates Winterthur vom 22. August 1990 betreffend Schenkelwiese (Sk-Nr. 90-2193), insbesondere von der Absicht, die Schenkelwiese der Öffentlichkeit zugänglich zu machen, sei Vormerk zu nehmen.
3. Das Eigentum an den in Ziff. 1 aufgeführten Grundstücken bzw. Grundstücksteilen sei der Beschwerdeführerin vollumfänglich zuzusprechen.
2. Das vorliegende Verfahren sei mit dem gegen den Entscheid VK 89/0012 erhobenen Beschwerdeverfahren zu vereinigen. "
Die Erben des Jakob Schenkel sowie Annemarie Schenkel beantragen Abweisung der Beschwerde, soweit darauf einzutreten sei. Den gleichen Antrag stellt das Verwaltungsgericht.
F.- Das Verfahren 1A.165/1990 blieb vorerst wegen des vor dem Verwaltungsgericht hängigen Revisionsverfahrens sistiert. Vom 20. März 1991 bis zum 20. November 1998 blieb es zusammen mit dem Verfahren 1P.119/1991 erneut eingestellt, weil die Parteien miteinander in Vergleichsverhandlungen standen und sich die Stadt um eine Neuplanung bemühte. Nachdem das Verfahren auf Antrag der Beschwerdegegner wieder aufgenommen und der Schriftenwechsel weitergeführt worden ist, haben die Parteien noch Gelegenheit zu Replik und Duplik erhalten.

Das Bundesgericht zieht in Erwägung:
1.- a) Die beiden Verfahren betreffen den gleichen Gegenstand und die gleichen Parteien; sie können deshalb in einem Urteil behandelt werden.
b) Das Bundesgericht prüft die Zulässigkeit der bei ihm eingereichten Beschwerden von Amtes wegen und mit freier Kognition (<ref-ruling> E. 1a mit Hinweisen).
Die staatsrechtliche Beschwerde ist subsidiär zu andern Rechtsmitteln (Art. 84 Abs. 2 OG). Es fragt sich daher, ob die als staatsrechtliche Beschwerde/Verwaltungsgerichtsbeschwerde überschriebene Eingabe vom 1. September 1990 als Verwaltungsgerichtsbeschwerde an die Hand zu nehmen ist.
2.- Die Verwaltungsgerichtsbeschwerde ist zulässig gegen Verfügungen, die sich auf öffentliches Recht des Bundes stützen oder hätten stützen sollen (<ref-law> i.V.m. Art. 97 OG), sofern diese von einer in Art. 98 OG genannten Vorinstanz erlassen worden sind und keiner der in Art. 99 ff. OG oder in der Spezialgesetzgebung vorgesehenen Ausschlussgründe greift. Sodann unterliegen der Verwaltungsgerichtsbeschwerde gemischtrechtliche Verfügungen bzw. (auch) auf unselbständiges kantonales Ausführungsrecht zum Bundesrecht gestützte Anordnungen sowie auf übrigem kantonalem Recht beruhende Anordnungen, die einen hinreichend engen Sachzusammenhang mit der im Rahmen der Verwaltungsgerichtsbeschwerde zu beurteilenden Frage des Bundesverwaltungsrechts aufweisen. Soweit dem angefochtenen Entscheid selbständiges kantonales Recht ohne den genannten Sachzusammenhang zum Bundesrecht zugrunde liegt, steht die staatsrechtliche Beschwerde zur Verfügung (<ref-ruling> E. 1a/aa).
a) Umstritten ist in der Sache selbst einzig, ob das Verwaltungsgericht der Beschwerdeführerin aufgrund ihres sog. Zugrechts gemäss § 63 des Planungs- und Baugesetzes vom 7. September 1975 (PBG gemäss Fassung vor der Revision vom 1. September 1991, im Folgenden: alt PBG) das Eigentum an den von den Beschwerdegegnern nicht heimgeschlagenen Grundstückteilen hätte zusprechen müssen. Dagegen sind die materielle Enteignung als Folge der Zuweisung dieser Grundstückteile zur Freihaltezone und die vom Verwaltungsgericht dafür festgelegte Entschädigung nicht mehr bestritten.
b) Das Bundesgericht hat im Fall Savognin (<ref-ruling> E. 1) entschieden, die Verwaltungsgerichtsbeschwerde sei dann gegeben, wenn der kantonale Gesetzgeber das Heimschlagsrecht als Folge einer Planungsmassnahme gemäss dem Bundesgesetz vom 22. Juni 1979 über die Raumplanung (RPG; SR 700), in welcher eine enteignungsähnliche Eigentumsbeschränkung liege oder liegen könnte, gewähre, und wenn - zumindest unter anderem - umstritten sei, ob und in welchem Ausmass eine Entschädigung für den planerischen Eingriff geschuldet sei (Art. 5 i.V.m. Art. 34 RPG). Dies gelte auch dann, wenn sich die Frage im Rahmen eines formellen Enteignungsverfahrens stelle bzw. wenn die materielle durch eine formelle Enteignung ergänzt werde (vgl. auch <ref-ruling> E. 1a).
Im Fall Küsnacht (<ref-ruling> E. 3) stellte das Bundesgericht fest, § 41 PBG gewähre unabhängig davon, ob eine materielle Enteignung gemäss Art. 5 RPG vorliege, ein Heimschlagsrecht. Nachdem das Verwaltungsgericht die Frage der materiellen Enteignung rechtskräftig negativ entschieden habe, stehe nur noch die Frage zum Entscheid, ob dieses gestützt allein auf kantonales Recht normierte Heimschlagsrecht zu Recht oder zu Unrecht gewährt und die Entschädigung dafür richtig bemessen worden sei. Dafür stehe die Verwaltungsgerichtsbeschwerde nicht zur Verfügung (vgl. auch <ref-ruling> E. 5 S. 293).
Im Fall der Stadt Schaffhausen (<ref-ruling> E. 3a) präzisierte das Gericht, die Tatsache, dass der Heimschlag auch für nicht enteignungsgleich wirkende Eingriffe zur Verfügung stehe, bedeute allein noch nicht, dass dieser ein selbständiges Institut des kantonalen Rechts sei und nie Folge einer Planungsmassnahme im Sinne des RPG sein könne. Im konkreten Fall beurteilte das Gericht im Verfahren der Verwaltungsgerichtsbeschwerde die allein noch strittig gebliebene Frage der Verzinsung des Übernahmepreises für ein von einer materiellen Enteignung betroffenen Grundstücks.
Im Fall Horgen (publiziert in ZBl 94/1993 S. 251 ff., insbes. S. 256) war vor Bundesgericht umstritten, ob eine planerische Massnahme der Gemeinde eine materielle Enteignung bewirkt und ob die Gemeinde das Zugrecht gemäss § 63 alt PBG rechtzeitig ausgeübt habe. Da die erste Frage im Verfahren der Verwaltungsgerichtsbeschwerde zu beurteilen war, prüfte das Gericht auch die zweite Frage in diesem Verfahren, da sie eine Folge einer vom Verwaltungsgericht als enteignungsähnlich qualifizierten Planungsmassnahme war. Die Frage des Zugrechts als selbständiges kantonales Recht prüfte es dann aber nur unter dem Gesichtswinkel der Willkür.
c) Im vorliegenden Fall ist vor Bundesgericht einzig die Frage der Zulässigkeit des Zugrechts nach § 63 alt PBG umstritten. Zwar wird das Zugrecht als Folge einer materiellen Enteignung geltend gemacht, doch stellt es gleichwohl selbständiges kantonales Recht dar (vgl. Karl Spühler, Aktuelle Rechtsfragen zum zürcherischen Bau- und Planungsrecht aus der Sicht des Bundesgerichts, in ZBl 94/1993 S. 116 Ziff. 3). Da sowohl die materielle Enteignung selber als auch die Entschädigung für diese im vorliegenden Fall nicht mehr bestritten sind, steht die Anwendung von Art. 5 Abs. 2 RPG, d.h. von Bundesverwaltungsrecht, nicht mehr zur Diskussion. Es geht nur noch um die Anwendung selbständigen kantonalen Rechts. Darin unterscheidet sich der vorliegende Fall von den Fällen Savognin, Schaffhausen und Horgen, wo jeweils die Fragen der materiellen Enteignung und/oder der Entschädigung für diese (im Fall Schaffhausen die entsprechende Verzinsung) im Vordergrund standen, d.h. Fragen im Anwendungsbereich von Art. 5 Abs. 2 RPG, die im Verfahren der Verwaltungsgerichtsbeschwerde zu beurteilen waren. Ob die Stadt Winterthur Anspruch auf Zuweisung des Eigentums an den betroffenen Grundstückteilen hat und wie hoch eine allfällige Entschädigung dafür sein müsste (worüber gegebenenfalls zuerst noch das Verwaltungsgericht zu urteilen hätte), berührt dagegen Art. 5 Abs. 2 RPG nicht mehr, nachdem das Vorliegen einer materiellen Enteignung und die dafür zu leistende Entschädigung unbestritten sind. Da somit im einzig verbliebenen Streitpunkt kein Bundesverwaltungsrecht zur Diskussion steht, ist die Verwaltungsgerichtsbeschwerde nicht zulässig (Art. 97 OG i.V.m. <ref-law>; <ref-ruling> E. 2a mit Hinweisen). Auf diese ist daher nicht einzutreten.
3.- Zur staatsrechtlichen Beschwerde ist eine Gemeinde, die von einem staatlichen Akt als Trägerin hoheitlicher Befugnisse getroffen wird, befugt, soweit sie sich gegen eine Verletzung in ihrer durch das kantonale Recht gewährleisteten Autonomie zur Wehr setzen will (<ref-ruling> E. 1a). Das ist hier der Fall. Die Beschwerdeführerin will ihr Zugrecht nach § 63 alt PBG als Trägerin hoheitlicher Gewalt durchsetzen und macht eine Verletzung ihrer Autonomie geltend. Ob ihr im fraglichen Sachbereich überhaupt Autonomie zusteht, ist nicht eine Frage des Eintretens, sondern der materiellen Beurteilung (<ref-ruling> E. 2a).
Die Beschwerde vom 1. September 1990 (Verfahren 1A.165/1990) richtet sich gegen den Entscheid des Verwaltungsgerichts vom 13. Juli 1990. Soweit gegen diesen noch das kantonale Rechtsmittel der Revision zur Verfügung stand, wurde dieses ergriffen. Das Verwaltungsgericht wies das Revisionsbegehren mit Entscheid vom 20. Dezember 1990 ab. Gegen diesen Entscheid richtet sich die staatsrechtliche Beschwerde vom 18. Februar 1991 (Verfahren 1P.119/1991). Der kantonale Instanzenzug ist demnach ausgeschöpft (Art. 86 und 87 OG). Da beide Beschwerden den Formerfordernissen entsprechen und rechtzeitig eingereicht worden sind, ist auf sie grundsätzlich einzutreten. Nicht einzutreten ist auf die Rechtsbegehren jedoch insoweit, als mit ihnen mehr verlangt wird als die Aufhebung der angefochtenen Entscheide (Grundsatz der kassatorischen Natur der staatsrechtlichen Beschwerde; <ref-ruling> E. 4a, 121 I 326 E. 1b). Dagegen ist es unter bestimmten Voraussetzungen zulässig, mit der zweiten Beschwerde auch noch den ersten Entscheid des Verwaltungsgerichts mit anzufechten und gegen diesen ebenfalls Rügen vorzubringen (vgl. <ref-ruling> E. 2b, 118 Ia 165 E. 2b).
4.- Eine Gemeinde ist in einem Sachbereich autonom, wenn das kantonale Recht diesen nicht abschliessend ordnet, sondern ihn ganz oder teilweise der Gemeinde zur Regelung überlässt und ihr dabei eine relativ erhebliche Entscheidungsfreiheit einräumt. Der geschützte Autonomiebereich kann sich auf die Befugnis zum Erlass oder Vollzug eigener kommunaler Vorschriften beziehen oder einen entsprechenden Spielraum bei der Anwendung des kantonalen oder eidgenössischen Rechts betreffen. Der Schutz der Gemeindeautonomie setzt eine solche nicht in einem ganzen Aufgabengebiet, sondern lediglich im streitigen Bereich voraus (<ref-ruling> E. 2b S. 226 f.). Voraussetzung ist jedoch, dass der erstinstanzliche Vollzug der Gemeinde übertragen ist und die Art der zu regelnden Materie für ein Selbstbestimmungsrecht der einzelnen Gemeinden Raum lässt (<ref-ruling> E. 3b S. 219). Im Einzelnen ergibt sich der Umfang der kommunalen Autonomie aus dem für den entsprechenden Bereich anwendbaren kantonalen Verfassungs- und Gesetzesrecht, wobei das Bundesgericht die Anwendung des Gesetzesrechts nur auf Willkür hin überprüft (<ref-ruling> E. 8b S. 290).
a) Die Beschwerdeführerin beruft sich auf die den Zürcher Gemeinden zustehende weitreichende Autonomie im Bereich der Ortsplanung (statt vieler: <ref-ruling> E. 4b S. 295). Es geht im vorliegenden Fall indessen nicht um die Festsetzung der Freihaltezone, sondern um die Ausübung des Zugrechts. Dieses ist in § 63 alt PBG geregelt. Danach kann die Gemeinde im Entschädigungsverfahren aus materieller Enteignung unter gewissen vom kantonalen Recht abschliessend umschriebenen Voraussetzungen die Zusprechung des betreffenden Landes zu Eigentum verlangen. Die Gemeinde besitzt demnach einen Entscheidungsspielraum, ob sie von diesem Recht Gebrauch machen will, ist aber an die vom kantonalen Recht umschriebenen Voraussetzungen gebunden. Umstritten ist im zu beurteilenden Fall, ob diese Voraussetzungen erfüllt sind. Es fragt sich, ob das die Autonomie der Gemeinde berührt. Die Beschwerdegegner verneinen es.
Das Bundesgericht hat in einem unveröffentlichten Entscheid vom 17. Februar 1971 i.S. Morschach die Frage offen gelassen, ob sich die Gemeinde mit Autonomiebeschwerde dagegen wehren kann, wenn ihr eine kantonale Instanz in einem bestimmten Fall das Recht zur Enteignung wegen Fehlens der im kantonalen Recht umschriebenen Voraussetzungen abspricht (zit. bei Ulrich Zimmerli, Die neuere bundesgerichtliche Rechtsprechung zur Gemeindeautonomie, in ZBl 73/1972 S. 270). In einem Genfer Fall hat das Bundesgericht erkannt, das kantonale Gesetz räume den Gemeinden Autonomie ein beim Entscheid, ob sie ihr Vorkaufsrecht ausüben wollten; daran ändere nichts, dass die Voraussetzungen dazu im kantonalen Recht umschrieben seien (<ref-ruling> E. 3 S. 194). Der vorliegende Fall ist mit dem Genfer Fall vergleichbar. Wenn das Gericht im Fall Küsnacht (oben E. 2b) der Gemeinde keine Autonomie im Bereich des selbständigen kantonalen Heimschlagsrechts zugestand, so deshalb, weil es in jenem Fall nur noch um die Höhe der Entschädigung ging (<ref-ruling> E. 3c S. 218). Gleich verhält es sich dort, wo die Gemeinde lediglich die im formellen kantonalen Enteignungsverfahren festgesetzte Höhe der Entschädigung anfechten will (<ref-ruling> E. 2, 99 Ia 110 E. 2). Wird dagegen der Gemeinde das ihr grundsätzlich zustehende Recht zu enteignen bzw. ein Grundstück an sich zu ziehen abgesprochen, weil die Voraussetzungen dazu nicht erfüllt seien, wird sie in ihrer Autonomie berührt.
b) Ist eine Gemeinde in einem Sachbereich autonom, so kann sie sich mit staatsrechtlicher Beschwerde dagegen zur Wehr setzen, dass eine kantonale Behörde im Rechtsmittelverfahren ihre Prüfungsbefugnis überschreitet oder die den betreffenden Sachverhalt ordnenden kommunalen, kantonalen oder bundesrechtlichen Normen falsch anwendet. Soweit nicht die Handhabung von eidgenössischem oder kantonalem Verfassungsrecht in Frage steht, prüft das Bundesgericht den Entscheid der kantonalen Behörde nur unter dem Gesichtswinkel der Willkür (<ref-ruling> E. 3a S. 218, 285 E. 4c S. 296, je mit Hinweisen). Im Rahmen einer Autonomiebeschwerde kann die Gemeinde auch eine Verletzung des rechtlichen Gehörs, des Willkürverbots und anderer aus Art. 4 aBV (vgl. Art. 8, 9 und 29 der neuen Bundesverfassung, nBV) abgeleiteter Verfassungsgrundsätze rügen, soweit deren Verletzung mit dem streitigen Eingriff in die Autonomie in engem Sachzusammenhang steht (<ref-ruling> E. 4, 120 Ia 95 E. 2).
5.- Mit ihrer staatsrechtlichen Beschwerde vom 18. Februar 1991 (Verfahren 1P.119/1991) richtet sich die Beschwerdeführerin gegen den Revisionsentscheid des Verwaltungsgerichts vom 20. Dezember 1990, mit welchem das Gericht das Revisionsbegehren abgewiesen hat. Die Beschwerdeführerin rügt eine Verletzung ihrer Autonomie durch willkürliche Auslegung von § 67 lit. a des Verwaltungsrechtspflegegesetzes (VRG; diese Bestimmung ist mit der Revision vom 8. Juni 1997 aufgehoben worden). Das Verwaltungsgericht ging davon aus, die Bestimmung bezwecke gleich wie § 67 lit. b VRG lediglich die Berichtigung von prozessualen Versehen, nicht dagegen das Zurückkommen auf Fragen, die im angefochtenen Entscheid beantwortet oder absichtlich nicht berücksichtigt worden seien. Die Beschwerdeführerin erachtet diese Auslegung als gegen den klaren Wortlaut verstossend. Es trifft zwar zu, dass dem Wortlaut von § 67 lit. a VRG nicht entnommen werden kann, dass lediglich die versehentliche Verletzung von Verfahrensvorschriften einen Revisionsgrund darstellt. Es ist aber keineswegs willkürlich anzunehmen, diese Auslegung ergebe sich aus dem Zweck der Vorschrift. So vertritt auch Alfred Kölz (Kommentar zum Verwaltungsrechtspflegegesetz des Kantons Zürich, Zürich 1978, N. 2 zu § 67) die Auffassung, es könne nicht der Sinn des Gesetzes sein, dass das Verwaltungsgericht eine prozessuale Frage, die es im Entscheid ausdrücklich aufgegriffen und erörtert hat, auf Verlangen einer Partei nochmals prüfe. Eine solche Auslegung steht auch nicht im Widerspruch zum Wortlaut der Bestimmung; sie ist lediglich restriktiver, als dieser auf den ersten Blick erwarten lässt. Das Bundesgericht hat im Übrigen diese enge Auslegung implizit sanktioniert, indem es in Fällen, in denen nicht ein prozessuales Versehen geltend gemacht wurde, zur Ausschöpfung des kantonalen Instanzenweges nicht verlangte, dass der Revisionsweg gemäss § 67 lit. a VRG beschritten werde, da das auf ein Wiedererwägungsbegehren hinausliefe und leere Formalität darstellte (<ref-ruling> E. 1b S. 55; vgl. auch <ref-ruling> E. 2a S. 138). Die Rüge ist deshalb unbegründet, und die Beschwerde ist abzuweisen. Im Übrigen hat das Verwaltungsgericht die geltend gemachten Verfahrensfehler auch noch frei geprüft und sie als unbegründet bezeichnet. Damit ist auf jeden Fall das Erfordernis der Letztinstanzlichkeit erfüllt, so dass auf die in beiden staatsrechtlichen Beschwerden vorgebrachten
Rügen der Verletzung des rechtlichen Gehörs, der Willkür und der Verletzung des Grundsatzes von Treu und Glauben eingetreten werden kann.
6.- Die Beschwerdeführerin hatte vor dem Verwaltungsgericht für den Fall, dass auch für das Areal Schenkelwiese Nord das Vorliegen einer materiellen Enteignung bejaht werde, die Zusprechung des Eigentums (auch) dieses Areals beantragt. Zur Begründung hatte sie auf § 63 alt PBG verwiesen, wonach die Gemeinde die Zusprechung des betreffenden Landes zu Eigentum verlangen kann, "wenn die Entschädigungsforderung für die mit der Freihaltezone verbundenen Eigentumsbeschränkungen mehr als zwei Drittel des Verkehrswerts beträgt und wenn sich die Gemeinde verpflichtet, das Land innert vier Jahren nach der Eigentumsübertragung der Öffentlichkeit zugänglich zu machen oder dauernd seiner bisherigen Nutzung zu erhalten". Die Beschwerdeführerin hatte erklärt, sie gehe diese Verpflichtung ein. Sie präzisierte jedoch in keinem Zeitpunkt, von welcher der beiden Möglichkeiten sie Gebrauch zu machen gedenke. Das Verwaltungsgericht wies das Begehren um Zuspruch des Eigentums ab mit der Begründung, aufgrund der in der Klageschrift abgegebenen Erklärung stehe nicht mit Sicherheit fest, dass die Stadt Winterthur die betreffenden Grundstückteile der Öffentlichkeit zugänglich machen werde, und die weitere Nutzung als Wiesland rechtfertige den Zuspruch ebenfalls nicht, da die Zuweisung dieses Landes zur Freihaltezone nicht dieser Bewirtschaftungsform wegen erfolgt sei.
7.- a) Die Beschwerdeführerin macht vorab geltend, das Verwaltungsgericht habe den Sachverhalt unvollständig und in willkürlicher Verletzung der Untersuchungsmaxime festgestellt. Gleichzeitig habe es den Anspruch der Beschwerdeführerin auf rechtliches Gehör und den Grundsatz von Treu und Glauben verletzt. Wenn das Verwaltungsgericht die Verpflichtungserklärung der Gemeinde als ungenügend erachtet habe, so hätte es von sich aus den Sachverhalt näher abklären und der Stadt insbesondere Frist zur Abgabe einer Erklärung, welcher der beiden Zwecke denn nun verfolgt werde, ansetzen müssen. Für die Stadt sei nicht voraussehbar gewesen, dass ihre in der Klageschrift abgegebene Verpflichtungserklärung nicht genügen könnte.
Das Verwaltungsgericht führt dazu in seiner Vernehmlassung mit Hinweis auf seinen Revisionsentscheid vom 20. Dezember 1990, E. 3, aus, im Klageverfahren sei die Untersuchungsmaxime zugunsten der Verhandlungsmaxime eingeschränkt (vgl. Alfred Kölz, a.a.O., N. 1 zu § 86). Im Übrigen habe die Frage der weitern Verwendung des Areals zum Prozessthema des zweiten Schriftenwechsels vor dem Verwaltungsgericht gehört: Die Beklagten hätten nämlich in der Klageantwort geltend gemacht, die Erhaltung der bisherigen Nutzung biete keine hinreichende Grundlage für den Erwerb des Landes, und bezüglich der Zugänglichmachung für die Öffentlichkeit habe die Gemeinde noch im Verfahren vor der Schätzungskommission erklärt, für das Land keine Verwendungsmöglichkeit zu haben. Die Klägerin habe deshalb mit der Möglichkeit rechnen müssen, dass das Verwaltungsgericht das Vorliegen der Voraussetzungen von § 63 Abs. 1 alt PBG verneinen könnte, und sie hätte in ihrer Replik für diesen Fall eine präzisierende Erklärung nachschieben können. Das habe sie unterlassen.
b) Es ist nicht ersichtlich, inwiefern das Vorgehen des Verwaltungsgerichts Art. 4 aBV bzw. Art. 9 und 29 nBV verletzt haben sollte. Die Beschwerdeführerin hatte vor Verwaltungsgericht Gelegenheit erhalten, zum substanziierten Einwand der Beschwerdegegner, wonach die Voraussetzungen von § 63 Abs. 1 alt PBG nicht erfüllt seien, Stellung zu nehmen. Sie hat davon nicht Gebrauch gemacht, obschon ihr aufgrund des Einwandes der Beschwerdegegner hätte klar sein müssen, dass ihre allgemeine Erklärung, die Verpflichtung gemäss § 63 Abs. 1 alt PBG eingehen zu wollen, als ungenügend betrachtet werden könnte. Der von der Beschwerdeführerin angerufene Untersuchungsgrundsatz, dessen beschränkte Tragweite im zürcherischen Klageverfahren die Beschwerdeführerin nicht bestreitet, verlangte nicht, dass das Verwaltungsgericht noch einmal Frist für eine präzisierende Erklärung hätte ansetzen oder gar noch gezielte Frage stellen müssen. Jedenfalls war es haltbar und verletzte die von der Beschwerdeführerin angerufenen Verfassungsgrundsätze nicht, wenn das Verwaltungsgericht nicht von sich aus weitere Untersuchungen anstellte.
8.- Die Beschwerdeführerin macht weiter geltend, die vom Verwaltungsgericht vorgenommene Auslegung von § 63 alt PBG widerspreche dem klaren Wortlaut dieser Bestimmung und sei willkürlich. Das Verwaltungsgericht stelle zusätzliche Schranken auf, die im Gesetz nicht vorgesehen seien. In ihrer Replik bringt die Beschwerdeführerin ergänzend vor, zumindest hätte das Verwaltungsgericht ihr vorgängig der für sie nicht voraussehbaren Auslegung contra legem von § 63 alt PBG Gelegenheit zur Stellungnahme einräumen müssen. Die Unterlassung stelle eine Verweigerung des rechtlichen Gehörs dar.
Was Letzteres betrifft, so ist die Rüge, die in der Replik erstmals vorgebracht wird, verspätet. Sie wird nicht abgedeckt durch die Rüge der Verletzung des rechtlichen Gehörs, wie sie in der Beschwerde vom 1. September 1990 erhoben worden ist; mit dieser hat die Beschwerdeführerin nämlich nur beanstandet, das Verwaltungsgericht hätte ihr nochmals Gelegenheit geben müssen, zum Sachverhalt, insbesondere zur Frage, zu welchem Zweck sie das Areal erwerben wolle, Stellung zu nehmen. Bezüglich der Auslegung von § 63 alt PBG hat sie diese Rüge nicht erhoben. In der Beschwerde vom 18. Februar 1991 gegen den Revisionsentscheid kommt die Beschwerdeführerin zwar unter der Überschrift "Verletzung des rechtlichen Gehörs" auf die angebliche Auslegung gegen den Wortlaut zu sprechen, beanstandet aber auch hier nicht, dass sie zu dieser Frage nicht vorgängig angehört worden sei. Wohl führt sie aus, sie habe keine Veranlassung gehabt, eine gegen Sinn und Wortlaut des Gesetzes verstossende Auslegung durch das Verwaltungsgericht in Betracht zu ziehen, doch macht sie dann lediglich geltend, nach dem klaren Wortlaut des Gesetzes sei der Stadtrat von Winterthur nicht verpflichtet gewesen, seine Entscheidung über die weitere Verwendung des Landes bereits im Zeitpunkt der Duplik zu fassen. Da die diesbezügliche Rüge der Verletzung des rechtlichen Gehörs in der Replik verspätet ist, kann auf sie nicht eingetreten werden. Im Übrigen wäre sie unbegründet, da - wie noch zu zeigen sein wird - von einer Auslegung gegen den Wortlaut oder von einer Gesetzeslücke nicht die Rede sein kann und das Verwaltungsgericht seinen Entscheid nicht auf völlig ausserhalb jeder Erwartung liegende Rechtsnormen oder Argumente abgestellt hat (<ref-ruling> E. 1b, 114 Ia 97 E. 2a).
9.- Die Beschwerdeführerin hält die vorgenommene Auslegung von § 63 alt PBG durch das Verwaltungsgericht für willkürlich. Das Gericht habe durch Füllung nicht existierender Lücken und gegen den Wortlaut der Bestimmung Zusatzkriterien aufgestellt, die Sinn und Geist der Regelung widersprächen. Die Auffassung des Verwaltungsgerichts wäre nur dann akzeptierbar, wenn den Beschwerdegegnern kein Rückforderungsrecht zustünde; ein solches sähen jedoch sowohl das PBG als auch das Abtretungsgesetz vor.
a) Die Beschwerdeführerin ist somit der Meinung, für die Ausübung des Zugrechts müsse die abstrakte Erklärung, man wolle das Land entweder innert vier Jahren nach der Eigentumsübertragung der Öffentlichkeit zugänglich machen oder es dauernd seiner bisherigen Nutzung erhalten, genügen. Das Verwaltungsgericht vertritt dagegen die Auffassung, eine solche Erklärung genüge den verfassungsmässigen Anforderungen für eine formelle Enteignung, auf welche die Ausübung des Zugrechts hinauslaufe, nicht. Einerseits stehe aufgrund der von der Stadt Winterthur abgegebenen Erklärung nicht mit Sicherheit fest, dass die Stadt die betreffenden Grundstücke der Öffentlichkeit (gemeint sei zur Erholung im Sinne von § 32, eventuell auch § 31 der Natur- und Heimatschutzverordnung vom 20. Juli 1977) zugänglich machen werde.
Andererseits zeige die Entstehungsgeschichte von § 63 alt
PBG, dass mit dem Ausdruck "seiner bisherigen Nutzung zu erhalten" nur gemeint sein könne, dass das Land zwecks einer besondern Nutzung, derentwegen es der Freihaltezone zugewiesen worden sei (z.B. zur Weiternutzung als Rebland), also zwecks einer bisherigen besonderen Bewirtschaftungsform zu sichern sei (so nun der hier noch nicht anwendbare § 43a Abs. 1 PBG). Im vorliegenden Fall gehe es aber um Wiesland, das nicht wegen seiner Nutzungsart der Freihaltezone zugewiesen worden sei, sondern um es vor einer Überbauung zu bewahren. Für Letzteres brauche es des Zugrechts nicht; dafür genügten bereits die Zonenvorschriften der Freihaltezone. Eine Enteignung im Wege der Ausübung des Zugrechts würde in einem solchen Fall den Grundsatz der Verhältnismässigkeit verletzen.
b) Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 5). Willkür liegt sodann nur vor, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 5b S. 134).
c) Von einer Auslegung gegen den Wortlaut der Bestimmung kann im vorliegenden Fall keine Rede sein. Der Wortlaut verbietet die getroffene Interpretation nicht. Man könnte lediglich fragen, ob nicht auch eine etwas weniger einschränkende Auslegung möglich wäre. Das zu bejahen würde aber nach dem Gesagten noch nicht heissen, dass die einschränkendere Interpretation und das Ergebnis willkürlich wären. Es gibt gute Gründe anzunehmen, dass unter Erhaltung der bisherigen Nutzung nur eine Nutzung gemeint ist, derentwegen das Land der Freihaltezone zugewiesen worden ist und die nur durch Ausübung des Zugrechts genügend gesichert werden kann. Dass diese Voraussetzungen im vorliegenden Fall erfüllt seien, behauptet die Beschwerdeführerin nicht. Sie sagt nicht einmal, dass das Land dauernd seiner bisherigen Nutzung erhalten werden solle. In ihrer Replik führt sie lediglich aus, das Wiesland hätte "zumindest in einer ersten Phase", d.h. bis zur Einrichtung von Spielplätzen, Blumenbeeten usw. , weiterhin als solches, d.h. als Allmend, genutzt werden können und wäre auch nach dem Einrichten von Anlagen für die Öffentlichkeit teilweise noch als Wiesland weiter genutzt worden. Das Verwaltungsgericht durfte deshalb ohne Willkür annehmen, eine integrale dauernde Nutzung in der bisherigen Art sei nicht beabsichtigt.
d) Zum andern ist es nicht willkürlich, wenn das Verwaltungsgericht davon ausgegangen ist, eine verfassungskonforme Auslegung von § 63 alt PBG verlange, dass im Zeitpunkt der Ausübung des Zugrechts eine gewisse Sicherheit bestehen müsse, dass die Grundstückteile der Öffentlichkeit tatsächlich auch zugänglich gemacht werden. Diese Auffassung ist umso weniger unhaltbar, als die Beschwerdeführerin mit ihrer Erklärung nicht einmal gesagt hat, welche der beiden vom Gesetz eingeräumten Möglichkeiten sie zu wählen gedenke, und sie noch vor der Schätzungskommission bekräftigt hatte, selber für das Areal keine Verwendungsmöglichkeit zu haben.
Der Verdacht der Beschwerdegegner, dass die Beschwerdeführerin bis zum Entscheid des Verwaltungsgerichts gar nie ernsthaft beabsichtigt habe, das Areal der Öffentlichkeit zugänglich zu machen, sondern mit ihrer Erklärung nur habe bewirken wollen, dass die Grundeigentümer gemäss deren Eventualantrag ihre Entschädigungsforderung für die materielle Enteignung auf zwei Drittel des Verkehrswerts beschränkten, erscheint als nicht ganz unbegründet. Das ist auch aus der weitern Entwicklung des Geschehens seit dem Entscheid des Verwaltungsgerichts zu schliessen, auch wenn diese neuen Tatsachen für den Ausgang des vorliegenden Verfahrens nicht entscheidend sein können (<ref-ruling> E. 3a S. 283 f., 120 Ia 126 E. 4d/cc S. 135). Zwar fasste der Stadtrat von Winterthur am 22. August 1990 (d.h. rund einen Monat nach dem ersten Entscheid des Verwaltungsgerichts) einen Beschluss mit dem Auftrag an das Baudepartement, auf der Schenkelwiese die Erstellung einer öffentlich zugänglichen Freizeitanlage zu planen; offenbar zeigte diese Planung jedoch keine konkreten Ergebnisse. Denn bereits Mitte 1991 beantragte der Stadtrat dem Grossen Gemeinderat eine teilweise
Rückzonung des Areals Schenkelwiese Nord, und ab 1993 unterstützte er die private Gestaltungsplanung der Beschwerdegegner, welche zum Ziel hatte, die Schenkelwiese Nord wieder umzuzonen und der Überbauung zuzuführen (vgl. die unbestrittene Darstellung in der Beschwerdeantwort, S. 6 ff., und die ergänzende Darstellung in der Duplik, S. 6 f., sowie die verschiedenen Sistierungsgesuche der Beschwerdeführerin in den bundesgerichtlichen Akten). Dieser Ablauf der Ereignisse zeigt, dass es jedenfalls nicht willkürlich war, wenn das Verwaltungsgericht mit Blick auf eine verfassungskonforme Anwendung von § 63 alt PBG die Auffassung vertrat, dass dem auf eine Enteignung bzw. auf eine Ausdehnung der Enteignung hinauslaufenden Zugrecht nur stattzugeben sei, wenn über die künftige Verwendung des Areals im öffentlichen Interesse hinreichend Klarheit herrsche (zustimmend mit Hinweis auf die verfassungsrechtliche Problematik des zürcherischen Zugrechts: Haller/Karlen, Raumplanungs-, Bau- und Umweltrecht, 3. Aufl. , 1999, Band I, Rz. 447).
Daran ändert auch der Hinweis der Beschwerdeführerin auf das Rückforderungsrecht nichts, das den Enteigneten für den Fall zusteht, dass der Enteigner das Grundstück nicht binnen zwei bzw. vier Jahren zum Zweck verwendet, zu dem es enteignet worden ist (vgl. § 63 Abs. 1 alt PBG i.V.m. Art. 58 des Gesetzes vom 30. November 1879 betreffend die Abtretung von Privatrechten). Ein solches Rückforderungsrecht setzt gerade eine hinreichend klare Zweckbestimmung des abzutretenden Grundstücks voraus. Entgegen der Meinung der Beschwerdeführerin war es deshalb auch nicht willkürlich, wenn das Verwaltungsgericht ihren Übernahmeanspruch nicht einfach mit der generellen Auflage guthiess, das Grundstück innert vier Jahren der Öffentlichkeit zugänglich zu machen.
Die Beschwerden erweisen sich demnach als unbegründet, soweit auf sie eingetreten werden kann.
10.- Da die Beschwerdeführerin nicht primär vermögensrechtliche Interessen verfolgte, sind ihr keine Verfahrenskosten aufzuerlegen (Art. 156 Abs. 2 OG). Dagegen hat sie den privaten Beschwerdeführern eine Parteientschädigung zu bezahlen (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten. Die staatsrechtlichen Beschwerden werden abgewiesen, soweit auf sie einzutreten ist.
2.- Es werden keine Gerichtsgebühren erhoben.
3.- Die Stadt Winterthur hat den privaten Beschwerdegegnern für das bundesgerichtliche Verfahren eine Parteientschädigung von insgesamt Fr. 6'000. -- zu bezahlen.
4.- Dieses Urteil wird den Parteien sowie dem Verwaltungsgericht des Kantons Zürich, III. Kammer, und dem Bundesamt für Raumplanung schriftlich mitgeteilt.
_
Lausanne, 1. Februar 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: