Entschädigung aus materieller Enteignung, hat sich ergeben:
A.- Mit Tauschvertrag vom 20./23. Januar 1984 erwarb die Rhätische Bahn AG (RhB) von den Bergbahnen Brämabüel und Jakobshorn (BBBJ) die Parzelle Nr. 5756 im Gebiet "Geissloch", Davos-Platz. Der Tausch erfolgte unter der Bedingung, dass die Parzelle von der Wohnzone W3 in die Wohnzone W4 aufgezont werde. Die Gemeinde, die bei den Verhandlungen ihre Hilfe angeboten hatte, verpflichtete sich, für die Parzelle Nr. 5756 Erschliessungsanlagen zu erstellen und der RhB eine Baumehrkostenentschädigung zu leisten. Im Gegenzug räumte die RhB der Gemeinde ein Loipenerstellungs- und -benützungsrecht auf ihrer neuen Parzelle ein und verpflichtete sich zur Erstellung preisgünstiger Wohnungen für Ortsansässige.
B.- Am 26. Februar 1984 beschlossen die Stimmberechtigten der Gemeinde Davos eine Teilrevision des Zonenplans "Dorf und Platz" vom 4. Dezember 1977. Diese Revision umfasste eine Korrektur der Bauzonenabgrenzung im Bereich der Parzelle Nr. 5756 und eine Aufzonung des Gebiets "Geissloch" von der Wohnzone W3 in die Wohnzone W4. Die Regierung des Kantons Graubünden genehmigte die Revision am 16. Juli 1984.
Am 21. Dezember 1988 genehmigte die Gemeinde einen von der RhB und weitern Grundeigentümern ausgearbeiteten privaten Quartierplan. Am 6. November 1989 bewilligte sie das von der RhB bzw. ihrer Baurechtsnehmerin, der Pensions- und Hilfskasse der RhB (PHK) eingereichte Baugesuch zur Überbauung der Parzelle Nr. 5756 mit drei Mehrfamilienhäusern und einer unterirdischen Garage im unteren, westlichen Teil der Parzelle. In der Folge verzichtete die PHK aber auf die Ausführung des Vorhabens, so dass sich die RhB entschloss, die Parzelle Nr. 5756 zu verkaufen. Am 23. Februar 1993 schloss sie einen Kaufrechtsvertrag ab, bei welchem ein Preis von Fr. 4 Mio. vereinbart wurde.
C.- Am 18. Juni 1992 erliess die Gemeinde einen Richtplan, welcher Grundlage für eine Totalrevision der kommunalen Nutzungsplanung von 1977 nach den Zielen und Grundsätzen des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung sein sollte. Dieser Richtplan sah unter anderem vor, dass das Siedlungsgebiet nicht in bisher noch nicht überbaute Räume ausgedehnt werden, sondern eine Siedlungsverdichtung innerhalb des schon überbauten Gebiets stattfinden sollte. Die sich am Rand des überbauten Gebiets befindliche Parzelle Nr. 5756 wurde dem Bereich zugeordnet, für welchen Bauzonenkorrekturen vorgesehen waren.
Am 29. Juni 1993 ordnete die Gemeinde zwecks Sicherung der Umsetzung der Richtplanung eine Bausperre an, welche unter anderem auch die Parzelle Nr. 5756 erfasste. Die von der RhB erhobene Beschwerde wurde letztinstanzlich vom Bundesgericht abgewiesen (Urteil 1P.304/1994 vom 2. Februar 1995).
Am 1. Dezember 1996 hiessen die Stimmberechtigten der Gemeinde Davos unter anderem den revidierten Zonenplan "Davos-Platz" gut. Dieser beliess den untern (westlichen) Teil der Parzelle Nr. 5756 im Umfang von rund 1'833 m2 in der Bauzone und wies den obern (östlichen), am Hang befindlichen Teil im Umfang von rund 4'125 m2 der Landwirtschaftszone, überlagert von einer Wintersportzone, zu.
Die von der RhB gegen diese Planungsmassnahme erhobene Beschwerde wurde von der Regierung des Kantons Graubünden am 23. Dezember 1997 abgewiesen. Zur Begründung führte die Regierung im Wesentlichen aus, gewichtige öffentliche Interessen sprächen für die Umzonung. Eine Überbauung würde die Langlaufloipe und das Übungsgelände des Geisslochlifts erheblich beeinträchtigen und einen unschönen Einschnitt in den Grün- bzw. Landwirtschaftsgürtel zwischen den überbauten Flächen in der Ebene und dem weiter oben am Hang sich hinziehenden Wald bilden.
Den gegen diesen Entscheid erhobenen Rekurs wies das kantonale Verwaltungsgericht am 26. Mai 1998 ab. Das Urteil erwuchs in Rechtskraft.
D.- Am 21. Dezember 1998 meldete die RhB eine Entschädigungsforderung wegen materieller Enteignung an. Sie verlangte von der Gemeinde Davos Fr. 4 Mio. , zuzüglich 5% Zins, zudem die Übertragung der ganzen Parzelle auf die Gemeinde.
Das kantonale Verwaltungsgericht wies die Klage nach Vornahme eines Augenscheins am 21. September 1999 ab.
E.- Gegen dieses Urteil hat die RhB am 10. November 1999 Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Sie beantragt im Wesentlichen, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass sie infolge Auszonung der Parzelle Nr. 5756 materiell enteignet und voll zu entschädigen sei; überdies sei festzustellen, dass sie in ihrem durch den Tauschvertrag, die Umzonung und die Baubewilligung begründeten Vertrauen verletzt worden und daher (auch) gestützt auf Art. 4 der Bundesverfassung von 1874 (aBV) voll zu entschädigen sei; die zuständige Enteignungskommission sei mit der Festsetzung der Entschädigung zu beauftragen. Die Landschaft Davos Gemeinde und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen, soweit auf sie eingetreten werden könne. Das Bundesamt für Raumplanung (heute: Bundesamt für Raumentwicklung) hat auf eine Stellungnahme verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- a) Das angefochtene Urteil des Verwaltungsgerichts ist ein kantonal letztinstanzlicher Entscheid über die Entschädigungspflicht infolge einer Eigentumsbeschränkung im Sinne von Art. 5 RPG, welcher mit Verwaltungsgerichtsbeschwerde angefochten werden kann (Art. 34 Abs. 1 RPG). Die Beschwerdeführerin ist als betroffene Grundeigentümerin durch den Entscheid beschwert und somit zur Verwaltungsgerichtsbeschwerde befugt (Art. 103 lit. a OG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
b) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, geltend gemacht werden (Art. 104 lit. a OG). Das Bundesgericht ist nach Art. 105 Abs. 2 OG an die Feststellung des Sachverhalts gebunden, wenn - wie hier - ein kantonales Gericht als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt hat.
c) Da sich der Sachverhalt mit hinreichender Klarheit aus den Akten ergibt, erübrigt sich die Durchführung des beantragten Augenscheins. 2.- Die Beschwerdeführerin rügt wiederholt eine Verletzung des Anspruchs auf rechtliches Gehör (Art. 4 aBV), weil das Verwaltungsgericht ungenügend oder gar nicht auf ihre Vorbringen und Beweisanerbieten eingegangen sei oder lediglich auf seinen die Ortsplanung betreffenden Entscheid vom 26. Mai 1998 verwiesen habe.
a) Der Anspruch auf rechtliches Gehör verlangt, dass eine Behörde die Vorbringen der vom Entscheid Betroffenen tatsächlich hört, sorgfältig und ernsthaft prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die grundsätzliche Pflicht, einen Entscheid zu begründen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid sachgerecht anfechten kann. Sie muss jedoch nicht auf jeden Einwand im Detail eingehen, sondern kann sich auf die für den Entscheid wesentlichen Punkte beschränken (<ref-ruling> E. 2c, 124 II 146 E. 2a, 124 V 180 E. 1a, 121 I 54 E. 2c, 112 Ia 107 E. 2b). Entsprechendes gilt für die Beweisabnahme. Die Behörde braucht auf Beweisanerbieten, die für den Entscheid unerheblich oder für die Beweisführung untauglich sind oder die sich als entbehrlich erweisen, weil die Behörde gestützt auf ihre eigene Sachkenntnis oder diejenige von Fachleuten den Sachverhalt zu würdigen vermag, nicht einzugehen (<ref-ruling> E. 2, 122 II 464 E. 4a, 122 V 157 E. 1d).
b) Wie es sich im vorliegenden Fall mit den einzelnen Vorbringen der Beschwerdeführerin verhält, wird nachfolgend im Sachzusammenhang zu prüfen sein. Soweit die Beschwerdeführerin rügt, das Verwaltungsgericht hätte zur Begründung seines Entscheids nicht auf Ausführungen in seinem früheren Entscheid vom 26. Mai 1998 verweisen dürfen, ist der Einwand jedenfalls unbegründet. So wie es nach der Rechtsprechung des Bundesgerichts zulässig ist, zur Begründung auf den vorinstanzlichen Entscheid zu verweisen (<ref-ruling> E. 2c, 103 Ia 356 E. 3 und 407 E. 3a; <ref-ruling> E. 1d) oder sich auf bereits publizierte Entscheide zu beziehen (BGE vom 21. Februar 1991 in ZBl 92/1991 S. 424 oben), verletzt es Art. 4 aBV bzw. Art. 29 Abs. 2 der am 1. Januar 2000 in Kraft getretenen Bundesverfassung vom 18. April 1999 (BV; SR 101, AS 1999 S. 2555) nicht, wenn das Verwaltungsgericht in bestimmten Punkten auf seinen früheren, die Beschwerdeführerin betreffenden Entscheid verweist, welcher die Frage der Zonenzuteilung der hier im Streite liegenden Parzelle zum Gegenstand hatte. Die Beschwerdeführerin macht nicht geltend, ein solches Vorgehen werde durch das kantonale Recht ausgeschlossen. Ob das Verwaltungsgericht neu vorgebrachte, im früheren Verfahren nicht erwähnte Gesichtspunkte zu Unrecht nicht (ausdrücklich) gewürdigt hat, wird nachfolgend im Sachzusammenhang zu prüfen sein.
3.- a) Umstritten ist vorab, ob es sich bei der Zuweisung von rund 70% der Fläche der Parzelle Nr. 5756 zur Landwirtschaftszone durch die Zonenplanrevision vom 1. Dezember 1996 um eine Auszonung oder um eine Nichteinzonung handelte. Nach der bundesgerichtlichen Rechtsprechung liegt eine Nichteinzonung vor, wenn bei der erstmaligen Schaffung einer raumplanerischen Grundordnung, welche den verfassungsmässigen und gesetzlichen Anforderungen entspricht, eine Liegenschaft keiner Bauzone zugewiesen wird. Dabei spielt es keine Rolle, ob die in Frage stehenden Flächen nach dem früheren, der Revision des Bodenrechts nicht entsprechenden Recht überbaut werden konnten (<ref-ruling> E. 3b, mit Hinweisen). Von einer Auszonung spricht man dagegen, wenn eine Parzelle, die entsprechend den Grundsätzen des revidierten Bodenrechts bzw. des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (RPG; SR 700) förmlich der Bauzone zugewiesen war, einer Nichtbauzone zugeteilt wird (<ref-ruling> E. 4c; Enrico Riva, Kommentar zum Bundesgesetz über die Raumplanung, Zürich 1999, Rz. 140 zu Art. 5). Nutzungsbeschränkungen, die sich im Zuge des Wechsels von einer Bau- und Zonenordnung aus der Zeit vor Inkrafttreten des Raumplanungsgesetzes zu einer auf diesem Gesetz beruhenden Ordnung ergeben, gelten entschädigungsrechtlich generell nicht als Aus-, sondern als Nichteinzonung (<ref-ruling> E. 6b, BGE vom 11. November 1997 in ZBl 100/1999 S. 35 E. 3a).
b) Das Verwaltungsgericht führte aus, es sei höchst fraglich, ob der Zonenplan der Gemeinde Davos von 1977, der das fragliche Grundstück der Wohnzone W3 zugewiesen hatte, materiell den Grundsätzen des eidgenössischen Raumplanungsgesetzes entsprochen habe. Insbesondere hätten die damals ausgeschiedenen Bauzonen (Zonen WLQ [Wohnzone Landschaft mit Quartierplanpflicht] und Haus zum Hof) eine bundesrechtswidrige Streubauweise erlaubt. Mit der Teilrevision von 1984 sei die Parzelle der Beschwerdeführerin nur von einer altrechtlichen in eine andere altrechtliche Bauzone umgeteilt worden, ohne dass eine Überprüfung der Zonenplanung als Ganzes stattgefunden habe. Die Neuordnung von 1996 sei daher als Nichteinzonung zu qualifizieren.
Die Beschwerdeführerin bestreitet nicht, dass die Zonenordnung von 1977 jedenfalls teilweise eine Streubauweise erlaubt hat. Sie vertritt aber trotzdem die Meinung, die Bauzone der städtischen Siedlung Davos-Platz sei klar gegenüber dem ländlichen Gebiet abgegrenzt gewesen. Die neue Planung von 1996 habe - abgesehen von der teilweisen Auszonung der Parzelle Nr. 5756 und einzelnen kleineren Zonenkorrekturen - konzeptionell an dieser Bauzonenbegrenzung nichts geändert. Das sei im Amtsbericht der Gemeinde zur Landschaftsabstimmung vom 1. Dezember 1996 bestätigt worden. Die Auszonung der Parzelle Nr. 5756 habe mit der Anpassung der Davoser Ortsplanung an das RPG nichts zu tun. Der Grund liege vielmehr darin, dass der Gemeinde die Sicherung der Langlaufloipe gemäss Vereinbarung von 1984 nicht mehr genügt habe. Im Übrigen sei die für die Parzelle Nr. 5756 geltende Zonenordnung im Jahre 1984 unter der Herrschaft des RPG und somit bundesrechtskonform getroffen worden. Sie habe auch nicht dem (späteren) Konzept von 1996 entgegengestanden, da dieses Konzept nicht eine Reduktion der Bauzone bezweckt habe.
c) Der Meinung der Beschwerdeführerin, die Zonenordnung von 1977 sei RPG-konform gewesen, kann schon deshalb nicht beigepflichtet werden, weil die Planung nicht nach den Grundsätzen des Bundesgesetzes vorgenommen worden war und weil sowohl die kantonalen als auch die kommunalen Vorschriften bundesrechtswidrige Bauten ausserhalb der Bauzonen zuliessen (vgl. Art. 31 Abs. 2 des kantonalen Raumplanungsgesetzes vom 20. Mai 1973 [in der Fassung vor 1988] betreffend Ferienhäuser im übrigen Gemeindegebiet, ferner die oben erwähnten Zonen WLQ und Haus zum Hof). Daran ändert der Satz im Amtsbericht der Gemeinde zur Nutzungsplanrevision von 1996, wonach schon mit dem Zonenplan von 1977 die Trennung der Bauzone vom übrigen Gemeindegebiet vorgenommen worden sei, nichts. Der Amtsbericht fährt selber fort (S. 26), dass die alte Nutzungsplanung in verschiedener Hinsicht (Fehlen einer Landwirtschaftszone und von Schutzzonen, aber auch Mängel innerhalb der Bauzonen) dem RPG nicht entsprochen habe, weshalb sie vollständig zu revidieren sei. Die Trennung der Bauzone vom übrigen Gemeindegebiet war eine unvollständige, wie sie vor Inkrafttreten des eidgenössischen Raumplanungsgesetzes auch in vielen andern Kantonen und Gemeinden üblich war.
Die Zonenplanänderungen von 1984 betrafen nur gerade die vom Tauschvertrag erfassten Grundstücke und hatten einzig zum Zweck, den Landabtausch und das Erreichen der damit verfolgten Ziele (Wohnungsbau für die RhB, Sicherung des Parkplatzes für die BBBJ sowie der Langlaufloipe) zu ermöglichen. Eine Überprüfung der gesamten raumplanerischen Grundordnung auf ihre Übereinstimmung mit dem RPG war damit nicht verbunden. Im Gegenteil: Wie der Botschaft des Grossen Landrates zur Landschaftsabstimmung vom 26. Februar 1984 (S. 15) zu entnehmen ist, bestanden gegen die Aufzonung im "Geissloch" ortsplanerische und städtebauliche Bedenken, die jedoch angesichts der mit dem Tauschvertrag verfolgten Ziele beiseite geschoben wurden. Es war somit der umfassenden Nutzungsplanrevision von 1996 vorbehalten, die kommunale Grundordnung erstmals gesamthaft mit den bundesrechtlichen Vorgaben in Übereinstimmung zu bringen. Damit ist aber auch gesagt, dass die Zuweisung eines Teils der Parzelle Nr. 5756 zur Landwirtschaftszone eine Nichteinzonung im oben erwähnten Sinne darstellte (E. 3a). Aus welchen Gründen die Umzonung eines Teils der Parzelle Nr. 5756 vorgenommen worden ist, spielt für die Frage, ob es sich um eine Auszonung oder um eine Nichteinzonung handelte, keine Rolle. Ebenso wenig ist von Bedeutung, ob die Zonenplanänderung von 1984 letztlich dem RPG entsprochen hat (was entgegen der Meinung der Beschwerdeführerin angesichts der bereits 1984 vorhanden gewesenen planerischen Bedenken und des 1992 beschlossenen Richtplans [vgl. vorstehend C] zumindest zu bezweifeln ist); denn eine kommunale Nutzungsplanung genügt den bundesrechtlichen Vorgaben grundsätzlich nur dann, wenn sie als Ganzes und nicht bloss parzellen- oder quartierweise mit den raumplanerischen Grundsätzen vereinbar ist (<ref-ruling> E. 5b, BGE vom 11. November 1997 in ZBl 100/1999 S. 36 E. 3).
4.- a) Eine Nichteinzonung in eine Bauzone löst grundsätzlich keine Entschädigungspflicht aus. Sie trifft den Grundeigentümer nur ausnahmsweise enteignungsähnlich, etwa dann, wenn er überbaubares oder grob erschlossenes Land besitzt, das von einem gewässerschutzrechtskonformen Generellen Kanalisationsprojekt (GKP) erfasst wird, und wenn er für Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet hat, wobei diese Voraussetzungen in der Regel kumulativ erfüllt sein müssen. Sodann können weitere besondere Gesichtspunkte des Vertrauensschutzes so gewichtig sein, dass ein Grundstück unter Umständen hätte eingezont werden müssen. Ein Einzonungsgebot kann ferner zu bejahen sein, wenn sich das fragliche Grundstück im weitgehend überbauten Gebiet (Art. 15 lit. a und Art. 36 Abs. 3 RPG) befindet. Solche Umstände hätten möglicherweise eine Einzonung gebieten können, so dass der Eigentümer am massgebenden Stichtag mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Landes hat rechnen dürfen. Trifft das nicht zu, kann nicht von einer enteignungsgleichen Wirkung der Nichteinzonung gesprochen werden. Der Eigentümer besitzt grundsätzlich keinen Rechtsanspruch auf Einweisung seines Landes in eine Bauzone, auch nicht, wenn er erschlossenes oder erschliessbares Land besitzt. Dies ergibt sich aus dem Vorrang der rechtlichen Gegebenheiten, auf die in erster Linie abzustellen ist (<ref-ruling> E. 4a, vgl. auch <ref-ruling> E. 3b und 4a, mit Hinweisen).
b) Die Beschwerdeführerin macht geltend, das Grundstück gehöre zum weitgehend überbauten Gebiet, da es unmittelbar an das bauliche Zentrumsgebiet von Davos anschliesse und nur einen geringfügigen Teil des Baugebiets ausmache. Durch eine Überbauung der Parzelle Nr. 5756 würde sich das Siedlungsgebiet von Davos-Platz in keiner Weise verändern, und der ohnehin unterbrochene Grüngürtel zwischen Davos- Platz und dem Wald würde keineswegs gestört.
Das Verwaltungsgericht hat die Zugehörigkeit des Grundstücks zum weitgehend überbauten Gebiet verneint und zur Begründung auf seinen Entscheid vom 26. Mai 1998 verwiesen. Darin (S. 8) führte es aus, die Parzelle rage erkerartig in die Landwirtschaftszone hinaus und ziehe sich den landwirtschaftlich genutzten Hang hinauf. Sie sei von der bestehenden, in sich abgeschlossenen Überbauung in der Ebene keinesfalls stark geprägt, vielmehr hebe sie sich von den überbauten Parzellen deutlich ab.
Die Beschwerdeführerin beanstandet die sachverhaltliche Feststellung des Verwaltungsgerichts, an die das Bundesgericht grundsätzlich gebunden ist (oben E. 1b), nicht. Wie sich aus den in den Akten liegenden Plänen klar ergibt, ist auch die rechtliche Würdigung des Verwaltungsgerichts zutreffend. Davon, dass die Parzelle und insbesondere ihr nicht eingezonter Teil zum weitgehend überbauten Gebiet im Sinne der bundesgerichtlichen Rechtsprechung gehören würde (vgl. <ref-ruling> E. 5a; Riva, a.a.O., Rz. 159 zu Art. 5 RPG), kann keine Rede sein und bedarf keiner weitern Begründung. Aus dieser Sicht drängte sich eine Einzonung keineswegs auf und kann eine materielle Enteignung nicht bejaht werden. Vielmehr hatte die Gemeinde gute Gründe, den grössern Teil der Parzelle nicht einzuzonen. Es kann dafür auf die dem Verwaltungsgerichtsentscheid vom 26. Mai 1998 zugrunde liegenden Erwägungen (S. 8 ff.) verwiesen werden.
c) Die Beschwerdeführerin weist darauf hin, dass es sich bei der Parzelle Nr. 5756 um unmittelbar überbaubares und erschlossenes Land gehandelt habe; zu dessen Erschliessung habe sich die Gemeinde vertraglich verpflichtet. Das Grundstück sei vom GKP erfasst gewesen; es habe für die Überbauung ein bewilligtes Projekt vorgelegen, und sie, die Beschwerdeführerin, habe für die Erschliessung und Überbauung erhebliche Kosten aufgewendet und "gewaltige Unannehmlichkeiten" auf sich genommen, um der Gemeinde im Interesse der örtlichen Verkehrsplanung (Parkierungsplanung) entgegenzukommen. aa) Wie die Beschwerdeführerin selber ausführt, bestanden die geltend gemachten Aufwendungen in Quartierplanungs-, Bauprojekts- und Baubewilligungskosten. Dass diese Auslagen schliesslich umsonst gewesen sind, ist nicht auf die Nichteinzonung zurückzuführen, sondern darauf, dass die Beschwerdeführerin bzw. ihre Baurechtsnehmerin auf die Ausführung des bewilligten Projekts verzichtet hat. Die Beschwerdeführerin behauptet nicht, die spätere Kaufrechtsberechtigte habe das gleiche Projekt realisieren und für die Projektierungsaufwendungen eine Entschädigung zahlen wollen. Damit fehlt es schon am notwendigen Kausalzusammenhang zwischen Aufwendungen und Schaden, der durch die Nichteinzonung entstanden sein soll. Dazu kommt, dass das Bundesgericht unter "Aufwendungen" jeweils nicht blosse Planungs- und Projektierungskosten verstanden hat, sondern Investitionen, die baulich in Erscheinung treten, insbesondere Erschliessungskosten (<ref-ruling> E. 5b, 119 Ib 138 E. 5a, 112 Ib 396 E. 6c, s. auch BGE vom 4. April 1997 in Pra 86/1997 Nr. 104 S. 571). Dass die Beschwerdeführerin solche Auslagen gehabt hätte, behauptet sie nicht. Dabei kann offen bleiben, ob sie sich überhaupt auf Aufwendungen berufen könnte, welche von ihrer Baurechtsnehmerin, der PHK, getätigt worden sind.
bb) Was das GKP betrifft, so bestreitet die Beschwerdeführerin nicht, dass dieses - 1968 erstellt - auch von der Streubauweise beherrschte Landschaftsteile mit einschloss und demnach ein viel zu grosses Gebiet erfasste, d.h. nicht gewässerschutzrechtskonform war (vgl. <ref-ruling> E. 5b). Bei dieser Sachlage kann sie aus der Tatsache, dass das Grundstück innerhalb des GKP lag, nichts zu ihren Gunsten ableiten. Wohl lag das Grundstück gleichzeitig innerhalb der altrechtlichen Bauzone; da diese aber erst noch an das RPG angepasst werden musste, konnte die Beschwerdeführerin nicht darauf vertrauen, dass das Grundstück in der bereinigten Bauzone Aufnahme finden werde.
cc) Da somit weder das Kriterium der erheblichen Investitionen noch jenes des gewässerschutzrechtskonformen GKP erfüllt ist, spielt es keine Rolle, ob das dritte, kumulativ erforderliche Kriterium der vorhandenen Erschliessung erfüllt wäre. So oder anders traf die Nichteinzonung die Beschwerdeführerin unter diesen Gesichtspunkten nicht enteignungsähnlich (oben E. 4a). Das Verwaltungsgericht hat denn auch keine Gehörsverletzung begangen, wenn es auf Beweiserhebungen zur Erschliessungssituation verzichtet hat (vorstehende E. 2a).
d) Die Beschwerdeführerin beruft sich noch auf weitere Gesichtspunkte, die in ihr ein berechtigtes Vertrauen in die Überbaubarkeit der Parzelle geweckt hätten. So habe sie 1984 nur auf Drängen der Gemeinde in den Landabtausch mit der BBBJ eingewilligt, dies auch nur deshalb, weil die Gemeinde zugesichert habe, die Parzelle Nr. 5756 aufzuzonen und zu erschliessen und ihr, der Beschwerdeführerin, eine Baumehrkostenentschädigung zu zahlen. Damit und mit der 1984 tatsächlich durchgeführten Zonenänderung habe die Gemeinde eine konkrete, individuelle Vertrauensgrundlage geschaffen und in ihr, der Beschwerdeführerin, die berechtigte Erwartung geweckt, die Parzelle wie geplant überbauen zu können. Der Preis, den sie dafür bezahlt habe, sei die - auch im Interesse der Gemeinde erfolgte - Abtretung einer gut überbaubaren Bauzonenparzelle an die BBBJ gewesen. Unter diesen Umständen habe sie nicht mit einer "derart hektischen Widersprüchlichkeit der Raumplanung" rechnen müssen, sondern darauf vertrauen dürfen, dass die ihr zugewiesene Bauzone jedenfalls 15 Jahre Bestand haben würde.
Wie das Bundesgericht schon wiederholt entschieden hat, gilt der Grundsatz der Planbeständigkeit nur für bundesrechtskonforme, d.h. RPG-konforme Nutzungspläne (<ref-ruling> E. 5c, mit Hinweisen). Um einen solchen Plan handelte es sich beim Zonenplan von 1977, wie ausgeführt worden ist (oben E. 3), auch nach der Teilrevision von 1984 nicht. Daher durfte die Beschwerdeführerin nicht darauf vertrauen, dass ihr Grundstück während mindestens 15 Jahren überbaubar bleiben würde. Sie musste grundsätzlich mit einer Anpassung des altrechtlichen Zonenplans an das RPG rechnen. Zwar durfte sie davon ausgehen, dass die Änderung von 1984 nicht innert kürzester Zeit wieder in Frage gestellt würde. Das war aber auch nicht der Fall. Erst neuneinhalb Jahre nach dem Erwerb der Parzelle durch die Beschwerdeführerin und nach der Teilrevision des Zonenplans vom Februar 1984 erliess die Gemeinde im Juni 1993 eine Planungszone, um eine allfällige Änderung der Zonenordnung im Bereich der Parzelle Nr. 5756 im Zuge der Anpassung der gesamten Ortsplanung an das RPG zu sichern. Inzwischen hätte die Beschwerdeführerin bzw. ihre Baurechtsnehmerin Gelegenheit gehabt, das ihr 1989 bewilligte Bauprojekt zu realisieren. Sie hat aus eigenem Entschluss darauf verzichtet und ist damit das Risiko eingegangen, dass sich die planungsrechtlichen Grundlagen ändern könnten. Dass die Gemeinde ihr weitergehende als die erwähnten Zusicherungen abgegeben hätte, behauptet die Beschwerdeführerin selber nicht.
Die Beschwerdeführerin vermag somit an Hand des Tauschvertrags und der damit zusammenhängenden Umstände keine Pflicht der Gemeinde zur Einzonung des Grundstücks im Jahre 1996 nachzuweisen. Sie kann daher aus der Nichteinzonung keine materielle Enteignung ableiten. Es ist auch nicht ersichtlich, inwiefern das Verwaltungsgericht ihren Anspruch auf rechtliches Gehör verletzt haben sollte, indem es auf den Tauschvertrag und die erwähnten Umstände nur kurz eingegangen ist und im Übrigen weitgehend auf seine Erwägungen im früheren Entscheid vom 26. Mai 1998 verwiesen hat.
e) Schliesslich rügt die Beschwerdeführerin eine rechtsungleiche Behandlung, weil der Kleine Landrat Mitte Februar 1994 in Davos-Wolfgang dem Grundeigentümer Hans Marugg einen Bau bewilligt habe, obschon das Grundstück mit einer Planungszone belegt gewesen sei. Die Gemeinde habe die Baubewilligung mit zuvor erteilten Zusicherungen begründet; bei ihr, der Beschwerdeführerin, habe sie dagegen die erfolgte Quartierplanung und die erteilte Baubewilligung nicht berücksichtigt. Das Verwaltungsgericht sei auf diese Rüge mit keinem Wort eingegangen und habe damit auch den Anspruch auf rechtliches Gehör verletzt.
Auch dieser letztgenannte Vorwurf ist unbegründet. Die Beschwerdeführerin hat im vorinstanzlichen Verfahren erst in der Replik (S. 13) auf den Fall Marugg hingewiesen, und zwar nur unter dem Titel Vertrauensschutz; auf die Rechtsgleichheit hat sie sich damals nicht berufen. Was den Vertrauensschutz angeht, so hat sich das Verwaltungsgericht dazu im angefochtenen Urteil geäussert (S. 12/13), indem es im Wesentlichen auf die diesbezüglichen Ausführungen in seinem Urteil vom 26. Mai 1998 verwiesen hat (wo es unter dem Gesichtspunkt des Vertrauensschutzes insbesondere auch zur Bedeutung der Quartierplanung Stellung genommen hatte). Es hat zudem beigefügt, eine nicht konsumierte Baubewilligung umfasse keine förmliche Zusicherung für eine künftig mögliche bauliche Nutzung der Parzelle. Damit hat sich das Verwaltungsgericht zwar nur knapp, aber doch in genügender Weise mit dem Einwand auseinandergesetzt.
Was den vor dem Bundesgericht (erstmals) vorgebrachten Vorwurf der rechtsungleichen Behandlung anbelangt, so legt die Beschwerdeführerin nicht dar, inwiefern die beiden in Frage stehenden Grundstücke planerisch vergleichbar gewesen sein sollen und weshalb sie hätten gleich behandelt werden müssen. Entsprechende Ausführungen wären umso nötiger gewesen, als die Gemeinde in ihrer Duplik (S. 7) an das Verwaltungsgericht ausgeführt hatte, im Fall Marugg habe es sich nicht um eine "Auszonungspendenz" wie beim Grundstück der RhB im Gebiet "Geissloch" gehandelt, sondern um weitgehend überbautes Gebiet, dessen Auszonung sehr problematisch gewesen wäre, und ein nicht zum weitgehend überbauten Gebiet gehörender Teil der alten Gewerbezone von Hans Marugg sei auch tatsächlich der Landwirtschaftszone zugewiesen worden. Der Vorwurf der rechtsungleichen Behandlung ist daher ebenfalls nicht begründet.
5.- Nach dem Gesagten erweist sich die Beschwerde insgesamt als unbegründet, weshalb sie abzuweisen ist. Bei diesem Ergebnis kann offen bleiben, ob mit der Vorinstanz eine materielle Enteignung auch deshalb zu verneinen wäre, weil gut 30% des Grundstücks Nr. 5756 der Bauzone zugewiesen worden sind und demnach noch rund ein Drittel der Bruttogeschossfläche realisiert werden kann.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und 153a OG). Obsiegenden Behörden wird im Verfahren der Verwaltungsgerichtsbeschwerde in der Regel keine Parteientschädigung zugesprochen (Art. 159 Abs. 2OG). EsbestehtkeinGrund, imvorliegendenFallvondieserRegelabzuweichen.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 15'000. -- wird der Beschwerdeführerin auferlegt.
3.- Dieses Urteil wird der Beschwerdeführerin, der Landschaft Davos Gemeinde, dem Verwaltungsgericht des Kantons
Graubünden, 3. Kammer, und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
_
Lausanne, 7. Juli 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: