materielle Enteignung, hat sich ergeben:
A.- Die Hammer Retex AG ist Eigentümerin der Grundstücke GB Nr. 1505 und 1506 mit einer Gesamtfläche von 4'299 m2 in der Gemeinde Cham. Die nicht überbauten Parzellen lagen nach dem Zonenplan von 1980 (von der Gemeinde in der Urnenabstimmung am 9. November 1980 beschlossen, vom Regierungsrat am 21. September 1981 genehmigt) in einer dreigeschossigen Wohn- und Gewerbezone (WG3). Mit dem Zonenplan von 1990 (von der Gemeindeversammlung am 10. Dezember 1990 beschlossen, vom Regierungsrat am 2. Juli 1991 genehmigt) wurden die Parzellen der Landwirtschaftszone, überlagert von einer Landschaftsschutzzone, zugeteilt.
B.- Mit Klage vom 23. Januar 1995 gelangte die Hammer Retex AG an die Schätzungskommission des Kantons Zug und beantragte eine Entschädigung wegen materieller Enteignung von mindestens Fr. 2'407'440. -- nebst Zins zu 7 % seit dem 20. November 1991. Mit Entscheid vom 21. Mai 1996 verneinte die Schätzungskommission das Vorliegen einer materiellen Enteignung und wies die Klage ab.
C.- Gegen diesen Entscheid gelangte die Hammer Retex AG an das Verwaltungsgericht des Kantons Zug. Dessen Verwaltungsrechtliche Kammer stellte mit Urteil vom 10. Juni 1999 fest, dass die Zuweisung der fraglichen Grundstücke zur Landwirtschaftszone eine materielle Enteignung bewirkt habe, die Anspruch auf Entschädigung gebe. Zur Festsetzung der Höhe der Entschädigung wies das Gericht die Sache an die Schätzungskommission zurück.
D.- Mit Eingabe vom 23. Juli 1999 hat die Einwohnergemeinde Cham beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Sie stellt den Antrag, es sei das Urteil des Verwaltungsgerichts aufzuheben und der Entscheid der
Schätzungskommission zu bestätigen.
Die Hammer Retex AG (als private Beschwerdegegnerin) und das Verwaltungsgericht beantragen Abweisung der Beschwerde. Das Bundesamt für Raumplanung beantragt deren Gutheissung.

Das Bundesgericht zieht in Erwägung:
1.- a) Das Verwaltungsgericht bejahte im angefochtenen Urteil dem Grundsatz nach das Vorliegen einer materiellen Enteignung als Folge der kommunalen Nutzungsplanung und wies die Angelegenheit für die Festsetzung der Entschädigung an die Schätzungskommission zurück. Gegen das Urteil kann trotz des Umstandes, dass es das Verfahren nicht abschliesst, beim Bundesgericht Beschwerde erhoben werden (<ref-ruling> S. 328, mit Hinweisen). Es stellt einen letztinstanzlichen Entscheid über die Entschädigungspflicht im Sinne von Art. 5 RPG dar und kann daher nach Art. 34 Abs. 1 RPG mit Verwaltungsgerichtsbeschwerde angefochten werden (<ref-ruling> E. 1b S. 198). Die Einwohnergemeinde Cham ist dazu gemäss Art. 34 Abs. 2 RPG legitimiert (<ref-ruling> E. 1a S. 198). Ihre Verwaltungsgerichtsbeschwerde erfüllt alle Sachurteilsvoraussetzungen, sodass auf sie einzutreten ist.
b) Mit der Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, geltend gemacht werden (Art. 104 lit. a OG). Das Bundesgericht ist nach Art. 105 Abs. 2 OG an die Feststellung des Sachverhalts gebunden, wenn - wie hier - ein kantonales Gericht als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt hat.
c) Da sich der Sachverhalt mit hinreichender Klarheit aus den Akten ergibt, erübrigt sich die Durchführung des beantragten Augenscheins.
2.- a) Umstritten ist vorab, ob es sich bei der Zuweisung der fraglichen Parzellen zur Landwirtschaftszone durch den Zonenplan von 1990 um eine Auszonung oder um eine Nichteinzonung handelt. Nach der bundesgerichtlichen Rechtsprechung liegt eine Nichteinzonung vor, wenn bei der erstmaligen Schaffung einer raumplanerischen Grundordnung, welche den verfassungsmässigen und gesetzlichen Anforderungen entspricht, eine Liegenschaft keiner Bauzone zugewiesen wird. Dabei ist nicht von Bedeutung, ob die in Frage stehenden Flächen nach dem früheren, der Revision des Bodenrechts nicht entsprechenden Recht überbaut werden konnten (<ref-ruling> E. 3b, mit Hinweisen). Von einer Auszonung wird dagegen gesprochen, wenn eine Parzelle, die entsprechend den Grundsätzen des revidierten Bodenrechts bzw. des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (RPG; SR 700) förmlich der Bauzone zugewiesen war, einer Nichtbauzone zugeteilt wird (<ref-ruling> E. 4c; Enrico Riva, Kommentar zum Bundesgesetz über die Raumplanung, Zürich 1999, Rz. 140 zu Art. 5). Es stellt sich somit vorerst die Frage, ob die Zonenplanung der Einwohnergemeinde Cham von 1980 die bundesrechtlichen Vorgaben formell und materiell bereits erfüllte oder ob es dazu noch der Revision von 1990 bedurfte.
b) Die Parteien sind sich einig, dass die Bau- und Zonenordnung der Gemeinde Cham von 1980 verfahrensmässig, d.h. bezüglich der Mitwirkungs-, Genehmigungs- und Rechtsschutzanforderungen den Grundsätzen des Bundesrechts genügte (Art. 4, 26 und 33 RPG; <ref-ruling> E. 3b S. 8). Das Verwaltungsgericht ist darüber hinaus zum Schluss gekommen, die Bau- und Zonenordnung habe auch materiell den bundesrechtlichen Anforderungen entsprochen. Anderer Meinung ist diesbezüglich - mit der Schätzungskommission - die Beschwerdeführerin.
Materiell liegt ein bundesrechtskonformer Nutzungsplan vor, wenn er die Bauzonen in zweckmässiger Weise rechtsverbindlich von den Nichtbauzonen trennt und jenes Land in die Bauzonen einbezieht, das sich für die Überbauung eignet und weitgehend überbaut ist oder voraussichtlich innert 15 Jahren benötigt und erschlossen wird (Art. 15 und 19 RPG; Art. 5 des Wohnbau- und Eigentumsförderungsgesetzes vom 4. Oktober 1974 [WEG; SR 843]). Dabei müssen auch die übrigen raumplanerischen Ziele und Grundsätze (Art. 1, 3 und 17 RPG) beachtet worden sein (<ref-ruling> E. 3a/cc S. 8; unveröffentlichtes Urteil vom 27. Oktober 1998 i.S. Schmid, E. 2c). Ob der Zonenplan von 1980 diese Anforderungen erfüllt hat, ist ungeachtet dessen, dass er unter der Herrschaft des RPG beschlossen und genehmigt worden ist, zu prüfen (<ref-ruling> E. 5c in fine S. 332).
c) Das Baugesetz für den Kanton Zug vom 18. Mai 1967 (BauG) sah in der 1980 geltenden Fassung nebst Bauzonen auch Zonen, die späterer Planung vorbehalten waren (sog. SPV-Zonen), sowie übriges Gemeindegebiet (§ 19 Abs. 1 und 2 BauG) vor. Die Gemeinden konnten vorschreiben, dass in den SPV-Zonen nichtlandwirtschaftliche Bauten nur bewilligt werden durften, wenn die Gemeinde durch den Bau und Unterhalt der Erschliessungsanlagen nicht belastet wurde und wenn keine wesentlichen Nachteile für eine spätere bauliche Entwicklung zu befürchten waren (§ 23 Abs. 2 BauG). Im übrigen Gemeindegebiet durften "ausnahmsweise" nichtlandwirtschaftliche Wohnbauten bewilligt werden, wenn für die Gemeinde dadurch keine Lasten entstanden und die Erschliessung sichergestellt war (§ 24 BauG).
Das Verwaltungsgericht hält dafür, die nach § 24 BauG gegebene Möglichkeit, im übrigen Gemeindegebiet unter bestimmten Voraussetzungen auch andere als landwirtschaftliche oder sonstwie standortgebundene Bauten zu erstellen, besage noch nicht, dass das Baugebiet ungenügend vom Nichtbaugebiet abgegrenzt gewesen sei. Zum einen sei die Praxis zur Erteilung von Ausnahmebewilligungen nach § 24 BauG streng gewesen; zum andern sei die Bauordnung der Gemeinde Cham von 1980 (BauO 80) über das kantonale Recht hinausgegangen, indem nach § 52 Abs. 2 BauO 80 solche Ausnahmebewilligungen nur hätten erteilt werden dürfen, wenn auch die Voraussetzungen des eidgenössischen Gewässerschutzgesetz vom 8. Oktober 1971 (GSchG 71; AS 1972 S. 950 ff.), wonach im Wesentlichen nur noch standortgebundene Bauten entsprechend dem späteren RPG zugelassen wurden, erfüllt gewesen seien. Auch durch die SPV-Zonen habe keine bundesrechtswidrige Vermischung von Baugebiet und Nichtbaugebiet stattgefunden. § 19 Abs. 2 BauG habe diese Reservezonen zum Nichtbaugebiet gezählt. Daran ändere § 39 Abs. 1 BauO 80, der die SPV-Zonen missverständlich unter "Baugebiet" aufgeführt habe, nichts. Nach § 39 Abs. 3 BauO 80 hätten für diese Zonen die Bestimmungen von § 58 BauO 80 betreffend das übrige Gemeindegebiet gegolten. Weder habe hier ein Anspruch auf Baubewilligung noch ein solcher auf Aufnahme in eine Bauzone bestanden. Vielmehr habe es sich bei den SPV-Zonen um Zonen im Sinne von Art. 18 RPG gehandelt. Für die Aufnahme in die Bauzone habe es eines Gemeindeversammlungsbeschlusses und der Genehmigung des Regierungsrates bedurft (§ 39 Abs. 3 Satz 3 BauO 80).
Die Beschwerdeführerin vertritt demgegenüber die Meinung, die Bau- und Zonenordnung der Gemeinde Cham von 1980 habe materiell dem Bundesrecht nicht genügt. Diese habe das Bau- und Nichtbaugebiet nur unvollkommen voneinander getrennt. Eine Landwirtschaftszone habe das zugerische Recht bis zur Baugesetzrevision von 1988 nicht gekannt, und die SPV-Zonen hätten eine klare Trennung von Bau- und Nichtbaugebiet verhindert. Die SPV-Zonen seien Reservebauzonen gewesen (§ 23 Abs. 2 BauG). Mit Hilfe eines Bebauungsplanes hätten sie zur Überbauung freigegeben werden können (§ 55 Abs. 2 BauO 80), was in der Gemeinde Cham denn auch wiederholt geschehen sei, so einmal 1981, zweimal 1982 und zweimal 1985.
d) Sowohl in den SPV-Zonen als auch im sog. übrigen Gemeindegebiet durften nach §§ 23 und 24 BauG i.V.m. §§ 55 und 58 BauO 80 nichtlandwirtschaftliche Bauten "ausnahmsweise" selbst dann erstellt werden, wenn sie nicht standortgebunden im Sinne von Art. 24 RPG waren. Es genügte, dass die Erschliessung gewährleistet werden konnte und die Gemeinde dadurch nicht belastet wurde. In den SPV-Zonen bedurfte es zusätzlich eines Bebauungsplanes, der aber als Sondernutzungsplan für ein bestimmtes Baugebiet vom Einwohnerrat selber beschlossen werden konnte (§§ 32 und 33 BauG). Auch wenn die SPV-Zonen nur durch Beschluss der Einwohnergemeindeversammlung und mit Genehmigung des Regierungsrates in Etappen teilweise oder ganz zur Überbauung freigegeben werden konnten (§ 39 Abs. 3 BO 80), war doch eine punktuelle, d.h. einzelfallweise Überbauung mit nicht standortgebundenen Bauten ohne Umzonung möglich. Das Gleiche gilt für das übrige Gemeindegebiet. Damit entsprach aber die Bau- und Zonenordnung von Cham von 1980 nicht den Grundsätzen des eidg. Raumplanungsrecht.
Daran ändert nichts, dass - wie das Verwaltungsgericht ausführt - kein Rechtsanspruch auf eine Ausnahmebewilligung bestanden hat und die Bewilligungspraxis streng gewesen ist. Auch der Umstand, dass nach § 39 Abs. 3 und § 58 Abs. 2 BauO 80 sowohl im übrigen Gemeindegebiet als auch in den SPV-Zonen die Anforderungen des eidgenössischen Gewässerschutzgesetzes zu erfüllen waren, vermag die Auffassung des Verwaltungsgerichts nicht zu stützen. Es übersieht, dass der Verweis in § 58 Abs. 2 BauO 80 auf das Gewässerschutzgesetz keine raumplanungsrechtliche, sondern bloss eine erschliessungsrechtliche Bedeutung hatte, nachdem <ref-law> mit Art. 38 des RPG abgeändert worden war. Die Definition "Baugebiet" in § 19 Abs. 2 BauG sodann hatte lediglich den Zweck, Ansprüche aus materieller Enteignung in den SPV-Zonen und im übrigen Gemeindegebiet auszuschliessen (vgl. den Verweis auf § 3 Abs. 2 BauG), weil dort kein Rechtsanspruch auf eine Baubewilligung bestand. Eine klare Trennung zwischen Bau- und Nichtbaugebiet vermochte die Bestimmung jedoch nicht herbeizuführen. Zwar könnte eingewendet werden, zumindest für das übrige Gemeindegebiet und eventuell auch für die SPV-Zonen habe seit 1980 Art. 24 RPG gegolten, der entgegenstehenden kantonalen und kommunalen Vorschriften vorgegangen sei. Das hilft aber nicht darüber hinweg, dass die Bau- und Zonenordnung 80 der Gemeinde Cham materiell den bundesrechtlichen Vorgaben nicht genügte.
e) Bei diesem Ergebnis braucht nicht näher geprüft zu werden, ob sich das Ungenügen der Bau- und Zonenordnung 80 auch aus einer Überdimensionierung der Bauzone und aus weitern Bundesrechtswidrigkeiten (Missachtung von Zielen und Grundsätzen der Raumplanung; Art. 1 und 3 RPG) ergab, wie die Beschwerdeführerin behauptet und die Schätzungskommission - anders als das Verwaltungsgericht - angenommen hatte. Immerhin fällt auf, dass sich der Bericht der Gemeinde Cham vom 31. Oktober 1977 zur Ortsplanung von 1980 noch nicht an bundesrechtlichen Vorgaben orientierte (und auch noch gar nicht orientieren konnte) und dass er die SPV-Zonen zu den Bauzonen zählte (wenn auch zweiter Etappe), woraus sich ein vorgesehenes Baugebiet für einen Zeitraum von rund 30 Jahren ergab (vgl. den erwähnten Bericht S. 4 und den Vorprüfungsbericht der Baudirektion des Kantons Zug zur Ortsplanung 1990 S. 10). Das deutet ebenfalls darauf hin, dass die Bau- und Zonenordnung von 1980 materiell noch nicht dem am 1. Januar 1980 in Kraft getretenen Raumplanungsgesetz angepasst worden war. Diesen Mangel konnte entgegen der Meinung der Beschwerdegegnerin auch die Revision des kantonalen Baugesetzes von 1988 nicht heilen: Gemäss der Übergangsregelung von § 62bis Abs. 1 BauG blieben bis zur Anpassung des jeweiligen Zonenplanes an das RPG die bisherigen Bauzonen unverändert (Abs. 1), und die bisherigen SPV-Zonen galten weiterhin als Bauzonen, soweit darin gemäss der gemeindlichen Bauordnung der Gemeinderat allein oder auf Grund eines Gemeindeversammlungsbeschlusses befugt war, Baubewilligungen zu erteilen (Abs. 2). Selbst wenn nach dieser Vorschrift die SPV-Zonen der Gemeinde Cham insgesamt oder teilweise ab Inkrafttreten der Baugesetzänderung von 1988 nicht mehr zur Bauzone gezählt haben sollten, konnte die Vorschrift den Mangel, dass die gemeindliche Zonenordnung (noch) nicht durch eine gesamthafte Überprüfung durch das zuständige Gemeindeorgan an das RPG angepasst worden war, nicht beheben.
f) Nach dem Gesagten ist die Zuweisung der hier im Streite liegenden Parzellen zur Landwirtschaftszone durch den Zonenplan von 1990 nicht als Auszonung, sondern als Nichteinzonung zu qualifizieren (E. 2a).
3.- a) Eine Nichteinzonung in eine Bauzone löst grundsätzlich keine Entschädigungspflicht aus. Sie trifft den Grundeigentümer nur ausnahmsweise enteignungsähnlich, etwa dann, wenn er überbaubares oder groberschlossenes Land besitzt, das von einem gewässerschutzrechtlichen generellen Kanalisationsprojekt (GKP) erfasst wird, und wenn er für Erschliessung und Überbauung seines Landes schon erhebliche Kosten aufgewendet hat, wobei diese Voraussetzungen in der Regel kumulativ erfüllt sein müssen. Sodann können weitere besondere Gesichtspunkte des Vertrauensschutzes so gewichtig sein, dass ein Grundstück unter Umständen hätte eingezont werden müssen. Ein Einzonungsgebot kann ferner zu bejahen sein, wenn sich das fragliche Grundstück im weitgehend überbauten Gebiet (Art. 15 lit. a und Art. 36 Abs. 3 RPG) befindet. Solche Umstände können möglicherweise eine Einzonung gebieten, so dass der Eigentümer am massgebenden Stichtag mit hoher Wahrscheinlichkeit mit einer aus eigener Kraft realisierbaren Überbauung seines Landes hat rechnen dürfen. Trifft das nicht zu, kann nicht von einer enteignungsgleichen Wirkung der Nichteinzonung gesprochen werden. Der Eigentümer besitzt grundsätzlich keinen Rechtsanspruch auf Einweisung seines Landes in eine Bauzone, auch nicht, wenn er erschlossenes oder erschliessbares Land besitzt. Dies ergibt sich aus dem Vorrang der rechtlichen Gegebenheiten, auf die in erster Linie abzustellen ist (<ref-ruling> E. 4a und 125 II 431 E. 3b und 4a S. 433/434, mit weitern Hinweisen). Wie es sich damit im vorliegenden Fall verhält, ist im Folgenden zu prüfen.
b) aa) Wie dem Zonenplan von 1990 zu entnehmen ist, grenzen die beiden hier in Frage stehenden unüberbauten Parzellen nur gerade mit ihrer schmalen Nordwestseite an bebautes Gebiet, das seinerseits schon als Auskragung der vorhandenen Siedlung in unüberbautes Gebiet erscheint. Auf den drei andern Seiten ist das Land (abgesehen von der Kantonsstrasse) unüberbaut und gehört zu einem grösseren geschlossenen Landwirtschaftsgebiet. Die Parzellen der Beschwerdeführerin können somit offensichtlich nicht zum weitgehend überbauten Gebiet im Sinne von Art. 15 lit. a bzw. Art. 36 Abs. 3 RPG gezählt werden (zum Begriff vgl. <ref-ruling> E. 5a; ferner Riva, a.a.O., Rz. 159 zu Art. 5). Unter diesem Gesichtspunkt drängte sich ihre Einzonung somit nicht auf und kann eine materielle Enteignung nicht bejaht werden. Vielmehr hatte die Gemeinde gute Gründe für die Nichteinzonung der Parzellen: Sie nennt insbesondere das Bestreben, den Ortskern vom Siedlungsgebiet Eizmoos/Fad/Langacker zu trennen bzw. ein Zusammenwachsen zu verhindern und den Grüngürtel zwischen Städtlerwald und Lorzeraum zu erhalten.
bb) Nach den Feststellungen des Verwaltungsgerichts waren die beiden Parzellen der Beschwerdegegnerin im massgebenden Zeitpunkt zumindest groberschlossen und bedurfte es für die Feinerschliessung und für eine Überbauung - abgesehen von der Bewilligung eines Einlenkers in die Knonauerstrasse und von einer Anschlussbewilligung an die Kanalisation - weder einer Quartierplanung noch einer Mitwirkung von Behörden oder Dritter. Das allein genügt indessen für die Annahme einer materiellen Enteignung nicht (vgl. oben E. 3a). Zusätzliche Voraussetzung wäre, dass die Beschwerdegegnerin im Zusammenhang mit der Erschliessung oder Überbauung der Parzellen Nr. 1505 und 1506 finanzielle Aufwendungen getätigt hätte. Nach den unwidersprochen gebliebenen Feststellungen der Schätzungskommission ist dies aber nicht der Fall.
cc) Die Beschwerdegegnerin hat vor der Vorinstanz geltend gemacht, es sei ihr unmittelbar vor der Revision der Zonenplanung von den Organen der Gemeinde stets zugesichert worden, dass die Grundstücke in der Bauzone belassen würden. Sie behauptet aber nicht, dass ihr vom für die Zoneneinteilung zuständigen Gemeindeorgan, der Gemeindeversammlung, irgendwelche konkrete Zusicherungen gemacht worden wären. Nur solche hätten aber bei der Beschwerdegegnerin berechtigtes Vertrauen in eine Einzonung begründen können (<ref-ruling> E. 2b S. 287, Urteil des Bundesgerichts in ZBl 97/1996 S. 36 E. 3d). Es musste der Beschwerdegegnerin bewusst sein, dass weder der Gemeinderat noch andere ihm untergeordnete Planungsorgane verbindliche Zusicherungen abgeben konnten.
dd) Weitere Umstände, die eine Einzonung hätten gebieten können, so dass angenommen werden müsste, die Beschwerdegegnerin sei von der Nichteinzonung enteignungsähnlich getroffen worden, macht die Beschwerdegegnerin selber nicht geltend. Dass die Gemeindeversammlung entgegen dem Antrag des Gemeinderates eine andere, ebenfalls der Beschwerdegegnerin gehörende Parzelle nördlich der Autobahn (Parzelle Fad, Nr. 2282) nicht der Bauzone zugewiesen hat - was offenbar eine Art Kompensation für die Nichteinzonung der Parzellen Nr. 1505 und 1506 hätte sein sollen -, ändert nichts am Ergebnis, dass der Nichteinbezug der letztern Parzellen in die Bauzone keine materielle Enteignung bewirkt hat. Damit kann auch offen bleiben, ob der von der Beschwerdegegnerin durch die gleichzeitige Einzonung der Parzelle Nr. 2276 erzielte Planungsgewinn den Planungsverlust auf den Parzellen Nr. 1505 und 1506 kompensiert oder sogar übertroffen hat und ob dies ein Grund sein könnte, eine Entschädigung aus materieller Enteignung für die beiden letztgenannten Grundstücke zu verweigern.
4.- Aus dem Gesagten ergibt sich gesamthaft, dass das Verwaltungsgericht zu Unrecht auf materielle Enteignung infolge Auszonung erkannt hat. Die Beschwerde ist daher gutzuheissen und der vorinstanzliche Entscheid aufzuheben. Die Klage der Beschwerdegegnerin aus materieller Enteignung ist damit endgültig abzuweisen (Art. 114 Abs. 2 OG).
Bei diesem Ergebnis sind die Kosten des bundesgerichtlichen Verfahrens der privaten Beschwerdegegnerin aufzuerlegen (Art. 156 Abs. 1 OG). Die Einwohnergemeinde Cham hat keinen Anspruch auf Parteikostenersatz (Art. 159
Abs. 2 OG).
Über die Tragung der Verfahrens- und Parteikosten des kantonalen Verfahrens wird das Verwaltungsgericht im Lichte des vorliegenden Entscheids neu zu befinden haben (Art. 157 und 159 Abs. 6 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Zug vom 10. Juni 1999 aufgehoben.
Die Klage der Beschwerdegegnerin aus materieller Enteignung wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 10'000. -- wird der privaten Beschwerdegegnerin auferlegt.
3.- Die Sache wird zur Neuverlegung der Verfahrens- und Parteikosten des kantonalen Verfahrens an das Verwaltungsgericht des Kantons Zug zurückgewiesen.
4.- Dieses Urteil wird den Parteien, der Schätzungskommission gemäss Abs. 55 BauG und dem Verwaltungsgericht des Kantons Zug sowie dem Bundesamt für Raumplanung schriftlich mitgeteilt.
_
Lausanne, 22. Mai 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: