Sachverhalt:
A.
Die A._ AG baute im Gebiet Grisigen oberhalb von Horw seit Anfang des 20. Jahrhunderts Mergel für die Ziegelproduktion ab. Das Abbaugebiet befindet sich an exponierter Lage und wird teilweise vom Objekt Nr. 1605 "Pilatus" des Bundesinventars der Landschaften und Naturdenkmäler von nationaler Bedeutung (BLN) erfasst. Zunächst war das Abbaugebiet der Landwirtschaftszone zugeteilt.
Am 23. November 1997 wies die Einwohnergemeinde Horw die Parzelle Nr. 606 (bestehende Grube; 109'000 m2) sowie Teile der Parzellen Nr. 623 (Erweiterungsgebiet im Westen; 17'190 m2) und Nr. 597 (Fläche für Erschliessung; 2'470 m 2) einer Abbauzone zu. Der Regierungsrat des Kantons Luzern genehmigte am 12. März 2002 diese Festsetzung. Er berücksichtigte dabei die Festlegungen im kantonalen Richtplan von 1998, wonach die Selbstversorgung mit Rohstoffen (Steine, Sand, Kies, Mergel und Lehm) im Kanton Luzern für die nächsten 40 bis 50 Jahre sicherzustellen und die Grube von Grisigen langfristig als Abbaugebiet zu erhalten ist. Der Regierungsrat hatte auch Kenntnis vom Abbau- und Rekultivierungsprojekt der A._ AG, das unter anderem eine Erweiterung des Abbaus vorsah und für das sie am 23. Februar 2001 beim Gemeinderat Horw um eine Baubewilligung nachgesucht hatte. Die A._ AG stellte den Abbau von Mergel in der bisherigen Grube nach eigenen Angaben im Jahre 2001 ein; die Anlagen blieben jedoch funktionsfähig.
Das erwähnte Abbau- und Rekultivierungsprojekt wurde von den kommunalen und kantonalen Behörden - unter Auflagen - als bewilligungsfähig erachtet. Die A._ AG kam in der Folge allerdings zum Schluss, dass der vorgesehene Abbau nicht mehr rentabel sei. Sie zog das Baugesuch am 29. Juni 2004 zurück. Die Gemeinde verpflichtete darauf die Gesuchstellerin, ein Konzept über die Art der Rekultivierung der Grube und über das weitere Vorgehen einzureichen. Die A._ AG räumte am 15. November 2005 der B._ AG ein Deponierecht auf Teilflächen der Grundstücke Nrn. 597 und 606 ein. Letztere reichte der Gemeinde am 24. Mai 2006 ein Baugesuch für eine Deponie mit Rekultivierung der Mergelgrube ein. Gegen dieses Gesuch regte sich unter anderem aufgrund des zu erwartenden Lastwagenverkehrs Widerstand in der Bevölkerung.
Die Stimmberechtigten der Einwohnergemeinde nahmen am 17. Mai 2009 die Initiative "Grube Grisigen der Natur überlassen" an. In der Folge wurde anstelle der bisherigen Abbauzone Grisigen im Rahmen der Ortsplanungsrevision am 26. September 2010 eine Rekultivierungszone festgesetzt. Sie sieht eine naturnahe Rekultivierung des ehemaligen Abbaugebiets ohne Wiederauffüllung und die Sicherung des Geländes vor. Die von der A._ AG gegen diese Festsetzung ergriffenen Rechtsmittel blieben erfolglos.
B.
Am 7. Juli 2014 reichte die A._ AG bei der Schätzungskommission nach Enteignungsgesetz des Kantons Luzern ein Gesuch um Zusprechung einer Entschädigung von Fr. 14'501'711.50 neben 5% Zins seit dem 30. September 2011 aus materieller Enteignung ein. Die Kommission verpflichtete die Einwohnergemeinde Horw am 1. Juni 2017, der A._ AG wegen materieller Enteignung Fr. 1'231'855.-- zuzüglich einem zeitlich abgestuften Zins für entgangenen Deponieertrag sowie Fr. 1'080'000.-- für Rekultivierungs-, Sicherungs- und Nachsorgekosten zu bezahlen. Dieses Urteil fochten die A._ AG und die Einwohnergemeinde beim Kantonsgericht Luzern an. Dieses vereinigte die Beschwerdeverfahren und wies am 28. Juni 2018 beide Rechtsmittel ab.
C.
Die A._ AG (im Folgenden: die Grundeigentümerin) beantragt dem Bundesgericht mit Beschwerde vom 31. August 2018, das Urteil des Kantonsgerichts sowie jenes der Schätzungskommission aufzuheben, soweit sich diese auf die Höhe der Entschädigung beziehen (Verfahren 1C_412/2018). Sie verlangt Fr. 6'450'000.-- nebst Zins aus materieller Enteignung aufgrund des Verbots des weiteren Mergelabbaus. Zudem sei sie in Bestätigung des vorinstanzlichen Entscheids mit Fr. 1'231'855.-- zuzüglich Zins wegen Verbots der Wiederauffüllung der Grube und mit Fr. 1'080'000.-- für die Kosten der Rekultivierung, Sicherung und Nachsorge zu entschädigen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Einwohnergemeinde Horw (im Folgenden: die Gemeinde) erhebt gegen das Urteil des Kantonsgerichts am 5. September 2018 ebenfalls Beschwerde beim Bundesgericht (Verfahren 1C_432/2018). Sie beantragt dessen Aufhebung und die Abweisung sämtlicher Entschädigungsbegehren der Grundeigentümerin. Eventualiter sei die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen.
Die Parteien wiederholen in den Stellungnahmen zu den Beschwerden der Gegenseite ihre Anträge. Sie halten auch in den weiteren Eingaben an ihren Begehren fest. Das Kantonsgericht schliesst auf Abweisung der Beschwerden. Die Schätzungskommission, das Bau-, Umwelt- und Wirtschaftsdepartement namens des Regierungsrats des Kantons Luzern und das Bundesamt für Raumentwicklung (ARE) haben auf Vernehmlassungen zu den Beschwerden verzichtet.
D.
Der Präsident der I. öffentlich-rechtlichen Abteilung hat der Beschwerde der Gemeinde (Verfahren 1C_432/2018) am 10. Oktober 2018 im Umfang von Fr. 1'231'855.-- nebst Zins aufschiebende Wirkung zuerkannt. Gleichzeitig hat er im darüber hinausgehenden Betrag von Fr. 1'080'000.-- ihr Gesuch um aufschiebende Wirkung abgewiesen.
Erwägungen:
1.
Die beiden Beschwerden richten sich gegen dasselbe Urteil des Kantonsgerichts und hängen inhaltlich eng zusammen. Die Verfahren 1C_412/2018 und 1C_432/2018 sind deshalb zu vereinigen.
2.
2.1. Der angefochtene, kantonal letztinstanzliche Entscheid betrifft eine öffentlich-rechtliche Angelegenheit. Dagegen steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Die beschwerdeführende Grundeigentümerin ist aufgrund der teilweisen Abweisung ihrer Entschädigungsbegehren besonders berührt und hat ein schutzwürdiges Interesse an der Aufhebung bzw. Änderung des angefochtenen Urteils (Art. 89 Abs. 1 BGG). Die Gemeinde ist gestützt auf Art. 34 Abs. 2 lit. a RPG (SR 700) i.V.m. Art. 89 Abs. 2 lit. d BGG ebenfalls zur Beschwerde legitimiert, weil eine Entschädigung als Folge von Eigentumsbeschränkungen im Sinne von Art. 5 RPG im Streit liegt. Im Übrigen geben die Sachurteilsvoraussetzungen keinen Anlass zu Bemerkungen. Auf die Beschwerden ist einzutreten.
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht und kantonalen verfassungsmässigen Rechten gerügt werden (Art. 95 lit. a und c BGG). Die Anwendung des sonstigen kantonalen Rechts überprüft das Bundesgericht jedoch lediglich auf Vereinbarkeit mit dem Bundesrecht, namentlich mit dem Willkürverbot gemäss Art. 9 BV (BGE 142 II 369 E. 2.1 S. 372 mit Hinweisen). Die Feststellung des Sachverhalts kann nur beanstandet werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG).
2.3. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es prüft die bei ihm angefochtenen Entscheide grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht und begründet werden (vgl. Art. 42 Abs. 2 BGG). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (Art. 106 Abs. 2 BGG; vgl. BGE 142 I 99 E. 1.7.1 und 1.7.2 S. 106 mit Hinweisen).
3.
Streitgegenstand bilden die Ansprüche der Grundeigentümerin aus materieller Enteignung, die sich aus der Umteilung ihres Landes von der Abbauzone in die Rekultivierungszone ergeben.
Nach Art. 21 des Bau- und Zonenreglements (aBZR) der Gemeinde Horw von 1997/2002 waren in der Abbauzone der Abbau von Steinen, Kies, Sand, Lehm und anderen Materialien sowie das Wiederauffüllen zulässig (Abs. 1). Die abgebauten Gebiete waren gemäss Abbau- und Rekultivierungskonzept mit unverschmutzten Aushub- und Abraummaterialien wieder aufzufüllen. Verboten waren die Deponie anderer Materialien und Abfälle wie beispielsweise anderer Inertstoffe, Feststoffe und Sonderabfälle, ausgenommen Ziegel- und Backsteinbruch aus dem eigenen Werk (Abs. 2). Demgegenüber sind in der Rekultivierungszone gemäss dem 2010 revidierten und am 30. September 2011 vom Regierungsrat genehmigten Art. 21 BZR der Abbau von Material und die Wiederauffüllung untersagt (vgl. Abs. 1 und 2). Gestattet sind einzig die zur Sicherung und naturnahen Gestaltung des ehemaligen Abbaugebiets notwendigen Terrainveränderungen und das Zuführen des dazu notwendigen Materials (Abs. 3). Ausserdem ist die Eigentümerin des in der Rekultivierungszone gelegenen Landes verpflichtet, ein Projekt zur naturnahen Rekultivierung der Grube sowie ein Unterhalts- und Nachsorgekonzept zu erstellen (Abs. 4 und 5). Die Bestimmung bezweckt die naturnahe Rekultivierung und Sicherung des Areals innert 5 Jahren. Die fragliche Umzonung entzieht der Grundeigentümerin somit das Recht zum weiteren Materialabbau und jenes zur gewerblichen Wiederauffüllung mit unverschmutztem Aushub- und Abbraummaterial. Darüber hinaus verpflichtet sie diese neu, das Areal - ausser zur Sicherung und naturnahen Gestaltung des Gebiets - grundsätzlich ohne Wiederauffüllung zu rekultivieren.
Unter den Parteien ist umstritten, ob die sich aus der Rekultivierungszone ergebenden Eigentumsbeschränkungen eine materielle Enteignung bewirken und deshalb eine Entschädigungspflicht der Gemeinde begründen. Die kantonalen Instanzen verneinen dies bezüglich des Abbauverbots, worin die Grundeigentümerin eine Bundesrechtsverletzung sieht. Letztere verlangt wegen untersagtem Abbau von 1,29 Mio. m3 Mergels eine Entschädigung von Fr. 5.-- pro m3, insgesamt Fr. 6'450'000.-- plus Zins. Dagegen bejahen die kantonalen Instanzen eine materielle Enteignung beim Verbot der Wiederauffüllung und sprechen der Grundeigentümerin insoweit bezifferte Entschädigungen plus Zinsen zu. Die Gemeinde wendet sich gegen die ihr auferlegte Zahlungspflicht und macht geltend, das Wiederauffüllungsverbot und die Pflicht zur naturnahen Rekultivierung würden keine materielle Enteignung bewirken.
4.
4.1. Wie im angefochtenen Urteil zutreffend dargelegt wird, werden der Begriff der materiellen Enteignung im Zusammenhang mit planerischen Eigentumsbeschränkungen und die Höhe der dafür geschuldeten Entschädigung abschliessend durch Art. 5 Abs. 2 RPG bzw. durch Bundesrecht festgelegt (vgl. BGE 127 I 185 E. 4 S. 191; Urteil 1A.104/2000 und 1A.116/2000 vom 20. Oktober 2000 E. 5b, in: ZBl 102/2001 S. 550; je mit Hinweisen). Die Vorinstanz erwähnt auch § 76 des kantonalen Enteignungsgesetzes vom 29. Juni 1970 (kEntG; SRL Nr. 730), wonach Eigentumsbeschränkungen ausserhalb eines formellen Enteignungsverfahrens nur dann einen Anspruch auf Entschädigung begründen, wenn sie in ihrer Wirkung einer Enteignung gleichkommen. Dieser kantonalen Vorschrift kommt vorliegend keine eigenständige Bedeutung zu.
4.2. Art. 5 Abs. 2 RPG hält wie Art. 26 Abs. 2 BV fest, dass durch Planungen bedingte Eigentumsbeschränkungen, die einer Enteignung gleichkommen (sog. materielle Enteignung), voll entschädigt werden. Nach der Rechtsprechung liegt eine materielle Enteignung vor, wenn einem Eigentümer der bisherige oder ein voraussehbarer künftiger Gebrauch seines Grundeigentums untersagt oder besonders stark eingeschränkt wird, weil ihm eine aus dem Eigentumsinhalt fliessende wesentliche Befugnis entzogen wird. Geht der Eingriff weniger weit, so kann ausnahmsweise eine Eigentumsbeschränkung einer Enteignung gleichkommen, falls ein einziger oder einzelne Grundeigentümer so getroffen werden, dass ihr Opfer gegenüber der Allgemeinheit unzumutbar erscheint und es mit der Rechtsgleichheit nicht zu vereinbaren wäre, wenn hierfür keine Entschädigung geleistet würde (sog. Sonderopfer). In beiden Fällen ist die Möglichkeit einer zukünftigen besseren Nutzung der Sache nur zu berücksichtigen, wenn im massgebenden Zeitpunkt anzunehmen war, sie lasse sich mit hoher Wahrscheinlichkeit in naher Zukunft verwirklichen. Unter besserer Nutzung ist in der Regel die Möglichkeit der Überbauung eines Grundstücks zu verstehen (BGE 131 II 728 E. 2 S. 730; 125 II 431 E. 3a S. 433; je mit Hinweisen).
4.3. Nach der Vorinstanz ist der massgebende Zeitpunkt für die Beurteilung, ob eine materielle Enteignung vorliegt, der 1. Oktober 2012. Damals wurden die Rechtsmittel gegen die Umzonung innerkantonal letztinstanzlich abgewiesen. Die Verfahrensparteien widersprechen der vorinstanzlichen Festlegung des Stichtags nicht.
4.4. Nach der Rechtsprechung entfällt eine Entschädigungspflicht aus materieller Enteignung, wenn durch Naturgefahren bedrohtes Land mit einem Nutzungsverbot belegt wird. Sie anerkennt aber auch gewisse Ausnahmen vom Grundsatz der Entschädigungslosigkeit rein polizeilicher Eigentumsbeschränkungen (vgl. Urteile 2C_461/2011 vom 9. November 2011 E. 4.2 und 4.3, in: ZBl 113/2012 S. 617; 1C_651/2018 vom 4. Juni 2019 E. 4.1; je mit Hinweisen).
Es ist nicht erforderlich, in allgemeiner Weise auf diesen Sonderfall einzugehen. Die Vorinstanz schliesst eine Entschädigungspflicht aus materieller Enteignung trotz den Naturgefahren im Hanggebiet bei der Grube Grisigen nicht aus. Zwar betont die Gemeinde, dass die Umzonung zur Sicherung der unterhalb gelegenen Siedlungsgebiete und Infrastrukturanlagen erfolgt ist. Mit dem Hinweis auf diese kommunal ausgeschiedenen Gefahrenzonen vermag aber die Gemeinde der Vorinstanz nicht erfolgreich eine mangelhafte Sachverhaltsabklärung oder Rechtsanwendung vorzuwerfen. Im Pflichtenheft der C._ GmbH vom 9. April 2010 für die Rekultivierung der Grube, das die Gemeinde in Auftrag gegeben hatte, wird ausgeführt, dass die nach der früheren Zonenordnung mögliche Wiederauffüllung auch dazu diente, die Stein- und Felssturzgefahr zu vermindern. Dieses Anliegen verfolgt ebenfalls die naturnahe Rekultivierung gemäss Umzonung und das dafür ausgearbeitete Pflichtenheft. Daraus durfte die Vorinstanz ohne Weiteres folgern, dass Sicherheitsbedenken bezüglich Naturgefahren einer Nutzung der Grube gemäss der früheren Abbauzone nicht entscheidend entgegenstanden. Deshalb musste die Vorinstanz ebenso wenig dem Antrag der Gemeinde auf Einholung einer Expertise zu dieser Problematik stattgeben.
4.5. Die betroffenen Grundstücke wurden am Stichtag von der Abbauzone in die Rekultivierungszone überführt. Nach der Vorinstanz gehören beide Zonen nicht zum allgemeinen Baugebiet. Sie hat weiter festgestellt, dass mit der planerischen Massnahme nicht die bauliche, sondern die gewerbliche Nutzung dieser Grundstücke beschränkt worden ist. Die Verfahrensparteien behaupten nichts anderes. Die Vorinstanz hat die enteignungsrechtliche Tragweite dieser planerischen Massnahme analog zu den Regeln für eine Abzonung beurteilt. Sie macht eine Entschädigungspflicht davon abhängig, ob nach dem Eingriff noch eine wirtschaftlich sinnvolle und gute Nutzung auf den betroffenen Grundstücken möglich ist.
Diese Auffassung entspricht der bundesgerichtlichen Rechtsprechung. Die Praxis zu Um- bzw. Abzonungen bezieht sich in erster Linie auf Bauparzellen. Insoweit liegt kein schwerer, entschädigungspflichtiger Eingriff vor, wenn eine bestimmungsgemässe, wirtschaftlich sinnvolle und gute Nutzung erhalten bleibt. Das Bundesgericht lehnt es ab, die Grenze zwischen entschädigungspflichtiger Auszonung und entschädigungsloser Abzonung schematisch anhand eines festen Prozentsatzes der Wertminderung zu ziehen. Vielmehr verlangt es jeweils eine Gesamtbetrachtung über die Frage, ob dem Betroffenen eine bestimmungsgemässe, wirtschaftlich sinnvolle und gute Nutzung erhalten bleibt. Diese Frage kann sich nach der Praxis auch für Grundstücke ausserhalb der Bauzone stellen. Häufig fehlt es jedoch in dieser Hinsicht an einem enteignungsähnlichen Eingriff (vgl. zum Ganzen Urteil 1C_473/2017 vom 3. Oktober 2018 E. 2.6 mit Hinweisen). Entgegen der Meinung der Gemeinde hat das Bundesgericht keine Regel aufgestellt, dass der raumplanerische Entzug nicht baulicher Grundstücksnutzungen entschädigungslos hinzunehmen sei. Vielmehr hat das Bundesgericht sich in der bei ENRICO RIVA (in: Praxiskommentar RPG: Nutzungsplanung, 2016, N. 216 zu Art. 5 RPG) angeführten Rechtsprechung darauf beschränkt, eine materielle Enteignung bei landwirtschaftlichen Grundstücken zu verneinen, wenn die bisherige landwirtschaftliche Nutzung weder verunmöglicht noch ungebührlich erschwert wird (vgl. dort zitiertes Urteil 1A.194/1991 vom 18. Mai 1992 E. 3d). Daraus kann die Gemeinde im vorliegenden Zusammenhang nichts für ihren Standpunkt ableiten. Im Hinblick auf die Schwere des Eingriffs ist somit eine Gesamtbetrachtung anzustellen, wie es die Vorinstanz getan hat.
Neben der Schwere des Eingriffs - bzw. gegebenenfalls dem Vorliegen eines Sonderopfers - setzt die Entschädigungspflicht aus materieller Enteignung, wie dargelegt (vgl. oben E. 4.2), zusätzlich eine hohe Realisierungswahrscheinlichkeit der raumplanerisch verunmöglichten Grundstücksnutzung voraus. Diese Anforderung beurteilt sich ebenfalls anhand aller rechtlichen und tatsächlichen Gegebenheiten, welche die zukünftigen Nutzungsmöglichkeiten beeinflussen können. Dabei ist in erster Linie auf die rechtliche Ausgangslage abzustellen (vgl. BGE 131 II 72 E. 3.3 S. 76 f. mit Hinweisen).
4.6. Im vorliegenden Fall ist zunächst die Frage der hohen Realisierungswahrscheinlichkeit, getrennt für das Abbau- und das Wiederauffüllungsverbot, zu überprüfen (vgl. unten E. 5 und 6). Anschliessend ist der Schwere des Eingriffs nachzugehen (E. 7).
5.
Zur Realisierungswahrscheinlichkeit eines weiteren Mergelabbaus ergibt sich Folgendes.
5.1. Nach der Vorinstanz war der Mergelabbau in der Grube Grisigen am Stichtag seit über zehn Jahren eingestellt. Im kantonalen Richtplan von 1998 war aber dieser Standort als Abbaugebiet von kantonaler Bedeutung für Mergel verzeichnet. So verhält es sich auch nach dem kantonalen Richtplan von 2009. Das damalige kantonale Verwaltungsgericht hat im Urteil, mit dem es die Beschwerde der Grundeigentümerin gegen die Umzonung abwies, einen Widerspruch zwischen dieser Umzonung und dem kantonalen Richtplan verneint, denn ein späterer Mergelabbau bleibe dort (technisch) möglich.
5.2. Die Grundeigentümerin hatte am 23. Februar 2001 ein Baugesuch für eine Erweiterung des Steinbruchs zum Mergelabbau im Umfang von 1,29 Mio. m 3 verwertbarem Material und mit anschliessender Auffüllung von 1,14 Mio. m 3 Fremdmaterial gestellt. Das Gesuch diente nach ihren Angaben auch dazu, eine Bestätigung ihrer Abbauberechtigung nach Inkrafttreten des RPG zu erwirken. Nach dem angefochtenen Urteil war dieses Gesuch im Jahr 2002 angesichts der positiven Stellungnahmen von Kanton und Gemeinde bewilligungsfähig. Zur Bewilligungserteilung kam es allerdings nicht. Einerseits waren Einsprachen erhoben worden. Anderseits zog die Grundeigentümerin ihr Gesuch am 29. Juni 2004 zurück. Die Vorinstanz hält ihr vor, ein Mergelabbau am Standort erfordere Ausnahmebewilligungen. In der Zeit von 2002 bis zum Stichtag habe die massgebliche Gesetzgebung geändert und es wäre eine neue Umweltverträglichkeitsprüfung nötig gewesen. Neben diesen objektiven Faktoren sei darauf hinzuweisen, dass die Grundeigentümerin keine Bemühungen unternommen habe, den Mergelabbau wiederaufzunehmen.
5.3. Im 2004 abgebrochenen Baubewilligungsverfahren war das Abbauvorhaben nicht abschliessend beurteilt worden. Die Grundeigentümerin stellt nicht in Abrede, dass sie dafür auf Ausnahmebewilligungen, wie z.B. für eine Rodung, angewiesen war; dies spricht im Allgemeinen gegen eine hohe Realisierungswahrscheinlichkeit (vgl. BGE 131 II 72 E. 3.3 S. 77 mit Hinweisen). Aufgrund des langen Zeitablaufs von rund zehn Jahren zwischen den behördlichen Stellungnahmen von 2002 und dem Stichtag hätte sich die Grundeigentümerin nicht mehr erfolgreich auf deren Verbindlichkeit berufen können. Unter diesen Umständen kommt es nicht entscheidend darauf an, inwiefern die für die Bewilligung des Mergelabbaus relevanten Gesetze von 2002 bis zum Stichtag änderten. Die Vorinstanz hat keine Gehörsverletzung begangen, wenn sie im angefochtenen Urteil die Tragweite dieser Gesetzesänderungen seit 2002 für das Projekt nicht im Einzelnen erörtert hat.
5.4. Hinzu kommt, dass der fehlenden Absicht der Grundeigentümerin, den Mergelabbau am Standort wieder aufzunehmen, eine besondere Bedeutung zukommt. Aus dem bei den Akten liegenden Schreiben der Grundeigentümerin vom 29. Juni 2004 über den Rückzug ihres Abbaugesuchs geht hervor, dass sie dieses Vorhaben nicht mehr für wirtschaftlich hielt. Sie behielt sich zwar damals eine Reaktivierung des Gesuchs vor. Sie macht indessen nicht konkret geltend, das Projekt später wieder aufgenommen zu haben.
Der Eintrag im kantonalen Richtplan als Abbaugebiet sagt nichts über die Rentabilität einer entsprechenden privaten Nutzung aus. Die Grundeigentümerin tut vor Bundesgericht nicht dar, dass sich die Wirtschaftlichkeit des Mergelabbaus am fraglichen Standort in der Zeit vom Rückzug ihres Gesuchs bis zum Stichtag erheblich verbessert hätte. Sie behauptet für den Stichtag einfach einen bezifferten Ertrag, ohne auf die Gewinnungskosten näher einzugehen. Es hilft der Grundeigentümerin auch nicht weiter, wenn sie in der Eingabe vom 8. Januar 2019 auf die neuliche Erweiterung eines Steinbruchs im Kanton Nidwalden für Kieselkalk hinweist und am 11. Februar 2019 sogar ein Projekt der Gemeinde Horw für eine öffentliche Abfallsammelstelle ("Ökihof") im Wald anspricht. Diese Vorhaben stehen nicht in einem relevanten Zusammenhang zum vorliegenden Fall. Es kann deshalb offenbleiben, inwiefern die diesbezüglichen Vorbringen verfahrensrechtlich zulässig sind (vgl. Art. 42 und Art. 99 BGG).
Vielmehr ist anzunehmen, dass der Mergelabbau am Standort Grisigen am Stichtag nicht genügend wirtschaftlich für eine Wiederaufnahme war. An diesem Ergebnis ändert nichts, dass die Grundeigentümerin dort zuvor jahrzehntelang Mergel abgebaut hatte. Die hohe Wahrscheinlichkeit einer Nutzung in naher Zukunft ist nicht gegeben, wenn bloss theoretische Gewinnchancen oder vage Aussichten auf eine künftige bessere Verwendung bestehen (vgl. BGE 134 II 49 E. 13.3 S. 72; Urteil 1C_71/2018 vom 3. Juni 2019 E. 2.1; RIVA, a.a.O., N. 170 zu Art. 5 RPG). Auch unter diesem Blickwinkel verursachte das Verbot des Mergelabbaus keine materielle Enteignung. Damit fällt eine Entschädigungspflicht in dieser Hinsicht ausser Betracht. Die Vorbringen der Grundeigentümerin zur Entschädigungsbemessung in diesem Punkt stossen ins Leere; darauf ist nicht näher einzugehen.
6.
Zur Vorhersehbarkeit einer Auffüllung mit unverschmutztem Aushub- und Abraummaterial gemäss Art. 21 aBZR ist Folgendes darzulegen.
6.1. Für die Vorinstanz ist wesentlich, dass im Zeitpunkt der Umzonung das Baugesuch vom 24. Mai 2006 für die teilweise Auffüllung der Grube mit 550'000 m 3 solcher Materialien samt dazugehörigem Strassenprojekt hängig war. Die zuständigen kantonalen Stellen hatten am 13. September 2007 mit konzentrierter Stellungnahme zuhanden der Gemeinde die Zonenkonformität des Vorhabens ausserhalb des allgemeinen Baugebiets bestätigt und die erforderlichen Teilbewilligungen nach Wald-, Fischerei- und Wasserbaurecht in Aussicht gestellt. Gleichzeitig hatten sie festgehalten, dass das Projekt die gewässer-, umwelt- und landschaftsschutzrechtlichen Anforderungen erfülle. Weiter hatten sie auch die kantonale Ausnahmebewilligung für die neue verkehrsmässige Erschliessung bzw. den entsprechenden Ausbau der Zufahrtsstrasse ausserhalb des Baugebiets in Aussicht gestellt. Die Vorinstanz hat zudem darauf abgestellt, dass die Gemeinde der Grundeigentümerin in einer Vereinbarung vom 5. April 2001 das Recht zur Benutzung dieser Strasse mit Lastwagen und anderen Fahrzeugen für den Grubenbetrieb eingeräumt hatte. Deswegen sei von einer genügenden rechtlichen Sicherung der Erschliessung am Stichtag auszugehen. Die B._ AG, welche die Auffüllung als Deponie gemäss dem Baugesuch betreiben sollte, habe ihre Realisierungsabsicht im kantonalen Verfahren bestätigt. Die Vorinstanz bejaht daher im Hinblick auf den fraglichen Deponiebetrieb - im Gegensatz zum Mergelabbau - eine hohe Realisierungswahrscheinlichkeit in naher Zukunft.
6.2. Bei diesen Ausführungen knüpft die Begründung des angefochtenen Urteils an die dagegen gerichteten Einwände der Gemeinde an, auch wenn letztere im angefochtenen Urteil nicht im Einzelnen aufgeführt sind. Insoweit hat die Vorinstanz ihre Begründungspflicht (vgl. dazu allgemein BGE 142 II 324 E. 3.6 S. 337 f. mit Hinweisen) erfüllt. Die Gemeinde wurde in die Lage versetzt, das angefochtene Urteil sachgerecht anzufechten. Es braucht folglich nicht näher erörtert zu werden, inwiefern der Gemeinde ein verfassungsmässiger Anspruch auf rechtliches Gehör und ausreichende Entscheidbegründung (Art. 29 Abs. 2 BV) zukommt.
6.3. Der fragliche Standort befindet sich nicht nur ausserhalb des Baugebiets, sondern teilweise sogar in einem BLN-Gebiet, und er ist zusätzlich als regionales Naturschutzobjekt inventarisiert. Für das fragliche Deponieprojekt war unter anderem ein Rodungsgesuch für 1'330 m 2 Waldfläche mit Ersatzaufforstung von rund 9'000 m 2 gestellt worden. Das Vorhaben betraf somit die Erfüllung einer Bundesaufgabe im Sinne von Art. 2 Abs. 1 lit. b NHG (SR 451; vgl. dazu BGE 120 Ib 27 E. 2c/aa S. 31; Urteil 1C_361/2008 vom 27. April 2009 E. 7.4, in: URP 2009 S. 877). Die vorgenannte kantonale Stellungnahme vom 13. September 2007 ging bei der vorläufigen Beurteilung des Deponieprojekts auf den Interessenkonflikt zwischen Landschaftsschutz (Reparatur der landschaftlichen Narbe) und Naturschutz (Erhaltung von in der Grube angesiedelten Tier- und Pflanzenarten) ein. Sie würdigte auch den Projektbestandteil, den oberen Teil der südlichen Abbauwand zu belassen, als Massnahme des Geotopschutzes. In jener Stellungnahme formulierten die kantonalen Stellen zwar Bedingungen und Auflagen, äusserten aber keine grundlegenden Vorbehalte oder Einwände gegen das Projekt.
Kann ein BLN-Inventarobjekt bei der Erfüllung einer Bundesaufgabe erheblich beeinträchtigt werden oder stellen sich in diesem Zusammenhang grundsätzliche Fragen, so hat die zuständige kantonale Entscheidbehörde ein Gutachten der Eidgenössischen Natur- und Heimatschutzkommission (ENHK) nach Art. 7 Abs. 2 NHG einzuholen. Diese gibt im Gutachten an, ob das Objekt ungeschmälert zu erhalten oder wie es zu schonen ist. Die Beurteilung, ob ein Gutachten einzuholen ist, obliegt der kantonalen Fachstelle nach Art. 25 Abs. 2 NHG. Dabei sind an das Kriterium der möglichen Beeinträchtigung grundsätzlich geringe Anforderungen zu stellen; im Zweifelsfall ist die Kommission beizuziehen (vgl. Urteile 1C_556/2013 vom 21. September 2016 E. 7.4.1; 1C_482/2012 vom 14. Mai 2014 E. 3.6).
Der Stellungnahme vom 13. September 2007 lassen sich keine Anhaltspunkte entnehmen, dass die zuständige kantonale Fachstelle nach Art. 7 i.V.m. Art. 25 Abs. 2 NHG von einer erheblichen Beeinträchtigung des BLN-Objekts bzw. von grundsätzlichen Fragen ausgegangen wäre, die ein ENHK-Gutachten erfordert hätten. Demgegenüber stellt die Gemeinde eine ausreichend hohe Realisierungswahrscheinlichkeit ohne ein solches Gutachten in Abrede. Dabei legt sie keine triftigen Gründe dar, inwiefern das fragliche Deponieprojekt das BLN-Objekt möglicherweise erheblich beeinträchtigt hätte. Namentlich zeigt sie nicht auf, in welche konkreten Schutzziele des BLN-Objekts das Projekt eingreifen würde. Für die Annahme einer Begutachtungspflicht reicht es nicht aus, dass die Praxis insofern in allgemeiner Weise streng ist. Vielmehr durfte die Vorinstanz eine Projektbeurteilung ohne ENHK-Gutachten im vorliegenden Zusammenhang als rechtmässig beurteilen. Es kommt nicht entscheidend darauf an, inwiefern sich die Schlussfolgerungen eines früheren ENHK-Gutachtens zu dem oben bei E. 5 erörterten Projekt für eine Erweiterung des Mergelsteinbruchs auf das fragliche Deponieprojekt übertragen lassen. Somit spielt auch keine Rolle, ob die Vorinstanz jenem Gutachten weiterhin eine Relevanz zubilligen durfte.
6.4. Weiter behauptet die Gemeinde, dass die Lage ausserhalb des Baugebiets und die Interessen am Schutz der Grube als Landschaft, Naturobjekt und Lebensraum unabhängig vom BLN-Gebiet einer ausreichend hohen Realisierungswahrscheinlichkeit des Deponieprojekts entgegenständen. Auch wenn die kantonale Stellungnahme vom 13. September 2007 insoweit keine abschliessende Beurteilung enthält, waren danach bei objektiver Betrachtung keine unüberwindlichen Hindernisse zu erwarten. Der abweichenden Argumentation der Gemeinde ist nicht beizupflichten.
Ebenso wenig ist ihr Einwand erfolgreich, dass das Deponieprojekt vom 24. Mai 2006 im Widerspruch zu einer allfälligen späteren Wiederaufnahme des Mergelabbaus stehen soll. Zwar ist der Standort im kantonalen Richtplan als Mergelabbaugebiet eingetragen (vgl. oben E. 5.1). Aus dem von der Gemeinde eingeholten Bericht der D._ AG vom 12. Januar 2015 folgt aber, dass ein beschränkter Abbau von Mergel nach der Durchführung des Deponieprojekts machbar geblieben wäre. Konkrete Hinweise darauf, dass das Deponieprojekt dem Richtplaneintrag zum Mergelabbau zuwidergelaufen wäre, sind weder dargetan noch ersichtlich.
6.5. Die Gemeinde lehnt eine hohe Realisierungswahrscheinlichkeit des Deponieprojekts überdies wegen ungenügender verkehrsmässiger Erschliessung ab. Nach der Rechtsprechung sprechen namentlich das Erfordernis weitgehender Erschliessungsarbeiten gegen eine hohe Realisierungswahrscheinlichkeit (vgl. BGE 131 II 72 E. 3.3 S. 77). Es trifft zu, dass das Deponieprojekt gemäss Gesuch vom 24. Mai 2006 erhebliche Erschliessungsarbeiten bedingte. Es war indessen mit einem Strassenprojekt für den Ausbau der Zufahrtsstrasse verbunden worden. Da in der vorgenannten kantonalen Stellungnahme vom 13. September 2007 eine Bewilligung des Strassenprojekts in Aussicht gestellt wurde, gilt in dieser Hinsicht das oben bei E. 6.4 Gesagte.
Die Gemeinde macht vor Bundesgericht ferner geltend, dass die Grundeigentümerin nicht über ein dingliches Fahrwegrecht für die Benutzung der privaten Zufahrtsstrasse verfügt habe. Nach der Darstellung der Gemeinde war die Geltungskraft des von der Vorinstanz angesprochenen Vertrags über die Strassennutzung vom 5. April 2001 mit der Aufgabe des Mergelabbaus erloschen. Die rechtliche Sicherung der Erschliessung habe gefehlt und die Grundeigentümerin habe diesen Mangel nicht aus eigener Kraft beheben können.
In dieser Hinsicht ist die Argumentation der Gemeinde jedoch nicht schlüssig. Sie beruft sich auf ein Urteil des ehemaligen Luzerner Verwaltungsgerichts vom 7. November 2012. Damit hatte jenes Gericht eine Klage der Gemeinde, die A._ AG aufgrund des erwähnten Vertrags zu einer Sanierung der Zufahrtsstrasse unabhängig von einem Grubenbetrieb zu verpflichten, abgewiesen. Die Erwägungen jenes Urteils lassen sich nicht ohne Weiteres auf die Beurteilung der Erschliessungsverhältnisse im vorliegenden Zusammenhang übertragen. Das fragliche Deponieprojekt kann als Bestandteil des vor der Umzonung zulässigen Grubenbetriebs qualifiziert werden. Es ist nachvollziehbar, wenn die Vorinstanz der Gemeinde die Wirksamkeit des Vertrags vom 5. April 2001 auch für einen reinen Deponiebetrieb entgegengehalten hat. Darüber hinaus betont die Gemeinde, dass die vorgeschriebene naturnahe Rekultivierung der Grube seit der Umzonung eine Zuführung von Material nach sich zieht. Dafür wird aber von der Gemeinde keine andere Erschliessung als die Zufahrtsstrasse für das Deponieprojekt ins Spiel gebracht und eine andere Erschliessung liegt auch nicht auf der Hand. Unter diesen Umständen konnte das Fehlen eines dinglichen Fahrwegrechts zur Erschliessung am Stichtag keinen grundlegenden Mangel bilden.
Es ist deshalb nicht zu beanstanden, dass die Vorinstanz eine ausreichend hohe Realisierungswahrscheinlichkeit im Hinblick auf die verkehrsmässige Erschliessung bejaht hat. Dies gilt auch unter Berücksichtigung des Widerstands der Anwohnerschaft gegen den zu erwartenden Lastwagenverkehr, der unter anderem zur Umzonung geführt hat. Da der diesbezügliche Sachverhalt sich mit genügender Klarheit aus den Akten ergibt, ist der von der Gemeinde beantragte bundesgerichtliche Augenschein entbehrlich.
6.6. Im Übrigen folgt aus den vorstehenden Erwägungen, dass das angefochtene Urteil nicht an einem inneren Widerspruch leidet, wenn es die Vorhersehbarkeit einer besseren Verwendung des Areals im Hinblick auf das Deponieprojekt vom 24. Mai 2006 annimmt, mit Bezug auf einen Mergelabbau hingegen ablehnt. In dieser Hinsicht liegt auch kein Verstoss gegen das Gleichbehandlungsgebot vor.
6.7. Als Zwischenergebnis ist festzuhalten, dass die ausreichend hohe Realisierungswahrscheinlichkeit für das Deponieprojekt vom 24. Mai 2006 ohne Rechtsverletzung bejaht werden darf.
7.
7.1. Ob die Zuweisung zur Rekultivierungszone eine materielle Enteignung bildet, hängt weiter davon ab, ob der Grundeigentümerin nach dem Eingriff eine bestimmungsgemässe, wirtschaftlich sinnvolle und gute Nutzung erhalten bleibt (vgl. oben E. 4.5). Diese Fragestellung kann auf das Verbot der Wiederauffüllung beschränkt werden, weil nur insoweit am Stichtag eine ausreichend hohe Realisierungswahrscheinlichkeit gegeben war (vgl. oben E. 5.4 und 6.7). Dabei kann es einzig um eine Nutzung als Deponie gemäss dem Gesuch vom 24. Mai 2006 und das dort genannte Volumen von 550'000 m 3 Material gehen. Hingegen nimmt das von der Grundeigentümerin darüber hinaus beanspruchte Auffüllvolumen Bezug auf ihr zurückgezogenes Baugesuch vom 23. Februar 2001, das eine Erweiterung der Mergelgrube anstrebte. Infolge der ungenügenden Realisierungswahrscheinlichkeit jenes Projekts kommt es auch nicht auf das damit verbundene Auffüllvolumen an.
7.2. Die Gemeinde relativiert das Auffüllungsverbot von Art. 21 BZR, indem sie behauptet, dass diese Vorschrift eine Ablagerung von 80'000 bis 250'000 m 3 Material zulasse, auch wenn sie keine massliche Bestimmung enthalte. Die Umzonung beschneide die Nutzungsmöglichkeiten als Deponie im Vergleich zu den zuvor geplanten 550'000 m 3, so dass die Differenz minimal ein Volumen von 300'000 m 3 ausmache. Ein solcher Eingriff sei nicht als schwer zu qualifizieren, sondern entschädigungslos hinzunehmen.
Wesentlich für den Vergleich vor und nach dem Eingriff sind nicht nur die zulässigen Auffüllmengen, sondern vor allem die daraus folgende Ertragslage. In dieser Hinsicht hat sich die Vorinstanz einerseits auf den Vertrag vom 15. November 2005 zwischen der Grundeigentümerin und der B._ AG als Deponiebetreiberin gestützt. Anderseits hat sie auf den angesprochenen Bericht der D._ AG vom 12. Januar 2015 abgestellt, der sich eingehend mit der Situation seit der Umzonung befasst. Daraus folgt für die Vorinstanz, dass die Grundeigentümerin aufgrund ihres Vertrags mit der B._ AG vor der Umzonung einen Nettoertrag aus der Ablagerung erwarten durfte und die letztere die gesamte Rekultivierung, Sicherung und Nachsorge als Sachleistungen übernommen hätte. Im Gegensatz dazu ist nach der Vorinstanz unter der Geltung der neuen Rekultivierungszone bloss eine kostendeckende Ablagerung von Material realistisch, d.h. die Ablagerungsgebühren würden in etwa die Transport- und Einbaukosten abdecken. Zusätzlich hat die Grundeigentümerin gemäss der Vorinstanz im Rahmen der Rekultivierungszone für die Rekultivierung, Sicherung und Nachsorge aufzukommen.
Die Gemeinde kritisiert die vorinstanzliche Feststellung zur Ertragslosigkeit von Ablagerungen nach der neuen Zonenzuteilung. Diese Vorwürfe sind indessen unbehelflich. Die Vorinstanz hat den Bericht der D._ AG in dieser Hinsicht ausreichend und nicht offensichtlich unrichtig gewürdigt. Entgegen der Darstellung der Gemeinde enthält der Bericht im Gesamtzusammenhang betrachtet nicht die Aussage, dass die Ertragslosigkeit der Ablagerung seit der Umzonung nur auf gewisse Teilmengen beschränkt sein soll. Auch im Übrigen überzeugt es angesichts der schlüssigen Ausführungen im genannten Bericht nicht, wenn die Gemeinde die allgemeine Nachfrage nach Deponien ins Feld führt, um die Wirtschaftlichkeit einer Auffüllung nach den Vorschriften der Rekultivierungszone zu behaupten. Es liegt auf der Hand, dass die Zuweisung des Areals zur Rekultivierungszone eine gewerbliche Deponietätigkeit untersagen wollte. Die Gemeinde stellt überspannte Anforderungen an die Schadenminderungspflicht, wenn sie beansprucht, dass die Grundeigentümerin dennoch eine gewinnbringende Auffüllung im Rahmen der Rekultivierungszone anzustreben und durchzuführen habe.
Im Ergebnis ist davon auszugehen, dass die Umzonung finanzielle Erträge aus einer gewerblichen Auffüllung der Grube verunmöglicht, während hingegen aus dem Deponieprojekt vom 24. Mai 2006 am Stichtag substanzielle Erträge zu erwarten waren.
7.3. Bei der formellen Enteignung von Ausbeutungs- und Deponieareal, wie Steinbrüchen oder Kiesgruben, steht der Ausbeutungswert im Vordergrund. Kann das Grundstück erst nach erfolgter Auffüllung einer neuen gewerblichen Nutzung zugeführt werden, so wirft es als Deponieareal weiteren Ertrag ab, ist dann aber aufgrund der Setzungen nach Ablagerungen im Wert (z.B. als Landwirtschaftsland) vermindert (vgl. HESS/WEIBEL, Das Enteignungsrecht des Bundes, 1986, Band I, N. 127 ff. zu Art. 19 EntG [SR 711]). Im vorliegenden Fall ist der Ausbeutungswert des Areals nicht betroffen (vgl. oben E. 5.4). Die im Streit liegende Umzonung greift jedoch in den Ertragswert als Deponie ein. Dass eine relevante forst- oder landwirtschaftliche Nutzung des Geländes seit der Umzonung in Betracht kommen soll, macht die Gemeinde nicht konkret geltend.
7.4. Die Vorinstanz hat unter Bezugnahme auf das Urteil 1A.147/1989 vom 20. Juni 1990 E. 4b, in: ZBl 92/1991 S. 557 erwogen, dass im Hinblick auf die Schwere des planerischen Eingriffs auch bisherige Vorteile aus der Grundstücksnutzung im Sinne einer langfristigen Ertragsbilanz zu berücksichtigen seien. Zu Recht hat sie aber die Tragweite des Eingriffs in die kommerzielle Nutzung der Grube als Deponieareal nicht mit Vorteilen aus dem früheren Betrieb am Standort relativiert. Das Deponieprojekt gemäss Gesuch vom 24. Mai 2006 mit einem Volumen von 550'000 m 3 und den infolge des Vertrags mit der B._ AG verbundenen Nebenleistungen bildete einen wirtschaftlich erheblich ins Gewicht fallenden Bestandteil der Arealnutzung. Demgegenüber ermöglichen die zulässigen Ablagerungen gemäss der Rekultivierungszone mangels Ertragsmöglichkeiten keine wirtschaftlich sinnvolle und gute Nutzung des Areals mehr (vgl. oben E. 7.2). Es kommt daher nicht darauf an, welche genaue Menge an Auffüllung seit der Umzonung noch möglich ist. Vielmehr hat das raumplanerische Verbot im Hinblick auf die Realisierung des fraglichen Deponieprojekts und der Entzug der damit verbundenen Ertragsmöglichkeiten die Grundeigentümerin in schwerer und enteignungsgleicher Weise getroffen. Bei dieser Sachlage erübrigt es sich, auf die Tatbestandsvariante eines entschädigungspflichtigen Sonderopfers näher einzugehen.
7.5. Demzufolge sind die Voraussetzungen einer materiellen Enteignung infolge des Wiederauffüllungsverbots im Rahmen des damit verunmöglichten Deponieprojekts vom 24. Mai 2006 erfüllt. Die Beschwerde der Gemeinde dringt in diesem Punkt nicht durch.
8.
Zu überprüfen bleibt die Bemessung der Entschädigung. Die Gemeinde bestreitet jegliche Entschädigungspflicht, erhebt allerdings auch Rügen zur Höhe der Entschädigung. Im Gegensatz dazu äussert die Grundeigentümerin keine Kritik an der Bemessung der Entschädigung für das Wiederauffüllungsverbot.
8.1. Art. 5 Abs. 2 RPG und Art. 26 Abs. 2 BV schreiben die Pflicht zur Leistung einer vollen Entschädigung für die Enteignung vor (vgl. dazu BGE 127 I 185 E. 4 S. 190 f. mit Hinweisen). Der Grundeigentümer soll durch die Enteignung keinen Verlust erleiden, aber auch keinen Gewinn erzielen, sondern ist wirtschaftlich gleich zu stellen, wie wenn die Enteignung nicht eingetreten wäre (vgl. BGE 122 I 168 E. 4b/aa S. 177 mit Hinweisen). Die Entschädigung für eine materielle Enteignung bemisst sich in der Regel nach der Differenzmethode, indem der Verkehrswert des betroffenen Grundstücks vor der Eigentumsbeschränkung mit jenem nach dem Eingriff verglichen wird (vgl. BGE 122 II 326 E. 6c/bb S. 335; 114 Ib 174 E. 3a S. 177). Der Verkehrswert entspricht dem Erlös, der bei Veräusserung im freien Handel am Stichtag objektiverweise hätte erzielt werden können (vgl. BGE 122 II 246 E. 4a S. 250). Zusätzlich zu entschädigen sind gegebenenfalls weitere Nachteile (Inkonvenienzen), wie nutzlos gewordener Aufwand für Planung oder vergleichbare Arbeiten; in dieser Hinsicht sind der verfassungsmässige Vertrauensschutz gemäss Art. 9 BV und die Eigentumsgarantie gemäss Art. 26 BV als Rechtsgrundlage einzubeziehen (vgl. BGE 119 Ib 229 E. 4a S. 237; Urteil 1C_487/2009 vom 10. August 2010 E. 8.1).
Ob die Entschädigungshöhe richtig ermittelt worden ist, bildet eine vom Bundesgericht frei überprüfbare Rechtsfrage (vgl. BGE 115 Ib 408 E. 1b S. 409 f. mit Hinweisen).
8.2. Bei der formellen Enteignung lässt es die Rechtsprechung zu, dass anstelle einer Entschädigung, die nach dem Verkehrswert bzw. dem entsprechenden Minderwert bemessen wird, der sog. subjektive Schaden vergütet wird. Dies setzt voraus, dass das finanzielle Interesse des Eigentümers an der Weiternutzung seines Grundstücks grösser als jenes am Verkauf im freien Handel ist. Bei der Berechnung des subjektiven Schadens wird konkret ermittelt, welche Einbussen dem Eigentümer durch die Enteignung entstehen. Bei der Bemessung von Verkehrswert bzw. Minderwert und von subjektivem Schaden sind die entsprechenden Annahmen - entweder das Grundstück würde verkauft oder der Eigentümer würde es behalten - sorgfältig auseinander zu halten (vgl. BGE 113 Ib 39 E. E. 2a S. 41 f.; Urteil 1C_2/2014 vom 4. April 2014 E. 2.2, in: RtiD 2014 II 280). Weiter ist daran zu erinnern, dass der Ersatz des subjektiven Schadens auch die weiteren Nachteile bzw. Inkonvenienzen umfasst (vgl. BGE 112 Ib 514 E. 2 S. 518).
8.3. Die Festlegung der Entschädigung richtet sich bei formeller und materieller Enteignung grundsätzlich nach den gleichen Regeln (vgl. PETER HÄNNI, Planungs-, Bau- und besonderes Umweltschutzrecht, 6. Aufl. 2016, S. 650; HÄFELIN/MÜLLER/UHLMANN, Allgemeines Verwaltungsrecht, 7. Aufl. 2016, N. 2493; TSCHANNEN/ZIMMERLI/MÜLLER, Allgemeines Verwaltungsrecht, 4. Aufl. 2014, § 65 Rz. 29). Es ist nicht ausgeschlossen, auch bei einer materiellen Enteignung die Entschädigung anhand des subjektiven Schadens zu ermitteln. Dies setzt aber voraus, dass dieser Schaden einen engen Bezug zu einem rechtlich gesicherten Grundstückswert aufweist. So hat das Bundesgericht in einem älteren Fall die Anwendung der Bemessungsregeln des subjektiven Schadens bei einer materiellen Enteignung, an die eine formelle Enteignung anschloss, geschützt. Dabei ging es um ein umgezontes Grundstück mit einer Baurechtsdienstbarkeit, das deswegen für den Eigentümer einen höheren Wert als den Verkehrswert in der ehemaligen Zone besass (vgl. BGE 112 Ib 514 E. 2 S. 517 f.).
Bei einem Schaden aus einem entgangenen Vertrag im Rahmen einer materiellen Enteignung ist die voraussehbare, durch die Vertragsbestimmungen weitgehend abgesteckte zukünftige Entwicklung zu berücksichtigen (vgl. BGE 112 Ib 514 E. 6 S. 526). Hingegen greift die von der Gemeinde zitierte Aussage bei WALDMANN/HÄNNI (Raumplanungsgesetz, 2006, N. 75 zu Art. 5 RPG), wonach bei der materiellen Enteignung entgangene Gewinne oder blosse Gewinnchancen ausser Betracht fallen, zu kurz. Diese Aussage trifft im Hinblick auf die Ermittlung des Verkehrswerts zu. Allerdings ist entgangener, darüber hinausgehender Gewinn als weiterer Nachteil bei der Ermittlung des subjektiven Schadens im Enteignungsrecht unter Umständen ersatzpflichtig.
8.4. Als Entschädigung für die materielle Enteignung haben die kantonalen Instanzen der Grundeigentümerin den sog. subjektiven Schaden zugesprochen. Dabei gingen sie von den entfallenen Vertragsleistungen der B._ AG gemäss Vereinbarung vom 15. November 2005 mit der Grundeigentümerin (vgl. oben E. 7.2) aus. Daraus hat die Vorinstanz drei Schadensbestandteile abgeleitet: erstens den entgangenen Ertrag aus einer vertragsgemässen Auffüllung bzw. Deponie, zweitens die Rekultivierungs-, Sicherungs- und Nachsorgekosten für das Areal, welche die Grundeigentümerin vertraglich auf die B._ AG überwälzt hatte und für die sie nun selbst aufzukommen hat, sowie drittens Kosten für ein Rekultivierungsprojekt (welche die Grundeigentümerin seit der Umzonung ebenfalls selber zu tragen hat, während sie vorher vertraglich der B._ AG oblagen). Dabei ist unter Bezugnahme auf diesen Vertrag zu beachten, dass zwischen der Auffüllung bzw. Ablagerung (im Rahmen des Deponiebetriebs) und der Rekultivierung (nach dem Abschluss der Aufschüttungen) unterschieden worden ist.
Die Gemeinde äussert keine grundlegenden Vorbehalte gegen eine Entschädigung anhand des subjektiven Schadens. Sie postuliert jedoch, dass eine Entschädigung - wenn überhaupt - auf entgangene Ertragsmöglichkeiten aus einem Deponiebetrieb beschränkt sein müsse. Im Hinblick auf Rekultivierung, Sicherung und Nachsorge bestreitet sie einen subjektiven Schaden der Grundeigentümerin aus der Umzonung. Letztere sei als Verursacherin des ehemaligen Mergelabbaus schon nach Art. 21 aBZR (von 1997/2002) zur Rekultivierung und Sicherung des Areals verpflichtet gewesen. Die Gemeinde bezeichnet die Rekultivierungs-, Sicherungs- und Nachsorgekosten als "Ohnehin-Kosten" und stellt auch einen adäquaten Kausalzusammenhang zwischen der Umzonung und diesem Wiederinstandstellungsaufwand in Abrede. Sie knüpft dabei an den Bericht der D._ AG vom 12. Januar 2015 an. Dieser scheint anzutönen, dass üblicherweise bereits im Rahmen eines Steinbruchbetriebs Rückstellungen für solche Kosten gebildet werden.
8.5. Der Schaden entspricht der Differenz zwischen dem aktuellen Stand des Vermögens und demjenigen, der ohne das schädigende Ereignis vorhanden wäre (vgl. BGE 144 III 155 E. 2.2 S. 157 mit Hinweisen). Ersatz für entgangenen Gewinn ist nach den Grundsätzen des Haftpflichtrechts geschuldet, wenn es sich um einen üblichen oder sonstwie sicher in Aussicht stehenden Gewinn handelt (BGE 132 III 379 E. 3.3.3 S. 384 mit Hinweisen). Die Adäquanz des Kausalzusammenhangs spielt bei der Berechnung des Schadens im Rahmen einer materiellen Enteignung insoweit eine besondere Rolle, als feststehende Wertminderungsfaktoren, die unabhängig vom enteignungsgleichen Eingriff wirksam sind, vom Verkehrswert abzuziehen sind (vgl. BGE 97 I 112 E. 3b S. 115; RIVA, a.a.O., N. 239 zu Art. 5 RPG).
8.6. Auszugehen ist davon, dass das Grubenareal am Stichtag einen Restwert als Deponiestandort bzw. einen solchen Verkehrswert besass (vgl. oben E. 7.3); die Umzonung hat darin eingegriffen. Die Kostenpflicht der Grundeigentümerin für Rekultivierung, Sicherung und Nachsorge bildete am Stichtag an sich einen Wertminderungsfaktor, der unabhängig von der materiellen Enteignung bestand. Es ist grundsätzlich zutreffend, dass die Grundeigentümerin für Gefahren aus ihrem früheren Steinbruch wie Hangrutschungen oder Wasserschäden haftet und zu entsprechenden Sicherungsmassnahmen verpflichtet ist, weil dieser als Baute bzw. Anlage im Sinne von Art. 22 RPG zu qualifizieren ist (vgl. dazu Urteil 1C_464/2013 vom 16. Januar 2014 E. 3 und 4). Auch die Rekultivierungspflicht gemäss Art. 21 aBZR ändert indessen nichts daran, dass die B._ AG sich in der Folge gegenüber der Grundeigentümerin im Vertrag vom 15. November 2005 verpflichtet hat, über die Entrichtung der Ablagerungsgebühren hinaus mit Sachleistungen für die Rekultivierung, Sicherung und Nachsorge beim Areal aufzukommen. Die Grundeigentümerin versprach im Gegenzug, keinem Dritten ein Deponie- oder ähnliches Nutzungsrecht auf dem Areal einzuräumen. Die entsprechenden wirtschaftlichen Vorteile standen der Grundeigentümerin am Stichtag aufgrund dieses Vertrags allesamt sicher in Aussicht, sie entgingen ihr einzig wegen der Umzonung.
Die Überlegungen in BGE 112 Ib 514 zum subjektiven Schaden aus einem entgangenen Vertrag (vgl. oben E. 8.3) lassen sich auf die vorliegende Konstellation übertragen. Die Entschädigung aus der materiellen Enteignung ist somit nicht auf den verminderten Deponiewert infolge der Umzonung zu beschränken, sondern umfasst weitere entgangene Leistungen der B._ AG aus dem Vertrag vom 15. November 2005, wie die Rekultivierung, Sicherung und Nachsorge des Geländes. Es ist auch nicht zu beanstanden, wenn insoweit ein adäquater Kausalzusammenhang bejaht wird. Nicht einschlägig ist im vorliegenden Zusammenhang der von der Gemeinde angerufene BGE 137 III 444 über das Verhältnis zwischen Abbau und Wiederauffüllung beim Inhalt eines privatrechtlichen Kiesausbeutungsrechts. Darauf ist nicht weiter einzugehen.
9.
9.1. In der Vereinbarung vom 15. November 2005 zwischen der Grundeigentümerin und der B._ AG werden die für die Entschädigung relevanten Vorteile umschrieben, aber nicht im Einzelnen finanziell festgelegt. Die Schätzungskommission hat ihren Umfang fachlich geschätzt. Die Vorinstanz hat deren Annahmen geschützt.
So hat die Vorinstanz gestützt auf diesen Vertrag einen Ansatz von Fr. 3.--/m 3 als Nettoerlös aus der Ablagerung im Rahmen des Deponieprojekts bestätigt. Im Vertrag sind diesbezüglich zwei Ansätze (Fr. 3.--/m 3 für Inertstoffe Klasse 1 und Fr. 10.--/m 3 für Inertstoffe Klasse 2) aufgeführt, wobei das Mengenverhältnis für die beiden Materialqualitäten unklar war. Die Schätzungskommission hat den tieferen Ansatz für das gesamte Volumen übernommen.
Im Hinblick auf die Rekultivierungs-, Sicherungs- und Nachsorgekosten hat die Vorinstanz einen Ansatz von Fr. 20.-- pro m 2 Arealfläche geschützt. Im Hinblick auf diesen Ansatz folgte die Schätzungskommission im Wesentlichen den Überlegungen im Bericht der D._ AG. Dieser leitete den Ansatz von Fr. 20.--/m2 aus Informationsunterlagen der Dienststelle Umwelt und Energie (uwe) des Kantons Luzern vom Januar 2013 über die Höhe angemessener Kautionen für Rekultivierung, Sicherung und Nachsorge bei Kiesabbaubewilligungen ab.
Ausserdem nahm die Schätzungskommission Kosten von Fr. 38'000.-- für ein Rekultivierungsprojekt an. Insoweit war eine Kostenschätzung der E._ AG vom 14. Februar 2013 wegleitend. Auch diesen Betrag hat die Vorinstanz als Schadensposten anerkannt.
9.2. Beim Ertrag aus der Ablagerung von 550'000 m 3 Materialien im Rahmen des fraglichen Deponieprojekts ergibt sich aufgrund des Ansatzes von Fr. 3.--/m 3ein Zwischentotal von Fr. 1'650'000.--. Die Vorinstanz hat zudem berücksichtigt, dass der Deponiebetrieb über einen Zeitraum von 18 Jahren geplant war. Der Ertrag wäre der Grundeigentümerin entsprechend erst nach und nach zugute gekommen. Den Betrag von Fr. 1'650'000.-- hat die Vorinstanz deshalb über einen Zeitraum von 18 Jahren kapitalisiert, wobei sie einen Kapitalisierungszinsfuss von 3,5 % entsprechend dem Haftpflichtrecht (vgl. dazu BGE 125 III 312; Urteil 4A_254/2017 vom 9. April 2018 E. 3) zur Anwendung gebracht hat. Dies führt zu einem Teilbetrag von rund Fr. 1'231'855.-- für den Schadenersatz.
Eine Rechtsverletzung ist im Hinblick auf den Ansatz für den Deponieertrag und die Kapitalisierung des daraus folgenden Betrags weder geltend gemacht noch ersichtlich. Die Gemeinde hält dem genannten Teilbetrag einzig entgegen, dass das relevante Deponievolumen auf 300'000 m 3 zu reduzieren sei; eine rentable Ablagerung sei seit der Umzonung im Umfang von bis zu 250'000 m 3 immer noch möglich und zumutbar. Wie dargelegt, hat aber die Vorinstanz in nicht offensichtlich unrichtiger Weise die Prognose einer gewinnstrebigen Ablagerung auf dem Areal seit der Umzonung verneint (vgl. oben E. 7.2). Die abweichende Argumentation der Gemeinde ist nicht nur im Hinblick auf die Schwere des raumplanerischen Eingriffs, sondern auch mit Bezug auf die Schadensberechnung unbehelflich.
9.3. Für die Rekultivierungs-, Sicherungs- und Nachsorgekosten, die wegen der Umzonung auf die Grundeigentümerin zurückgefallen sind, gelangt die Vorinstanz bei einem Ansatz von Fr. 20.--/m 2 und einer Arealfläche von 5,21 ha auf ein Zwischentotal von Fr. 1'042'000.--. Von einer Kapitalisierung dieses Teilbetrags hat die Vorinstanz abgesehen, weil die fünfjährige Frist zur Rekultivierung gemäss Art. 21 BZR inzwischen abgelaufen ist und die Pflicht zu den entsprechenden Ausgaben ohne zeitliche Verzögerung auf der Grundeigentümerin lastet. Die Gemeinde entgegnet, die Entschädigung gründe in dieser Hinsicht auf blossen Mutmassungen. Ein Projekt für Rekultivierung gemäss Art. 21 BZR sei noch nicht vorgelegt worden. Im Übrigen sei eine diesbezügliche Entschädigung zu kapitalisieren. Dies müsse dazu führen, dass bei den angenommenen Rekultivierungskosten von Fr. 822'000.-- eine Kapitalisierung über vier Jahre und bei den Nachsorgekosten von Fr. 220'000.-- eine solche über 20 Jahre erfolge.
Es trifft zu, dass der Ansatz von Fr. 20.--/m 2 auf einer Schätzung beruht und standardisierte Annahmen enthält. Die von der Vorinstanz bestätigte Schätzung weist jedoch, unter Bezugnahme auf den Bericht der D._ AG vom 12. Januar 2015, einen genügenden Detaillierungsgrad auf und nimmt auf das betroffene Areal Bezug. Die Gemeinde tut nicht konkret dar, inwiefern der Grundeigentümerin bei einem konkreten Rekultivierungsprojekt niedrigere Kosten im Vergleich zur Fachschätzung anfallen würden. Weiter steht das Fehlen eines Rekultivierungsprojekts der Festlegung einer Entschädigungshöhe in dieser Hinsicht nicht entgegen, denn die Gemeinde hat insoweit (geschätzte) Kosten aus entgangenen Vertragsleistungen der B._ AG zu ersetzen.
Im Übrigen ist es auch nicht zu beanstanden, dass die Vorinstanz auf eine Kapitalisierung des Betrags von Fr. 1'042'000.-- verzichtet hat. Die Darstellung der Gemeinde vor Bundesgericht zur Aufteilung dieses Betrags in Rekultivierungs-, Sicherungs- und Nachsorgekosten stimmt nicht mit den Angaben im Bericht der D._ AG und den dahinter stehenden Informationsunterlagen des uwe (vgl. oben E. 8.6) überein, die für die kantonalen Instanzen entscheidend waren. Insbesondere umfasst der Teilbetrag von Fr. 220'000.-- gemäss diesem Bericht nicht nur den finanziell untergeordneten Aufwand für Nachsorge, sondern vor allem die Kosten für die Sicherung. Im Bericht der D._ AG wird der Betrag von Fr. 220'000.-- vereinfacht bloss als "Sicherungskosten" bezeichnet. Die Gemeinde zeigt nicht nachvollziehbar auf, inwiefern die diesbezüglichen Annahmen der Vorinstanz offensichtlich unrichtig oder sonstwie bundesrechtswidrig sein sollen. Es schadet dem angefochtenen Urteil auch nicht, wenn die relevanten Kosten für die Nachsorge nicht im Einzelnen von jenen für die Rekultivierung und die Sicherung unterschieden werden. Vielmehr durfte bereits die Schätzungskommission die Kosten für Nachsorge wegen ihrer verhältnismässigen Geringfügigkeit im Rahmen ihres fachtechnischen Ermessens zu den Sicherungskosten schlagen und für beide zusammen eine einheitliche Betrachtung vornehmen. Bezüglich Rekultivierung und Sicherung ist davon auszugehen, dass die Projektierung und Umsetzung in einem Zug durchgeführt wird und somit der entsprechende Aufwand ohne nennenswerte Verzögerung zu tätigen ist. Die Ablehnung einer Kapitalisierung bezüglich der Entschädigung für Rekultivierung, Sicherung und Nachsorge verletzt demzufolge nicht Bundesrecht.
9.4. Mit Blick auf die Planungskosten von Fr. 38'000.-- erhebt die Gemeinde wiederum den Einwand, es fehle noch ein solches Projekt und die Kosten seien unsubstanziert. In dieser Hinsicht führt die Gemeinde ebenso wenig stichhaltige Anhaltspunkte ins Feld, inwiefern konkrete Planungskosten niedriger als Fr. 38'000.-- sein sollen. Ohnehin ist der Ersatz von Planungskosten nicht grundsätzlich ausgeschlossen, zumal das Baugesuch vom 24. Mai 2006 Anlass zur Umzonung gab und dies für die Grundeigentümerin nicht voraussehbar war, so dass die Anforderungen von Art. 9 und Art. 26 BV an eine Entschädigung (vgl. dazu oben E. 8.1) insoweit erfüllt sind.
9.5. Zusammengefasst stehen der Grundeigentümerin aus materieller Enteignung im vorliegenden Fall Fr. 1'231'855.-- für den entgangenen Deponieertrag, Fr. 1'042'000.-- für Rekultivierung, Sicherung und Nachsorge sowie Fr. 38'000.-- für Planungskosten zu. Diese Betreffnisse entsprechen der im kantonalen Verfahren zugesprochenen Entschädigung. Die Vorinstanz hat ferner bestätigt, dass der erstgenannte Teilbetrag einer gestuften Verzinsung unterliegt, während bezüglich des zweiten und dritten Teilbetrags keine besondere Verzinsungsregelung angeordnet worden ist. In dieser Hinsicht erhebt die Gemeinde vor Bundesgericht keine Rügen, so dass sich eine nähere Erörterung dieses Nebenpunkts erübrigt.
9.6. Die Gemeinde ersucht indessen um Verknüpfung der Auszahlung der Teilsumme von Fr. 1'080'000.-- (Rekultivierung, Sicherung, Nachsorge und Planungskosten) mit der Vorgabe, dass die Grundeigentümerin ihre Leistungspflicht erfülle. Eventualiter sei die Auszahlung in drei Tranchen nach dem zeitlichen Fortschritt aufzuteilen (nach Abschluss der Planung; nach Rekultivierung und Sicherung; nach Abnahme der Nachsorge). Subeventualiter sei die Entschädigung auf ein Sperrkonto anzuordnen oder an die Bedingung zu knüpfen, dass die Grundeigentümerin eine Erfüllungsgarantie eines erstklassigen Finanzinstituts aushändige. Die Erfüllung dieser Begehren ist nach der Gemeinde in analoger Anwendung von § 60 und § 84 kEntG geboten.
Das kantonale Recht bestimmt das Verfahren auf kantonaler Ebene zur Geltendmachung von Entschädigungsforderungen aus Eigentumsbeschränkungen im Sinne von Art. 5 RPG (vgl. BGE 110 Ib 29 E. 2 S. 31). So ist in erster Linie der kantonale Gesetzgeber für die Ausgestaltung einer Verjährungsfrist für Ansprüche aus materieller Enteignung zuständig (vgl. BGE 112 Ib 496 E. 3e S. 511; Urteile 1C_725/ 2013 vom 8. April 2015 E. 3.1, in: ZBl 117/2016 S. 557; 1C_604/2017 vom 8. Oktober 2018 E. 3.1). Die Anträge der Gemeinde zur Zweckbindung eines Teils der Entschädigung betreffen den Vollzug. Insoweit ist ebenfalls von einer kantonal geregelten Verfahrensfrage auszugehen, deren Handhabung nur auf Vereinbarkeit mit dem Bundesrecht geprüft wird (vgl. oben E. 2.2).
Die Vorinstanz hat eine Zweckbindung der Entschädigung abgelehnt. Sie legt dar, dass die Grundeigentümerin die notwendigen Massnahmen gemäss der Rekultivierungszone ohnehin aus eigenen Mitteln zu bezahlen habe. Die Vorinstanz hat die Entschädigung gedanklich vom Zweck der naturnahen Rekultivierung gemäss Art. 21 BZR getrennt. Da die Entschädigung entgangene Vertragsleistungen abgilt (vgl. oben E. 8.6), führt das angefochtene Urteil bei Verneinung einer Zweckbindung nicht zu einer Überentschädigung und verletzt auch sonst im Rahmen der vorgebrachten Rügen kein Bundesrecht. Insbesondere ist kein Verstoss gegen das Willkürverbot ersichtlich, wenn § 60 i.V.m. § 84 kEntG über die Fälligkeit der Entschädigung nicht analog im Sinne der Gemeinde angewendet werden.
10.
Nach dem Gesagten sind die Beschwerden abzuweisen. Bei diesem Verfahrensausgang werden die Beschwerdeführerinnen grundsätzlich kostenpflichtig. Dies gilt nicht nur für die private Grundeigentümerin, sondern auch für die in ihren Vermögensinteressen betroffene Gemeinde (Art. 66 Abs. 1 und 4 BGG i.V.m. Art. 65 Abs. 3 BGG).
Der Streitwert vor Bundesgericht bewegt sich in einer Grössenordnung von 8,8 Mio. Franken. Die Grundeigentümerin unterliegt mit ihrer Forderung von rund 6,5 Mio. Franken aus dem Verbot des Mergelabbaus. Hingegen dringt die Gemeinde nicht mit ihrer Beschwerde gegen die Rechtmässigkeit der vorinstanzlich bestätigten Entschädigung von zusammen genommen rund 2,3 Mio. Franken (plus Zinsen) aus dem Wiederauffüllungsverbot durch.
Vom finanziellen Umfang der abgewiesenen Rechtsbegehren her unterliegt die Grundeigentümerin bei grober Betrachtung zu drei Vierteln und die Gemeinde zu einem Viertel. Wird stattdessen auf den Aufwand für die Behandlung der Beschwerden abgestellt, so verhält es sich umgekehrt. Insgesamt ist es sachgerecht, die bundesgerichtlichen Kosten den Beschwerdeführerinnen je hälftig aufzuerlegen. Die Parteikosten sind entsprechend wettzuschlagen (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 1C_412/2018 und 1C_432/2018 werden vereinigt.
2.
Die Beschwerden werden abgewiesen.
3.
Die Gerichtskosten von Fr. 30'000.-- werden zur einen Hälfte der A._ AG und zur anderen Hälfte der Einwohnergemeinde Horw auferlegt.
4.
Es werden keine Parteientschädigungen zugesprochen.
5.
Dieses Urteil wird den Parteien, der Schätzungskommission nach Enteignungsgesetz, dem Bau-, Umwelt- und Wirtschaftsdepartement des Kantons Luzern, dem Kantonsgericht Luzern, 4. Abteilung, und dem Bundesamt für Raumentwicklung (ARE) schriftlich mitgeteilt.
Lausanne, 31. Juli 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Kessler Coendet