Sachverhalt:
A.
A._ ist Eigentümer der Liegenschaft Nr. 65, Grundbuch Warth-Weiningen, dessen südwestlicher Teil sich in der Abbauzone befindet. Gestützt auf Kiesabbaubewilligungen vom 26. November 2009 und 10. März 2011 baute A._ auf diesem Grundstück Kies ab. Im Frühjahr 2012 wurde festgestellt, dass im nordöstlichen Teil der Parzelle eine Zwischendeponie mit Auffüllmaterial erstellt worden war; dieser Teil des Grundstücks befindet sich in der Landwirtschaftszone bzw. im Wald. Daraufhin verfügte die Politische Gemeinde Warth-Weiningen (nachfolgend: die Gemeinde) einen Annahmestopp für Deponiematerial.
Mit Entscheid vom 15. November 2012 verweigerte die Gemeinde die nachträgliche Baubewilligung für die vorübergehende Nutzung der Landwirtschafts- bzw. Waldfläche als Deponieraum für Aushubmaterial und ordnete die Entfernung des ausserhalb der Abbauzone liegenden Materials und die Wiederherstellung des ursprünglichen Zustands bis spätestens 31. Dezember 2012 an. Dieser Entscheid erwuchs unangefochten in Rechtskraft.
B.
Mit Schreiben vom 18. August 2016 erteilte die Gemeinde Vollzugsanweisungen und setzte, unter Androhung der Ersatzvornahme, Frist bis 30. November 2016 an. Diese Frist wurde mehrfach, zuletzt bis 31. August 2017, erstreckt.
In der Folge veranlasste die Gemeinde fachtechnische Abklärungen. Dipl.Ing. ETH B._ gelangte in seinem Bericht vom 6. Mai 2018 zum Schluss, dass die Stabilität des nicht fachgerecht aufgebauten bzw. abgetragenen Deponiehügels insbesondere durch eine Abflachung und eine fachgerechte Oberflächenverdichtung herbeigeführt werden müsse. Im Bericht der C._ AG vom 6. Mai 2018 wurde dargelegt, dass von den ca. 30'000 m3 des Deponiebergs lediglich 12'000 m3 abgetragen worden seien, nachdem vom Gesamtabtrag von 17'000 m3ein Teil von ca. 5'000 m3 wieder auf dem bestehenden Deponieberg abgelagert worden sei. Ferner wurde auf erhebliche Stabilitätsprobleme hingewiesen.
Diese Berichte dienten als Grundlage für die Ausschreibung der Erdarbeiten vom 29. Juni 2018. Mit Entscheid vom 26. September 2018 wurde der Zuschlag zum Preis von Fr. 907'957.85 an die D._ AG vergeben. Eine von A._ dagegen erhobene Beschwerde wurde vom Verwaltungsgericht des Kantons Thurgau am 13. Februar 2019 abgewiesen. Dieser Entscheid erwuchs in Rechtskraft.
C.
Mit Entscheid vom 21. Juni 2019 ordnete die Gemeinde die Ersatzvornahme zur Herstellung des rechtmässigen Zustands auf der Liegenschaft Nr. 65 durch die D._ AG an. Im Anhang der Verfügung befindet sich ein Projektbeschrieb. Danach sind ca. 31'000 m3 Aushubmaterial des Deponiebergs im östlichen Teil der Parzelle (Teil C) umzulagern, und zwar in die Auffüllböschung (Teil B) und das westliche Zwischenlager (Teil A); verschmutztes oder überschüssiges Aushubmaterial ist extern zu verwerten oder zu entsorgen.
Gegen die Ersatzvornahmeverfügung erhob A._ am 1. Juli 2019 Beschwerde an das Verwaltungsgericht Thurgau. Er machte im Wesentlichen geltend, ein Grossteil des zu beseitigenden Materials liege in der Abbauzone und sei deshalb vom Wiederherstellungsbefehl nicht umfasst; überdies seien die in der Ausschreibung vorgesehenen Massnahmen für die Hangstabilisierung mittels Zement/Kalk unzulässig. Das Verwaltungsgericht wies die Beschwerde am 19. Februar 2020 ab, soweit es darauf eintrat.
D.
Dagegen hat A._ am 20. April 2020 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erhoben. Er beantragt, der angefochtene Entscheid sei aufzuheben und die Sache zur Neubeurteilung bzw. zur Neufassung der Ersatzvornahmeverfügung vom 15. November 2012 an die Gemeinde zurückzuweisen.
E.
Die Gemeinde beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde.
F.
In der Replik hält der Beschwerdeführer an seinen Anträgen fest.

Erwägungen:
1.
Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, 86 Abs. 1 lit. d und 90 BGG). Der Beschwerdeführer ist als wiederherstellungspflichtiger Grundeigentümer zur Beschwerde gegen die Anordnung der Ersatzvornahme legitimiert (<ref-law>). Auf die rechtzeitig erhobene Beschwerde (<ref-law>) ist daher grundsätzlich einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Dieses wendet das Bundesgericht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>); hierfür gelten qualifizierte Begründungsanforderungen (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Ob die erhobenen Rügen diesen Anforderungen genügen, wird im jeweiligen Zusammenhang zu prüfen sein.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat, sofern dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2.
Das Verwaltungsgericht führte aus, bei der Anfechtungeines Vollstreckungsentscheids seien Einwände gegen die rechtskräftige Sachverfügung nicht mehr zu hören; zu prüfen sei nur noch die Zuständigkeit der Behörde, die Vollstreckbarkeit und die Übereinstimmung des Zwangsvollstreckungsentscheids mit dem Entscheid in der Sache (§ 86 Abs. 3 Satz 2 des Thurgauer Gesetzes über die Verwaltungsrechtspflege vom 23. Februar 1981 [VRG/TG]).
Es ging weiter davon aus, dass der ursprüngliche Entscheid vom 15. November 2012 durch das Schreiben der Vollstreckungsinstanz vom 18. August 2016 konkretisiert worden sei. Diesem sei ebenfalls Verfügungscharakter beizumessen, mit der Folge, dass es unangefochten in Rechtskraft erwachsen sei und ebenfalls nicht mehr in Frage gestellt werden könne.
Das Verwaltungsgericht bejahte die geforderte Übereinstimmung von Sachentscheid und Vollstreckungs-/Ersatzvornahmeentscheid, weil schon in der Verfügung vom 15. November 2012 nicht nur die Entfernung des ausserhalb der Deponiezone liegenden Materials verlangt worden sei, sondern auch, dass bei sämtlichen Witterungsverhältnissen kein Deponiematerial ausserhalb des Kiesabbauperimeters zu liegen komme. Damit diese Vorgabe eingehalten werden könne, müsse der Deponieberg innerhalb der Abbauzone in einen langfristigen stabilen Zustand überführt werden; hierfür sei es unabdingbar, dass auch Kubaturen in der Abbauzone abgetragen bzw. bewegt werden; dies sei durch die Berichte B._ und C._ AG vom Mai 2018 bestätigt worden. Aufgrund dieser fachtechnischen Berichte sei im Rahmen des Submissionsverfahrens die günstigste Lösung zur Erfüllung der angeführten Vorgaben ausgewählt worden.
3.
Der Beschwerdeführer rügt zunächst, das Verwaltungsgericht habe das Schreiben der Gemeinde vom 18. August 2016 willkürlich und aktenwidrig als Verfügung i.S.v. § 4 VRG/TG interpretiert. Er beruft sich hierfür auf den klaren Wortlaut des Schreibens vom 18. August 2016; überdies fehle eine Rechtsmittelbelehrung.
Diese Rüge ist unbegründet, soweit darauf überhaupt eingetreten werden kann (<ref-law>) :
Weder die Überschrift ("Abtragen des Deponieberges ausserhalb der Abbauzone [Vollzug des Entscheides des Gemeinderates Warth-Weiningen vom 15.11.2012]") noch die Bezeichnung als «Vollzugsanweisungen» (in Ziff. 3.1 und 3.2) sprechen eindeutig gegen das Vorliegen einer Verfügung, da auch Vollstreckungsanordnungen in der Form einer Verfügung erlassen werden können; dies ist in § 4 Abs. 2 VRG/TG ausdrücklich vorgesehen. Für eine verbindliche Anordnung über den Umfang der Wiederherstellungspflichten spricht die dem Beschwerdeführer erteilte Anweisung, «strikte und vollumfänglich gemäss den nachfolgenden Anordnungen sowie den beigelegten Plänen (Beilagen 1-4) vorzugehen» (Ziff. 3 S. 2 unten), wobei ihm hierzu eine Frist unter Androhung der Ersatzvornahme gesetzt wurde (vgl. auch Ziff. 3.4 zu Meldepflichten, Baukontrolle und Baustopp).
Zwar fehlt eine Rechtsmittelbelehrung (entgegen § 18 Abs. 1 Ziff. 5 VRG/TG); dies allein lässt die Qualifikation als Verfügung jedoch nicht als willkürlich erscheinen. Der anwaltlich vertretene Beschwerdeführer hätte nach dem Grundsatz von Treu und Glauben bei der Gemeinde nachfragen können und müssen, hätte er Zweifel an der Anfechtbarkeit bzw. der Anfechtungsfrist gehabt. Wenn er stattdessen mit der Entfernung der Materials gemäss Vollzugsanweisungen begann und anschliessend zahlreiche Fristverlängerungsgesuche stellte, ist es naheliegend und jedenfalls nicht willkürlich anzunehmen, dass er selbst von der Verbindlichkeit der Anweisungen ausging und diese akzeptierte.
4.
Zu prüfen ist weiter, ob das Verwaltungsgericht willkürlich die Übereinstimmung der Ersatzvornahmeverfügung mit den Grundentscheiden 2012 und 2016 bejaht hat.
4.1. Der Beschwerdeführer rügt eine massive Verletzung des Grundsatzes, wonach Vollstreckungsentscheide nicht weiter gehen dürfen als der vorangegangene Entscheid in der Sache. Die Ersatzvornahmeverfügung vom Juni 2019 sei weder mit dem Entscheid in der Sache vom November 2012 noch mit den Vollzugsanweisungen der Gemeinde vom August 2016 kompatibel, da es plötzlich nicht mehr nur um das Deponiematerial ausserhalb des Kiesabbauperimeters gehe (4000 m3 nach Schätzung des Beschwerdeführers), sondern erhebliche Kubaturen innerhalb der Abbauzone abzutragen bzw. zu bewegen seien. Zudem müssten die Böschungen mit Kalk und Zement stabilisiert werden, was mit exorbitanten Kosten verbunden sei. Der Beschwerdeführer macht geltend, diese Arbeiten seien in den Grundentscheiden noch nicht enthalten gewesen. Das Verwaltungsgericht berufe sich denn auch in erster Linie auf die von der Gemeinde im Jahre 2018 eingeholten Fachberichte von B._ und der C._ AG. Es gehe nicht an, mit diesen nachträglich angeforderten Berichten gleichsam rückwirkend die Entscheide von 2012 und 2016 zu fundieren und sogar erheblich auszuweiten.
4.2. Wie das Verwaltungsgericht zutreffend festgehalten hat, wurde schon im Entscheid 2012 im Dispositiv nicht nur der Abtrag des ausserhalb der Deponiezone liegenden Materials angeordnet, sondern auch, dass sicherzustellen sei, dass in Zukunft bei allen Witterungsverhältnissen kein Deponiematerial ausserhalb des Kiesabbauperimeters zu liegen komme (Disp. Ziff. 3.2).
Hierfür wurde in den Vollzugsanweisungen 2016 festgehalten, der "Deponieberg" müsse in einen langfristig stabilen Zustand überführt werden. Gemäss 3D-Berechnungen des Fachplaners betrage das hierfür zurückzubauende Volumen des "Deponiebergs" ca. 30'000 m3, unter Berücksichtigung einer langfristig stabilen Abtragsneigung. Das rückzubauende Material solle zur Wiederauffüllung im mittleren, schon abgebauten Teil der Parzelle und im westlichen, schon aufgefüllten Teil der Parzelle zwischengelagert werden. Für die Auffüllung im mittleren Bereich sei ein fachgerechter Aufbau zur Erreichung der erforderlichen Stabilität erforderlich. Insbesondere sei darauf zu achten, dass sowohl Untergrund als auch eingebautes Material standfest seien und die Auffüllung fachgerecht verdichtet werde. Dazu wurden verschiedene Massnahmen aufgelistet, darunter die "Stabilisierung von wenig standfestem Material mit Zement oder Kalk (50-100 kg/m3 je nach Art des Materials) zur Erreichung des erforderlichen ME-Werts"; dieser wurde auf 20 MN/m2 festgelegt. In den Planbeilagen 2 -4 werden Ausgangs- und Zielzustand mit den für die Stabilität des Deponiebergs erforderlichen Abstufungen festgehalten.
Daraus ergibt sich klar, dass der "Deponieberg" nicht an der Grenze zur Abbauzone senkrecht abgegraben werden darf, sondern auch innerhalb der Abbauzone erhebliche Umlagerungen erforderlich sind, damit die Böschungen längerfristig stabil sind und (z.B. bei starken Regenfällen) kein Deponiematerial in die Landwirtschaftszone oder den Wald abrutscht. Erwähnt wird auch bereits die erforderliche Stabilisierung mit Zement oder Kalk, um die notwendige Tragfähigkeit bzw. Verdichtung zu erreichen.
Dies wurde auch vom Beschwerdeführer so verstanden und teilweise bereits umgesetzt: So führte er in seinem Fristverlängerungsgesuch vom 28. April 2017 aus, um die gewünschte Festigkeit zu erlangen, müssten Zusatzstoffe beigemischt werden, wie in den Auflagen beschrieben; er verwende in Absprache mit Herrn B._ Zement. Da dieser bei den niedrigen Temperaturen im Herbst und Winter nicht oder nur sehr langsam abbinde, hätten sich Verzögerungen ergeben.
Unter diesen Umständen durfte das Verwaltungsgericht ohne Willkür die inhaltliche Übereinstimmung der Ersatzvornahmeverfügung mit den vorangegangenen Sachentscheiden (Grundentscheide 2012 und Vollzugsanweisungen 2016) bejahen.
4.3. Wie schon das Verwaltungsgericht ausführte, enthält die Ersatzvornahmeverfügung ergänzende fach- und bautechnische Vorgaben, die sich auf die im Mai 2018 eingeholten Fachberichte stützen. Diese beurteilten den Zwischenstand 2017 (nach ersten Abtragsarbeiten des Beschwerdeführers), stellten erhebliche Stabilitätsdefizite fest und schlugen Massnahmen zur deren Behebung vor. Entgegen der Auffassung des Beschwerdeführers wurden jedoch die 2012/2016 festgelegten Wiederherstellungsziele nicht ausgeweitet, sondern beibehalten: Es ging weiterhin ausschliesslich darum, den Deponieberg soweit abzutragen und zu verdichten, dass kein Material ausserhalb des Kiesabbauperimeters abrutschen könne.
Die modifizierten Vorgaben zur Erreichung dieses Ziels (Präzisierungen von Abtragskubaturen, Böschungswinkel, etc.) wurden vom Beschwerdeführer vor Verwaltungsgericht nicht substanziiert bestritten. Die Vorinstanz durfte sich daher mit der Feststellung begnügen, das für die Ersatzvornahme ausgewählte Projekt erscheine aus fach- und bautechnischer Sicht geeignet und verspreche die notwendige Sicherheit.
4.4. Soweit der Beschwerdeführer der Vollstreckungsbehörde vorwirft, Entscheide unzulässigerweise in Beilagen ausgelagert bzw. versteckt zu haben, ist darauf schon mangels genügender Begründung nicht einzutreten. Es ist auch nicht ersichtlich, welchen Unterschied es macht, ob sich der Projektbeschrieb im Haupttext oder im Anhang befindet, sofern dem Beschwerdeführer beides zugestellt worden ist.
5.
Der Beschwerdeführer macht schliesslich geltend, das Verwaltungsgericht hätte die Grundverfügung 2012 nochmals überprüfen müssen, weil sie die Verhältnisse seither wesentlich verändert hätten. Er habe in seiner Stellungnahme zur Duplik vom 31. Oktober 2019 geltend gemacht, der Deponieberg bestehe seit über 7 Jahren und habe sich seither längst verfestigt, was der beantragte Augenschein dem Gericht zeigen werde. Man sehe dort dichten Pflanzenwuchs, welcher den Komprimierungsvorgang verstärkt habe. Das Verwaltungsgericht habe diesen Beweisantrag abgewiesen und damit das rechtliche Gehör des Beschwerdeführers verletzt.
Das Verwaltungsgericht führte aus, es sei fraglich, inwiefern sich der Deponieberg, wie vom Anfechtenden geltend gemacht, mittlerweise verfestigt haben solle; dies sei auch nicht oder nur bedingt massgebend, nachdem er entsprechend den Vorgaben der Vollstreckungsinstanz zu beseitigen sei.
Diese Erwägungen lassen keine Willkür erkennen: Die Frage, ob und inwieweit ein Abtrag des Deponiebergs auch innerhalb der Abbauzone erforderlich ist, um dessen längerfristige Stabilität zu gewährleisten, war Gegenstand der rechtskräftigen Verfügung vom 18. August 2016 (vgl. oben E. 3). Bereits damals wurden Vorgaben für die Verdichtung und Stabilisierung des Hangs festgelegt (insbes. ME-Werte; vgl. oben E. 4.2). Damit wurde zugleich entschieden, dass die blosse Setzung des Materials und ein allfälliger Bewuchs der Oberfläche nicht genügen, um die längerfristige Stabilität zu gewährleisten. Dass die ME-Werte zwischenzeitlich (infolge Zeitablaufs oder Bewuchs) erreicht worden seien, macht der Beschwerdeführer selbst nicht geltend. Dann aber stellen die von ihm angeführten Umstände keine erhebliche Veränderung dar, die einen Anspruch auf Wiedererwägung begründet.
Das Verwaltungsgericht durfte daher den diesbezüglichen Augenschein als nicht entscheidrelevantes Beweismittel abweisen, ohne das rechtliche Gehör des Beschwerdeführers zu verletzen.
6.
Das Verwaltungsgericht erachtete die Ersatzvornahme als verhältnismässig: Das Projekt sei geeignet, die 2012/2016 festgelegten Ziele zu erreichen; es sei öffentlich ausgeschrieben worden und dem günstigsten Projekt der Zuschlag erteilt worden.
Der Beschwerdeführer bestreitet die Verhältnismässigkeit und macht geltend, es könne problem- und gefahrlos zugewartet werden, bis die Recyclinganlage in der benachbarten Kiesgrube der E._ AG geschlossen werde; dannzumal könne das Deponiematerial zur Wiederauffüllung und Rekultivierung dieser Kiesgrube eingesetzt werden.
Diese Kritik bezieht sich nicht auf die Ersatzvornahme, sondern stellt die Verhältnismässigkeit der Wiederherstellung in Frage, d.h. sie richtet sich gegen die rechtskräftigen Verfügungen 2012 und 2016. Diese sind im vorliegenden Verfahren nicht zu überprüfen. Schon aus diesem Grund ist darauf nicht einzutreten. Im Übrigen legt der Beschwerdeführer auch nicht dar, dass die Eigentümerin der Nachbarparzelle, die E._ AG, mit dem vorgeschlagenen Vorgehen einverstanden oder zu deren Duldung verpflichtet sei.
7.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Die anwaltlich vertretene Gemeinde prozessiert in ihrem amtlichen Wirkungskreis und hat daher grundsätzlich keinen Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Es werden keine Parteientschädigungen zugesprochen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Politischen Gemeinde Warth-Weiningen und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 30. September 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Gerber