Sachverhalt:
A.
Der Gemeinderat Walchwil erteilte der A._ AG am 26. September 2011 mit Zustimmung des kantonalen Amts für Raumplanung (ARP) die Baubewilligung für die Instandsetzung eines Wohnhauses auf dem Grundstück Gbbl. Nr. 799, Obersellen. Das Wohnhaus stammte aus dem Jahr 1904 und befand sich am Waldrand ausserhalb der Bauzone. Es wies ursprünglich eine Gesamtfläche von 150 m2 auf; 1988 wurde ein Ausbau auf eine Fläche von 231 m2 bewilligt. An der Rohbaukontrolle vom 13. Dezember 2012 wurde festgestellt, dass das bestehende Wohnhaus vollumfänglich abgebrochen und ein Neubau erstellt worden war. Die Gemeinde Walchwil verfügte daraufhin einen Baustopp und verlangte die Einreichung eines nachträglichen Baugesuchs.
B.
Die A._ AG reichte am 17. Januar 2013 ein abgeändertes Baugesuch ein. Das ARP stimmte dem Bauvorhaben nicht zu, weil der Ersatzbau im Waldabstand liege und mit 231 m2 zu gross sei. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde ab. Am 1. Oktober 2015 bestätigte das Bundesgericht die Verweigerung der nachträglichen Baubewilligung und erachtete die Wiederherstellung des rechtmässigen Zustands als verhältnismässig (Urteil 1C_415/2014). Es hielt in seinen Erwägungen fest, dass die am 1. Juli 1972 bestehende Fläche von 150 m2 in Anwendung von Art. 42 Abs. 3 RPV um maximal 30 % auf rund 195 m2erweitert werden könne, sofern die übrigen Voraussetzungen nach Art. 24c Abs. 4 und 5 RPG erfüllt seien. Dies sei anhand eines konkreten Projekts für ein neues Bauvorhaben zu beurteilen.
C.
Am 31. März 2017 reichte die A._ AG ein neues Baugesuch ein. Sie beabsichtigte, das im Rohbau bestehende Wohnhaus fertig zu bauen und einen freistehenden Carport mit Pultdach zu errichten. Mit Verfügung vom 20. Juli 2017 stimmte das ARP dem Bauvorhaben nicht zu, weil die zulässige anrechenbare Bruttogeschossfläche (aBGF) von 129 m2 mit 190.3 m2 weit überschritten sei und Teile des Ersatzbaus weiterhin im Waldabstand lägen. Der Gemeinderat Walchwil eröffnete den kantonalen Entscheid am 28. August 2017, verweigerte die Baubewilligung und ordnete an, dass der bereits erstellte Rohbau abzubrechen, die talseitige Stützmauer auf die ursprüngliche Höhe zurückzubauen und der natürliche Terrainverlauf wiederherzustellen seien.
Das Verwaltungsgericht wies die dagegen erhobene Beschwerde der A._ AG am 31. Januar 2019 teilweise gut und hielt in Disp.-Ziff. 1 Satz 1 fest, dass für den Ersatzneubau eine aBGF von 173 m2 und eine Gesamtfläche von 195 m2 zulässig sei. Im Übrigen wies es die Beschwerde ab und bestätigte damit die Versagung der Baubewilligung sowie die Wiederherstellungsverfügung der Gemeinde.
D.
Gegen Disp.-Ziff. 1 Satz 1 des verwaltungsgerichtlichen Entscheids hat das Bundesamt für Raumentwicklung (ARE) am 22. März 2019 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht erhoben; es beantragt die Aufhebung der Feststellung.
E.
Die A._ AG beantragt, die Beschwerde sei abzuweisen. Überdies stellt sie verschiedene eigene Anträge:
Es sei festzustellen, dass die zuständigen Behörden das Recht auf eine Verpflichtung zur Wiederherstellung verwirkt hätten. Weiter sei festzustellen, dass das Bauprojekt gemäss Bauplänen vom 15. Januar 2013 zu Ende gebaut werden dürfe, unter Reduktion der Gesamtnutzfläche auf 195 m2; subeventualiter unter Reduktion der aBGF auf 173 m2. Eventualiter sei Disp.-Ziff. 1 des angefochtenen Entscheids zu revidieren im Sinne einer vollständigen Gutheissung der Beschwerdeanträge vor Verwaltungsgericht. Eventualiter sei festzustellen, dass wichtige Gründe zur Unterschreitung des Waldabstands bestünden; subeventualiter sei eine Kompensation von zusätzlicher Waldfläche und/oder eine finanzielle Kompensation vorzusehen. Eventualiter sei das Verfahren an die Vorinstanz oder die zuständigen Behörden zurückzuweisen, um neu über die Unterschreitung des Waldabstands zu entscheiden.
Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.
Das kantonale Amt für Raum und Verkehr, die Gemeinde Walchwil und das Verwaltungsgericht haben auf eine Vernehmlassung verzichtet.
F.
Es wurde keine Replik eingereicht.
Erwägungen:
1.
Der angefochtene Entscheid ist kantonal letztinstanzlich; fraglich ist dagegen, ob es sich bei der angefochtenen Feststellung um einen End- oder einen Zwischenentscheid handelt. Das ARE geht davon aus, es handle sich um einen Endentscheid, weil keine Rückweisung erfolgt sei.
1.1. Ein Endentscheid liegt insofern vor, als das Verwaltungsgericht die Beschwerde gegen den Bauabschlag abwies und damit die Abweisung des Baugesuchs vom 31. März 2017 bestätigte. Hängig ist noch das Wiederherstellungsverfahren: Gemäss Ziff. 2 der Verfügung des Gemeinderats Walchwil vom 28. August 2017 muss der bereits erstellte Rohbau abgebrochen, die talseitige Stützmauer zurückgebaut und der natürliche Terrainverlauf wiederhergestellt werden. Allerdings spielt hierfür die maximal zulässige Fläche eines Ersatzneubaus keine Rolle, muss der bestehende Rohbau doch nicht nur verkleinert, sondern aufgrund seiner Lage im Waldabstand ganz abgebrochen werden (vgl. 3d des angefochtenen Entscheids).
Die angefochtene Feststellung ist somit nur für einen künftigen Ersatzneubau ausserhalb des Waldabstands relevant; hierfür wurde bisher kein Baugesuch gestellt. Insofern handelt es sich um einen Vorentscheid einer streitigen Frage im Hinblick auf ein künftiges Baugesuch. Die Situation ist insoweit ähnlich derjenigen bei Erteilung eines baurechtlichen Vorentscheids. Nach der bundesgerichtlichen Rechtsprechung sind derartige Vorentscheide als selbstständig eröffnete Vor- und Zwischenentscheide i.S.v. Art. 93 BGG zu qualifizieren (grundlegend BGE 135 II 30 E. 1.3.1 S. 34; vgl. zuletzt Urteil 1C_594/2017 vom 1. November 2017 E. 2).
1.2. Gegen Vor- und Zwischenentscheide lässt Art. 93 Abs. 1 BGG die Beschwerde nur ausnahmsweise zu, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b; letztere Alternative kommt vorliegend von vornherein nicht in Betracht).
In der Regel sind Zwischenentscheide zusammen mit dem Endentscheid anzufechten (Art. 93 Abs. 3 BGG). Mit dieser Regelung soll das Bundesgericht entlastet werden, d.h. es soll sich nicht mehrfach mit derselben Sache befassen. Überdies soll verhindert werden, dass sich das Bundesgericht in einem frühen Verfahrensstadium, ohne genügend umfassende Sachverhaltskenntnisse, schon materiell festlegen muss. Können allfällige Nachteile in verhältnismässiger Weise auch noch mit einer Gutheissung der Beschwerde gegen den Endentscheid behoben werden, so tritt das Bundesgericht auf eine gegen Vor- und Zwischenentscheide gerichtete Beschwerde nicht ein (BGE 135 II 30 E. 1.3.2 S. 34 f.).
1.3. Bei baurechtlichen Vorentscheiden bejaht das Bundesgericht in der Regel einen nicht wiedergutzumachenden Nachteil, wenn der im Bauvorbescheid entschiedenen Frage grundsätzliche Bedeutung zukommt und das Bauvorhaben bei Gutheissung der Beschwerde tiefgreifend umgestaltet werden müsste. Diesfalls entspreche es den Grundsätzen der Rechtssicherheit und der Transparenz, die Beschwerde beim Bundesgericht zuzulassen, ansonsten das im Baurecht zahlreicher Kantone enthaltene Institut des publizierten und kantonsintern anfechtbaren Vorentscheids weitgehend seines Gehalts entleert würde (BGE 135 II E. 1.3.4 und 13.5 S. 35 ff.).
1.4. Vorliegend ist bereits nicht dargetan, dass es sich um einen Grundsatzentscheid in diesem Sinne handelt: Streitig ist nämlich nicht die maximale Gesamtfläche eines Ersatzbaus, sondern nur die aBGF. Diese betrifft vor allem die Nutzung und Ausgestaltung der Innenräume, die notfalls noch nachträglich modifiziert werden könnten.
Hinzu kommt, dass die Feststellung nicht in einem vom kantonalen Recht speziell geregelten Vorbescheidsverfahren getroffen wurde, sondern erst im verwaltungsgerichtlichen Verfahren, aufgrund eines in der Replik der Beschwerdegegnerin gestellten Eventualantrags. Diese Feststellung entfaltet nur für die Verfahrensparteien Bindungswirkung, d.h. Dritte können in der Einsprache gegen ein künftiges Baugesuch die aBGF-Problematik erneut aufwerfen (anders als beim baurechtlichen Vorentscheid, dem ein öffentliches Auflage- und Einspracheverfahren vorausgeht). Da es sich nicht um ein spezielles Institut des kantonalen Baurechts handelt, bedarf es auch keiner besonderen Rücksichtnahme auf die Autonomie der Kantone im Bereich des Bau- und Planungsrechts.
Das ARE hat die Möglichkeit, eine allfällige Baubewilligung für einen Ersatzbau anzufechten, und zwar nicht erst vor Bundesgericht, sondern schon im kantonalen Verfahren (Art. 111 Abs. 2 BGG i.V.m. Art. 48 Abs. 4 der Raumplanungsverordnung vom 28. Juni 2000 [RPV; SR 700.1]). In diesem Rahmen kann es die vorliegend streitige Feststellung zur zulässigen aBGF mitüberprüfen lassen (Art. 93 Abs. 3 BGG). Zwar werden dem ARE nur letztinstanzliche kantonale Entscheide von Amtes wegen zugestellt (vgl. die Verordnung über die Eröffnung letztinstanzlicher kantonaler Entscheide in öffentlich-rechtlichen Angelegenheiten vom 8. November 2006 [SR 173.110.47]); in Fällen wie dem vorliegenden kann das ARE jedoch auch die Zustellung der erstinstanzlichen Baubewilligung beantragen, um sein Beschwerderecht gegen den letztinstanzlichen Zwischenentscheid ausüben zu können.
1.5. Zwar hat die Beschwerdegegnerin, die schon 2011 ein erstes Baugesuch einreichte, ein Interesse daran, Sicherheit über die zulässige Gebäudefläche zu erlangen, um kein Vorhaben zu planen, das sich später als bundesrechtswidrig erweist. Das ARE weist aber selbst darauf hin, dass es sich bei Art. 42 Abs. 3 lit. b RPV lediglich um ein Teilkriterium für die Beurteilung handelt, ob die Ersatzbaute die Identität der Baute oder Anlage einschliesslich ihrer Umgebung in den wesentlichen Zügen wahrt, und kein Anspruch auf Ausschöpfung der zahlenmässigen Obergrenzen besteht. Eine definitive Beurteilung ist daher erst anhand des konkreten Baugesuchs möglich. Es macht deshalb - auch aus Sicht der Verfahrensökonomie - wenig Sinn, wenn sich das Bundesgericht schon jetzt, abstrakt, zur aBGF äussert.
1.6. Unter diesen Umständen ist ein nicht wiedergutzumachender Nachteil i.S.v. Art. 93 Abs. 1 lit. a BGG zu verneinen, weshalb auf die Beschwerde des ARE nicht einzutreten ist.
2.
Soweit die Beschwerdegegnerin selbstständige Anträge stellt, kann auf diese nicht eingetreten werden. Die Vernehmlassung gewährt der Gegenpartei das rechtliche Gehör zur Beschwerde, ermöglicht es dieser aber nicht, den Streitgegenstand auszuweiten; eine Anschlussbeschwerde ist nicht vorgesehen (JOHANNA DORMANN, in: Basler Kommentar zum BGG, 3. Aufl., N. 1, 3 und 4 zu Art. 102).
Soweit die Beschwerdegegnerin beiläufig die Auffassung vertritt, das ARE habe mit seiner Beschwerdeerhebung auch einen Revisionsgrund bezüglich des Bundesgerichtsentscheids vom 1. Oktober 2015 geschaffen, kann darauf bereits mangels genügender Begründung nicht eingetreten werden.
3.
Nach dem Gesagten ist weder auf die Beschwerde des ARE noch auf die darüber hinausgehenden Anträge der Beschwerdegegnerin einzutreten.
Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (Art. 66 Abs. 4 BGG). Die nicht anwaltlich vertretene Beschwerdegegnerin hat praxisgemäss auch keinen Anspruch auf eine Parteientschädigung (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben und keine Parteientschädigungen zugesprochen.
3.
Dieses Urteil wird den Parteien, dem Gemeinderat Walchwil, dem Amt für Raumplanung des Kantons Zug und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 8. Oktober 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Die Gerichtsschreiberin: Gerber