Sachverhalt:
A. E._ ist Eigentümerin der Parzelle GS Nr. 858 in Walchwil. Sie ersuchte den Gemeinderat am 30. Oktober 2008 um eine Baubewilligung für den "Ersatz des Wintergartens beim Gästetrakt".
Gegen das Ersuchen erhoben u.a. die Nachbarn A.X._ und B.X._ Einsprache. Unter Abweisung dieser Einsprachen erteilt der Gemeinderat am 23. Februar 2009 die Baubewilligung.
Die Einsprecher erhoben beim Regierungsrat des Kantons Zug Verwaltungsbeschwerde. Die instruierende Baudirektion führte einen Augenschein durch. Am 11. Mai 2010 wies der Regierungsrat die Beschwerde ab.
Dagegen gelangten A.X._ und B.X._ an das Verwaltungsgericht des Kantons Zug. Dieses wies die Beschwerde nach einem erneuten Augenschein am 21. Juli 2011 ab. Es ging davon aus, dass die Baubewilligung für den bestehenden Wintergarten formell und materiell rechtskräftig geworden sei. Aufgrund der Eigentumsgarantie im Sinne der Bestandesgarantie könnten Unterhalts- und Renovationsarbeiten vorgenommen werden. Im vorliegenden Fall handle es sich um eine Massnahme der Werterhaltung und eine notwendige Reparatur eines Teils des Gästetrakts, wofür Glasdach und Glaswände ersetzt werden müssten. Die damit verbundene Erhöhung des Glasdachs um 32 cm sei von der Nachbarschaft aus zwar sichtbar, beeinträchtige die Sicht der Einsprecher indessen nur unbedeutend.
B. Gegen diesen Entscheid haben A.X._ und B.X._ beim Bundesgericht am 14. September 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Sie ersuchen um Aufhebung des Verwaltungsgerichtsentscheids und um Verweigerung der Baubewilligung. Sie rügen eine unrichtige Feststellung des Sachverhalts und eine Verletzung des Willkürverbots gemäss Art. 9 BV. Sie machen im Wesentlichen geltend, das umstrittene Bauprojekt sprenge den Rahmen des kantonalen Baugesetzes zur Besitzstandsgarantie.
E._ als Beschwerdegegnerin, die Gemeinde Walchwil, das Baudepartement und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Replik an ihren Anträgen fest, desgleichen die Beschwerdegegnerin in ihrer Duplik.
C. Mit Verfügung vom 7. Oktober 2011 ist das Gesuch um Gewährung der aufschiebenden Wirkung abgewiesen worden.
Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss Art. 83 BGG fällt. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG ist zulässig. Die Beschwerdeführer sind als Eigentümer und Bewohner der direkt an das Baugrundstück angrenzenden Liegenschaft im Sinne von Art. 89 Abs. 1 BGG zur Beschwerde legitimiert. Mit der Beschwerde kann laut Art. 95 lit. a BGG die Verletzung von Bundesrecht (inkl. Bundesverfassungsrecht) geltend gemacht werden. Die Rüge der Verletzung von kantonalem Recht wird ausschliesslich anhand des Verfassungsrechts geprüft. Gemäss Art. 42 Abs. 2 BGG ist in der Beschwerdeschrift in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die Verletzung von Grundrechten prüft das Bundesgericht nach Art. 106 Abs. 2 BGG nur, soweit solche Rügen vorgebracht und begründet werden. Ob diese Anforderungen an die Beschwerdeschrift erfüllt sind, wird im entsprechenden Sachzusammenhang zu prüfen sein. In diesem Sinne kann auf die rechtzeitig erhobene Beschwerde eingetreten werden.
2. Die Beschwerdeführer beantragen einen Augenschein. Sie legen nicht dar, was im Einzelnen sie mit dieser Beweismassnahme bezwecken. Sie begründen auch nicht, weshalb die in den Akten befindliche Fotodokumentation für die Beurteilung nicht ausreichen sollte. Überdies haben bereits die Vorinstanzen Augenscheine durchgeführt. Ein weiterer Augenschein durch eine bundesgerichtliche Delegation ist nicht erforderlich. Der Antrag ist abzuweisen.
3. Als Erstes gilt es, das umstrittene Bauprojekt zu umschreiben.
Das Bauprojekt umfasst den "Ersatz des Wintergartens beim Gästetrakt". Dieser Gästetrakt wird teils auch "Gästehaus" genannt und bildet einen Ergänzungsbau zum Hauptgebäude. Es geht der Bauherrschaft darum, das im obersten Geschoss des Gästetrakts bestehende Glasdach (bisweilen Glaskuppel genannt), welches schadhaft und undicht ist, durch ein neues, isoliertes Dach zu ersetzen. Zudem soll die statisch ungenügende Stahl-Glas-Konstruktion ersetzt werden. Von den Bauarbeiten ist ein Raum von 79 m2 betroffen; dieser ist nicht ein blosser Wintergarten, sondern dient dem Wohnen, Essen und Kochen. Der Rest des Geschosses von 97 m2, der von einem Flachdach überdeckt ist, wird nicht berührt. Das darunter liegende Untergeschoss wird vom Projekt nicht betroffen. Auf der Südwest- und Nordwestseite des Gebäudes wird die Glasfassade rückgebaut und neu erstellt. Die aus Mauerwerk bestehende Nordost- und Südostseite wird von den Arbeiten nicht tangiert. In der Länge und Breite wird die Baute nicht verändert. In der Höhe erfolgt eine von aussen sichtbare Erhöhung des Dachs um 32 cm aus isolationstechnischen und energetischen Gründen. Das Bauvorhaben führt vertikal zu einem Mehrvolumen ohne Erweiterung der Nutzungsfläche (E. 3g des angefochtenen Entscheids; vgl. Vernehmlassung der Baudirektion vom 10. Februar 2012).
4. Die Beschwerdeführer führen in ihrer Beschwerdeschrift wiederholt an, das Verwaltungsgericht habe den Sachverhalt offensichtlich unrichtig festgestellt.
Sie belassen es indes bei dieser Behauptung. Sie legen nicht konkret dar, welche Sachverhaltselemente denn offensichtlich falsch festgehalten worden wären. Was als Renovation, Unterhalt, Erneuerung, Umbau und Erweiterung zu verstehen ist (Ziff. 12a der Beschwerdeschrift), beschlägt nicht den Sachverhalt. Sie ziehen die oben wiedergegebene Umschreibung des Bauprojekts durch das Verwaltungsgericht nicht in Frage. Sie vermögen durch die Behauptung, mit dem umstrittenen Umbau würde der Gästetrakt fast ganz abgebrochen, keine offensichtlich unrichtige Sachverhaltsfeststellung hinsichtlich des Umfangs des Projekts zu belegen. Im angefochtenen Entscheid wird dargelegt, das Bauprojekt mit dem neuen, um 32 cm angehobenen Dach sei vom Vorplatz des Untergeschosses des Hauses der Beschwerdeführer sichtbar, die Dacherhöhung trete bezüglich der Aussicht auf den See vom Erdgeschoss kaum mehr in Erscheinung und generell werde die Aussicht durch die Erhöhung des Daches nicht in relevantem Ausmass beeinträchtigt. Soweit die Beschwerdeführer dem entgegenhalten, die Aussicht vom Untergeschoss ihrer Liegenschaft auf den See und in die Berge werde durch das geplante Satteldach "markant verstellt", vermögen sie nicht darzutun, dass die durch Augenschein und Fotodokumentation belegte Sachverhaltsfeststellung des Verwaltungsgerichts offensichtlich unrichtig sei. Schliesslich tun sie mit der Qualifizierung, das Bauwerk habe die technische Abbruchreife erlangt, nicht dar, dass der erst von wenigen Jahren errichtete Gebäudeteil geradezu baufällig sei.
Die Rüge des offensichtlich unrichtig festgestellten Sachverhalts erweist sich als offensichtlich unhaltbar und ist abzuweisen, soweit mit Blick auf die Begründungsanforderungen darauf überhaupt eingetreten werden kann.
5. Die Beschwerdeführer rügen als Verletzung von Art. 9 BV in verschiedener Hinsicht eine willkürliche Anwendung von § 72 Abs. 2 des Planungs- und Baugesetzes des Kantons Zug (PBG/ZG, kantonale Gesetzessammlung 721.11). Sie machen umgekehrt nicht geltend, das Verwaltungsgericht habe die Tragweite der Eigentumsgarantie gemäss Art. 26 BV verkannt und insoweit die Baubewilligung zugunsten der Beschwerdegegnerin in verfassungswidriger Weise geschützt.
Die umstrittene Bestimmung von § 72 Abs. 2 PB/ZG unter dem Titel Bestandesgarantie hat folgenden Wortlaut:
2 Falls die Bauten und Anlagen der Zone entsprechen, nicht aber den Bauvorschriften, dürfen sie unterhalten, erneuert und, soweit dadurch nicht stärker vom geltenden Recht abgewichen wird, auch umgebaut oder erweitert werden.
5.1 Es ist davon auszugehen, dass der Gästetrakt mit dem Glasdach aufgrund der Baubewilligung vom 23. Februar 2003 und der Nachtragsbewilligung vom 30. August 2004 erstellt worden ist, die Bewilligung somit in formeller und materieller Rechtskraft erwachsen ist. Die Beschwerdeführer ziehen dies nicht ernsthaft in Frage. Weiter ist davon auszugehen, dass der Gästetrakt inkl. das aus Glas bestehende Dach aufgrund der Bewilligung beim Bau im Einklang mit den baurechtlichen Vorschriften stand.
Seither sind die gesetzlichen Grundlagen für Terrassenhäuser geändert worden: Zum einen schreibt § 24 der Verordnung zum Planungs- und Baugesetz (V PBG/ZG, kantonale Gesetzessammlung 721.111) nunmehr vor, dass als Terrassenhäuser Gebäude gelten, deren Geschosse um mindestens 3 m horizontal versetzt sind; zum andern lässt die Bauordnung 2006 der Gemeinde Walchwil für Terrassenhäuser nur noch Flachdächer oder flach geneigte Pultdächer zu. Der Gästetrakt hält heute lediglich eine Versetzung von 2 m ein und weist ein Satteldach aus Glas auf. Daraus ergibt sich, dass der Gästetrakt heute nicht mehr in der gleichen Form als neue Baute erstellt werden dürfte und eine Erhöhung des Dachs um 32 cm nicht zulässig wäre.
Dies führt zur Frage, ob die Beschwerdegegnerin die Bestandesgarantie gemäss § 72 Abs. 2 PBG/ZG für ihr Bauprojekt in Anspruch nehmen könne und ob in diesem Rahmen auch die Erhöhung des Dachs um 32 cm zulässig sei. Die Beschwerdeführer bestreiten schon das Vorliegen eines Tatbestands im Sinne von § 72 Abs. 2 PBG/ZG und wehren sich zudem gegen das Anheben des Dachs als zusätzliche Baurechtswidrigkeit.
5.2 Die Beschwerdeführer verneinen einen Bestandesgarantie-Tatbestand vorerst mit der Begründung, mit dem Bauvorhaben werde der bisherige Gästetrakt abgebrochen und hernach neu errichtet, sodass keine vorbestehende Baute im Sinne von § 72 Abs. 2 PBG/ZG vorliege, sondern ein Neubau geplant sei, der sich an die nunmehr geltenden Bauvorschriften zu halten habe. Vor dem Hintergrund des oben umschriebenen Sachverhalts und mit Blick auf den Umfang des Bauvorhabens kann es nicht als willkürlich bezeichnet werden, wenn das Verwaltungsgericht von einer vorbestehenden Baute gemäss § 72 Abs. 2 PBG/ZG ausging und das Vorliegen eines Abbruchs und Wiederaufbaus verneinte. Die Beschwerdeführer rügen denn auch nicht eine eigentliche willkürliche Anwendung des Baugesetzes, sondern begnügen sich mit der blossen Behauptung, der Gästetralt werde "fast ganz abgebrochen".
5.3 Sie sind ferner der Auffassung, der Gästetrakt habe die technische Abbruchreife erlangt und könne auch unter diesem Gesichtswinkel nicht als vorbestehende Baute im Sinne von § 72 Abs. 2 PBG/ZG betrachtet werden. Der streitbetroffene Gästetrakt sei offenbar in einem derart schlechten baulichen Zustand, dass es nicht mehr länger bestimmungsgemäss benutzt werden könne. Sie setzen sich indes mit den Ausführungen im angefochtenen Entscheid nicht näher auseinander. Das Verwaltungsgericht hat von unkorrekter Dimensionierung der Tragelemente des Dachs, mangelnder Einhaltung von SIA-Normen betreffend Tragfähigkeit und Gebrauchstauglichkeit, von einer schadhaften und undichten Glaskuppel und der Gefahr gesprochen, dass der Glasanbau in absehbarer Zeit einstürzen könne. Deshalb könne dieser Raum seiner Funktion als Gästehaus zurzeit nicht mehr genügen. Vor diesem Hintergrund, mit Blick auf den Umstand, dass der Gästetrakt erst in den Jahren 2003/04 erstellt worden ist und lediglich Baumängel aufweist, und angesichts des Umstands, dass nur ein kleiner Teil des Gästetrakts vom Umbauprojekt umfasst wird, durfte das Verwaltungsgericht ohne Willkür eine technische Abbruchreife verneinen und den Gästetrakt als vorbestehende Baute im Sinne von § 72 Abs. 2 PBG/ZG betrachten. Daran ändert nichts, dass das Glasdach wegen der technischen Fehler bis zur Vornahme von Renovationsarbeiten abgestützt werden muss. Auch lässt sich der umstrittene Gästetrakt in keiner Weise mit dem vom Verwaltungsgericht am 19. März 1998 beurteilten Seehotel Lothenbach vergleichen.
5.4 Somit kann ohne Willkür davon ausgegangen werden, dass § 72 Abs. 2 PBG/ZG im Grundsatz auf den bestehenden Gästetrakt anwendbar ist. Es fragt sich daher, ob die Bestimmung im vorliegenden Fall mit Blick auf das konkret umstrittene Bauprojekt auch willkürfrei angewendet worden ist.
Das Verwaltungsgericht hat ausgeführt, zum Unterhalt im Sinne der genannten Bestimmung zählten die der Pflege und Instandhaltung des Bauwerks dienenden Massnahmen. Dazu gehörten Reparaturen und Ausbesserungsarbeiten zur Instandstellung und Auswechslung schadhaft gewordener Bauteile. Ebenso Renovationen, die auf die Modernisierung zielen und in beschränktem Umfang bauliche Massnahmen einschliessen, die das Volumen und Erscheinungsbild einer Baute verändern. Unter dem Gesichtswinkel der Bestandesgarantie sei entscheidend, dass die Massnahmen der Werterhaltung dienen, die Baute davor schützen, vorzeitig zu verfallen oder vor Ablauf der Lebensdauer unbenutzbar zu werden. Ob eine zulässige Renovation oder aber eine unzulässige neubauähnliche Umgestaltung vorliege, lasse sich nicht rein quantitativ bestimmen und hänge von den gesamten Umständen ab. Vor diesem Hintergrund hat das Verwaltungsgericht darauf hingewiesen, das Bauprojekt umfasse den Ersatz der bestehenden schadhaften und undichten Glaskuppel, den Ersatz der statisch ungenügenden Stahl-Glas-Konstruktion und die Isolation des neuen Dachs aus isolations- und wärmetechnischen Gründen mit entsprechender Erhöhung um 32 cm. Das Bauvorhaben führe zwar vertikal zu einem Mehrvolumen, indessen nicht zu einer Erweiterung der Nutzungsfläche. Somit stünden Massnahmen in Frage, die im Sinne einer Mängelbehebung der Werterhaltung dienen und daher von § 72 Abs. 2 PBG/ZG gedeckt seien.
Die Beschwerdeführer vermögen eine willkürliche Auslegung und Anwendung der genannten Bestimmung durch das Verwaltungsgericht nicht darzutun. Sie bringen ohne nähere Begründung lediglich vor, der Ersatz des Glashauses sei nicht erforderlich und das ganze Projekt könne nicht als notwendige, werterhaltende Massnahme bezeichnet werden. Der Einwand, die Beschwerdegegnerin wolle allein aus Annehmlichkeitsüberlegungen das Glashaus unbesehen der neuen Bauvorschriften erhalten, ist unter dem Gesichtswinkel der Bestandesgarantie unerheblich. Die Rüge, § 72 Abs. 2 PBG/ZG berechtige zu keiner Erhöhung des vorschriftswidrigen Satteldachs um 32 cm ohne Einhaltung der bestehenden Gesamthöhe, wird nicht näher begründet. An den Erwägungen des Verwaltungsgerichts zu den technischen Gegebenheiten in Bezug auf die Anschlusspunkte für das Dach, die Isolation des Dachs und die optische Situation im Innern üben die Beschwerdeführer lediglich appellatorische Kritik, ohne damit eine willkürliche Gesetzesanwendung darzutun. Sie legen auch nicht dar, warum bauliche Massnahmen, die in beschränktem Ausmass das Volumen und das Erscheinungsbild einer Baute verändern, von § 72 Abs. 2 PBG/ZG grundsätzlich ausgeschlossen werden. Die durch das Satteldach bewirkte heutige Baurechtswidrigkeit wird allein durch das Anheben des Dachs um 32 cm kaum in bedeutendem Masse verstärkt. Die Beschwerde erweist sich in diesem Punkte somit als unbegründet.
5.5 Schliesslich rügen die Beschwerdeführer die Abwägung ihrer Interessen mit denjenigen der Beschwerdegegnerin als willkürlich. Das Verwaltungsgericht hat hierzu ausgeführt, dass die Dacherhöhung von ganz vorne an der Hecke des Grundstücks der Beschwerdeführer aus klar sichtbar sei und die Sicht auf den Zugersee leicht beeinträchtige, dass sie aber auf der Höhe des Erdgeschosses bezüglich der Aussicht auf den Zugersee kaum mehr in Erscheinung trete. Das neue Dach habe für die Beschwerdeführer die positive Nebenwirkung, dass die bisherige Spiegelung des Sonnenlichts wegfalle. Die Interessen der Beschwerdeführer würden daher nicht in ausgeprägtem Ausmass beeinträchtigt. Umgekehrt habe die Bauherrschaft ein gewichtiges Interesse an der Beseitigung der gefährlichen Glaskonstruktion und an der Verbesserung der Wohnqualität und der Isolations- und Energiesituation.
Was die Beschwerdeführer gegen diese Interessenabwägung vorbringen, ist nicht geeignet, dem Verwaltungsgericht Willkür vorzuhalten. Zum einen setzen sie sich mit den Erwägungen des Verwaltungsgerichts nicht in genügender Weise auseinander. Zum andern ist aufgrund der Resultate der Augenscheine und der Fotodokumentation nicht ersichtlich, weshalb das angehobene Dach die Aussicht markant verstellen soll. Schliesslich ist davon auszugehen, dass das bestehende Satteldach von der Bestandesgarantie gemäss § 72 Abs. 2 PBG/ZG gedeckt ist. Bei dieser Sachlage verfängt das Argument von vornherein nicht, es sei auf die gesamte Dachkonstruktion von 1,7 m abzustellen. Weshalb die Einschätzung des Verwaltungsgerichts, die Beschwerdeführer würden durch das allein massgebliche und geringe Anheben des Dachs um 32 cm nicht wesentlich beeinträchtigt, willkürlich sen soll, ist nicht ersichtlich. Zudem setzen sie sich mit der Interessenlage der Beschwerdegegnerin in keiner Weise auseinander. Ihre Beschwerde erweist sich auch in diesem Punkte als unbegründet.
6. Gesamthaft ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Diese haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren zu entschädigen (Art. 68 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Walchwil sowie dem Regierungsrat und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 28. März 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Steinmann