Sachverhalt: A. E._ ist Eigentümerin der Parzelle GS Nr. 858 in Walchwil. Sie ersuchte den Gemeinderat am 30. Oktober 2008 um eine Baubewilligung für den "Ersatz des Wintergartens beim Gästetrakt". Gegen das Ersuchen erhoben u.a. die Nachbarn A.X._ und B.X._ Einsprache. Unter Abweisung dieser Einsprachen erteilt der Gemeinderat am 23. Februar 2009 die Baubewilligung. Die Einsprecher erhoben beim Regierungsrat des Kantons Zug Verwaltungsbeschwerde. Die instruierende Baudirektion führte einen Augenschein durch. Am 11. Mai 2010 wies der Regierungsrat die Beschwerde ab. Dagegen gelangten A.X._ und B.X._ an das Verwaltungsgericht des Kantons Zug. Dieses wies die Beschwerde nach einem erneuten Augenschein am 21. Juli 2011 ab. Es ging davon aus, dass die Baubewilligung für den bestehenden Wintergarten formell und materiell rechtskräftig geworden sei. Aufgrund der Eigentumsgarantie im Sinne der Bestandesgarantie könnten Unterhalts- und Renovationsarbeiten vorgenommen werden. Im vorliegenden Fall handle es sich um eine Massnahme der Werterhaltung und eine notwendige Reparatur eines Teils des Gästetrakts, wofür Glasdach und Glaswände ersetzt werden müssten. Die damit verbundene Erhöhung des Glasdachs um 32 cm sei von der Nachbarschaft aus zwar sichtbar, beeinträchtige die Sicht der Einsprecher indessen nur unbedeutend. B. Gegen diesen Entscheid haben A.X._ und B.X._ beim Bundesgericht am 14. September 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Sie ersuchen um Aufhebung des Verwaltungsgerichtsentscheids und um Verweigerung der Baubewilligung. Sie rügen eine unrichtige Feststellung des Sachverhalts und eine Verletzung des Willkürverbots gemäss Art. 9 BV. Sie machen im Wesentlichen geltend, das umstrittene Bauprojekt sprenge den Rahmen des kantonalen Baugesetzes zur Besitzstandsgarantie. E._ als Beschwerdegegnerin, die Gemeinde Walchwil, das Baudepartement und das Verwaltungsgericht beantragen die Abweisung der Beschwerde. Die Beschwerdeführer halten in ihrer Replik an ihren Anträgen fest, desgleichen die Beschwerdegegnerin in ihrer Duplik. C. Mit Verfügung vom 7. Oktober 2011 ist das Gesuch um Gewährung der aufschiebenden Wirkung abgewiesen worden.