Sachverhalt: A. Am 11. Oktober 2012 reichten E._ und F._ bei der Gemeinde Walchwil ein Gesuch für den Abbruch des Wohnhauses Assek.-Nr. 549a und den Neubau eines Einfamilienhauses mit Aussenpool und Sonnenkollektoren an der Spiegelbergstrasse 16 ein. Dagegen erhoben u.a. D.B._ und C.B._ sowie A._ Einsprache. Am 26. November 2012 wies der Gemeinderat die Einsprachen ab und erteilte die Baubewilligung unter Bedingungen und Auflagen. Die dagegen eingereichte Beschwerde der Einsprecher wies der Regierungsrat des Kantons Zug am 21. Januar 2014 ab. Auch die anschliessend erhobene Beschwerde ans Verwaltungsgericht des Kantons Zug wurde mit Entscheid vom 27. August 2014 abgewiesen. B. Dagegen haben C.B._ und A._ am 20. Oktober 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass die Baubewilligung nicht zu erteilen sei. Eventualiter sei die Sache an das Verwaltungsgericht zur Neubeurteilung zurückzuweisen. C. E._ und F._ sowie das Verwaltungsgericht schliessen auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Gemeinderat Walchwil verweist auf seine Stellungnahme vom 18. Februar 2013, an der er festhält. Die Beschwerdeführer haben keine Replik eingereicht.