Sachverhalt:
A. Am 10. Juli 2008 stellte die F._ ein Baugesuch für die Errichtung eines Einfamilienhauses und eines Mehrfamilienhauses für fünf Wohnungen auf der Parzelle Nr. 4565. Mit diesem Bauvorhaben sollte die letzte Etappe der 1991 bewilligten, 1993 abgeänderten Arealbebauung Rötelberg realisiert werden, mit welcher Mitte der 90-er Jahre zunächst das Haus von C._ und 2003 dasjenige von A._ und B._ sowie D._ und E._ gebaut und vom Baugrundstück abparzelliert worden waren.
Gegen das Vorhaben gingen Einsprachen ein, und sowohl die Stadtbildkommission als auch das Baudepartement verlangten am 1. November bzw. am 21. November 2009 dessen Überarbeitung. Das Gesuch wurde schliesslich vom Verwaltungsgericht am 23. Februar 2010 als nicht bewilligungsfähig beurteilt und nicht weiterverfolgt.
B. Am 10. September 2009 stellte die F._ ein (neues) Baugesuch für drei Einfamilienhäuser mit Gemeinschaftsraum auf der Parzelle Nr. 4565 am Rötelweg; sie änderte das Gesuch mit Eingaben vom 26. Oktober und vom 4. November 2009 ab.
Am 19. Januar 2010 bewilligte der Stadtrat von Zug das Baugesuch unter verschiedenen Auflagen und Bedingungen. Die Einsprache von A._ und B._, C._ sowie D._ und E._ wies er ab, soweit er darauf eintrat.
Am 7. September 2010 wies der Regierungsrat des Kantons Zug die von A._ und B._, C._ sowie D._ und E._ gegen diese Baubewilligung erhobene Verwaltungsbeschwerde ab.
Am 28. Juni 2011 wies das Verwaltungsgericht die Beschwerde von A._ und B._, C._ sowie D._ und E._ gegen diesen Entscheid des Regierungsrates ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen A._ und B._, C._ sowie D._ und E._, dieses Urteil des Verwaltungsgerichts aufzuheben und die Baubewilligung zu verweigern oder die Sache eventuell ans Verwaltungsgericht zurückzuweisen. Ausserdem ersuchen sie, der Beschwerde aufschiebende Wirkung zuzuerkennen.
D. Der Präsident der I. öffentlich-rechtlichen Abteilung des Bundesgerichts wies das Gesuch um aufschiebende Wirkung am 30. September 2011 ab.
E. Die F._ beantragt in ihrer Vernehmlassung und einem Corrigendum dazu, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen. Der Regierungsrat und der Stadtrat beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
In ihrer Replik halten A._ und B._, C._ sowie D._ und E._ an der Beschwerde fest und beantragen unter Hinweis auf eine vom Einzelrichter des Kantonsgerichts Zug am 7. November 2011 auf Antrag der G._AG - der neuen Eigentümerin der Parzelle Nr. 4565, die "wirtschaftlich und organschaftlich mit der F._ identisch sei" - vorsorglich angeordnete Beweisabnahme erneut, der Beschwerde aufschiebende Wirkung zuzuerkennen.
F. Die F._ sowie das Verwaltungsgericht und der Stadtrat widersetzen sich dem Gesuch um aufschiebende Wirkung.
Erwägungen:
1. Gegen den angefochtenen, kantonal letztinstanzlichen Entscheid über eine Baubewilligung steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (Art. 82 ff. BGG). Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, verfügen als unmittelbare Nachbarn über eine spezifische Beziehungsnähe zur Streitsache und könnten aus der Aufhebung oder Änderung des angefochtenen Entscheids einen praktischen Nutzen ziehen, z.B. wenn das Bauprojekt verhindert würde; sie sind damit zur Beschwerde befugt (Art. 89 Abs. 1 BGG). Sie rügen die Verletzung von Bundesrecht, was zulässig ist (Art. 95 BGG; BGE 133 II 249 E. 1.2.1). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, sodass auf die Beschwerde einzutreten ist.
2. Die Beschwerdeführer machen geltend, die Abänderungen des Baugesuchs vom 10. September durch die Eingaben vom 26. Oktober und vom 4. November 2009 hätten zwingend eine neue Publikation und eine neue Profilierung des Bauvorhabens erfordert. Das Verwaltungsgericht habe den Sachverhalt offensichtlich unrichtig festgestellt sowie das Willkürverbot (Art. 9 BV), ihr rechtliches Gehör (Art. 29 Abs. 2 BV), den Vorrang des Bundesrechts (Art. 49 BV) und verschiedene Bestimmungen des eidgenössischen Raumplanungsrechts verletzt, indem es die Bewilligung des abgeänderten Baugesuchs geschützt habe, ohne dass die Änderungen weder publiziert noch profiliert worden seien.
2.1 Die Beschwerdeführer erhoben gegen das Baugesuch der Beschwerdegegnerin vom 10. September 2009 Einsprache. Die Abteilung Baubewilligungen der Stadt Zug stellte in ihrem Zwischenbericht vom 21. Oktober 2009 zuhanden der Bauherrschaft verschiedene Abweichungen gegenüber dem bewilligten Arealbebauungskonzept 1991/93 fest. Es seien horizontal und vertikal aus energetischen Gründen Volumenerweiterungen vorgenommen worden, um die ursprünglich bewilligte Wohnfläche zu erhalten. Gebäudehöhe sowie Gesamthöhe mit Dachkranz, Brüstungen und Liftüberfahrten müssten dem damals bewilligten Konzept entsprechen. Die mauerartige und terrassierte Terraingestaltung entspreche nicht dem bewilligten Konzept, und auf die pergolaartige Überdachung der Aussentreppe sei zu verzichten. Positiv beurteilt werde, dass dem Spielplatz im südwestlichen Teil der Parzelle ein Gemeinschaftsraum vorgelagert sei, der allerdings im ursprünglichen Konzept mangels gesetzlicher Grundlage noch nicht vorgesehen gewesen sei. Eine weitere Änderung bestehe darin, dass die Terrassen gegen Osten leicht grösser ausgefallen seien und gegen Westen sogar neue vorgesehen seien, womit die Brüstungshöhen zum Teil um 85 cm höher würden, was nicht zulässig sei. Da die drei Häuser horizontal nicht klar trennbar seien, weil sich die Geschosse vertikal überschneiden würden, gälten sie baurechtlich als ein Gebäude, womit die zulässige Geschosszahl überschritten werde. Diese Beanstandungen seien zu korrigieren, und die Bauherrschaft habe zudem nachzuweisen, dass die bewilligte Ausnützung nicht überschritten sei.
Aufgrund der Einsprache, dieses Zwischenberichts sowie einer Beurteilung des Baugesuchs durch die Stadtbildkommission reichte die Beschwerdegegnerin am 26. Oktober und am 4. November 2009 geänderte Pläne ein. Am 6. November 2009 setzte das Baudepartement der Stadt Zug die Beschwerdeführer von den geänderten Plänen in Kenntnis und gab ihnen zudem bekannt, dass auf eine erneute Publikation und Profilierung verzichtet würde. Die Beschwerdeführer kritisierten sowohl dieses Vorgehen als auch das Bauvorhaben in materieller Hinsicht (angefochtener Entscheid E. 4a S. 13 f.).
2.2 Das Verwaltungsgericht erwog dazu, nach § 45 des Planungs- und Baugesetzes des Kantons Zug vom 26. November 1998 (PBG) sei ein Baugesuch während 20 Tagen öffentlich aufzulegen. Vor der Publikation habe der Bauherr zudem Profile zu errichten, welche das künftige Volumen, insbesondere die Umrisse, die First- sowie die Gebäudehöhe und die Erdgeschosse erkennen liessen. Grundlage für das Baubewilligungsverfahren bildeten die Baueingabe mit den zugehörigen Plänen. Diese würden im Laufe des Verfahrens häufig geändert, sei es aufgrund von Einsprachen, Einwänden der Baubehörde oder Wünschen der Bauherrschaft selber. Nach der Praxis bedürfe eine Projektänderung, bei welcher das Bauvorhaben in seinen Grundzügen gleich bleibe, keines neuen Gesuchs. Wenn dies auch im PBG nicht ausdrücklich geregelt sei, so entspreche diese Praxis doch dem Sinn des Gesetzes. Dies zeige etwa § 44 Abs. 2 und § 45 Abs. 4 PBG, wonach Bauten von geringer Tragweite den Behörden nur angezeigt werden müssten und in einfachen Fällen von einer Publikation abgesehen werden könne. Nach der Auffassung des Verwaltungsgerichts sind die Projektänderungen gegenüber dem Baugesuch vom 10 September 2009 marginal, sodass zu Recht keine neues Bewilligungsverfahren mit erneuter Profilierung und Publikation durchgeführt wurde.
2.3 Das Zuger Baurecht regelt die Folgen von Projektänderungen nicht ausdrücklich. § 45 Abs. 4 PBG bestimmt allerdings, dass der Gemeinderat in einfachen Fällen, insbesondere wenn keine öffentlichen oder nachbarlichen Interessen berührt sind, von der Auflage und Publikation des Baugesuchs absehen kann. Das Verwaltungsgericht kann aus dieser Bestimmung ohne Willkür folgern, dass ein abgeändertes Bauprojekt nicht neu publiziert und aufgelegt werden muss, sofern das Bauvorhaben in den Grundzügen gewahrt bleibt und keine öffentlichen oder nachbarlichen Interessen berührt werden. Unerfindlich ist in diesem Kontext die Berufung der Beschwerdeführer auf Art. 22 Abs. 1 RPG, geht es doch hier nicht um die Änderung einer Baute, sondern um die Änderung von Plänen im Baubewilligungsverfahren bzw. darum, welche Projektänderungen einem neuen, publikations- und auflagepflichtigem Baugesuch gleichkommen. Ein Bauvorhaben gilt als in den Grundzügen verändert, wenn seine Hauptmerkmale wie die Erschliessung, der Standort, die äusseren Masse, die Geschosszahl, die Geschosseinteilung oder die Zweckbestimmung wesentlich geändert werden (ZAUGG/LUDWIG, Baugesetz des Kantons Bern, Bern 2007, Rz. 12a zu Art. 32). Die konkreten Vorbringen der Beschwerdeführer zu den Projektänderungen (Beschwerde Ziff. 29 S. 13) - es seien Terrainveränderungen geplant, welche zum gewachsenen Terrain Niveaudifferenzen von über 2,5 m bewirkten, mehr als 50 m2 Terrain beträfen und das Landschaftsbild beeinflussten, und es seien im Grenzabstandsbereich von 5 m, in welchem Auffüllungen und Aufböschungen 2,5 m nicht überschreiten dürften, Böschungen mit einer Niveaudifferenz von mind. 3 m vorgesehen - sind nicht geeignet nachzuweisen, dass diese das ursprüngliche Projekt in den Grundzügen veränderten und die gegenteilige Auffassung des Verwaltungsgerichts willkürlich ist. Nicht ganz nachvollziehbar und jedenfalls unbegründet ist die von den Beschwerdeführern in diesem Zusammenhang erhobene Gehörsverweigerungsrüge, wurden ihnen doch die Projektänderungen zur Stellungnahme unterbreitet, und es ist weder dargetan noch ersichtlich, dass sie sich dagegen ohne neue Profilierung nicht sachgerecht zur Wehr setzen konnten.
2.4 Die Beschwerdeführer rügten vor Verwaltungsgericht das Fehlen eines Umgebungsplans. Dieses führte dazu aus (angefochtener Entscheid E. 5b S. 17), die gesetzlichen Bestimmungen würden für die Umgebungsgestaltung grundsätzlich keinen separaten Plan vorschreiben, sofern die übrigen dem Baugesuch beigelegten Pläne die für die Beurteilung relevanten Informationen enthielten. Dies sei der Fall. Wie bereits der Regierungsrat zu Recht entschieden habe, seien die massgebenden Angaben - die Details zu den Terrainhöhen der geplanten Sitzplätze, das Gefälle der Plätze und Wege, die Bedeckung der offenen Plätze und Wege (Rasen, Schotter, etc.), die Art der Bepflanzung (Hecken, Sträucher, Bäume etc.) - aus den erwähnten Plänen ohne grössere Mühe ablesbar. Zudem sei die Auflage betreffend die technische Ausführung entlang der westlichen Parzellengrenze rechtens.
2.5 Die Beschwerdeführer behaupten zwar, die Feststellung des Verwaltungsgerichts, die massgebenden Informationen seien aus den Plänen ablesbar, sei aktenwidrig (Beschwerde Ziff. 41 S. 19). Mit ihrer Begründung, die Terrainhöhen seien den Plänen nur unvollständig zu entnehmen, und die Angaben in den Plänen, insbesondere im Umgebungsplan Nr. 1431 beschränkten sich mit Ausnahme einer einzigen Angabe beim Eingang in den Gemeinschaftsraum auf die Höhenkoten der Innenräume, Terrassen und Sitzplätze, belegen sie das nicht schlüssig. Der Einwand ist im Übrigen auch unzutreffend. Der Bestandteil des bewilligten Baugesuchs bildende Plan Nr. 1434 "Umgebung Baueingabeplan - Geländeschnitte" enthält drei Geländeschnitte des Bauplatzes mit weiteren Höhenkoten der Umgebung (Spielplatz, Böschungen, Rasenflächen etc.). Die Rüge ist unbegründet.
2.6 Aufgrund der Beurteilung der Stadtbildkommission, wonach die Absicht, mit Böschungen ebene Bereiche im Hang zu konstruieren, nachvollziehbar sei, aber vor allem im Bereich der westlichen Parzellengrenze aus der zu schematischen Plandarstellung zu wenig klar hervorgehe, wie die bestehende Topographie mit den geplanten Böschungen und der gewünschten Erschliessung zusammenkomme, wurde auf deren Empfehlung folgende Auflage in die Baubewilligung aufgenommen: "Einreichen des detailliert erläuterten Umgebungsplans inkl. Modell, gemäss den Erwägungen der Stadtbildkommission".
Das Vorgehen wurde vom Verwaltungsgericht geschützt. Was die weitere Detaillierung der westlichen Parzellengrenze mittels Auflage anbelangt, fragen sich hingegen die Beschwerdeführer, wie der Übergang vom westlichen Grenzbereich mit dem Erschliessungsweg dem bestehenden Terrainverlauf folgen soll, und schliessen nicht aus, dass die dadurch bedingten zusätzlichen Böschungen und Geländeanpassungen in den Grenzabstandsbereich zu liegen kommen könnten. Damit sei die Realisierbarkeit des Konzepts nicht ausgewiesen, womit die Baubewilligung auch mit dieser Auflage nicht hätte erteilt werden dürfen (Beschwerde Ziff. 42 S. 19).
Mit diesen Ausführungen ist indessen weder dargetan, dass das Verwaltungsgericht den Sachverhalt in Bezug auf die technische Durchführbarkeit der von der Auflage betroffenen Umgebungsgestaltung offensichtlich unrichtig feststellte, noch dass es in Willkür verfiel, indem es zuliess, ihre rechtskonforme und sachgerechte Ausführung durch eine Auflage zu sichern.
3. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang tragen die Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Ausserdem haben sie der obsiegenden Beschwerdegegnerin eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Mit dem Entscheid in der Sache wird das (erneuerte) Gesuch um aufschiebende Wirkung gegenstandslos.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer 1-3 haben der Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von je Fr. 900.--, insgesamt Fr. 2'700.--, zu bezahlen, unter solidarischer Haftung für den gesamten Betrag.
4. Dieses Urteil wird den Parteien, der Stadt Zug sowie dem Regierungsrat und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 8. Februar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Störi