Sachverhalt:
A. Die Erbengemeinschaft A._ ist Eigentümerin des Grundstücks Parzelle Nr. 1351 an der Kirchmattstrasse, Zug. Das gegen Westen abfallende, 5 738 m2 grosse Gelände ist im oberen Teil mit einem Zweifamilienhaus (Baujahr 1868) und einem Wirtschaftshaus mit Scheune (Baujahr 1813) überbaut. Der grössere Teil des gegen Westen gelegenen Teils ist unbebaut.
B. Im Jahr 1975 wurde die Parzelle Nr. 1351 durch die Ersatzbauordnung und den Ersatzzonenplan des Regierungsrats des Kantons Zug in eine Zone des öffentlichen Interesses eingewiesen. Gemäss Zonenplan der Einwohnergemeinde Zug vom 30. Juni 1981/20. April 1982 verblieb diese Parzelle in der Zone des öffentlichen Interesses (ÖI). Seit 1995 liegt sie in der Zone des öffentlichen Interesses für Bauten und Anlagen (ÖIB).
C. Mit Schreiben vom 3. Juli 2008 an den Stadtrat von Zug erklärte die Erbengemeinschaft A._ bezüglich dieser Liegenschaft den Heimschlag. Im daraufhin angehobenen Schätzungsverfahren beantragte die Gemeinde, die Entschädigung sei auf maximal Fr. 6 Mio. festzusetzen. Die Erbengemeinschaft berechnete demgegenüber einen Wert von rund Fr. 13 Mio. für das Land (ohne Gebäude).
Am 20. Oktober 2009 entschied die Schätzungskommission, dass die Gemeinde Zug infolge materieller Enteignung der Parzelle Nr. 1351 eine Entschädigung von Fr. 1'478'735.-- auszurichten habe. Dieser Betrag sei ab dem 1. Juli 1975 zu verzinsen. Die Gemeinde Zug habe infolge der Heimschlagserklärung die Parzelle Nr. 1351 zu Eigentum zu übernehmen; hierfür habe sie den Enteigneten (zusätzlich zur Entschädigung für materielle Enteignung) Fr. 6'453'450.-- zu entrichten. Die Verfahrenskosten von Fr. 40'000.-- wurden der Gemeinde Zug als Enteignerin auferlegt, und diese wurde verpflichtet, der Erbengemeinschaft A._ eine Parteientschädigung von Fr. 36'000.-- zu entrichten.
Die Schätzungskommission ging davon aus, dass der Erlass der Zone ÖI im Jahr 1975 für den überbauten Grundstücksteil (samt Umschwung von 2 415 m2) keine materielle Enteignung bewirkt habe, weil dieser infolge der Bestandesgarantie weiter genutzt werden konnte. Eine materielle Enteignung liege dagegen für die übrigen unüberbauten Flächen (3 323 m2) vor; diese seien daher zum damaligen Verkaufswert (Fr. 445.--/m2) zu entschädigen. Dagegen sei der überbaute Teil des Grundstücks nach den Grundsätzen der formellen Enteignung zu entschädigen, d.h. massgeblich sei der Verkehrswert zum Zeitpunkt der Heimschlagserklärung. Hierfür legte die Schätzungskommission einen Landwert von Fr. 2'600.--/m2 fest; der Wert der Bauten wurde auf insgesamt Fr. 174'450.-- geschätzt. Dies ergebe eine Entschädiung von insgesamt Fr. 6'453'450.--, die ab Rechtskraft des Urteils zu verzinsen sei.
D. Gegen den Entscheid der Schätzungskommission reichten sowohl die Einwohnergemeinde Zug als auch die Erbengemeinschaft A._ am 29. Dezember 2009 Beschwerde beim Verwaltungsgericht des Kantons Zug ein. Die Gemeinde beantragte, die Heimschlagsentschädigung dürfe insgesamt maximal Fr. 7 Mio. betragen, inklusive Zins bis zum Urteilszeitpunkt. Die Erbengemeinschaft A._ verlangte, die ganze Parzelle (5 738 m2) sei als zu den bestehenden Bauten gehörender Umschwung zu behandeln und zu einem Verkehrswert von Fr. 3'000.--/m2 zu entschädigen. Im Falle der Annahme einer materiellen Enteignung sei vom Stichtag 20. April 1982 auszugehen. Zudem verlangte sie, die Parteientschädigung für das Schätzungsverfahren sei auf Fr. 48'000.-- zu erhöhen.
Das Verwaltungsgericht folgte im Wesentlichen der Auffassung der Schätzungskommission. Es erachtete jedoch den von der Schätzungskommission zugrunde gelegten Landwert von Fr. 2'600.--/m2 für den überbauten Grundstücksteil (samt Umschwung) als zu hoch, weil die durch die Zone ÖIB gegebenen rechtlichen Einschränkungen als preissenkend eingeschätzt werden müssten. Überdies sei die Entschädigung aus materieller Enteignung für den unüberbauten Landteil nicht schon ab dem 1. Juli 1975, sondern erst ab dem Zeitpunkt der Heimschlagserklärung am 3. Juli 2008 zu verzinsen. Das Verwaltungsgericht hiess daher die Beschwerden der Gemeinde Zug und der Erbengemeinschaft A._ insoweit teilweise gut, hob den Entscheid der Schätzungskommission auf und wies die Angelegenheit im Sinne der Erwägungen zur Neubeurteilung an diese zurück.
E. Dagegen haben die Mitglieder der Erbengemeinschaft A._ am 1. Februar 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben, soweit darin die von der Schätzungskommission festgelegte Verzinsungspflicht der Entschädigung für materielle Enteignung und die Entschädigung für die überbaute Fläche aufgehoben werde. Die von der Schätzungskommission festgelegte Verzinsung gemäss Disp.-Ziff. 1 Abs. 2 sowie die Entschädigung für die überbaute Fläche von Fr. 6'453'450.-- mit Verzinsungspflicht ab 3. Juli 2008 seien zu bestätigen.
F. Das Verwaltungsgericht und der Stadtrat von Zug beantragen die Abweisung der Beschwerde. Der Stadtrat erhebt, im Sinne eines Eventualstandpunkts, die Einrede der Verjährung der Entschädigungsforderung aus materieller Enteignung. Die Schätzungskommission und das Bundesamt für Raumentwicklung (ARE) haben auf eine Stellungnahme verzichtet.
Erwägungen:
1. Der angefochtene, kantonal letztinstanzliche Entscheid betrifft eine Angelegenheit des öffentlichen Rechts i.S.v. Art. 82 lit. a BGG. Allerdings schliesst der angefochtene Entscheid das Verfahren nicht ab, sondern weist die Sache zu neuer Beurteilung an die Schätzungskommission zurück. Insofern handelt es sich nicht um einen Endentscheid (i.S.v. Art. 90 BGG).
1.1 Entgegen der Auffassung der Beschwerdeführer liegt auch kein Teilentscheid i.S.v. Art. 91 lit. a BGG vor. Dies würde voraussetzen, dass das Verwaltungsgericht nur einen Teil der gestellten Begehren (abschliessend) behandelt hat, und diese Begehren unabhängig von den anderen beurteilt werden können. Die Beschwerdeführer hatten jedoch im verwaltungsgerichtlichen Verfahren (wie schon vor der Schätzungskommission) nicht mehrere separate Begehren gestellt, sondern eine Entschädigung für die gesamte Parzelle Nr. 1351 beantragt. Auch wenn die kantonalen Instanzen zum Ergebnis kamen, ein Teil des Grundstücks sei nach den Grundsätzen der materiellen Enteignung und ein Teil wegen Heimschlags nach den Grundsätzen der formellen Enteignung zu entschädigen, so handelt es sich hierbei um materiell-rechtliche Teilaspekte der begehrten Entschädigung und nicht um unterschiedliche Begehren. Gewisse dieser Teilaspekte wurden vom Verwaltungsgericht abschliessend beurteilt (insbesondere die Frage der Verzinsung der Entschädigung aus materieller Enteignung). Nach der bundesgerichtlichen Rechtsprechung zu den Art. 91 ff. BGG sind Grundsatzentscheide, die einen Teilaspekt einer Streitsache beantworten (z.B. eine von mehreren materiell-rechtlichen Anspruchsvoraussetzungen), nicht als Teil-, sondern als Zwischenentscheide im Sinne von Art. 93 BGG zu qualifizieren (BGE 133 V 477 E. 4.1.3 S. 481; 134 II 137 E. 1.3.2 S. 140; je mit Hinweisen).
1.2 Unbehelflich ist auch das Argument der Beschwerdeführer, der Schätzungskommission stehe kein Entscheidungsspielraum mehr offen, weshalb der Rückweisungsentscheid einem Endentscheid gleichzustellen sei: Dies trifft zwar auf den Teilaspekt der Verzinsung zu; ansonsten muss aber die Schätzungskommission nochmals über die Höhe der Entschädigung für die überbaute Fläche samt Umschwung entscheiden, ohne an präzise Vorgaben des Verwaltungsgerichts gebunden zu sein. Insofern kann nicht gesagt werden, die Rückweisung diene einzig der formellen oder rechnerischen Umsetzung des oberinstanzlich Angeordneten (vgl. BGE 134 II 124 E. 1.3 S. 127).
1.3 Es handelt sich somit zum einen Zwischenentscheid, gegen den die Beschwerde nach Art. 93 Abs. 1 BGG zulässig ist, wenn er einen nicht wieder gutzumachenden Nachteil bewirken könnte (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Die Eintretensvoraussetzungen von Art. 93 Abs. 1 BGG sollen das Bundesgericht entlasten. Dieses soll sich möglichst nur einmal mit einer Sache befassen und sich überdies nicht bereits in einem frühen Verfahrensstadium ohne genügend umfassende Sachverhaltskenntnis teilweise materiell festlegen müssen. Können allfällige Nachteile in verhältnismässiger Weise auch noch mit einer bundesgerichtlichen Beurteilung nach Ausfällung des Endentscheids behoben werden, so tritt das Bundesgericht auf gegen Vor- und Zwischenentscheide gerichtete Beschwerden nicht ein (BGE 135 II 30 E. 1.3.2 S. 34 f.).
Nach der bundesgerichtlichen Praxis ist es Sache der Beschwerdeführer aufzuzeigen, dass die Voraussetzungen von Art. 93 Abs. 1 lit. a oder b BGG erfüllt sind, soweit dies nicht ohne Weiteres auf der Hand liegt (BGE 134 III 426 E. 1.2 S. 429 mit Hinweisen).
Die Beschwerdeführer sind der Auffassung, die Voraussetzungen von Art. 93 lit. b BGG seien erfüllt. Sie legen aber nicht dar, inwiefern im Falle der Gutheissung der Beschwerde ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren erspart werden könnte. Vielmehr sind sie der Auffassung, dass die Vorgabe des Verwaltungsgerichts, die rechtlichen Einschränkungen der Zone ÖlB müssten preissenkend berücksichtigt werden, willkürlich, nicht nachvollziehbar und nicht erfüllbar sei. Diese Rüge können und müssen sie gegen den Endentscheid vorbringen, wenn feststeht, ob bzw. wie die Schätzungskommission der Vorgabe des Verwaltungsgerichts nachgekommen ist.
2. Nach dem Gesagten ist auf die Beschwerde nicht einzutreten. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (Art. 66 BGG) und haben keinen Anspruch auf eine Parteientschädigung (Art. 68 BGG). Bei der Bemessung der Gerichtskosten ist zu berücksichtigen, dass kein Entscheid in der Sache ergangen ist.
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien, der Schätzungskommission und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 29. März 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Fonjallaz Gerber