Sachverhalt:
A. A.a Die Behörden der Kantone Zürich, Schwyz und Zug führten anfangs des 20. Jahrhunderts mit den Schweizerischen Bundesbahnen (SBB) Verhandlungen über die Verleihung des Rechts, die Wasserkräfte der Sihl beim Etzel zu nutzen. An der abschliessenden Verhandlung vom 3. Juli 1919 wurde die "Etzelwerkkonzession" vereinbart, wonach auf die Dauer von 50 Jahren ab Betriebseröffnung eine Wasserkraftkonzession gemäss dem Bundesgesetz vom 22. Dezember 1916 über die Nutzbarmachung der Wasserkräfte (Wasserrechtsgesetz, WRG; SR 721.80) erteilt wurde. Diese Konzession wurde am 2./8. August 1919 vom Kanton Zürich und den SBB unterschrieben. Im Kanton Schwyz erwuchs der Konzessionsgenehmigung Opposition, namentlich in den Bezirken Höfe und Einsiedeln. Um den Bedenken Rechnung zu tragen, schlossen die SBB mit den beiden Bezirken am 11./21. Januar bzw. 20./21. Juni 1927 Zusatzvereinbarungen zur vereinbarten Konzession. In der Folge unterzeichneten auch die Kantone Schwyz (am 24. Mai 1929) und Zug (am 3. Juli 1929) die Konzessionsvereinbarung.
Das Etzelwerk wurde 1937 in Betrieb genommen.
A.b Nach ersten Verhandlungen über eine Konzessionsverlängerung erklärten der Kanton Schwyz und die Bezirke Höfe und Einsiedeln am 25. September 1985 vorsorglich den Heimfall per 30. September 1987. Nach weiteren erfolglosen Verhandlungen reichten die SBB am 7. April 1987 Klage beim Bundesgericht ein und beantragten Feststellung, dass sie einen Rechtsanspruch auf Erneuerung der Konzession um weitere 50, eventuell 30 Jahre hätten. Mit Urteil vom 11. Juli 1988 (Verfahren A 188/1987, ZBl 90/1989 S. 83) erkannte das Bundesgericht wie folgt:
"2. Es wird festgestellt, dass die Klägerinnen einen Rechtsanspruch auf Erneuerung des Vertrages von 1919/1929 über die Ausnützung der Wasserkräfte der Sihl beim Etzel bis ins Jahr 2017 haben, einzig unter dem Vorbehalt der Neufestsetzung einer einmaligen Entschädigung, der jährlichen Wasserzinse und der im Kanton Schwyz abzugebenden Vorzugskraft sowie der Massnahmen, die aufgrund von Art. 26 des Bundesgesetzes über die Fischerei und Art. 18 bzw. 21 des Bundesgesetzes über den Natur- und Heimatschutz auch im Rahmen einer bestehenden Konzession anzuordnen sind. Im übrigen wird die Klage abgewiesen.
3. Es wird festgestellt, dass die Frist gemäss Art. 13 Abs. 1 der Etzelwerkkonzession auch gegenüber dem Kanton Schwyz am 12. Mai 1987 ausgelaufen ist."
A.c Im Zusammenhang mit Verhandlungen über eine Erneuerung der Konzession nach deren Ablauf im Jahre 2017 machten die Kantone Schwyz (einschliesslich der Bezirke Höfe und Einsiedeln), Zürich und Zug im April/Mai 2007 den Heimfall des Etzelwerks per 12. Mai 2017 geltend.
A.d Auf Gesuch (vom 7. April/29. Mai 2008) der SBB stellte das Eidg. Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK) mit Verfügung vom 26. November 2009 fest, dass am Etzelwerk per Ablauf der Konzession im Jahre 2017 kein Heimfallrecht bestehe.
B. Gegen diese Verfügung erhoben die Kantone Schwyz, Zürich und Zug sowie die Bezirke Einsiedeln und Höfe gemeinsam Beschwerde beim Bundesverwaltungsgericht mit dem Antrag, es sei festzustellen, dass ein Heimfallrecht zu ihren Gunsten bestehe und dass sie dieses rechtsgültig ausgeübt hätten.
Mit Urteil vom 11. Februar 2011 wies das Bundesverwaltungsgericht die Beschwerde ab.
C. Mit Eingabe vom 23. März 2011 erheben die Kantone Schwyz, Zürich und Zug sowie die Bezirke Einsiedeln und Höfe gemeinsam Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit den Anträgen, das Urteil der Vorinstanz sowie Ziff. 2 der Verfügung des UVEK aufzuheben und festzustellen, dass zu Gunsten der Beschwerdeführer - eventuell zu Gunsten eines Teils von ihnen - ein Heimfallrecht bestehe und dass sie dieses rechtsgültig ausgeübt hätten. Zudem stellen sie Anträge zu den Kostenfolgen, auch für das vorinstanzliche Verfahren.
Das Bundesverwaltungsgericht verzichtet auf Vernehmlassung. Das UVEK schliesst auf Bestätigung des vorinstanzlichen Entscheids. Die SBB beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Im zweiten Schriftenwechsel halten die Parteien an ihren Anträgen fest.
Erwägungen:
1. 1.1 Über Streitigkeiten zwischen dem Konzessionär und der Verleihungsbehörde über die sich aus dem Konzessionsverhältnis ergebenden Rechte und Pflichten erlässt das UVEK eine Verfügung, wenn die Konzession - wie im vorliegenden Fall - von mehreren Kantonen erteilt worden ist (Art. 71 Abs. 2 in Verbindung mit Abs. 1 WRG). Gegen die Verfügung des UVEK ist die Beschwerde an das Bundesverwaltungsgericht zulässig (Art. 71 Abs. 2 WRG; Art. 31 und 33 lit. d VGG). Gegen dessen Endentscheid steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen (Art. 82 lit. a, Art. 86 Abs. 1 lit. a und Art. 90 BGG). Die Beschwerdeführer sind als konzedierende Gemeinwesen und Vertragsparteien der Konzession zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG; Urteil 2C_812/2011 vom 18. Januar 2012 E. 1.2). Auf die Beschwerde ist grundsätzlich einzutreten. Das Begehren, es sei Ziff. 2 der Verfügung des UVEK aufzuheben, ist an sich nicht zulässig, da diese Verfügung infolge des Devolutiveffekts durch das Urteil des Bundesverwaltungsgerichts ersetzt worden ist; das in der Verfügung Angeordnete gilt aber als mitangefochten (vgl. BGE 134 II 142 E. 1.4 S. 144).
1.2 Die Beschwerdegegnerin beantragt, auf das Eventualbegehren sei nicht einzutreten: Einerseits sei es zu unbestimmt formuliert, da nicht ersichtlich sei, zu Gunsten welcher Beschwerdeführer das Heimfallrecht beansprucht werde; andererseits sei es vor der Vorinstanz erst in der Replik und damit verspätet gestellt worden, weshalb schon die Vorinstanz darauf nicht hätte eintreten dürfen.
1.2.1 Rechtsbegehren sind nach ihrem vernünftigen Sinn und nach Treu und Glauben auszulegen, wozu auch die Beschwerdebegründung heranzuziehen ist (BGE 134 III 235 E. 2 S. 236; 123 V 335 E. 1a; 105 II 149 E. 2a; ULRICH MEYER/JOHANNA DORMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 2a und 7 zu Art. 107 BGG). Aus dieser ergibt sich, dass die Beschwerdeführer der Ansicht sind, dass das Heimfallrecht unteilbar ist und demzufolge auch ausgeübt werden kann, wenn es nur einzelnen von ihnen zusteht; ferner ergibt sich daraus, dass sie das Heimfallrecht aus Zusatzvereinbarungen ableiten, welche von den Bezirken Einsiedeln und Höfe sowie vom Kanton Zürich mit der Beschwerdegegnerin abgeschlossen worden sind. Damit ist genügend klar, dass sie mit dem Eventualbegehren anstreben, ein Heimfallrecht zugunsten dieser aus den Zusatzvereinbarungen begünstigten Gemeinwesen festzustellen.
1.2.2 Gemäss Art. 52 Abs. 1 VwVG i.V.m. Art. 37 VGG hat die Beschwerdeschrift an das Bundesverwaltungsgericht "die Begehren" zu enthalten. Unter Vorbehalt einer Nachbesserung gemäss Art. 52 Abs. 2 VwVG ist eine nachträgliche Erweiterung (Plus) oder Änderung (Aliud) des Streitgegenstands nicht mehr zulässig (SEETHALER/BOCHSLER, Praxiskommentar VwVG, 2009, Rz. 41 zu Art. 52). Zulässig ist aber in einem späteren Verfahrensabschnitt - wie übrigens auch noch vor Bundesgericht (BGE 136 V 362 E. 3.4.2) - eine Einengung bzw. Einschränkung (Minus), das heisst ein teilweiser Verzicht auf ein gestelltes Rechtsbegehren, ebenso eine Präzisierung, die am Streitgegenstand nichts ändert (ANDRÉ MOSER, Kommentar VwVG, 2008, N 6 zu Art. 52). Vorliegend haben die Beschwerdeführer in der Beschwerde an die Vorinstanz beantragt, es sei festzustellen, dass zu ihren Gunsten ein Heimfallrecht bestehe. In der Replik haben sie eventualiter und subeventualiter beantragt, dass das Heimfallrecht nur einzelnen von ihnen zustehe. Es handelt sich dabei gegenüber dem Hauptantrag um eine Einschränkung (Minus), welche zulässig ist.
2. Die Beschwerdeführer rügen verschiedentlich eine Verletzung des rechtlichen Gehörs, weil sich die Vorinstanz nicht mit ihren Vorbringen auseinandergesetzt habe. Der Anspruch auf rechtliches Gehör verlangt jedoch nicht, dass sich das Gericht ausdrücklich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann es sich auf die für den Entscheid wesentlichen Gesichtspunkte beschränken (BGE 136 I 229 E. 5.2 S. 236; 134 I 83 E. 4.1 S. 88; 133 I 270 E. 3.1 S. 277; je mit Hinweisen). Hingegen muss der rechtserhebliche Sachverhalt festgestellt und gewürdigt werden. Die Vorbringen der Beschwerdeführer betreffen diese Würdigung und sind im Zusammenhang mit den einzelnen Aspekten zu prüfen.
3. Das Heimfallrecht ist das Recht des konzedierenden Gemeinwesens, bei Ablauf der Konzessionsdauer die vom Konzessionär erstellten Anlagen samt den damit verbundenen dinglichen Rechten unentgeltlich zu erwerben (Art. 67 Abs. 1 lit. a WRG; BGE 75 I 16 E. 5c/aa S. 23; 81 I 81 E. 4 S. 87 f.; GEISER/ABBÜHL/BÜHLMANN, Einführung und Kommentar zum WRG, 1921, S. 38, 204; BENNO WETTSTEIN, Rückkauf und Heimfall im schweizerischen Wasserrecht, 1925, S. 69; HANS WYER, Rechtsfragen der Wasserkraftnutzung, 2000, S. 134 f.; YANICK FELLEY, Concessions hydroélectriques en Valais, RDAT 2001 I S. 281 f.). Zwischen den Parteien ist unbestritten, dass den Beschwerdeführern ein Heimfall nicht von Gesetzes wegen zusteht: Das WRG begründet kein gesetzliches Heimfallrecht; ein solches kann sich nur aus dem kantonalen Recht oder aus der Konzession ergeben (Art. 48 Abs. 1 WRG sowohl in der ursprünglichen Fassung als auch in derjenigen vom 13. Dezember 1996; Art. 54 lit. f WRG in der ursprünglichen Fassung bzw. Art. 54 lit. i in der Fassung vom 13. Dezember 1996; GEISER/ABBÜHL/BÜHLMANN, a.a.O., S. 38; OTTO WIELAND, Die Wasserrechtsverleihung im Kanton Graubünden, 1941, S. 144 f.; ULRICH GADIENT, Der Heimfall im Wasserrecht des Bundes und der Kantone, 1958, S. 54, 88 f.; VINZENS AUGUSTIN, Das Ende der Wasserrechtskonzessionen, 1983, S. 73 f.; WETTSTEIN, a.a.O., S. 74; BLAISE KNAPP, La fin des concessions hydrauliques, ZSR 1982 I S. 121 ff., 160 f.; TOMAS POLEDNA, Staatliche Bewilligungen und Konzessionen, 1994, S. 255 f.; FELLEY, a.a.O., S. 282 f.; WYER, a.a.O., S. 133 f.; ISABELLE HÄNER, Das Ende des Konzessionsverhältnisses, in: Häner/Waldmann [Hrsg.], Die Konzession, 2011, S. 95 Fn. 37; ROMANA KRONENBERG MÜLLER, Der Heimfall im Glarner Wasserrecht, ZBl 2012 S. 283 ff., 290; vgl. auch Urteil 2C_812/2011 vom 18. Januar 2012 E. 2; a.M. CHRISTIAN WIDMER, Die Heimfallverzicht-Entschädigung im Wasserrecht, 1990, S. 11 f.). Es wird von keiner Seite geltend gemacht (vgl. Art. 106 Abs. 2 BGG), dass das Recht der beteiligten Kantone ein Heimfallrecht enthalte. Streitig ist aber, ob sich aus der Konzession ein solches ergibt.
4. 4.1 Konzessionen, insbesondere solche über die Verleihung von Wassernutzungen, weisen nach Rechtsprechung und Doktrin sowohl vertragliche als auch hoheitliche Elemente auf (BGE 65 I 305 E. 2 S. 313; 80 I 239 E. 3 S. 246; 81 I 81 E. 4 S. 86 ff.; 96 I 282 E. 4 S. 288; 109 II 76 E. 2; 130 II 18 E. 3.1 S. 21; 132 II 485 E. 9.5 S. 513; Urteil A.188/1987 vom 11. Juli 1988 E. 4d; ANDRÉ GRISEL, Traité de droit administratif, vol. II 1984, S. 594; WERNER DUBACH, Die wohlerworbenen Rechte im Wasserrecht, 1979, S. 28 f.; AUGUSTIN, a.a.O., S. 15 ff.; KNAPP, a.a.O., S. 124; PIERRE MOOR, Droit administratif, Vol. III 1992, S. 124; THIERRY TANQUEREL, Manuel de droit administratif, 2011, S. 356). In Bezug auf die vertraglichen Elemente, so namentlich diejenigen Fragen, die von Gesetzes wegen unterschiedlich geregelt werden können, wie das Heimfallrecht, ist sie wie ein öffentlich-rechtlicher Vertrag auszulegen. Dazu ist wie bei einem privatrechtlichen Vertrag in erster Linie auf den übereinstimmenden wirklichen Willen der Parteien abzustellen (Art. 18 Abs. 1 OR; empirische oder subjektive Vertragsauslegung); lässt sich ein solcher nicht feststellen, ist der Vertrag so auszulegen, wie er nach dem Vertrauensgrundsatz verstanden werden durfte und musste (normative oder objektive Vertragsauslegung; BGE 137 III 145 E. 3.2.1; 135 V 237 E. 3.6; 133 III 406 E. 2.2; 121 II 81 E. 4a S. 85). Der wahre Sinn des Vertrags ergibt sich nicht allein aus dem Wortlaut, sondern kann sich auch aus anderen Elementen ergeben wie aus dem verfolgten Ziel, der Interessenlage der Parteien oder aus den Gesamtumständen. Hingegen ist nicht von einem klaren Vertragswortlaut abzuweichen, wenn sich keine ernsthaften Anhaltspunkte dafür ergeben, dass dieser nicht dem Willen der Parteien entspricht (BGE 136 III 186 E. 3.2.1; 135 III 295 E. 5.2; 133 III 406 E. 2.2; 131 III 606 E. 4.2). Im Zweifel und zur Füllung von Lücken in einem Vertrag sind die dispositiven Bestimmungen der einschlägigen Gesetze heranzuziehen, soweit sich nicht genügend klar aus dem Vertrag ergibt, dass davon abgewichen werden sollte (BGE 133 III 607 E. 2.2; 130 V 553 E. 4.3). Bei der Auslegung öffentlich-rechtlicher Verträge ist zudem in Zweifelsfällen zu vermuten, dass die Verwaltung nicht bereit ist, etwas anzuordnen oder zu vereinbaren, was mit den von ihr zu wahrenden öffentlichen Interessen und der einschlägigen Gesetzgebung im Widerspruch steht (BGE 135 V 237 E. 3.6; 122 I 328 E. 4e; 121 II 81 E. 4a; vgl. Urteil A.188/1987 vom 11. Juli 1988 E. 3). Indessen wäre es verfehlt, in allen Fällen der dem öffentlichen Interesse besser dienenden Auslegung den Vorzug zu geben. Die Wahrung des öffentlichen Interesses findet ihre Schranke vielmehr gerade im Vertrauensprinzip, d.h. sie darf nicht dazu führen, dass dem Vertragspartner des Gemeinwesens bei der Vertragsauslegung Auflagen gemacht werden, die er beim Vertragsschluss vernünftigerweise nicht voraussehen konnte (BGE 122 I 328 E. 4e).
4.2 Was die Parteien beim Vertragsabschluss gewusst, gewollt oder tatsächlich verstanden haben, ist Tatfrage (BGE 133 III 675 E. 3.3; 131 III 606 E. 4.1); die tatsächliche Ermittlung dieses subjektiven Parteiwillens (subjektive Vertragsauslegung) beruht auf Beweiswürdigung, die der bundesgerichtlichen Überprüfung nur in den Schranken von Art. 105 BGG zugänglich ist (BGE 133 III 675 E. 3.3; 132 III 626 E. 3.1; 126 II 171 E. 4c/bb; 118 II 365 E. 1 S. 366). Die Vertragsauslegung nach dem Vertrauensgrundsatz ist demgegenüber Rechtsfrage, die vom Bundesgericht bei bundesrechtlichen Verträgen frei (BGE 136 III 186 E. 3.2.1; 133 III 675 E. 3.3; 132 III 626 E. 3.1; 131 III 606 E. 4.1), bei kantonalrechtlichen Verträgen hingegen grundsätzlich nur auf Willkür hin überprüft wird (Art. 95 BGG; BGE 122 I 328 E. 1a/bb und E. 3a; 103 Ia 505 E. 1). Die Auslegung von Wasserkraftkonzessionen nach Vertrauensprinzip prüft das Bundesgericht frei, weil diese nicht nur eine kantonale, sondern mit dem WRG auch eine bundesrechtliche Grundlage haben, welche die Grundsätze der Wasserkraftnutzung festlegt (Urteil 1C_207/2008 E. 4.2; implizit ebenso bereits das Urteil A 188/1987 des Bundesgerichts vom 11. Juli 1988, ferner BGE 126 II 171 E. 4c/bb S. 182; 90 I 121 E. 5 S. 126 ff.; 78 I 375 E. 3 S. 389).
5. 5.1 Art. 13 des Konzessionsvertrags lautet:
"Die Verleihung wird auf die Dauer von 50 Jahren erteilt, beginnend mit dem Datum der Betriebseröffnung, welches von der Konzessionärin den drei Kantonen mitzuteilen ist.
Die Kantone erklären sich grundsätzlich bereit, die Verleihung auf Wunsch der Konzessionärin nach Ablauf von 50 Jahren auf weitere 50 Jahre zu erneuern, vorbehältlich einer Neufestsetzung der für die Erneuerung der Verleihung zu zahlenden einmaligen Entschädigung und der jährlich zu entrichtenden Wasserrechtszinse. Die einmalige Entschädigung, die Wasserrechtszinse und die im Kanton Schwyz abzugebende Vorzugskraft dürfen auf keinen Fall weniger betragen als die für die erstmalige Konzessionsdauer durch diese Verleihung festgesetzten Beträge. Können sich die Verleihungsbehörden und die Konzessionärin über die Höhe der einmaligen Entschädigung und der Wasserrechtszinse und über die Grösse der im Kanton Schwyz abzugebenden Vorzugskraft nicht einigen, so entscheidet darüber der Bundesrat.
Die Kantone Zürich, Schwyz und Zug verzichten auf das Recht des Rückkaufs der Wasserwerkanlage nebst Zubehörden".
Die Zusatzvereinbarung vom 11./21. Januar 1927 zwischen dem Bezirk Einsiedeln und den SBB bestimmt in Art. 19:
"Die Bundesbahnen anerkennen folgende Auslegung von Art. 13, Abs. 2 und 3 der Konzession:
a) Die Bestimmungen über das Recht auf Erneuerung der Konzession und den Verzicht auf den Rückkauf der Wasserwerkanlagen gelten nur gegenüber den Bundesbahnen oder einer Gesellschaft, die den Betrieb der Bundesbahnen übernimmt, aber nicht gegenüber einem anderen Rechtsnachfolger, Mit- oder Unterkonzessionär.
b) Wenn infolge Verzicht seitens der Bundesbahnen, beziehungsweise der in lit. a erwähnten Gesellschaft, oder durch Verwirkung die Konzession erlischt, oder wenn sie nach Ablauf der 50jährigen Dauer nicht mehr erneuert wird, so tritt der Heimfall des ganzen Werkes ein, wobei nach Art. 67 und 68 des BG über die Nutzbarmachung der Wasserkräfte vom 22. Dezember 1916 vorzugehen ist."
Die gleiche Bestimmung enthält Art. 2 der Zusatzvereinbarung vom 20./21. Juni 1927 zwischen dem Bezirk Höfe und den SBB zum Konzessionsvertrag.
5.2 Die Vorinstanz hat erwogen, es bestehe Einigkeit, dass im eigentlichen Konzessionstext ein Heimfall nicht vorgesehen sei, wohl aber in den Zusatzvereinbarungen mit den Bezirken Einsiedeln und Höfe. Gestritten werde darüber, ob eine analoge Zusatzvereinbarung auch mit dem Kanton Zürich zustande gekommen sei. Dies könne offen bleiben: Denn das vereinbarte Heimfallrecht beschlage das ganze Werk, so dass die SBB bei Eintritt des Heimfalls des ganzen Werks verlustig gingen.
5.3 Die Beschwerdeführer machen in ihrer Beschwerde erneut geltend, eine solche gleich lautende Zusatzvereinbarung sei 1929 auch mit dem Kanton Zürich zustande gekommen. Sie rügen eine Gehörsverletzung, weil die Vorinstanz bei ihrer Vertragsauslegung den Zusatzvertrag mit Zürich ausgeklammert habe, obwohl verschiedene ihrer Erwägungen nur auf die Zusatzverträge mit Einsiedeln und Höfe bezogen seien. Die Beschwerdegegnerin bestreitet die Existenz einer solchen Zusatzvereinbarung. Die Frage kann offen bleiben, wenn sich ergibt, dass die allfällige Zürcher Vereinbarung auch unter Berücksichtigung der von den Beschwerdeführern vorgebrachten Besonderheiten kein Heimfallrecht enthält.
6. 6.1 Die Vorinstanz erwog, der Wortlaut der Zusatzvereinbarung, welcher darauf abstelle, dass die Konzession nach Ablauf der 50jährigen Dauer nicht mehr erneuert werde, sei im Konnex mit Art. 13 Abs. 2 der Konzession zu lesen; wie dort beziehe sich das Wort "erneuert" auf die Verlängerung nach den ersten 50 Jahren, enthalte mithin ein Heimfallrecht nur für den Fall, dass die Verlängerungsoption nach Ablauf der ersten 50 Jahre nicht ausgeübt werde. Aus der Entstehungsgeschichte der Konzession ergebe sich, dass die SBB ein Heimfallrecht abgelehnt hätten, weshalb ein solches in der Konzession von 1919 nicht aufgenommen worden sei, dies entgegen dem Konzessionsentwurf von 1916, der ein Heimfallrecht noch ausdrücklich - nach Ablauf der zweiten Konzessionsperiode - vorgesehen habe. Den Konzedenten sei bewusst gewesen, dass die SBB grundsätzlich nicht bereit gewesen seien, ihnen ein Heimfallrecht einzuräumen; hätten die Vertragsparteien in der Zusatzvereinbarung noch einen Heimfall per Ende der verlängerten Konzessionsdauer vereinbaren wollen, hätten sie mit grosser Wahrscheinlichkeit die eindeutige Formulierung gewählt, die im Entwurf 1916 vorgesehen gewesen war und von welcher sie bestimmt Kenntnis gehabt hätten. Es sei den Konzedenten wohl in erster Linie darum gegangen, zu verhindern, dass die SBB bereits nach den ersten 50 Jahren auf die Ausübung der Konzession verzichteten; Ziel der Heimfallvereinbarung sei also nicht in erster Linie gewesen, die Werkanlagen an sich zu ziehen, sondern zu verhindern, dass die Anlagen nach den ersten 50 Jahren brach lägen. Bei diesem Auslegungsergebnis liege keine Vertragslücke vor, die zu ergänzen wäre.
6.2 Die Beschwerdeführer rügen als Bundesrechtsverletzung, dass die Vorinstanz keinen subjektiven Vertragswillen festgestellt, sondern direkt eine (unzutreffende) objektive Vertragsauslegung vorgenommen habe. Sie erblicken darin auch eine Gehörsverletzung. Zu Unrecht bringt die Beschwerdegegnerin dagegen vor, die Beschwerdeführer beriefen sich erstmals vor Bundesgericht auf einen subjektiven Parteiwillen, was ein unzulässiges Novum sei: Die Beschwerdeführer haben sich bereits in der Beschwerde an die Vorinstanz auf den subjektiven Parteiwillen berufen und die Sachverhalte vorgebracht, die sie auch vor Bundesgericht geltend machen.
7. 7.1 Die Vorinstanz hat nicht ausdrücklich und getrennt von der objektiven Vertragsauslegung einen übereinstimmenden subjektiven Parteiwillen oder dessen Fehlen festgestellt. Sie hat indessen die Entstehungsgeschichte des Vertrags und die Umstände im Zeitpunkt seines Abschlusses dargestellt und gewürdigt (E. 6.9-6.12 des angefochtenen Urteils). Daraus ergibt sich hinreichend klar, dass die Vorinstanz nicht von einem subjektiven Parteiwillen im Sinne der beschwerdeführerischen Auslegung ausgeht. Auf den subjektiven Parteiwillen bezieht sich insbesondere E. 6.11 des angefochtenen Entscheids, wonach die Bezirke Einsiedeln und Höfe bestimmt Kenntnis vom vorgesehenen Konzessionstext gemäss Entwurf von 1916 gehabt und mit grosser Wahrscheinlichkeit auch diese Formulierung gewählt hätten, wenn sie einen Heimfall per Ende der verlängerten Konzessionsdauer hätten vereinbaren wollen. Die Konzedenten hätten aufgrund der Verhandlungsgespräche gewusst, dass die SBB grundsätzlich nicht bereit waren, ein Heimfallrecht einzuräumen und nur bereit gewesen seien, ein solches für den Fall zu vereinbaren, dass sie nach Ablauf der 50-Jahres-Periode auf eine Verlängerung verzichteten. Dies habe den Konzedenten klar sein müssen.
7.2 Die Beschwerdeführer rügen, diese Würdigung beruhe auf einer unvollständigen oder offensichtlich unrichtigen Sachverhaltsfeststellung:
7.2.1 Sie berufen sich einerseits auf die Verhandlungen, die im Vorfeld der Zusatzvereinbarung in den Jahren 1925 und 1926 zwischen dem Bezirk Einsiedeln und den SBB geführt wurden, namentlich darauf, dass gemäss den Verhandlungsprotokollen der Bezirk Einsiedeln nicht auf den Wunsch der SBB einging, wonach der Verzicht auf Rückkauf und Heimfall solange gelten solle, als die Konzession zum Bahnbetrieb verwendet werde. Diese Protokolle lassen jedoch nicht einen übereinstimmenden Parteiwillen im Sinne der Beschwerdeführer erkennen; aus dem Kontext ergibt sich, dass es den Parteien dabei um eine Ergänzung von Art. 19 lit. a der Zusatzvereinbarung in dem Sinne ging, dass der Verzicht auf den Rückkauf nicht nur zugunsten der SBB gelten sollte, sondern auch zu Gunsten einer anderen Gesellschaft, die den Eisenbahnbetrieb übernimmt. Darüber, ob der Heimfall nur nach den ersten 50 Jahren oder auch nach einer Verlängerung geltend gemacht werden könne, lässt sich den Protokollen keine Aussage entnehmen. Auch daraus, dass der Vertreter der SBB auf die gesetzliche Regelung gemäss Art. 65 ff. WRG verwies, ergibt sich kein Parteiwillen im Sinne der Beschwerdeführer, da diese gesetzlichen Bestimmungen nur regeln, wie ein Heimfall durchzuführen ist, aber nicht, ob ein Heimfallrecht besteht (vorne E. 3). Sodann ergibt sich aus dem Bericht und Antrag des Bezirksrats vom November 1926, dass der Bezirk Einsiedeln vom Konzessionsentwurf von 1916 Kenntnis gehabt hatte.
7.2.2 Andererseits stützen sich die Beschwerdeführer auf die Gutachten der Proff. Schwander und Haller aus den Jahren 1983 bzw. 1984 sowie auf das Schreiben der Beschwerdegegnerin vom 9. Oktober 1985. Die subjektive Vertragsauslegung bezieht sich auf den Willen der Vertragsparteien im Zeitpunkt des Vertragsschlusses. Nachträgliches Parteiverhalten kann berücksichtigt werden, wenn es Rückschlüsse auf den tatsächlichen Willen der Parteien zulässt (BGE 132 III 626 E. 3.1 S. 632; 129 III 675 E. 2.3 S. 680). Die Gutachter vertreten ohne Begründung die Auffassung, im Falle eines Anspruchs auf Erneuerung der Konzession über das Jahr 1987 hinaus könne das Heimfallrecht erst bzw. nicht vor 2017 eintreten, ausser wenn die SBB auf die Erneuerung verzichteten. Die Gutachten lassen aber schon angesichts ihres Entstehungszeitpunkts nicht auf einen Parteiwillen im Zeitpunkt des Vertragsschlusses schliessen, ebenso wenig auf eine ständige Parteiauffassung, welche seither vertreten worden wäre. Das Schreiben der Beschwerdegegnerin vom 9. Oktober 1985 stützt sich offenbar auf diese Gutachten, lässt aber auch keinen Rückschluss auf einen entsprechenden Parteiwillen zu: Die Beschwerdegegnerin stellt sich darin primär auf den Standpunkt, dass sie einen Anspruch auf Erneuerung über 1987 hinaus habe, so dass die Konzession nicht erlösche und demzufolge das Heimfallrecht - welches Erlöschensfolge sei - nicht ausgeübt werden könne. Weiter führt sie aus, mit Rücksicht auf den angemeldeten Erneuerungsanspruch bis mindestens zum Jahre 2017 "könnte ein Heimfall ohnehin frühestens in diesem Zeitpunkt wirksam werden und nicht schon 1987". Das ist ein Eventualstandpunkt, der keine übereinstimmende Willensäusserung im Sinne der Beschwerdeführer erkennen lässt.
7.3 Angesichts dessen ist es nicht offensichtlich unrichtig, wenn die Vorinstanz keinen übereinstimmenden Parteiwillen im Sinne der subjektiven Vertragsauslegung festgestellt hat.
8. 8.1 Die Beschwerdeführer rügen sodann eine fehlerhafte objektive Vertragsauslegung: Die Vorinstanz habe fälschlicherweise einen angeblich klaren Wortlaut als allein massgeblich betrachtet, die Umstände nicht einbezogen, keine gesetzeskonforme Auslegung vorgenommen, die gefundene Lösung nicht auf ihre Sachgerechtigkeit hin überprüft und das Bundesgerichtsurteil vom 11. Juli 1988 nicht berücksichtigt. Das WRG gehe davon aus, dass bei Fehlen von Rückkaufsrechten möglichst Heimfallrechte zum Tragen kämen. Zudem meine der Begriff der Erneuerung in Art. 58 Abs. 2 WRG (in der ursprünglichen Fassung) bzw. Art. 58a (in der geltenden Fassung) nicht die einseitige Verlängerung durch eine Partei, sondern die Neukonzessionierung nach Ablauf der ursprünglichen oder einseitig verlängerten Vertragsdauer; deshalb sei auch der Begriff der Erneuerung in der Zusatzvereinbarung gleich auszulegen. Die vorinstanzliche Auslegung ergebe keinen vernünftigen Sinn und entspreche nicht der Interessenlage der Parteien; denn die Umstände, die ein Heimfallrecht nach 50 Jahren rechtfertigten, würden umso eher für ein solches nach 100 (bzw. gemäss Bundesgericht nach 80) Jahren sprechen. Werde die Betrachtung der Vorinstanz übernommen, könnte das Heimfallrecht überhaupt nie ausgeübt werden: Nach 50 Jahren nicht, weil es zu früh wäre, nach 80 Jahren nicht, weil es zu spät wäre.
8.2 Letzteres Argument trifft offensichtlich nicht zu: Das Heimfallrecht hätte nach der vorinstanzlichen Auslegung ausgeübt werden können, wenn die SBB nach den ersten 50 Jahren auf die Verlängerungsoption verzichtet hätten. Wenn nun diese Voraussetzung nicht eingetreten ist (weil die SBB die Option ausgeübt haben), so heisst das nicht, dass die Auslegung von Vorinstanz und Beschwerdegegnerin sinnlos oder in sich widersprüchlich wäre.
8.3 Die vorinstanzliche Auslegung entspricht dem Wortlaut der Zusatzvereinbarung, wonach das Heimfallrecht nur besteht, wenn die Konzession "nach Ablauf der 50jährigen Dauer nicht mehr erneuert wird". Da die Zusatzvereinbarung ausdrücklich auf Art. 13 Abs. 2 der Konzession Bezug nimmt, liegt es nahe, darin einen Bezug auf die dort vorgesehene Erneuerung nach den (ersten) 50 Jahren zu erblicken. Wäre der Wille der Vertragsparteien darauf gerichtet gewesen, auch nach der Erneuerung um weitere 50 Jahre (bzw. gemäss Urteil des Bundesgerichts vom 11. Juli 1988 um 30 Jahre) ein Heimfallrecht vorzusehen, hätte es näher gelegen, eine Formulierung zu verwenden, wie sie im Konzessionsentwurf von 1916 enthalten war. Ob die Bezirke an diesen Verhandlungen beteiligt waren, was die Beschwerdeführer bestreiten, ist für die objektive Vertragsauslegung nicht ausschlaggebend, abgesehen davon, dass die Formulierung von 1916 zumindest dem Bezirk Einsiedeln bekannt war (vorne E. 7.2.1). Sodann besteht ein Konnex zu Art. 13 Abs. 2 der Konzession - entgegen der Darstellung der Beschwerdeführer - auch für die (bestrittene) Zürcher Zusatzvereinbarung.
8.4 Die Vorinstanz stützt sich weiter darauf, dass der Regierungsrat des Kantons Schwyz in seiner Botschaft an den Kantonsrat betreffend Genehmigung der Konzession samt Zusatzvereinbarung darauf hingewiesen habe, dass das Heimfallrecht nur in drei fast unmöglichen Fällen eintrete. Die Beschwerdeführer machen an sich mit Recht geltend, der Regierungsrat sei nicht Partei der Zusatzvereinbarungen. Das schliesst aber nicht aus, dass Äusserungen des Regierungsrates als ein Indiz nebst anderen für das nach Vertrauensprinzip gebotene Verständnis der Texte herangezogen werden kann. Allerdings war dieses Argument für die Vorinstanz auch nicht das allein ausschlaggebende; der Umstand, dass es in Bezug auf die (schon grundsätzlich umstrittene) Zürcher Zusatzvereinbarung nicht zum Tragen kommen kann, ist deshalb nicht entscheidend.
8.5 Wie dargelegt (vorne E. 3) begründet das WRG selber keine Heimfallrechte und sieht ausdrücklich auch eine Regelung für den Fall vor, dass die Konzession ohne Heimfall endet (Art. 69 WRG). Die gesetzeskonforme Auslegung spricht deshalb nicht dafür, im Zweifel ein Heimfallrecht anzunehmen. Ebenso wenig ergibt sich dies aus dem Anliegen des Gesetzes, eine Bindung des Gemeinwesens über die Maximaldauer der Konzession hinaus zu vermeiden. Denn so oder anders endet die Konzession nach Ablauf dieser Dauer; die Frage ist aber, ob sich die Folgen der Beendigung nach Art. 67 f. oder nach Art. 69 WRG richten. Dazu lässt sich dem Gesetz nichts entnehmen.
8.6 Für die Würdigung der Interessenlage der Parteien ist beachtlich, dass dem Bund nach Art. 12 f. WRG die Befugnis zugestanden hätte, für die Zwecke der SBB auch gegen den Willen der an sich verfügungsberechtigten Gemeinwesen die Benutzung der Wasserkraft in Anspruch zu nehmen (vgl. SALIS/BURCKHARDT, Schweizerisches Bundesrecht, Bd. III, 1930, Nr. 1156 I S. 467 f., sowie heute Art. 76 Abs. 4 Satz 3 BV). Auch wenn die SBB aus Gründen der politischen Rücksichtnahme davon in der Regel nicht Gebrauch gemacht hatten (WYER, a.a.O., S. 27), musste es den Gemeinwesen vor dem Hintergrund dieser Bestimmungen bewusst sein, dass sie nicht auf Maximalforderungen beharren konnten (vgl. auch bereits das Urteil des Bundesgerichts vom 11. Juli 1988 E. 1e/cc). Sodann hatte das Gemeinwesen nach Art. 58 Abs. 2 WRG (in der ursprünglichen Fassung) einen bedingten Anspruch auf Erneuerung der Konzession, der wohl auch zu Gunsten der SBB hätte geltend gemacht werden können (vgl. das Urteil des Bundesgerichts vom 11. Juli 1988 E. 1e/cc sowie die Darlegung der verschiedenen Lehrmeinungen dazu bei AUGUSTIN, a.a.O. [1983], S. 110 ff.), in welchem Fall das Heimfallrecht nach der Entstehungsgeschichte (Sten Bull S 1916 81 ff., Berichterstatter Isler) und der zeitgenössischen Lehrmeinung wohl nicht zum Tragen gekommen wäre (WETTSTEIN, a.a.O., S. 32 f.; ebenso GADIENT, a.a.O., S. 113 ff.; a.M. AUGUSTIN, a.a.O [1983], S. 124 ff.). Auch vor diesem Hintergrund macht die von der Vorinstanz vertretene Auslegung Sinn, dass das Heimfallrecht nur für den Fall ausbedungen wurde, dass die SBB - aus welchen Gründen auch immer - auf die Erneuerung der Konzession verzichten würden. Dies relativiert die an sich nachvollziehbare Überlegung der Beschwerdeführer, wonach der Heimfall darin begründet sei, dass der Konzessionär während der Konzessionsdauer Zeit gehabt habe, seine Anlagen zu amortisieren, was nach 80 Jahren noch mehr zutreffe als nach 50 Jahren.
8.7 Diese Umstände gelten gleichermassen auch für die allfällige Zürcher Zusatzvereinbarung, so dass die von den Beschwerdeführern geltend gemachte besondere Auslegung derselben nicht zu einem anderen Ergebnis führt.
8.8 Das von der Vorinstanz vertretene Auslegungsergebnis entspricht auch der Auslegung der Konzession, wie sie das Bundesgericht bereits in seinem Urteil vom 11. Juli 1988 vorgenommen hat:
8.8.1 Das Bundesgericht hat in diesem Urteil zunächst erwogen, Prozessgegenstand bilde einzig die Frage der Rechtsbeständigkeit, des Inhalts und der Tragweite von Art. 13 Abs. 2 des Konzessionsvertrags, nicht aber die Frage, ob die SBB aufgrund von Art. 58 Abs. 2 WRG (in der damals geltenden ursprünglichen Fassung) von Gesetzes wegen eine Konzessionserneuerung beanspruchen könnten (E. 1b), zumal dafür der Bundesrat zuständig wäre (E. 1e/cc). Aus dem nach Vertrauensprinzip auszulegenden (E. 3a) Art. 13 Abs. 2 der Konzession ergebe sich, dass den SBB angeboten werde, die Verleihungsverlängerung durch einseitige Erklärung zu bewirken. Wäre es nicht um eine Zusage, sondern um eine blosse Absichtserklärung gegangen, so hätten weder die neu festzulegende Dauer noch die dabei festzulegenden Bedingungen in die Konzession aufgenommen werden müssen (hätte doch darüber nach Ablauf der Konzession frei verhandelt werden können); auch wären die SBB angesichts der hohen Kosten für die Erstellung des Werks kaum bereit gewesen, eine aussergewöhnlich kurze Laufzeit zu akzeptieren. Die getroffene Lösung komme den Interessen der SBB an einer langen Laufzeit entgegen, trage aber auch dem Interessen der Konzedenten an einer Anpassung der Geldleistungen Rechnung; auch die Schiedsklausel im letzten Satz von Art. 13 Abs. 2 zeige, dass eine Einigung keine Bedingung für die Weiterdauer der Konzession sei (E. 3b-c). Sodann führt das Bundesgericht weiter aus (E. 3d):
"Wie schon für die ersten 50 Jahre enthält der Konzessionsvertrag auch für den Fall der Erneuerung die in Art. 54 WRG vorgeschriebenen Bestimmungen vollständig. Insbesondere trifft es entgegen der Auffassung der Schwyzer Beklagten nicht zu, dass weder der Umfang der Verleihung noch der Heimfall definiert sind.
Die Konzessionsurkunde regelt für die Erneuerung mit Ausnahme der in Art. 13 Abs. 2 ausdrücklich vorbehaltenen Bereiche (deren Ausgestaltung im Falle der mangelnden Einigung durch eine Schiedsklausel gewährleistet ist) alle Elemente, welche gemäss Art. 54 lit. a bis f WRG anlässlich einer Verleihung durch Vereinbarung oder Verfügung geordnet werden müssen. ...
Der Konzession lässt sich sodann auch eine Regelung im Sinne von Art. 54 lit. f WRG entnehmen, denn diese Gesetzesbestimmung verlangt bloss die Festlegung von Heimfall oder Rückkauf. Indem Art. 13 Abs. 3 bestimmt, dass die konzedierenden Kantone auf das Recht des Rückkaufs der Werksanlagen nebst Zubehör verzichten, ist der gesetzlichen Minimalanforderung Genüge getan."
Die Auslegung ergebe, fährt das Bundesgericht weiter fort, dass die Parteien übereingekommen seien, die Verfügungsgewalt der Gemeinwesen nach Ablauf von 50 Jahren nicht wieder aufleben zu lassen, sondern eine Anpassung der Vertragsbestimmungen einzig bezüglich der zum voraus bezeichneten Punkte vorzunehmen (E. 4a). Indessen führe die vertragliche Verlängerung um weitere 50 Jahre zu einer Gesamtdauer von 100 Jahren, was gegen die gesetzliche Maximaldauer von 80 Jahren (Art. 58 Abs. 1 WRG) verstosse; diese Gesetzwidrigkeit bewirke aber nicht die Ungültigkeit oder Nichtigkeit der ganzen Konzession, sondern ihre Befristung auf das gesetzlich zulässige Mass (E. 4b).
8.8.2 Aus diesem Urteil des Bundesgerichts ergibt sich somit, dass im Falle der Ausübung des Optionsrechts durch die SBB die Konzession unverändert weiterdauert, abgesehen von einer Neufestsetzung der Gegenleistungen (Entschädigung, Wasserzinse und Vorzugskraft). Den Beschwerdeführern ist zuzustimmen, dass damit auch die Heimfallklausel formell weiterhin Inhalt der verlängerten Konzession bildet. Das bedeutet aber nicht, dass sie inhaltlich so auszulegen ist, dass sie auch nach Ablauf der Verlängerungsfrist gilt bzw. der Zeitpunkt für die Ausübung des Heimfallrechts hinausgeschoben wird: Das Urteil des Bundesgerichts bezog sich nicht auf die Zusatzvereinbarung, sondern auf Art. 13 Abs. 2 der Konzession. Die dort enthaltene Bereitschaft der Konzedenten, die Konzession "zu erneuern", gibt den SBB nach Ablauf der ersten 50 Jahre ein einseitiges Optionsrecht auf grundsätzlich unveränderte Weiterführung der bestehenden Konzession, so dass kein Anlass für eine Neukonzessionierung bestand. Das Bundesgericht wies darauf hin, dass unter dem Verb "erneuern" nach allgemeinem Sprachgebrauch sowohl die Verlängerung der bisherigen als auch die Erteilung einer neuen Konzession verstanden werden könne, so dass die rein sprachliche Auslegung nicht zu einem gesicherten Ergebnis führe und der Sinn der Abrede durch Beizug weiterer Elemente zu ermitteln sei (E. 3b/aa), und zwar dahingehend, dass eine (im Prinzip unveränderte) Verlängerung gemeint sei. Der Begriff der Erneuerung ist damit entgegen der Auffassung der Beschwerdeführer nicht im gleichen Sinne zu verstehen wie in aArt. 58 Abs. 2 WRG (ebenso VINZENS AUGUSTIN, Verlängerung von Wasserrechtskonzessionen zum Zweck ihrer Harmonisierung, SJZ 1989 S. 334 ff., 336 f.). Es liegt nahe, dass auch der Ausdruck "nicht mehr erneuert" in der Zusatzvereinbarung die gleiche Wortbedeutung hat wie in Art. 13 Abs. 2 der Konzession, zumal sie ausdrücklich auf diese Bezug nimmt. Er bezieht sich deshalb auf den Fall, dass die SBB die Option nach den ersten 50 Jahren nicht ausüben, nicht auf den Fall einer Neukonzessionierung, in welchem ohnehin alle Bedingungen neu auszuhandeln gewesen wären (vgl. Urteil vom 11. Juli 1988 E. 3b/bb).
8.8.3 Ist somit die Konzession so auszulegen, dass die Verlängerungsoption nach Ablauf der ersten 50 Jahre gilt, so gilt dies auch für den Heimfall, der die Alternative zur Ausübung der Verlängerungsoption darstellt. Nach Ablauf dieser Verlängerung besteht kein vertragliches Optionsrecht mehr für eine weitere Verlängerung, und damit auch das Heimfallrecht (als Alternative dazu) nicht mehr. Obwohl es formell noch in der (verlängerten) Konzession enthalten ist, wird es nach der zweiten Periode gegenstandslos.
9. Ergibt die Auslegung des Vertrags, dass das Heimfallrecht nur für den Fall vorgesehen wurde, dass die Konzession nach den ersten 50 Jahren nicht erneuert wird, so enthält der Vertrag keine Lücke, die richterlich zu füllen wäre. Es fehlt nicht an einer Regelung, welche notwendiger Vertragsinhalt wäre, sondern die Konzession kann in der ausgelegten Fassung ohne weiteres angewendet werden.
10. Besteht nach dem Gesagten kein Heimfallrecht zu Gunsten der Beschwerdeführer, wird ihr Antrag, es sei festzustellen, dass sie das Heimfallrecht rechtsgültig ausgeübt hätten, gegenstandslos. Dasselbe gilt für das in der Beschwerde gestellte Begehren zum Kostenpunkt des vorinstanzlichen Verfahrens, das nur für den Fall des Obsiegens vor Bundesgericht zum Tragen käme.
11. Die Beschwerde ist damit abzuweisen.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer zu gleichen Teilen und unter solidarischer Haftung die Kosten des bundesgerichtlichen Verfahrens, da das Heimfallrecht ein Vermögensinteresse darstellt (Art. 66 Abs. 4 und 5 BGG; Urteile 2C_812/2011 vom 18. Januar 2012 E. 3; 2E_3/2009 vom 11. Juli 2011 E. 8). Die obsiegende Beschwerdegegnerin hat keinen Anspruch auf Parteientschädigung, da sie entgegen ihrer Auffassung auch in der vorliegenden Streitsache öffentlich-rechtliche Aufgaben wahrnimmt (Art. 68 Abs. 3 BGG i.V.m. Art. 2 und 3 SBBG; BGE 126 II 54 E. 8; Urteil 2C_61/2010 vom 26. August 2010 E. 8.2, nicht publ. in BGE 136 II 457).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 20'000.- werden den Beschwerdeführern zu gleichen Teilen unter solidarischer Haftbarkeit auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, dem Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK), und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 30. August 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Klopfenstein