Sachverhalt:
A. Die AEW Energie AG beabsichtigt, die Elektrizitätsleitungen des bestehenden 50 kV-Netzes im Raum Bremgarten-Rottenschwil für den Betrieb mit 110 kV umzubauen, um dem steigenden Energiebedarf Rechnung tragen zu können. Das Plangenehmigungsgesuch vom 22. Juni 2006 sieht teilweise eine neue Trasseeführung mit teilweiser Verkabelung vor. Das Projekt betrifft im Abschnitt der Reussquerung das im Bundesinventar der Landschaften und Naturdenkmäler von nationaler Bedeutung (BLN) eingetragene Schutzobjekt "Reusslandschaft" und das im Inventar der Wasser- und Zugvogelreservate von internationaler und nationaler Bedeutung enthaltene Schutzobjekt "Reuss: Bremgarten-Zufikon bis Brücke Rottenschwil".
Im Rahmen der öffentlichen Auflage erhoben am 16. November 2006 unter anderen X._ sowie A. und B.Y._ beim Eidgenössischen Starkstrominspektorat (ESTI) Einsprache gegen das Projekt. In der Hauptsache verlangten sie eine (Teil-) Verkabelung der neuen Freileitungen respektive die Beibehaltung der bisherigen Trasseeführung mit kleineren Anpassungen.
An den Einspracheverhandlungen vor dem ESTI vom 16. März 2007 und vor dem Bundesamt für Energie (BFE) vom 3. Juni 2009 konnte keine Einigung erzielt werden. Mit Entscheid vom 6. Oktober 2010 genehmigte das Bundesamt eine durch die AEW Energie AG angepasste Planvorlage unter Auflagen.
B. Am 8. November 2010 gelangten X._ sowie A. und B.Y._ mit Beschwerde gegen die Plangenehmigung an das Bundesverwaltungsgericht. Sie beantragten im Wesentlichen, das Vorhaben sei im Bereich Zufikon bis Rottenschwil so abzuändern, dass zwischen dem Emaus (Zufikon) und dem Geisshof (Unterlunkhofen) keine neue Freileitung zu stehen komme; eventuell sei die neue Leitung zwischen Emaus (Zufikon) und Rottenschwil zu verkabeln.
Mit Urteil vom 17. Oktober 2011 hob das Bundesverwaltungsgericht den Plangenehmigungsentscheid des Bundesamts vom 6. Oktober 2010 auf und wies die Sache zur weiteren Abklärung im Sinne der Erwägungen an die Vorinstanz zurück. Aus den Erwägungen ergibt sich, dass der Schutz des BLN-Objekts eingehend zu prüfen und eine Verkabelungsvariante auszuarbeiten sei.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbescherde vom 18. November 2011 beantragen X._ sowie A. und B.Y._ unter anderem, die Sache sei zur weiteren Abklärung im Sinne der vom Bundesgericht ergänzten Erwägungen an das Bundesamt für Energie zurückzuweisen. Ausserdem sei den Beschwerdeführern eine höhere Parteientschädigung für die vorinstanzlichen Verfahren zuzusprechen.
D. Das Bundesgericht verzichtet auf die Einholung von Vernehmlassungen zur Beschwerde.
Erwägungen:
1. Der angefochtene Entscheid betrifft die Plangenehmigung für eine Elektrizitätsleitung und damit eine öffentlich-rechtliche Angelegenheit im Sinne von Art. 82 lit. a BGG. Es liegen keine Ausschlussgründe nach Art. 83 ff. BGG vor. Für die subsidiäre Verfassungsbeschwerde, die nur gegen Entscheide letzter kantonaler Instanzen erhoben werden kann, besteht kein Raum (Art. 113 ff. BGG).
2. Mit dem angefochtenen Entscheid wird der Plangenehmigungsentscheid des Bundesamts für Energie vom 6. Oktober 2010 aufgehoben und die Sache zur weiteren Abklärung im Sinne der Erwägungen an das Bundesamt zurückgewiesen. Mit diesem Entscheid wird das Verfahren nicht abgeschlossen. Es liegt somit kein Endentscheid im Sinne von Art. 90 BGG, sondern ein Zwischenentscheid (Art. 93 BGG) vor.
2.1 Gegen selbstständig eröffnete Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen, ist die Beschwerde nur zulässig, wenn der Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Art. 93 Abs. 1 lit. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG). Die selbstständige Anfechtbarkeit von Zwischenentscheiden bildet aus prozessökonomischen Gründen eine Ausnahme vom Grundsatz, dass sich das Bundesgericht mit jeder Angelegenheit nur einmal befassen soll (BGE 135 I 261 E. 1.2; 134 III 188 E. 2.2; 133 III 629 E. 2.1). Die Ausnahme ist restriktiv zu handhaben, zumal die Parteien keine Rechte verlieren, wenn sie einen Zwischenentscheid im Sinne von Art. 93 BGG nicht selbstständig anfechten, können sie ihn doch mit dem Endentscheid anfechten, soweit er sich auf dessen Inhalt auswirkt (Art. 93 Abs. 3 BGG; BGE 133 IV 288 E. 3.2). Dementsprechend obliegt es den Beschwerdeführern, detailliert darzutun, dass die Eintretensvoraussetzungen von Art. 93 BGG erfüllt sind, soweit deren Vorliegen nicht offensichtlich ist (vgl. dazu BGE 134 III 426 E. 1.2 in fine; 133 III 629 E. 2.3.1 und 2.4.2).
2.2 Die Beschwerdeführer setzen sich mit den Voraussetzungen von Art. 93 BGG nicht auseinander und zeigen nicht auf, inwiefern die gesetzlichen Voraussetzungen für die Anfechtung des Zwischenentscheids gegeben sind. Deren Vorliegen ist auch nicht offensichtlich, weshalb auf die Beschwerde bereits aus diesem Grund nicht eingetreten werden kann.
2.3 Die Beschwerdeführer beanstanden, dass die Sache nur insoweit zur Neubeurteilung zurückgewiesen worden sei, als sich die umstrittene Leitung innerhalb des BLN-Objekts befinde. Die Verkabelung des ausserhalb des BLN-Objekts gelegenen Teils der Leitung stehe nicht mehr zur Diskussion, nachdem die Vorinstanz in E. 8.3.5.1 ihres Entscheids ausführe, das BAFU habe bezüglich des Abschnitts ausserhalb des BLN-Objekts überzeugend dargelegt, dass die Freileitung dem Schonungsgebot gemäss Art. 3 Abs. 1 NHG (SR 451) genüge, zumal sie vom Wald im Hintergrund kaschiert werde.
Mit dem angefochtenen Entscheid wird der ganze Plangenehmigungsentscheid des Bundesamts aufgehoben, und es wird im weiteren Verfahren der Umfang der erforderlichen Verkabelung zu prüfen sein. Insoweit liegt auch in Bezug auf den Teil des umstrittenen Vorhabens, der nicht innerhalb des BLN-Objekts, sondern an dessen Rand verläuft, noch keine abschliessende Beurteilung vor. Es wird Sache des Bundesamts für Energie sein, das umstrittene Projekt aufgrund der neu zu erstellenden Pläne zu beurteilen. Dabei wird die neuere bundesgerichtliche Rechtsprechung zu berücksichtigen sein, nach welcher auch für Gebiete ausserhalb von BLN-Objekten eine umfassende Interessenabwägung erfolgen muss (vgl. Art. 3 NHG; BGE 137 II 266).
2.4 Schliesslich kritisieren die Beschwerdeführer die Höhe der ihnen im angefochtenen Entscheid zugesprochenen Parteientschädigung.
Nach der Praxis des Bundesgerichts gilt auch die Regelung der Kosten- und Entschädigungsfolgen in einem Rückweisungsentscheid als Zwischenentscheid (BGE 135 III 329 E. 1.2 mit Hinweisen). Ein solcher Zwischenentscheid verursacht keinen nicht wieder gut zu machenden Nachteil (Art. 93 Abs. 1 lit. a BGG), weil der Kostenentscheid im Anschluss an den aufgrund des Rückweisungsentscheids neu ergehenden Endentscheid in der Sache angefochten werden kann (Art. 93 Abs. 3 BGG; BGE 135 III 329; 133 V 645 E. 2; Urteile 9C_567/2008 vom 30. Oktober 2010 E. 3 und 4 sowie 2C_759/2008 vom 6. März 2009 E. 2, in: StR 64/2009 S. 608). Entscheidet die Instanz, an welche die Sache zurückgewiesen wurde, in der Hauptsache voll zu Gunsten der beschwerdeführenden Person, so dass diese keinen Anlass mehr hat, diesen Entscheid in der Sache anzufechten, so kann die Kosten- oder Entschädigungsregelung im Rückweisungsentscheid direkt innerhalb der Frist von Art. 100 BGG ab Rechtskraft des Endentscheids mit ordentlicher Beschwerde beim Bundesgericht angefochten werden (BGE 133 V 645 E. 2.2 S. 648; 122 I 39 E. 1a/bb S. 42 f.; 117 Ia 251 E. 1b S. 254 f.; Urteil 9C_688/2009 vom 19. November 2009 E. 1.1, in: SVR 2010 IV Nr. 27; 2C_60/2011 vom 12. Mai 2011 E. 1). Im vorliegenden Urteil kann die vom Bundesverwaltungsgericht zugesprochene Parteientschädigung jedoch nicht beurteilt werden.
3. Auf die vorliegende Beschwerde kann somit nicht eingetreten werden. Die Gerichtskosten sind den unterliegenden Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung aufzuerlegen (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegnerin sind keine Kosten entstanden, weshalb ihr auch keine Parteientschädigung zusteht (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien, dem Bundesamt für Energie und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 2. Dezember 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag