Sachverhalt:
A. Am 4. März 2010 unterbreitete das Bundesamt für Strassen (ASTRA) dem Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK) das Ausführungsprojekt "Nationalstrassen N3/N13, Verzweigung Sarganserland, SABA Schwetti" zur Genehmigung.
Das Projekt sieht vor, das bestehende Entwässerungssystem der Nationalstrasse N13 nördlich des Anschlusses Trübbach mit einer Strassenabwasserbehandlungsanlage (SABA) zu erweitern, damit das gereinigte Strassenabwasser bei der Einleitung in den Vorfluter Schwettigiessen die Anforderungen des Gewässerschutzes erfüllt. Am bestehenden Ölrückhaltebecken sollen Zu-, Ab- und Überleitungen sowie Pumpen eingebaut werden. Zudem sind ein Absetz- und Retentionsfilterbecken sowie eine Zufahrtsstrasse geplant.
B. Im Rahmen der öffentlichen Auflage vom 8. April bis 7. Mai 2010 erhob unter anderem die Ortsgemeinde Wartau Einsprache gegen das Ausführungsprojekt. Sie verlangte im Wesentlichen von der Errichtung der geplanten SABA Schwetti abzusehen, weil das Projekt den Grundsatz des sorgsamen Umgangs mit Nutzland verletze und die Voraussetzungen für eine Enteignung nicht ausgewiesen seien. Eventualiter beantragte sie eine angemessene Entschädigung für das beanspruchte Land.
C. Das UVEK genehmigte das Ausführungsprojekt am 9. November 2010 unter Vorbehalt verschiedener Auflagen. Die Einsprache der Ortsgemeinde Wartau wies es ab, soweit es darauf eintrat. Bezüglich des Entschädigungsbegehrens hielt das UVEK fest, dieses werde nach Abschluss des Plangenehmigungsverfahrens an die zuständige Eidgenössische Schätzungskommission (ESchK) überwiesen.
D. Gegen die Plangenehmigung erhob die Ortsgemeinde Wartau Beschwerde an das Bundesverwaltungsgericht. Dieses führte am 28. Juni 2011 einen Augenschein durch. Am 27. Dezember 2011 hiess es die Beschwerde teilweise gut, hob die Plangenehmigungsverfügung auf und wies die Sache zur weiteren Abklärung im Sinne der Erwägungen an die Vorinstanz zurück. Diese müsse den von der Gemeinde Wartau vorgeschlagenen Alternativstandort Hüttenbrunnen bzw. einen anderen, den Kulturlandschutz hinreichend berücksichtigenden Standort detailliert prüfen.
E. Dagegen hat das UVEK am 3. Februar 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Es beantragt, Ziff. 1 des Dispositivs des angefochtenen Entscheids sei aufzuheben, soweit die Plangenehmigungsverfügung aufgehoben und die Sache zu weiteren Abklärungen zurückgewiesen werde.
F. Die Gemeinde Wartau schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Angefochten ist ein Rückweisungsentscheid des Bundesverwaltungsgerichts in öffentlich-rechtlichen Angelegenheiten.
1.1 Gegen Zwischenentscheide ist die Beschwerde ans Bundesgericht gemäss <ref-law> nur zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
Würde die Beschwerde des UVEK gutgeheissen, würde die Plangenehmigungsverfügung rechtskräftig, d.h. es würde sofort ein Endentscheid herbeigeführt. Damit würden die vom Bundesverwaltungsgericht angeordneten - u.U. weitläufigen - Abklärungen zu Alternativstandorten entfallen. Die Voraussetzungen gemäss <ref-law> liegen somit vor.
1.2 Das UVEK kann sich auf ein besonderes Beschwerderecht gemäss <ref-law> berufen. Dieses steht den Departementen nicht nur als Aufsichtsmittel beim kantonalen Vollzug von Bundesrecht zu, sondern ermöglicht es ihnen auch, Entscheide des Bundesverwaltungsgerichts anzufechten, die eine Verfügung des Departements oder einer ihm unterstellten Bundesstelle aufheben oder abändern (vgl. SEILER/V. WERDT/GÜNGERICH, BGG-Kommentar, N. 40 zu Art. 89; BERNHARD WALDMANN, in: Basler Kommentar zum BGG, 2. Aufl., N. 51 zu Art. 89).
Vorliegend ist ein Ausführungsprojekt für eine Nationalstrasse streitig, das in den Aufgabenbereich des UVEK fällt (Art. 26 Abs. 1 des Bundesgesetzes vom 8. März 1960 über die Nationalstrassen [NSG; SR 725.11]). Dieses hat als Plangenehmigungsbehörde ein Interesse daran, die Anforderungen an die Sachverhaltsabklärung und die Interessenabwägung für Nationalstrassenprojekte, insbesondere betreffend den Kulturlandverbrauch, überprüfen zu lassen.
1.3 Auf die Beschwerde ist somit einzutreten.
2. Das Bundesverwaltungsgericht warf dem UVEK eine unvollständige Sachverhaltsabklärung sowie eine fehlerhafte Interessenabwägung vor:
Zwar dürfe sich der Aufwand für die Ausarbeitung von Projektvarianten und Alternativen in einem gewissen Rahmen halten. Stelle sich schon aufgrund einer Projektskizze oder grober Kostenberechnungen heraus, dass eine Lösung mit erheblichen Nachteilen belastet sei, dürfe sie ohne Weiteres als unzweckmässig aus dem Auswahlverfahren ausgeschieden werden. Vorliegend sei der von der Gemeinde vorgeschlagene Alternativstandort bei Hüttenbrunnen aber einzig aus Kostengründen ausgeschlossen worden; andere Nachteile (technischer oder umweltrechtlicher Art) seien nicht geltend gemacht worden. Dem finanziellen Interesse alleine sei nicht ohne Weiteres mehr Gewicht beizumessen als dem öffentlichen Interesse an einer haushälterischen Bodennutzung. Der Standort Hüttenbrunnen weise neben dem Kulturlandschutz auch bezüglich der Erschliessung gewisse Vorteile auf und stehe bereits im Eigentum des Bundes, sodass keine Enteignung erforderlich wäre.
Das UVEK habe das öffentliche Interesse an einer haushälterischen Bodennutzung, dem hohes Gewicht beizumessen sei, nicht hinreichend berücksichtigt: Alle drei im Rahmen der Planung näher geprüften Standorte lägen auf landwirtschaftlichem Nutzland (Wies- und Ackerland); eine Projektvariante mit geringer bzw. ohne Beanspruchung von Kulturland sei nicht detailliert ausgearbeitet worden. Die rein ökonomischen Interessen seien im Vergleich zu den gewichtigen Interessen am Kulturlandschutz und der Fruchtfolgeflächensicherung von untergeordneter Bedeutung, weshalb (unter Vorbehalt der Ergebnisse einer detaillierten Prüfung) einem den Kulturlandschutz hinreichend berücksichtigenden Standort der Vorzug zu geben sei.
3. Das UVEK macht dagegen geltend, das Bundesverwaltungsgericht habe überrissene Anforderungen an die Sachverhaltsabklärung, namentlich im Zusammenhang mit Alternativstandorten, gestellt. Dies führe zu einer erheblichen Rechtsunsicherheit und zu einem unverhältnismässigen zeitlichen und finanziellen Mehraufwand, der eine effiziente und wirtschaftliche Abwicklung der Plangenehmigungsverfahren für Nationalstrassenprojekte verunmöglichen würde.
Das öffentliche Interesse an einer haushälterischen Bodennutzung könne keinen absoluten Schutz beanspruchen. Es gehe zu weit, bei der Ausarbeitung von Nationalstrassenprojekten stets Varianten in verschiedenen Zonen zu verlangen. Ohnehin seien die Projekte häufig standortgebunden und könnten aufgrund verschiedener gesetzlicher Vorschriften (z.B. Gewässerschutzgesetz, Waldgesetz) oder privater Interessen nicht an beliebigen Orten realisiert werden.
Das UVEK beruft sich auf die bundesgerichtliche Rechtsprechung (z.B. Urteil 1E.5/2000 vom 25. April 2001 E. 8), wonach das Gericht nur prüfen dürfe, ob wichtige Interessen unberücksichtigt geblieben, öffentliche Anliegen klar unrichtig gewichtet worden seien oder die Planungsbehörde das ihr zustehende Ermessen missbraucht oder überschritten habe. Zudem sei zu berücksichtigen, dass die für den Nationalstrassenbau zur Verfügung stehenden Mittel nicht unbegrenzt seien und sparsam mit Geldmitteln des Bundes im Nationalstrassenbau umgegangen werden müsse.
Im vorliegenden Fall habe das ASTRA verschiedene Standorte auf Grund von nachvollziehbaren Kriterien geprüft, wobei auch der Landverbrauch berücksichtigt worden sei. Dabei habe sich der projektierte Standort "Schwetti" als beste Variante erwiesen: Er befinde sich am Tiefpunkt des Entwässerungsnetzes, an einer Stelle, an der bereits heute ein Ölrückhaltebecken bestehe. Alle involvierten Bundesämter hätten dem Projekt zugestimmt. Das Landwirtschaftsamt des Kantons St. Gallen habe zwar in seinem Schreiben vom 5. August 2010 darauf hingewiesen, dass die Landwirtschaft durch die in der Region geplanten Vorhaben (und nicht speziell das vorliegend streitige Projekt) deutlich stärker berührt werde als ursprünglich angenommen; es habe aber eine nochmalige Beurteilung nur für die SABA Reschubach und nicht für den Standort Schwetti verlangt. Unter diesen Umständen habe es im Ermessen der Planungsbehörde gelegen, auf die Prüfung weiterer Alternativen zu verzichten.
Der von der Gemeinde Wartau vorgeschlagene Standort Hüttenbrunnen würde eine Pumpleitung von über 2 km Länge erfordern, was beim Bau Mehrkosten von 50 % verursachen (Fr. 3 Mio. statt 2 Mio.) und zu höheren Unterhaltskosten führen würde. Zudem müsste auch am Standort Hüttenbrunnen zusätzliches Land für den Bau der SABA beansprucht werden, da dort bisher nur ein Retentionsbecken bestehe. Der Standort sei daher vom ASTRA zu Recht als unzweckmässig ausgeschieden worden.
4. Streitig ist vorliegend vor allem die Bedeutung, die bei der Vorauswahl möglicher Standorte bzw. der Ausscheidung offensichtlich unzweckmässiger Standorte dem Kulturlandschutz einerseits und finanziellen Interessen andererseits beizumessen ist.
4.1 Bund, Kantone und Gemeinden sorgen dafür, dass der Boden haushälterisch genutzt wird (<ref-law>; Art. 1 Abs. 1 RPG). Sie unterstützen mit Massnahmen der Raumplanung insbesondere die Bestrebungen, die natürlichen Lebensgrundlagen wie Boden, Luft, Wasser, Wald und die Landschaft zu schützen (Art. 1 Abs. 2 lit. a RPG) und die ausreichende Versorgungsbasis des Landes zu sichern (Art. 1 Abs. 2 lit. d RPG). Die mit Planungsaufgaben betrauten Behörden müssen darauf achten, die Landschaft zu schonen; insbesondere sollen der Landwirtschaft genügende Flächen geeigneten Kulturlandes erhalten bleiben (Art. 3 Abs. 2 lit. a RPG). Besonderen Schutz verdienen dabei die Fruchtfolgeflächen (<ref-law>; Art. 3 Abs. 1 des Bundesbeschlusses vom 8. April 1992 betreffend den Sachplan Fruchtfolgeflächen; im Folgenden: Sachplan FFF; vgl. <ref-ruling> E. 3.3 S. 220 mit Hinweisen).
Zwar ist es nicht von vornherein ausgeschlossen, Fruchtfolgeflächen zu anderen als landwirtschaftlichen Zwecken in Anspruch zu nehmen, wenn dies durch entgegenstehende, höher zu gewichtende Interessen gerechtfertigt erscheint. Hierfür ist aber eine umfassende Abwägung aller privaten und öffentlichen Interessen erforderlich (<ref-law>). Dies setzt gemäss der Vollzugshilfe 2006 des Bundesamts für Raumentwicklung (ARE) zum Sachplan FFF (Ziff. 4.1 S. 8) grundsätzlich den Nachweis der Prüfung von Alternativen ohne oder mit weniger Beanspruchung von Fruchtfolgeflächen (einschliesslich Kompensationsmöglichkeiten) voraus. Weiter muss sichergestellt sein, dass der Anteil des Kantons am Mindestumfang der Fruchtfolgeflächen dauernd erhalten bleibt (<ref-law>).
Schliesslich sind gewisse verfahrensrechtliche Anforderungen zu beachten: <ref-law> verpflichtet die Kantone, dem ARE rechtzeitig die Änderung von Nutzungsplänen mitzuteilen, wenn Fruchtfolgeflächen um mehr als drei Hektaren vermindert werden. Stellen Bundesstellen fest, dass bei der Ausübung ihrer raumwirksamen Tätigkeit Fruchtfolgeflächen beansprucht werden müssen, so holen sie rechtzeitig die Stellungnahme des ARE ein (Art. 3 Abs. 2 Sachplan FFF und Vollzugshilfe Ziff. 4.1 S. 8). Dies gilt (Art. 3 Abs. 3 e contrario) grundsätzlich auch bei der Inanspruchnahme von Flächen von weniger als 3 ha.
4.2 Gemäss den Projektunterlagen (Umweltnotiz Ziff. 4.9) werden für die SABA Schwetti 3'100 m2 Fruchtfolgefläche definitiv (durch Absetzbecken, Retentionsfilterbecken mit Sandfilter und Unterhaltsweg) und 1'100 m2 temporär (während der Bauphase) beansprucht. Hierzu wurde das Landwirtschaftsamt St. Gallen konsultiert; im Verfahren gemäss Art. 62a Abs. 1 des Regierungs- und Verwaltungsorganisationsgesetzes vom 21. März 1997 (RVOG; SR 172.010) wurden das Bundesamt für Umwelt (BAFU) und das Eidgenössische Starkstrominspektorat (ESTI) zur Stellungnahme eingeladen. Eine Stellungnahme des ARE ist dagegen nicht aktenkundig.
Alternativen ausserhalb von Fruchtfolgeflächen oder mit geringerem Kulturlandverbrauch wurden nicht detailliert abgeklärt, weil das ASTRA davon ausging, das Vorhaben sei standortgebunden. Dies ist im Folgenden zu prüfen.
Immerhin versuchte das ASTRA, den Landverbrauch für den Sanierungsabschnitt der N3/N13 Verzweigung Sarganserland insgesamt zu minimieren, indem gewisse Teilabschnitte zusammengelegt und nur 6 (anstelle der ursprünglich vorgesehenen 10) SABAs erstellt wurden. Für die SABA Schwetti wurde zudem von den drei untersuchten Standorten derjenige gewählt, der den für die Landwirtschaft am wenigsten störenden Verlust an Fruchtfolgefläche bewirkt: Es handelt sich um eine spitzwinklige, umständlich zu erreichende Parzelle zwischen der Autobahn einerseits und dem Schwettigiessen andererseits, die heute als Weideland genutzt wird (vgl. Umweltnotiz SABA Schwetti Ziff. 4.1 S. 3).
4.3 Das ASTRA erläutert in seiner Aktennotiz vom 13. Januar 2012, dass die SABA Schwetti insofern standortgebunden sei, als sie an die bestehende Entwässerungsableitung der Nationalstrasse N13 anknüpfe. Diese liege am Tiefpunkt des Entwässerungsnetzes und führe über das bereits vorhandene Ölrückhaltebecken Schwetti, welches weiter genutzt werden solle. Werde die SABA an einem anderen Ort gebaut, so müsse das Abwasser vom Ableitungsstandort dorthin gepumpt werden, was zu höheren Investitions- und Betriebskosten führe. Ab einer Entfernung von 1000 m müsse mit Mehrkosten von mindestens ca. Fr. 500'000.-- gerechnet werden; bei einer Entfernung von 2 km (wie zum Standort Hüttenbrunnen oder zur 2 km südlich liegenden SABA Saarkanal) betrügen die Mehrkosten ca. 1 Mio. Franken. Hinzu kämen rund Fr. 6'500.-- jährlich für den erhöhten Strom- und Wartungsbedarf der Pumpleitung. Aufgrund dieser überschlägigen Kostenabschätzung seien in einem ersten Schritt alle Standorte ausgeschieden worden, die weiter als 1000 m vom bestehenden Ölabscheider entfernt gewesen seien, darunter auch der Standort Hüttenbrunnen. Überdies seien eine Reihe von ausschliessenden Randbedingungen zu beachten gewesen, z.B. das angrenzende Ausland (Liechtenstein), Grundwasserschutzareale, die einzuhaltenden Abstände zu den bestehenden Fliessgewässern (Rhein, Saarkanal, Schwettigiessen), Waldstandorte, die SBB-Trasse und Überbauungen der Gemeinde Wartau. Da sich im Umkreis von 1000 m keine Alternativstandorte aufgezwungen hätten, sei der Untersuchungsbereich weiter - auf einem Umkreis von 500 m - eingeengt worden. In diesem Perimeter hätten sich alle (insgesamt 25) in Betracht kommenden Alternativstandorte auf Fruchtfolgeflächen befunden. Die detaillierte Überprüfung habe sich daher auf drei Standorte in der Nähe des bestehenden Ölrückhaltebeckens beschränkt.
4.4 Wie das UVEK zu Recht geltend macht, sind die Gelder für den Nationalstrassenbau nicht unbeschränkt; die Investitions- und Betriebskosten sind daher ein gewichtiger Faktor, der bei der Vorauswahl der in Betracht kommenden Standorte durchaus berücksichtigt werden darf. Grundsätzlich erscheint das Vorgehen des ASTRA, die Standortsuche aus Kostengründen auf einen Perimeter von 1000 m um die bestehende Entwässerungsableitungen herum zu beschränken, zulässig, jedenfalls, sofern sich ein weiter entfernt liegender Standort nicht geradezu aufdrängt.
4.5 Dies wäre beim Standort Hüttenbrunnen wohl zu bejahen, wenn das Retentionsbecken ohne zusätzlichen Landbedarf zu einer SABA umgebaut werden könnte.
4.5.1 Das UVEK macht geltend, das bestehende Retentionsbecken diene nur dem Schutz vor Überschwemmungen bei Starkregenereignissen und habe keine Reinigungswirkung; dementsprechend müsse auch am Standort Hüttenbrunnen eine komplett neue SABA gebaut und hierfür Land beansprucht werden. Dies wird von der Gemeinde Wartau nicht bestritten. Deren Vertreter machte am Augenschein lediglich geltend, das Land bei Hüttenbrunnen sei bereits abgetreten und werde auch nicht landwirtschaftlich genutzt, sodass ein allfälliger zusätzlicher Landbedarf nicht ins Gewicht falle.
Insofern ist davon auszugehen, dass auch am Standort Hüttenbrunnen zusätzlich Land für den Bau der SABA beansprucht werden müsste; allerdings würde es sich nicht um Kulturland bzw. Fruchtfolgeflächen handeln. Der Landverbrauch wäre zudem etwas geringer als am Standort Schwetti, wenn das bestehende Retentionsbecken mitverwendet werden kann. In welchem Ausmass und an welcher Stelle Land beansprucht werden müsste und welche öffentlichen Interessen dadurch berührt werden, muss aber erst noch abgeklärt werden.
4.5.2 Gemäss den Ausführungen des Vertreters des ASTRA am Augenschein stellt der zweimal jährlich durchzuführende Unterhalt der SABA keine hohen Anforderungen an die Erschliessung (vgl. Protokoll Ziff. 1 S. 5); insofern fallen die Erschliessungsvorteile des Standorts Hüttenbrunnen nicht stark ins Gewicht.
4.5.3 Zu berücksichtigen ist dagegen, dass das Land am Alternativstandort Hüttenbrunnen schon früher im Zusammenhang mit dem Nationalstrassenbau an den Bund abgetreten wurde. Grundsätzlich gebieten es die Eigentumsgarantie und das Verhältnismässigkeitsprinzip, vor der Inanspruchnahme weiterer Flächen abzuklären, ob das bereits abgetretene Land genügt, um auch die neue Aufgabe (SABA) zu bewältigen. Dies gilt jedenfalls, wenn dies vom Enteigneten verlangt wird und nicht von vornherein unmöglich erscheint.
Die Gemeinde Wartau (als Eigentümerin des zu enteignenden Landes bei Schwetti) hat frühzeitig das Gespräch gesucht (vgl. Schreiben vom 26. März 2010). In ihrer Einsprache wies sie ausdrücklich auf den Alternativstandort Hüttenbrunnen hin und verlangte sinngemäss dessen Abklärung. Entgegen der Auffassung des UVEK war dieser Hinweis spezifisch genug, auch wenn vom Retentionsbecken "im Raum Hörnli" die Rede war. Sie machte geltend, es sei nicht nachvollziehbar, weshalb in einer derart geringen Entfernung ein zweites Becken, wiederum auf Land der Ortsgemeinde Wartau, erstellt werden müsse.
Zumindest unter diesen Umständen ist mit der Vorinstanz eine Verpflichtung zur Detailabklärung des Standorts Hüttenbrunnen zu bejahen. Ob die Vorteile dieses Standorts die Nachteile überwiegen, wird erst nach erfolgter Detailprüfung beurteilt werden können.
4.6 Problematisch erscheint ferner, dass Standorte innerhalb der Bauzone für die SABA Schwetti von vornherein nicht in Betracht gezogen wurden. In der Umweltnotiz SABA Schwetti (Ziff. 4.1) heisst es dazu, aufgrund der erforderlichen Fläche, der Distanz zu Autobahn und der Einleitung in einen Vorfluter sei die Anlage auf einen Standort ausserhalb der Bauzone angewiesen. Allerdings befindet sich in weniger als 1000 m Entfernung zum Ölrückhaltebecken die Gewerbe-Industriezone Wartaus mit grossen, unüberbauten Parzellen, die unmittelbar an die Autobahn angrenzen (vgl. Zonenplan, Anh. B der Umweltnotiz). Es ist nicht ohne Weiteres ersichtlich, weshalb die SABA nicht auf einer dieser Parzellen errichtet werden könnte.
4.7 Hinzu kommt, dass das ARE offensichtlich zur Problematik des Fruchtfolgeflächen-Verlusts nicht angehört worden ist (vgl. oben, E. 4.2). In diesem Zusammenhang ist zu bedenken, dass die SABA Schwetti nur eines von mehreren Projekten im Sanierungsabschnitt Abzweigung Sarganserland und (schweizweit gesehen) von zahlreichen Projekten zur gewässerschutzkonformen Ableitung von Abwässern der Nationalstrassen ist. Diese führen bei gesamthafter Betrachtung zu einer erheblichen Beanspruchung von Kulturland (einschl. Fruchtfolgeflächen). Unter diesen Umständen würde es sich rechtfertigen, beim ARE (sofern noch nicht geschehen) eine über den vorliegenden Einzelfall hinausgehende Stellungnahme zur Frage einzuholen, wie der Kulturlandverlust bei der Abwasserbehandlung von Nationalstrassen minimiert werden könnte.
5. Zusammenfassend erscheint somit das Vorgehen des Bundesverwaltungsgerichts, die Sache zu ergänzenden Abklärungen an das UVEK zurückzuweisen, gerechtfertigt. Die Beschwerde ist daher abzuweisen. Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Eidgenössischen Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK), der Ortsgemeinde Wartau und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 29. März 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber