Sachverhalt:
A. Im Gebiet Letzau Nord, nördlich von Montlingen, liegen fünf benachbarte Grundstücke: Parzellen Nrn. 3186 (im Eigentum von A. und B.X._), 5203 und 4833 (Eigentum von C. und D.Y._), 5440 und 5441 (E. und F.Z._). Diese bilden (ohne den östlichen Teil von Parzelle Nr. 3186) ein Rechteck von rund 3'500 m2. Gemäss Zonenplan der Gemeinde Oberriet vom 26. Mai 1994 sind sie der Landwirtschaftszone zugewiesen.
Im Süden schliesst eine Intensiverholungszone Reiten (IE R) an, die durch den Teilzonenplan Letzau I in östlicher Richtung erweitert werden soll. Weiter südlich trennt ein rund 80 m breiter Grünstreifen die IE R von der nächstgelegenen Siedlungsgruppe am nördlichen Dorfrand von Montlingen. Im Westen, Norden und Osten sind die fünf Grundstücke von der Landwirtschaftszone mit Fruchtfolgeflächen umgeben. Weiter nördlich, in etwa 340 m Entfernung, befindet sich die Industriezone Letzau. Die fünf Grundstücke werden durch eine Gemeindestrasse dritter Klasse erschlossen, die von der Kriessernstrasse in nördlicher Richtung abzweigt.
Auf den fünf Grundstücken befinden sich zahlreiche Bauten und Anlagen: Auf Parzelle Nr. 3186 stehen drei Gebäude (Assek.-Nrn. 3119, 4406 und 4812); in letzterer führt A.X._ einen Metallbaubetrieb; die beiden anderen dienen als Lager und Wohnraum. Auf dem Grundstück Nr. 5440 befindet sich eine Halle, die als Stall und Lagerraum genutzt wird. Auf den Parzellen 5441 und 4833 steht je ein Wohnhaus. Die Bauten und Anlagen sind z.T. vorbestehend, z.T. wurden sie ausdrücklich bewilligt. Bewilligt ist insbesondere die gewerbliche Nutzung der Gebäude auf dem Grundstück Nr. 3186; dagegen wurde ihre Nutzung zu Wohnzwecken untersagt. Am 12. Januar 2009 ordnete der Gemeinderat Oberriet den Rückbau der widerrechtlich zu Wohnzwecken umgebauten Räumlichkeiten in den Hallen Assek.-Nrn. 3119 und 4406 sowie der Aussenanlagen bis 1. Juni 2009 an. Der Beschluss ist rechtskräftig geworden, und das Schwimmbassin wurde entfernt. Die anderen widerrechtlich erstellten Räume und Anlagen wurden bisher nicht zurückgebaut.
B. Am 16. Februar 2009 erliess der Gemeinderat Oberriet den Teilzonenplan Letzau I, Montlingen. Dieser sieht vor, die IE R in östliche Richtung zu erweitern (Grundstücke Nrn. 2781, 3184 und 3183). Dagegen erhoben u.a. A. und B.X._, C.Y._ und der WWF, Sektion St. Gallen, Einsprache. Mit letzterem wurde eine gütliche Einigung erzielt, indem vereinbart wurde, dass die Bebauungsmöglichkeiten in der neu einzuzonenden Fläche durch einen überlagernden Überbauungsplan reduziert und die freizuhaltenden Arealteile verbindlich festgelegt würden.
Am 7. September 2009 wies der Gemeinderat Oberriet die Einsprachen gegen den Teilzonenplan Letzau I ab. Nach Durchführung des Referendumsverfahrens stellte der Gemeinderat am 14. Oktober 2009 fest, dass ein zustimmender Entscheid der Bürgerschaft vorliege. Dagegen erhoben die Eheleute X._ und C.Y._ Rekurs beim Baudepartement des Kantons St. Gallen.
C. Bereits am 31. Juli 2009 hatten A. und B.X._ sowie C.Y._ einen privat erarbeiteten "Teilzonenplan Letzau Nord, Montlingen, Ergänzung" eingereicht. Danach soll ein Rechteck von rund 3'500 m2, bestehend aus den Parzellen Nrn. 3186, 5203, 4833, 5440 und 5441 (ohne den östlichen Teil von Nr. 3186) der Wohn- und Gewerbezone (WG2) zugeteilt werden.
Am 21. September 2009 entschied der Gemeinderat Oberriet, er befürworte die beantragte Umzonung und reichte den Entwurf des Teilzonenplans Letzau Nord dem kantonalen Amt für Raumentwicklung und Geoinformation (AREG) zur Vorprüfung ein. Die Eigentümer der Parzellen Nrn. 5440 und 5441, E. und F.Z._, sprachen sich gegen die Umzonung aus. Am 8. Januar 2010 erstattete das AREG einen Vorprüfungsbericht und stellte in Aussicht, den Teilzonenplan Letzau Nord nicht zu genehmigen.
Daraufhin wies der Gemeinderat Oberriet am 1. Februar 2010 das Umzonungsbegehren ab. Dagegen erhoben A. und B.X._ sowie C.Y._ Rekurs beim Baudepartement.
D. Am 25. Oktober 2010 lehnte es das Baudepartment ab, die beiden Rekursverfahren zu vereinigen. Gleichentags wies es den Rekurs gegen den Teilzonenplan Letzau I ab, soweit es darauf eintrat.
Am 10. Januar 2011 wies es den Rekurs betreffend den Teilzonenplan Letzau Nord ab, soweit darauf eingetreten wurde.
E. Gegen beide Entscheide erhoben A. und B.X._ sowie C.Y._ Beschwerde beim Verwaltungsgericht des Kantons St. Gallen.
Dieses sistierte das Beschwerdeverfahren betreffend den Teilzonenplan Letzau I bis zum Vorliegen des Genehmigungsentscheids.
Dagegen lehnte es die Gesuche um Sistierung des Beschwerdeverfahrens betreffend den Teilzonenplan Letzau Nord sowie um Vereinigung der beiden Beschwerdeverfahren ab. Am 20. März 2012 wies es die Beschwerde in Sachen Teilzonenplan Letzau Nord ab.
F. Dagegen haben A. und B.X._ und C.Y._ (im Folgenden: die Beschwerdeführer) am 14. Mai 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten und Verfassungsbeschwerde ans Bundesgericht erhoben. Sie beantragen, die Entscheide des Verwaltungsgerichts, des Baudepartements und des Gemeinderates Oberriet betr. den Teilzonenplan Letzau Nord seien aufzuheben und die Sache sei an den Gemeinderat Oberriet zur Durchführung des öffentlichen Auflage- und Einspracheverfahrens zurückzuweisen, eventualiter zur Festlegung einer angemessenen Zonenordnung für die vom Teilzonenplan Letzau-Nord betroffenen Flächen. Subeventualiter sei die Sache an das Verwaltungsgericht zurückzuweisen zur ergänzenden Abklärung des Sachverhalts.
G. E. und F.Z._ (im Folgenden: die Beschwerdegegner) sowie das Verwaltungsgericht und das Baudepartement schliessen auf Abweisung der Beschwerde.
Das Bundesamt für Raumplanung (ARE) teilt die Auffassung der Vorinstanzen, dass die Beschwerdeführer keinen Anspruch auf Einzonung haben, auch wenn die benachbarte IE R vergrössert werde.
H. In ihrer Replik vom 7. Januar 2013 halten die Beschwerdeführer an ihren Anträgen fest. Sie reichen verschiedenen Unterlagen ein, aus denen sich ergibt, dass der Gemeinderat Oberriet am 22. August 2011 den geänderten Teilzonenplan Letzau I und den Überbauungsplan Letzau I erlassen hat, der die einzuzonende Fläche der Grundstücke Nrn. 2781, 3183 und 3184 in die Bereiche "Bauen", "Sandplatz" sowie "Nicht-Bauen" einteilt und dafür die entsprechenden Nutzungs- und Baubeschränkungen festlegt. Diese Planung genehmigte das Baudepartement am 20. August 2012 und wies den dagegen erhobenen Rekurs von B. und A.X._ sowie C.Y._ am 2. Oktober 2012 ab.
I. Mit Verfügung vom 11. Juni 2012 wurde das Gesuch um Gewährung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1. Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten (<ref-law>). Insofern bleibt kein Raum für die subsidiäre Verfassungsbeschwerde (<ref-law>).
1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht (mit Ausnahme der Grundrechte) von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem Recht - prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Für derartige Rügen gelten qualifizierte Begründungsanforderungen (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
1.2 Das Bundesgericht ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinn von <ref-law> beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Vorliegend ist der Sachverhalt im Wesentlichen unstreitig. Soweit die Beschwerdeführer rügen, das Verwaltungsgericht habe offensichtlich unrichtig festgesellt, dass die IE R "locker" überbaut sei, ist nicht der Sachverhalt streitig (die bestehende Überbauung ist durch Pläne und Fotos in den Akten belegt), sondern deren raumplanungsrechtliche Beurteilung. Dies ist eine Rechtsfrage.
2. Das Verwaltungsgericht ging davon, dass die Fläche von rund 3'500 m2, deren Umzonung von der Landwirtschaftszone in die WG2 strittig sei, weitab vom nächstgelegenen Siedlungsgebiet von Montlingen liege und nicht zum weitgehend überbauten Land im Sinn von Art. 15 lit. a RPG gehöre.
Zwar sei 1994 eine Fläche von rund 9'000 m2 unmittelbar südlich der Grundstücke der Beschwerdeführer der IE R zugewiesen worden; diese solle mit dem Teilzonenplan Letzau I um rund 8'000 m2 erweitert werden. Die IE R sei jedoch keine Bauzone im Sinn von Art. 15 RPG, sondern eine Sondernutzungszone im Sinn von Art. 18 RPG; es handle sich um eine beschränkte Bauzone für entsprechende Vorhaben. Demgegenüber strebten die Beschwerdeführer mit dem Teilzonenplan Letzau Nord die Schaffung einer Wohn- und Gewerbezone, d.h. einer Bauzone im Sinn von Art. 15 RPG an.
Das Verwaltungsgericht ging davon aus, dass weder tatsächlich noch rechtlich Gemeinsamkeiten bestünden, die es rechtfertigen würden, die Fläche des Teilzonenplans Letzau Nord von rund 3'500 m2 mit derjenigen der IE R von rund 9'000 m2 bzw. 17'000 m2 (gemäss Teilzonenplan Letzau I) aufzurechnen: Während die kleine Fläche, die der WG2 zugewiesen werden solle, mit Wohn- und Gewerbebauten bebaut sei, weise der Bereich, der der reitsportlichen Nutzung diene, eine insgesamt lockere Überbauung mit einem erheblichen Anteil an Freiflächen auf. Unbehelflich sei auch der Hinweis auf den Fussballplatz, der sich in südlicher Richtung in einer Grünzone befinde: Es handle sich um eine im öffentlichen Interesse liegende Sportanlage; diese liege zonenkonform in einer Grünzone, die keine Bauzone sei.
Aus der weitgehenden Überbauung und Versiegelung der Fläche ergebe sich kein Anspruch darauf, abseits vom Siedlungsbereich eine Kleinbauzone zu schaffen. Andernfalls müsste jede Häusergruppe, die in der Landwirtschaftszone liegt und nicht landwirtschaftlich genutzt wird, einer Bauzone zugewiesen werden.
Die von den Beschwerdeführern angeführten Einzonungen anderer Parzellen abseits des Siedlungsgebiets seien mit dem vorliegenden Fall nicht vergleichbar. Überwiegend handle es sich um Gewerbe-Industriezonen, die sich abseits des Siedlungsgebiets befänden, weil sie mit störenden Immissionen verbunden sein könnten. Ansonsten handle es sich um eine Weilerzone bzw. (bei Kriessern) um eine unmittelbar an eine Wohn-Gewerbe-Zone anschliessende Parzelle.
Die unterschiedliche Behandlung der Parzellen im Bereich des (noch nicht rechtskräftigen) Teilzonenplans Letzau I beruhe auf sachlichen Gründen und verletze deshalb den Rechtsgleichheitsgrundsatz nicht: Es bestehe ein öffentliches Interesse an der Erweiterung der bestehenden Reitsportanlagen. Dagegen liege die Umzonung in die WG2 in erster Linie im privaten Interesse der Beschwerdeführer. Im Übrigen werde der Fortbestand des Gewerbebetriebs des Beschwerdeführers 1 durch Art. 24c RPG gesichert.
3. Die Beschwerdeführer sind der Auffassung, ihre Parzellen lägen im weitgehend überbauten Gebiet im Sinn von Art. 15 lit. a RPG, weshalb sie Anspruch auf deren Einzonung hätten.
3.1 Sie machen geltend, zusammen mit der IE R würde eine Bauzone von insgesamt rund 20'000 m2 entstehen, so dass keine bundesrechtswidrige Kleinbauzone vorläge. Es gebe in St. Gallen zahlreiche Bauzonen dieser Grössenordnung.
Nach ständiger Praxis der St. Galler Behörden gälten Intensiverholungszonen als Bauzonen. In diesen dürften Sporthallen, grosse Hartplätze, Camping- und Zeltplätze, Reithallen oder gewerbliche Pferdeställe erstellt werden, die offensichtlich keine landwirtschaftlichen Bauten seien. Baugesuche innerhalb solcher Zonen bedürften deshalb (anders als Baugesuche ausserhalb der Bauzone) keiner Beurteilung durch eine kantonale Stelle. Auch aus der Legende des Zonenplans der Gemeine Oberriet ergebe sich ohne Weiteres, dass die IE R zum "Baugebiet" gehöre. Die Auffassung der Vorinstanz, es handle sich bei der IE R nicht um eine "richtige" Bauzone, sondern um eine 50%-Bauzone bzw. eine Quasi-Nichtbauzone, mit der Folge, dass die streitige Fläche des Teilzonenplans Letzau Nord keinen unmittelbaren Zusammenhang mit einer eigentlichen, ähnlichen Bauzone habe und deshalb als Kleinbauzone zu betrachten sei, verletze Art. 15 RPG, beruhe auf einer willkürlichen Anwendung von kantonalem Recht und widerspreche auch der bisherigen Praxis des Verwaltungsgerichts.
Gleiches gelte, soweit die Vorinstanz die Grünzone als Nichtbauzone qualifiziert habe: Grünzonen könnten sehr unterschiedlichen Zwecken dienen und befänden sich z.T. innerhalb des Siedlungsgebiets. Vorliegend handle es sich um eine Zone für Sport-, Park- und Erholungsanlagen, die südlich wie östlich an das übrige Siedlungsgebiet angrenze. Darauf befänden sich Fussballplätze und Beleuchtungsanlagen, weshalb sie als Bauzone zu qualifizieren sei.
3.2 Nach Auffassung der Beschwerdeführer würde die Belassung der streitigen Grundstücke in der Landwirtschaftszone verschiedenen Zielen und Planungsgrundsätzen des RPG widersprechen: Der Boden sei fast vollständig versiegelt und weitgehend überbaut, weshalb für die Landwirtschaft kein Quadratmeter Boden gewonnen werde. Nach Art. 1 Abs. 2 lit. b RPG sollten die räumlichen Voraussetzungen für die Wirtschaft geschaffen und erhalten werden; dies gelte nicht nur für den Reitsportbetrieb, sondern auch für den KMU-Betrieb des Beschwerdeführers 1. Es widerspreche Art. 1 Abs. 2 lit. d RPG und Art. 3 Abs. 2 lit. a RPG, 8'000 m2 unüberbaute landwirtschaftlich nutzbare Fläche für einen Reitsportbetrieb einzuzonen, teilweise unter Zerstörung von Fruchtfolgefläche, während der sich "Hauswand an Hauswand" befindliche KMU-Betrieb in der Landwirtschaftszone verbleiben solle.
Die Raumplanung dürfe die tatsächlichen, rechtlich vorbestehenden Verhältnisse nicht einfach ignorieren. Die Grenzziehung zwischen Bau- und Nichtbauzone verlaufe im Gebiet Letzau mitten durch die bestehende nichtlandwirtschaftliche Überbauung hindurch. Die Zuweisung der streitigen Fläche zur Bauzone hätte deshalb nicht zur Folge, dass damit der Siedlungsrand optisch verschoben würde.
Nach der bundesgerichtlichen Rechtsprechung seien selbst Kleinbauzonen ausnahmsweise zulässig, wenn sie einzig eine geringfügige Erweiterung bereits bebauten Gebiets erlaubten und auf einer sachlich vertretbaren Interessenabwägung beruhten. Vorliegend sei die Fläche schon weitgehend überbaut und werde - rechtmässig - nicht landwirtschaftlich genutzt. Die möglichen Erweiterungen in der WG2 seien massvoll. Es seien keine zusätzlichen negativen Auswirkungen zu befürchten, insbesondere habe die angrenzende IE R viel grössere Auswirkungen (Verkehr, Immissionen, Erschliessung, etc.). Es entspreche dem Zweck des RPG, vollständig bebaute Flächen weiter zu nutzen und allenfalls massvoll erweitern zu können, anstatt unüberbaute Flächen einzuzonen.
Die Beschwerdeführer verweisen auf die für sie schwerwiegenden Konsequenzen einer Belassung ihrer Parzellen in der Landwirtschaftszone: Es bestünden keine Erweiterungsmöglichkeiten für den KMU-Betrieb und der Wohnraum sei beschränkt.
3.3 Der Hinweis des Verwaltungsgerichts auf die bereits zu grossen Bauzonen der Gemeinde verkenne, dass das streitige Gebiet bereits überbaut sei und genutzt werde; das Verhältnis an Einwohnern/ Arbeitsplätzen in der Bauzone im Vergleich zur möglichen Zahl bei Vollausbau verändere sich deshalb kaum. Nach der Praxis der St. Galler Behörden werde bei Neueinzonungen nur die unüberbaute Fläche als Erweiterung der Bauzone im Sinn von Art. 15 lit. b RPG betrachtet (so z.B. bei der Teilrevision Talgebiet in Flums). Es bedeute eine Ungleichbehandlung, wenn im vorliegenden Fall eine andere Art der Flächenberechnung der Bauzone angewendet werde.
Auch im Fall des Teilzonenplans Buck der Gemeinde Oberriet habe das Verwaltungsgericht die Einzonung einer unüberbauten Einzelparzelle zugelassen, mit dem Argument, die Verweigerung der Einzonung einer Einzelparzelle könne nicht allein damit begründet werden, die Bauzonen wiesen bereits übergrosse Kapazitäten auf.
Eine gegen <ref-law> verstossende Ungleichbehandlung liege schliesslich im Vergleich zum Teilzonenplan Letzau I vor: Dort würden neu 8'000 m2 für einen gewerblichen Pferdebetrieb eingezont, der lediglich Hobby-Bedürfnisse befriedige. Zu diesem Zweck werde Boden der Landwirtschaft entzogen und die Zerstörung von Fruchtfolgeflächen nachträglich sanktioniert, während die unmittelbar angrenzende, zusammengebaute, vollständig nicht landwirtschaftlich genutzte Fläche Letzau Nord weiterhin in der Landwirtschaftszone verbleibe.
4. Die privaten Beschwerdegegner sind der Auffassung, dass die bestehenden Bauen und Anlagen im Perimeter des Teilzonenplans Letzau Nord keinen Siedlungscharakter aufweisen; sie seien durch grössere Freiflächen vom Dorf Montlingen und vom Industriegebiet Letzau getrennt. Die beantragte Einzonung des Gebiets in die WG2 solle lediglich dazu dienen, die widerrechtliche Wohnnutzung der Beschwerdeführer nachträglich zu legalisieren. Der bestehende Metallbaubetrieb könne weitergeführt werden, auch wenn die Parzellen in der Landwirtschaftszone verblieben. Aus raumplanerischer Sicht sei die jetzt schon zu grosse Bauzone der Gemeinde Oberriet nicht im Gebiet Letzau Nord zu erweitern; dafür gebe es direkt angrenzend an die bestehenden Siedlungen wesentlich geeignetere Flächen.
Die Beschwerdegegner machen überdies geltend, das Gebiet verfüge über keine für eine Wohn- und Gewerbenutzung ausreichende Erschliessung. Insbesondere sei die Zufahrtsstrasse, welche durch die Landwirtschaftszone verlaufe, für eine gewerbliche Nutzung unzureichend und müsste bei einer Einzonung massiv erweitert werden.
Mit der Einzonung der streitigen Fläche in die WG2 würde eine bundesrechtswidrige Kleinbauzone geschaffen. Diese könne nicht einfach mit der IE R bzw. der Grünzone zusammengezählt werden, die über grosse, nicht überbaute Freiflächen verfügten und in erster Linie der Pferdehaltung bzw. sportlichen Zwecken dienten. Dagegen erlaube die WG2 eine dichte Überbauung und stelle viel höhere Anforderungen an die Erschliessung.
Die Beschwerdeführer wenden dagegen ein, dass die zulässigen Dimensionen der Bauten und Anlagen in der IE R viel grösser seien als jene in der WG2; zudem dürften auch in der IE R drei nichtlandwirtschaftliche Wohnhäuser errichtet werden; zwei davon seien bereits erstellt.
5. Die Beschwerdeführer verlangen eine Änderung des Zonenplans der Gemeinde Oberriet durch Einzonung der Parzellen Nrn. 3186, 4833, 5203, 5440 und 5441 von der Landwirtschaftszone in die WG2, hilfsweise in eine andere Bauzone.
5.1 Ein Grundeigentümer kann unter Berufung auf die Eigentumsgarantie grundsätzlich eine Überprüfung und gegebenenfalls Anpassung des Nutzungsplans (sowohl in Bezug auf sein eigenes als auch bezüglich benachbarter Grundstücke) verlangen, wenn dieser Nutzungsbeschränkungen für das eigene Grundstück zur Folge hat (<ref-ruling> E. 5.3 S. 415 f. mit Hinweisen), sofern sich die Verhältnisse erheblich verändert haben (Art. 21 Abs. 2 RPG) oder der für Bauzonen geltende Planungshorizont von 15 Jahren abgelaufen ist (Art. 15 lit. b RPG).
Vorliegend hat die Gemeinde Oberriet den von den Beschwerdeführern ausgearbeiteten Entwurf (Teilzonenplan Letzau Nord) entgegengenommen und dem AREG zur Vorprüfung eingereicht, Aufgrund des negativen Vorprüfungsberichts lehnte sie jedoch die beantragte Einzonung ab. Im Folgenden ist zu prüfen, ob diese Ablehnung Bundesrecht verletzt, d.h. den Beschwerdeführern Anspruch auf die beantragte Einzonung haben. Dies wäre nur der Fall, wenn die beantragte Einzonung raumplanungsrechtlich geboten wäre, ohne dass den kommunalen und kantonalen Planungsbehörden insoweit noch ein Ermessensspielraum zustehen würde.
5.2 Gemäss Art. 15 RPG umfassen Bauzonen Land, das sich für die Überbauung eignet und weitgehend überbaut ist (lit. a) oder voraussichtlich innert 15 Jahren benötigt und erschlossen wird (lit. b). Allerdings handelt es sich nicht um absolute Kriterien, die für sich allein über die Aufnahme oder den Verbleib in einer Bauzone entscheiden (WALDMANN/HÄNNI, Handkommentar RPG, Bern 2006, N. 8 und 26 zu Art. 15 RPG). Erforderlich ist vielmehr stets eine umfassende Abwägung aller für die Raumplanung massgebenden Ziele und Grundsätze sowie aller im konkreten Fall massgebenden Interessen (Art. 1, 3, 15 ff. RPG; <ref-law>). Im Rahmen dieser Abwägung dürfen Querverbindungen unter den massgebenden Kriterien hergestellt werden, z.B. kann der Charakter als "weitgehende Überbauung" umso eher verneint werden, je mehr die Einzonung dem Redimensionierungsziel (Art. 15 lit. b RPG) zuwiderläuft (<ref-ruling> E. 4 b/bc S. 449).
Es ist unstreitig, dass die Bauzonen von Oberriet schon heute überdimensioniert sind und den Bedarf der nächsten 15 Jahre (im Sinn von Art. 15 lit. b RPG) überschreiten.
6. Zu prüfen ist zunächst, ob es sich um "weitgehend überbautes Gebiet" im Sinn von Art. 15 lit. a RPG handelt und dieser Umstand für eine Einzonung spricht.
6.1 Der Begriff des weitgehend überbauten Gebiets im Sinn von Art. 15 lit. a RPG bzw. Art. 36 Abs. 3 RPG wird in der Rechtsprechung eng verstanden. Er umfasst im Wesentlichen den geschlossenen Siedlungsbereich mit eigentlichen Baulücken (<ref-ruling> E. 4.1 S. 222 f.; <ref-ruling> E. 5a S. 424; je mit Hinweisen). Ob ein Grundstück im weitgehend überbauten Gebiet liege, beurteilt sich gebietsbezogen, parzellenübergreifend, anhand der gesamten bestehenden Siedlungsstruktur.
Überbautes Gebiet in diesem Sinn liegt nur vor, soweit die bereits vorhandene Überbauung Siedlungscharakter aufweist; ausschlaggebend dafür sind das Ausmass, in dem sich Art und Nutzung der Bauten von der Bewirtschaftung des Umlandes gelöst haben, eine geschlossene Überbauung darstellen, erschlossen und miteinander oder den übrigen Bauzonen verbunden sind und eine öffentliche Infrastruktur besteht (grundlegend <ref-ruling> E. 4d/da S. 451). Dies ist i.d.R. zu verneinen für periphere Gebiete, selbst wenn dort schon eine gewisse Bautätigkeit eingesetzt hat (BGE <ref-ruling> E. 5a S. 424). Landwirtschaftliche oder andere primär für die Freilandnutzung bestimmte Bauten geben in der Regel kein oder nur ein wenig gewichtiges Argument für eine Zuteilung zur Bauzone ab (<ref-ruling> E. 4.1 S. 223 mit Hinweisen; vgl. auch Urteil 1A.41/2002 vom 26. November 2002 E. 3g, in: ZBl 104/2003 S. 383; RDAF 2004 I S. 730).
Insofern kommt es - entgegen der Auffassung der Beschwerdeführer - nicht darauf an, ob die Parzellen, deren Einzonung verlangt wird, weitgehend oder sogar vollständig überbaut sind und nicht (mehr) für landwirtschaftliche Zwecke genutzt werden. Entscheidend ist vielmehr, ob die vorhandene Überbauung Siedlungscharakter aufweist.
6.2 Wie der Zonenplan der Gemeinde Oberriet zeigt, liegt die streitige Fläche im Landwirtschaftsgebiet zwischen dem Siedlungsgebiet Montlingen im Süden und dem Industriegebiet Letzau im Norden. Die Parzellen grenzen an drei Seiten an Landwirtschaftsgebiet und im Süden an die IE R an, die ihrerseits im Süden, Osten und Westen an die Landwirtschaftszone anstösst. Sie wird durch die Kriessernstrasse von der südwestlich angrenzenden Grünzone mit Fussballplätzen getrennt.
Die Parzellen Letzau Nord werden durch eine Gemeindestrasse dritter Klasse erschlossen, d.h. einer Strasse, die vor allem der Land- und der Forstwirtschaft dient und dem allgemeinen Motorfahrzeugverkehr grundsätzlich nicht offen steht (vgl. Art. 8 Abs. 3 des St. Galler Strassengesetzes vom 12. Juni 1988).
Aus den Akten ergibt sich, dass die Parzellen Nrn. 3186, 4833, 5203, 5440 und 5441 zusammen mit der südlich angrenzenden Parzelle Nr. 2781 (in der IE R) ursprünglich zu einer einzigen Parzelle (Nr. 3186) gehörten. Diese war mit einem Wohnhaus sowie Ställen, Hallen und Lagerräumen überbaut, in denen Anfang der 70er-Jahre eine Hühnerfarm betrieben wurde. Die Parzelle wurde in der Folge aufgeteilt und die Bauten umgenutzt und geändert (zur heutigen Nutzung vgl. oben, Abschnitt A).
Die bestehende Überbauung erweckt nicht den Eindruck einer geschlossenen Siedlung. Abgesehen von der eher zufällig und ungeordnet wirkenden Überbauung, sind die überbauten Flächen zu klein, um sie als eigenständigen Siedlungsansatz bezeichnen zu können. Dies gilt selbst dann, wenn die bestehenden Bauten in der angrenzenden IE R mitberücksichtigt werden. Die Überbauung weist auch keinen genügenden Zusammenhang mit dem Siedlungsgebiet in Montlingen auf. Dabei spielt es keine Rolle, ob die IE R und die Grünzone als (beschränkte) Bauzone, Spezialbauzone oder als Nichtbauzone qualifiziert werden (vgl. dazu WALDMANN/HÄNNI, a.a.O., N. 28 und 30 zu Art. 18 RPG; WALTER HALLER/PETER KARLEN, Raumplanungs-, Bau- und Umweltrecht, 3. Aufl., Zürich 1999, Rz. 293 f.). Entscheidend ist, dass es sich nicht um Zonen für allgemeine Siedlungsbauten, sondern um spezielle, dem Sport und der Erholung dienende Zonen handelt, die ganz (Grünzone) oder zumindest teilweise (IE R) von Bauten freigehalten werden müssen. Insofern bilden sie - zusammen mit der Landwirtschaftszone - eine Zäsur zwischen der Überbauung Letzau Nord und dem Siedlungsgebiet in Montlingen.
Unter diesen Umständen durften die kantonalen Instanzen davon ausgehen, dass es sich nicht um weitgehend überbautes Gebiet im Sinn von Art. 15 lit. a RPG handelt.
7. Zu prüfen ist daher, ob es aus anderen Gründen - unter Berücksichtigung der für die Raumplanung massgebenden Ziele und Grundsätze und nach Abwägung der privaten und öffentlichen Interessen - geboten ist, das streitige Gebiet in die WG2 einzuzonen.
7.1 Kleinbauzonen sind im Allgemeinen unzulässig, wenn sie gegen das raumplanerische Ziel verstossen, die Siedlungstätigkeit in Bauzonen zusammenzufassen und die Streubauweise für nicht freilandgebundene Bauten zu verhindern. Dagegen ist es nach der bundesgerichtlichen Rechtsprechung zulässig, eine Bauzone bzw. Spezialnutzungszone für ein konkretes Projekt zu schaffen, wenn die Planungsmassnahme den Zielen und Grundsätzen der Nutzungsplanung gemäss RPG entspricht (ständige Rechtsprechung seit <ref-ruling> E. 3a S. 395). Dies setzt voraus, dass die neue Zone keine zusätzliche Streubauweise, sondern einzig eine geringfügige Erweiterung bereits bebauten Gebiets oder die massvolle Erweiterung bestehender Bauten zulässt und auch sonst auf einer sachlich vertretbaren Interessenabwägung beruht. Dies wurde z.B. im Urteil 1C_13/2012 vom 24. Mai 2012 E. 3 verneint, weil die vorgesehene Erweiterung eines zonenwidrigen Betriebs in der Landwirtschaftszone und die Entwicklung hin zu einem deutlich industriellen Charakter sich nicht mit dem Grundsatz der Trennung von Bau- und Nichtbaugebiet vereinbaren liess und erhebliche Auswirkungen auf Raum und Umwelt zur Folge gehabt hätte.
7.2 Das Gebiet Letzau Nord ist bereits überbaut bzw. versiegelt und wird nicht mehr landwirtschaftlich genutzt. Zwar ist die Fläche mit 3500 m2 relativ klein, doch grenzen die Parzellen (z.T. unmittelbar) an die bestehende Bauten in der IE R an. Ob es unter diesen Umständen zulässig wäre, sie einer Spezialzone zuzuweisen, mit dem Ziel, die Überbauung besser zu ordnen und die bauliche Nutzung des Gebiets höchstens geringfügig zu erweitern, kann offen bleiben: Die Beschwerdeführer streben eine Einzonung in die WG2, d.h. eine allgemeine Bauzone, an. Damit könnte die bauliche Nutzung des Gebiets nicht nur geringfügig erweitert, sondern deutlich intensiviert werden; dies würde zudem zusätzliche Anforderungen an die Erschliessung stellen.
7.3 Da die Bauzonen von Oberriet bereits überdimensioniert sind, besteht kein öffentliches Interesse an der Ausweisung einer WG2 (oder einer anderen allgemeinen Bauzone) im Gebiet Letzau Nord. Würde dem Gesuch der Beschwerdeführer entsprochen, bestünde die Gefahr, dass auch Eigentümer anderer überbauter Parzellen abseits des Siedlungsgebiets ihre Einzonung verlangen. Damit würde die Bauzone Oberriets weiter ausgedehnt und deren nach Art. 15 lit. b RPG gebotene Redimensionierung verunmöglicht oder zumindest erschwert.
7.4 Den privaten Interessen der Eigentümer von zonenfremden Bauten in der Landwirtschaftszone hat der Gesetzgeber in den Art. 24c, 24d und 37a RPG dadurch Rechnung getragen, dass rechtmässig erstellte oder geänderte Bauten weiter genutzt und (unter gewissen Voraussetzungen) erneuert, teilweise geändert, massvoll erweitert und sogar wiederaufgebaut werden können. Dementsprechend bewilligte das kantonale Amt für Raumentwicklung die nichtlandwirtschaftliche Wohnnutzung der beiden (aneinandergebauten) Wohnhäuser Assek.-Nrn. 416 und 4408. Bewilligt wurde auch die gewerbliche Nutzung der Bauten Assek.-Nr. 3119, 4406 und 4812 auf dem Grundstück Nr. 3186. Damit ist insbesondere sichergestellt, dass der Beschwerdeführer 1 seinen Metallbaubetrieb weiterführen kann.
7.5 Unter diesen Umständen besteht raumplanungsrechtlich kein Anspruch auf die beantragte Umzonung.
8. Abschliessend ist noch zu prüfen, ob sich die Beschwerdeführer auf das Gleichbehandlungsgebot nach <ref-law> berufen können.
8.1 Die Beschwerdeführer rügen eine ungleiche und willkürliche Behandlung insbesondere im Vergleich mit der von der Gemeinde beschlossenen und vom Baudepartement genehmigten Erweiterung der benachbarten IE R. Der Teilzonen- und Überbauungsplan Letzau I ist jedoch - soweit ersichtlich - noch nicht rechtskräftig und ist nicht Streitgegenstand des vorliegenden Verfahrens.
Den Beschwerdeführern ist einzuräumen, dass es unter dem Blickwinkel der haushälterischen Bodennutzung und der Schonung von Fruchtfolgeflächen fragwürdig erscheinen mag, neue Baubereiche auf unüberbautem Land auszuweisen, anstatt hierfür die unmittelbar angrenzenden, bereits überbauten bzw. versiegelten Parzellen Letzau Nord vorzusehen.
Die Beschwerdeführer verlangen jedoch nicht den Einbezug ihrer Parzellen in die IE R, sondern beantragen die Einzonung in eine WG2, d.h. eine allgemeine Bauzone. Sowohl vom Zonenzweck als auch von der Interessenlage her unterscheiden sich beide Zonen wesentlich. Hierfür kann auf die zutreffenden Ausführungen des Verwaltungsgerichts verwiesen werden. Schon aus diesem Grund liegt keine willkürliche Ungleichbehandlung vor.
8.2 Die Beschwerdeführer berufen sich ferner auf verschiedene Teilzonenplanrevisionen in der Gemeinde Oberriet (Buck, Kriessern) und Flums (Talgebiet), bei denen das Baudepartement bzw. das Verwaltungsgericht der Einzonung einzelner Parzellen trotz der bereits überdimensionierten Bauzone der Gemeinde zugestimmt habe. Sie legen allerdings nicht dar, inwiefern diese Parzellen von ihrer Lage, Nutzung und Überbauung mit den vorliegend streitigen Parzellen vergleichbar sind. Im Übrigen verfügen die Gemeinden des Kantons St. Gallen auf dem Gebiet der Nutzungsplanung über Autonomie. Einzonungen, die von einer Gemeinde beschlossen und von den kantonalen Behörden als (gerade) noch im Planungsermessen der Gemeinde liegend bestätigt werden, sind auch deshalb nicht mit dem vorliegenden Fall vergleichbar, wo es um die Durchsetzung einer privaten Planungsvorlage geht (vgl. oben, E. 5).
9. Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die privaten Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Oberriet, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 12. März 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Die Gerichtsschreiberin: Gerber