Sachverhalt:
A. Die Y._ AG, St. Gallen, ist Eigentümerin der Liegenschaften Nrn. 948 (857 m2 gross, mit einem älteren Einfamilienhaus überbaut) und 311 (7'848 m2 umfassend, unbebaut), Grundbuch Rorschacherberg. Daran grenzt nordwestlich die Parzelle Nr. 601 von Z._. Auf diesem 1'114 m2 grossen Grundstück steht ein älteres Einfamilienhaus im Chalet-Stil.
Die Fläche der drei Grundstücke zusammen beträgt knapp 1 ha. Sie liegt im Osten der Politischen Gemeinde Rorschacherberg an einem dem Bodensee zugewandten Nordhang im Quartier Sandbüchel, direkt unterhalb der Autobahn A1. Im Norden wird das Gebiet von der Thalerstrasse, Kantonsstrasse 2. Klasse, südwestlich vom Trassee der Rorschach-Heiden-Bahn bzw. den Appenzeller Bahnen und im Süden schliesslich von einem Gemeindeweg 3. Klasse begrenzt. Von diesem Weg steigt die mit Bäumen und Sträuchern überwachsene Böschung bis zum Lärmschutzwall der Autobahn steil an. Der Bereich östlich davon ist mit Wohnhäusern überbaut, genauso wie das Gebiet nördlich hangabwärts auf der anderen Seite der Thalerstrasse.
B. Die Y._ AG hatte die Parzellen Nrn. 311 und 948 im Austausch gegen ein anderes Grundstück erworben, das rund 400 m nordöstlich in Richtung Bodensee in der historischen Parklandschaft des Schlosses Wartegg liegt. Für dieses ursprüngliche Grundstück hatte bereits ein bewilligtes, aber noch nicht rechtskräftiges Projekt für eine Überbauung mit Mehrfamilienhäusern mit insgesamt 120 Wohnungen vorgelegen. Nachdem dieses Vorhaben nicht verwirklicht werden konnte, verkaufte die Y._ AG das Bauland an die inzwischen gegründete Stiftung Landschaftspark Wartegg und konnte als Ersatz die Parzellen im Oberen Sandbüchel erwerben.
In der Folge erliess der Gemeinderat für das Gebiet im Oberen Sandbüchel einen Teilzonen- und Überbauungsplan sowie eine Änderung der Schutzverordnung, um den Bau von fünf Mehrfamilienhäusern zu ermöglichen. Das kantonale Amt für Raumentwicklung und Geoinformation (AREG) nahm dazu mit Vorprüfungsbericht vom 28. Oktober 2008 positiv Stellung.
C. Gegen den erwähnten Teilzonen- und Sondernutzungsplan erhoben zwölf Nachbarn Einsprache, u.a. A. und B.X._ und Q._. Die Einsprachen konnten bis auf jene der Genannten gütlich erledigt werden, nachdem sich die Grundeigentümerin bereit erklärt hatte, ihr Gesuch um Erlass des Überbauungsplans Oberer Sandbüchel zurückzuziehen und das Plangebiet in der Regelbauweise zu überbauen. Der Gemeinderat hob den Sondernutzungsplan darum auf, schrieb die Einsprachen bezüglich des Überbauungsplans ab und wies sie im Übrigen ab.
D. Der Teilzonenplan Oberer Sandbüchel wurde vom 20. Oktober bis 18. November 2009 dem fakultativen Referendum unterstellt, welches nicht ergriffen wurde. Gegen den zustimmenden Entscheid der Bürgerschaft rekurrierten die unterlegenen Einsprecher am 7. Dezember 2009 beim Baudepartement des Kantons St. Gallen mit dem Antrag, der Teilzonenplan sei aufzuheben. Das Departement wies den Rekurs am 6. Dezember 2010 mit der Begründung ab, seit der letzten Anpassung des Zonenplans seien rund 24 Jahre vergangen, weshalb die Grundeigentümerin eine Überprüfung der geltenden Zonierung habe verlangen dürfen. Die vorgenommene Änderung entspreche der kommunalen Richtplanung, liege im öffentlichen Interesse, berücksichtige die tatsächlichen Verhältnisse und sei mit Blick auf die in der Gemeinde angestrebte Entwicklung angemessen und zweckmässig.
E. Das hierauf von den unterlegenen Rekurrenten angerufene Verwaltungsgericht schützte den Departementsentscheid mit Urteil vom 20. September 2011.
F. Mit ihrer Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 28. Oktober 2011 beantragen A. und B.X._ dem Bundesgericht, das Urteil des Verwaltungsgerichts vom 20. September 2011 aufzuheben, ebenso den Genehmigungsentscheid des AREG vom 23. Februar 2011 und den Teilzonenplan Oberer Sandbüchel. Gleichzeitig ersuchen sie um Gewährung der aufschiebenden Wirkung. Sie machen eine Verletzung des rechtlichen Gehörs, eine unrichtige Sachverhaltsfeststellung, die Verletzung von Art. 21 RPG, von <ref-law> und eine willkürliche Anwendung kantonalen Rechts geltend.
Die Y._ AG als private Beschwerdegegnerin und der Gemeinderat Rorschacherberg schliessen je auf Abweisung der Beschwerde, ebenso das Baudepartement und das Verwaltungsgericht des Kantons St. Gallen.
In einer weiteren Eingabe halten die Beschwerdeführer sinngemäss an ihren Anträgen fest.
Der Präsident der I. öffentlich-rechtlichen Abteilung hat das Gesuch um aufschiebende Wirkung mit Verfügung vom 1. Dezember 2011 abgewiesen.

Erwägungen:
1. 1.1 Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine Zonenplanänderung zugrunde. Nach Art. 34 Abs. 1 RPG (SR 700) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält keinen Ausschlussgrund (<ref-law>). Angefochten ist ein Entscheid einer letzten kantonalen Instanz, der das Verfahren abschliesst (Art. 86 Abs. 1 lit. d, Art. 90 BGG). Die Beschwerdeführer als Eigentümer einer Parzelle in unmittelbarer Nähe des Plangebiets haben ein schützenswertes Interesse an der Aufhebung des angefochtenen Urteils, weil damit eine intensivere Nutzung im angrenzenden Wohnquartier zugelassen wird. Auf die frist- und formgerecht eingereichte Beschwerde ist unter Vorbehalt der rechtsgenüglichen Begründung einzutreten.
1.2 Nicht zu hören sind die Beschwerdeführer mit ihrem Begehren, den dem Urteil vorausgegangenen Genehmigungsentscheid des AREG und den Teilzonenplan an sich aufzuheben. Als Folge des im Beschwerdeverfahren geltenden Devolutiveffekts hat das Urteil des Verwaltungsgerichts diese Entscheide ersetzt. Sie gelten inhaltlich als mit angefochten (vgl. <ref-ruling> E. 1.4 S. 144).
2. Die Beschwerdeführer machen eine Verletzung des rechtlichen Gehörs geltend, weil das Verwaltungsgericht neue Feststellungen gemacht habe zum Zusammenhang zwischen dem strittigen Teilzonenplan und der Überbauung des Schlossparks Wartegg. Dazu hätten sie nie Stellung nehmen können. Aufgrund des formellen Charakters des Gehöranspruchs ist diese Rüge vorab zu prüfen.
2.1 Das rechtliche Gehör dient einerseits der Klärung des Sachverhalts, anderseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheids dar, welcher in die Rechtsstellung des Einzelnen eingreift. Der Betroffene hat das Recht, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheids zur Sache zu äussern. Dazu gehört insbesondere das Recht, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 3.1 S. 277; <ref-ruling> E. 2b S. 56).
2.2 Bei den beanstandeten Ausführungen des Verwaltungsgerichts geht es vor allem darum, den Zusammenhang zwischen dem Scheitern der ursprünglich geplanten Überbauung im Schlosspark Wartegg und der nun umstrittenen Aufzonung im Gebiet Sandbüchel aufzuzeigen. Es waren die Beschwerdeführer selber, welche diese Thematik in ihrer Eingabe ans Verwaltungsgericht zur Sprache gebracht hatten (Ziff. 16 der Beschwerdebegründung vom 25. Februar 2011). Dazu hält die Vorinstanz fest, das Bauvorhaben der Beschwerdegegnerin für Mehrfamilienhäuser im Schlosspark habe eine eigentliche Volksbewegung ausgelöst, worauf bei der Eidgenössischen Kommission für Denkmalpflege und der Eidgenössischen Natur- und Heimatschutzkommission eine Begutachtung des Parks in Auftrag gegeben worden sei. Die Kommissionen seien am 31. August 2008 übereinstimmend zum Schluss gelangt, der Park präge als letzte grosse Grünfläche am dicht überbauten Nordhang das Ortsbild von Rorschacherberg entscheidend. Das Schloss aus dem 16. Jahrhundert und der im Jahr 1860 nach englischem Vorbild angelegte Park stellten eine Anlage von nationaler Bedeutung dar, weshalb sie langfristig integral zu erhalten seien. Im August 2009 sei das entsprechende Bauland von der inzwischen gegründeten Stiftung Landschaftspark Wartegg gekauft worden, deren Zweck es sei, den Park in seiner Eigenart als öffentlich zugänglichen Landschaftspark zu sanieren, zu unterhalten und zu bewahren. Als Ersatz für die erst im Baubewilligungsverfahren verhinderte Gesamtüberbauung seien der Beschwerdegegnerin die Parzellen im Oberen Sandbüchel verkauft und dieses Gebiet in die gleiche Zone wie der nun freigehaltene Schlosspark aufgezont worden. Der Landabtausch habe zur Folge, dass der rund 1 ha grosse Teil des schutzwürdigen Parks Wartegg mit Ausnahme einer Fläche von rund 1'500 m2 in seinem bisherigen schutzwürdigen Zustand erhalten werden könne, was fraglos im öffentlichen Interesse liege.
2.3 Bei diesen offensichtlich bekannten Darlegungen handelt es sich in erster Linie nicht um eine rechtliche Argumentation, sondern um eine tatsächliche Feststellung, aus welcher den Beschwerdeführern kein Nachteil erwächst und an welcher auch eine Stellungnahme ihrerseits nichts geändert hätte. Das Verwaltungsgericht ist nicht gehalten, den Beschwerdeführern im Voraus die gesamten Erwägungen seines Entscheids zur Kenntnis zu bringen. Es hat denn auch nicht (allein) auf diesen Sachverhalt abgestellt, um das öffentliche Interesse an der Aufzonung zu begründen, sondern ist auf ein Vorbringen der Beschwerdeführer eingegangen und hat die tatsächliche Ausgangslage dargelegt, wie sie sich zu Beginn des Aufzonungsverfahrens präsentiert hat. Darin ist keine Verletzung des rechtlichen Gehörs zu erkennen.
3. Sodann werfen die Beschwerdeführer dem Verwaltungsgericht eine falsche Feststellung des Sachverhalts vor. So halte die Vorinstanz fest, gemäss Zonenplan vom 17. März 1981 bzw. 6. Oktober 1986 lägen die drei Grundstücke, welche Gegenstand des Teilzonenplans Oberer Sandbüchel bilden, in der Wohnzone WE für Ein- und Zweifamilienhäuser. Weiter behaupte das Verwaltungsgericht, das Gebiet nördlich hangabwärts auf der anderen Seite der Talstrasse sei der Wohnzone W2 zugeteilt. Diese Feststellung sei falsch, denn nach dem aktuellen, 2008 revidierten Baureglement gebe es weder die Zone WE noch W2, sondern nur noch die beiden Zonen WE/W2a und W2/W2b, wie sich aus der Tabelle der Regelbauweise ergebe.
Die Darlegungen des Verwaltungsgerichts sind nicht falsch, sondern höchstens unvollständig. Die von den Beschwerdeführern bemängelten Zonenbezeichnungen stützen sich auf den Zonenplan, der älter ist als das am 2. April 2008 vom Baudepartement genehmigte kommunale Baureglement und der bis heute zeichnerisch nicht angepasst wurde. Indes wird die Nutzung der Zonen durch das Baureglement neu definiert. Die Wohnzone WE mit ihrer Beschränkung auf Ein- und Zweifamilienhäuser ist im Reglementstext nicht erwähnt, wurde aber auch nicht explizit aufgehoben oder durch eine Übergangsbestimmung näher definiert. Zu diesem Vorgehen hält die Gemeinde im Richtplan fest, sie beabsichtige, die bebaute Wohnzone WE nur auf Antrag der Grundeigentümer umzuzonen und bebaute Gebiete niedriger Dichte künftig den Wohnzonen W2a, W2b und W3 zuzuweisen (Richtplantext vom 16. März 2004 N. 3.1; zu diesem Vorgehen siehe E. 4 hiernach). Immerhin werden in der von den Beschwerdeführern zitierten Tabelle zur Regelbauweise (Art. 9 Baureglement) die bisherigen Zonen WE und W2 in Beziehung gesetzt zu den neuen Zonen, indem sie mit "WE/W2a" und "W2/W2b" dargestellt werden. Auch in der Legende zum Gestaltungsplan werden die Zonen so wieder gegeben "WE/W2a" und "W2/W2b". Wenn nun das Verwaltungsgericht nur die altrechtliche Zonenbezeichnung erwähnt hat, ist dies nicht offensichtlich falsch, wussten doch die Beschwerdeführer und alle Involvierten trotzdem, um welchen Sachverhalt es ging. Die Bezeichnung mag ungenau sein, aber nicht offensichtlich falsch oder gar willkürlich. Eine Richtigstellung hat auf den Ausgang des Verfahrens keinen Einfluss (vgl. <ref-law>).
4. In der Hauptsache rügen die Beschwerdeführer eine Verletzung von Art. 21 RPG. Aus ihrer Sicht stellt die Revision des Baureglements von 2008 eine Anpassung des Zonenplans dar, weshalb der umstrittene Teilzonenplan Oberer Sandbüchel die Änderung eines fast neuen Nutzungsplans darstelle. Darin erachten die Beschwerdeführer einen Verstoss gegen den Grundsatz der Planbeständigkeit. Wie sogleich zu zeigen sein wird, stellt sich vorliegend diese Problematik nicht. Zunächst ist zu klären, wie die 2008 genehmigte Reglementsänderung rechtlich einzuordnen ist.
4.1 Der Begriff des Nutzungsplans umfasst sowohl den eigentlichen Plan in Kartenform als auch die dazugehörigen Nutzungsvorschriften: Der Plan ordnet jede Parzelle, die in seinem Perimeter gelegen ist, einer bestimmten Zone bzw. Zonenart zu. In den Vorschriften, die regelmässig in Form eines Reglements oder teilweise gar einer Verordnung gekleidet sind, wird die in den einzelnen Zonen zulässige Nutzung näher definiert (PIERRE MOOR, Kommentar RPG, Zürich 2010, N. 2 zu Art. 14; BERNHARD WALMANN/PETER HÄNNI, Kommentar RPG, Bern 2006, N. 6 zu Art. 14). Entsprechend sieht Art. 6 Abs. 1 des kantonalen Baugesetzes vom 6. Juni 1972 (BauG/SG; sGS 731.1) vor, dass die Aufgaben der Ortsplanung durch den Erlass von Baureglementen, Zonen-, Überbauungs- und Gestaltungsplänen sowie von Schutzverordnungen gelöst werden. Die politische Gemeinde ist verpflichtet, ein Baureglement mit dazugehörendem Zonenplan zu erlassen (Art. 7 BauG/SG). Laut der Definition in Art. 8 BauG/SG enthält das Baureglement unter Vorbehalt der Gesetzgebung des Bundes und des Kantons für das gesamte Gebiet der politischen Gemeinde öffentlich-rechtliche Bauvorschriften. Der Zonenplan dagegen teilt das Gemeindegebiet in Teilgebiete verschiedener Nutzungsart und Nutzungsintensität sowie verschiedener Regelbauweise und Immissionstoleranz ein (Art. 9 Abs. 1 BauG/SG). Er besteht aus einer planerischen Darstellung und aus den dazugehörenden Bauvorschriften, die im Baureglement aufgestellt werden (Art. 9 Abs. 2 BauG/SG).
4.2 Vorliegend waren die mit der Revision des Baureglements einhergehenden Änderungen für den Zonenplan relevant, zumal die Zonen und ihre Nutzungsart neu definiert wurden. So wurden etwa die Nutzungsbestimmungen der WE gelockert, findet doch die Beschränkung auf Ein- und Zweifamilienhäuser keine Erwähnung mehr. Auf eine Gesamtrevision mit Überprüfung aller Planungsinstrumente, namentlich auch des Zonenplans und der Schutzverordnungen, wurde aber verzichtet (Stellungnahme des AREG vom 26. März 2010 im Verfahren vor dem Baudepartement [act. 16/15]). Die tatsächliche räumliche Zuteilung der einzelnen Grundstücke liegt lange zurück, ohne dass je überprüft worden wäre, ob die Zuordnung noch zeitgemäss ist. Dies kann nicht angehen, zumal für Dritte überhaupt nicht klar ist, ob nun ein Grundstück der Zone WE oder W2a zugeteilt ist, ob die Zonen einander gleichgestellt sind und ob nun Mehrfamilienhäuser zulässig sind oder nicht. Das Baudepartement hält in seiner Vernehmlassung ans Bundesgericht fest, für die fraglichen Parzellen gelte nach wie vor die Beschränkung auf Ein- und Zweifamilienhäuser. Aus der Legende zum Zonenplan und der Tabelle zur Regelbauweise lässt sich dies nicht schliessen. Im Gegenteil, die dortige Darstellung legt eine Gleichstellung der WE mit der W2a nahe, zumal sich im Reglementstext keine Beschränkung mehr findet. Die fehlende Abstimmung zwischen Baureglement und Zonenplan läuft der Rechtssicherheit zuwider. Im Richtplan vom 16. März 2004 hat die Gemeinde zu diesem Vorgehen "behördenwegleitend" festgehalten, die bebauten Wohnzonen WE würden ohne anderslautenden Antrag der Grundeigentümer belassen. Je nach Begehren sei eine Umzonung in die neue Wohnzone W2a oder W2b zu prüfen. Die noch unbebauten Gebiete niedriger Dichte sollten im Zonenplan künftig nur noch den Wohnzonen W2a/b und W3 zugewiesen werden (Richtplan Ziff. 3.1). Die Gemeinde kann aber den Entscheid über die Zonenzugehörigkeit nicht einfach aufschieben, bis ein entsprechender Antrag vorliegt. Sie hat im Rahmen der Nutzungsplanung verbindliche Angaben über die zulässige Nutzung der einzelnen Grundstücke zu machen.
4.3 Da die mit der Reglementsänderung einhergehende faktische Planänderung mangels Anpassung des Nutzungsplans nicht rechtsgenüglich erfolgt ist, können sich die Beschwerdeführer nicht auf Art. 21 RPG über die Planbeständigkeit berufen. Mit der Auflage des Teilzonenplans wurde erstmals über die planerische Zuordnung der Grundstücke im Oberen Sandbüchel entschieden. Dies darf den Beschwerdeführern nicht zum Nachteil gereichen. Ihre Vorbringen sind darum als materielle Beschwerde gegen die Teilzonenplanung entgegenzunehmen. Die Beschwerdeführer stellen denn auch ein überwiegendes öffentliches Interesse an der Aufzonung in die W2/W2b in Abrede.
4.4 Im Rahmen der Nutzungsplanung sind die in Betracht fallenden öffentlichen und privaten Interessen zu erfassen und im Hinblick auf die anzustrebende räumliche Entwicklung und im Lichte der Ziele und Grundsätze der Raumplanung gegeneinander abzuwägen (Art. 1 und 3 RPG; Art. 2 und 3 der Raumplanungsverordnung vom 28. Juni 2000 [RPV; SR 700.1]; Urteil 1P.297/2002 des Bundesgerichts vom 26. November 2002 E. 4.2; <ref-ruling> E. 5a S. 372). Ob die Interessen vollständig erfasst worden sind, ist Rechtsfrage. Die relative Gewichtung der potenziell widerstreitenden Interessen ist jedoch weitgehend Ermessensfrage, in welche das Bundesgericht nur eingreifen kann, wenn das Planungsermessen willkürlich ausgeübt worden ist. Willkürlich ist ein Entscheid nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst dann, wenn er offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkür liegt sodann nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 2a S. 168; <ref-ruling> E. 5 S. 250; <ref-ruling> E. 4a S. 5; je mit Hinweisen). Das Bundesgericht auferlegt sich insbesondere Zurückhaltung, soweit die Beurteilung von einer Würdigung der örtlichen Verhältnisse abhängt, wie namentlich bei der Überprüfung von Raumplänen; es ist nicht oberste Planungsinstanz, sondern hat den Beurteilungs- und Entscheidungsspielraum der kantonalen Instanzen zu beachten, soweit das Ermessen nach rechtlich zulässigen, sachlichen Kriterien ausgeübt worden ist (Art. 2 Abs. 3 RPG; <ref-ruling> E. 3a S. 366 und 5a S. 372; Urteil 1C_306/2010 des Bundesgerichts vom 2. Dezember 2010 E. 2.2).
4.5 Mit Blick auf die beschränkte Kognition sowohl des Verwaltungsgerichts als auch des Bundesgerichts (siehe E. 4.2 hievor) sind die zutreffenden Erwägungen der Vorinstanz zum öffentlichen Interesse an der baulichen Verdichtung und zur Einbettung der fraglichen Grundstücke in die bestehende Siedlungsstruktur nicht zu beanstanden. Das Verwaltungsgericht legt dar, dass die vorgenommene Aufzonung in Übereinstimmung mit der in der Richtplanung geäusserten Absicht der Gemeinde steht, wonach im oberen Gemeindegebiet eher eine "qualitative" Entwicklung angestrebt werden solle, während im unteren Gemeindegebiet auch ein Angebot für verdichtetes Wohnen vorstellbar sei. Dazu gibt das Verwaltungsgericht zu bedenken, dass zwar mit der Aufzonung neu auch Mehrfamilienhäuser möglich seien. Die Firsthöhe erhöhe sich aber nur um 0.5 m bzw. die Gebäudelänge um 5 m. Dafür werde ein 2 m längerer grosser Grenzabstand einzuhalten sein, während sich die Verringerung des kleinen Grenzabstands um 1 m ab 18 m Gebäudelänge wegen des Mehrlängenzuschlags von einem Viertel der Mehrlänge relativieren werde. Diese Änderungen führen nach Ansicht der Vorinstanz insgesamt zu keiner Veränderung im Quartier, die in qualitativer Hinsicht den Zielvorgaben des Richtplans widersprechen würde. Ziff. 0.3 des Richtplans sieht nur für das Gebiet oberhalb der Autobahn einen Verzicht auf Mehrfamilienhäuser vor. Der Obere Sandbüchel liegt unterhalb der Nationalstrasse. Weiter wird deutlich, dass auch mit der neuen Ausnützungsziffer von 0.5 (statt 0.4) und zweigeschossigen Mehrfamilienhäusern eine Eingliederung in die Umgebung gewährleistet ist, zumal südlich der Kantonsstrasse bereits heute Mehrfamilienhäuser zulässig sind und das gesamte Quartier heterogen überbaut ist.
Insgesamt erscheinen die Gründe für eine Aufzonung in Übereinstimmung mit den raumplanerischen Grundsätzen. Eine Verletzung von Bundesrecht ist nicht ersichtlich.
5. Schliesslich werfen die Beschwerdeführer den Behörden eine Verletzung von <ref-law> vor, weil kein Planungsbericht zum Teilzonenplan existiere.
In den Akten findet sich der Planungsbericht zum "Teilzonenplan, Anpassung SchutzV, Überbauungsplan Oberer Sandbüchel" vom 19. November 2008 der Strittmatter Partner AG (act. 16/9/17). Selbst wenn der Überbauungsplan nun nicht realisiert wird, vermag der Bericht den Anforderungen gemäss <ref-law> zu genügen. Die Ausgangslage wird dargelegt, der Richtplan wurde konsultiert, eine Lärmberechnung zu den Immissionen ist enthalten und auch weitere umwelt- und naturschutzrechtliche Aspekte wie Elektrosmog, Störfallvorsorge, Anbindung an den öffentlichen Verkehr, die Kapazität des Strassennetzes, die Entwässerungsplanung, die Altlastensituation, der Ersatz einer geschützten Hecke sowie Naturgefahren finden Erwähnung. U.a. wird auch darauf hingewiesen, dass durch den Parzellenabtausch die Fläche im Warteggpark baulich frei gehalten werden konnte. Selbst wenn weitere Ausführungen zu den Baulandreserven fehlen, kann dies unter Hinweis auf die treffenden Erwägungen des Verwaltungsgerichts in E. 3.2.2 des angefochtenen Urteils als genügend erachtet werden, handelt es sich doch vorliegend nicht um eine Einzonung: Das Planungsgebiet von 1 ha ist bereits heute der Wohnzone WE zugewiesen. Neu wird lediglich die zulässige Gebäude- und Firsthöhe um einen halben bzw. einen Meter erhöht und die Ausnützungsziffer von 0.4 auf 0.5 angehoben. Aufgrund dieser Änderungen sind keine zu hohen Anforderungen an den Planungsbericht zu stellen. Die Rüge ist abzuweisen.
6. Soweit die Beschwerdeführer eine willkürliche Anwendung kantonalen Rechts behaupten, wiederholen sie ihre Rügen der Gehörsverletzung und des fehlenden öffentlichen Interesses an der umstrittenen Planung. Weitere Erwägungen hierzu erübrigen sich.
7. Im Ergebnis ist die Beschwerde demnach abzuweisen, soweit darauf eingetreten werden kann. Bei der Kostenverteilung ist indes zu berücksichtigen, dass den Beschwerdeführern das unzulässige Vorgehen der Gemeinde im Rahmen der Nutzungsplanung nicht anzulasten ist. Sie haben darum trotz ihres Unterliegens nur in reduziertem Umfang an die bundesgerichtlichen Verfahrenskosten beizutragen (<ref-law>). Zudem haben sie die private Beschwerdegegnerin für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die reduzierten Gerichtskosten von Fr. 1'500.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben die private Beschwerdegegnerin für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Rorschacherberg, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 23. Februar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Scherrer Reber