Sachverhalt:
A. W._ ist Eigentümer des unüberbauten Grundstücks Nr. 1506 an der Heidenerstrasse, Burenweid, Grundbuch Rorschacherberg. Es liegt gemäss dem kantonalen Richtplan und der Schutzverordnung der Gemeinde Rorschacherberg vom 21. April 1993 (im Folgenden: Schutzverordnung) in einem Landschaftsschutzgebiet und fällt stark nach Norden ab. Der östliche Teil des Grundstücks liegt gemäss Teilzonenplan Unterwienachtsträsschen vom 14. Juli 2003 in der Wohnzone (W2), der westliche Teil gemäss Zonenplan der Gemeinde Rorschacherberg vom 20. Oktober 1982 in der Landwirtschaftszone.
B. W._ hat bereits mehrfach Gesuche für die Überbauung seines Grundstücks eingereicht.
Ein Baugesuch vom 16. Januar 2006 wurde vom Gemeinderat Rorschacherberg am 5. September 2006 bewilligt. Das u.a. von X._ angerufene Baudepartement kam in einer ersten Beurteilung zum Ergebnis, dass die Rekurse gute Aussicht auf Erfolg hätten, weil das Bauvorhaben aufgrund diverser Planungenauigkeiten und Unklarheiten nicht als baurechtskonform bewilligt werden könne. Daraufhin wurde das Baugesuch zurückgezogen.
Am 5. November 2007 reichte W._ ein Baugesuch für ein Einfamilienhaus auf dem der Bauzone zugewiesenen Teil seines Grundstücks ein. Gegen das Bauvorhaben erhoben wiederum mehrere Anwohner, darunter X._, Einsprache. Am 8. Juli 2008 wies der Gemeinderat Rorschacherberg die Einsprachen ab und erteilte die Baubewilligung. Dagegen erhoben die Einsprecher Rekurs an das Baudepartement und, nach Abweisung des Rekurses, Beschwerde an das Verwaltungsgerichts des Kantons St. Gallen. Dieses hiess die Beschwerden am 15. Oktober 2009 gut, soweit es darauf eintrat. Es ging davon aus, die nach Art. 9 Abs. 2 der Schutzverordnung gebotene gute Einfügung in das Landschaftsbild sei aufgrund der Beurteilung des Hochbauamts nicht ausgewiesen. Zudem verletze das geplante 30 m lange Wohnhaus in verschiedenen Punkten Vorschriften des Baureglements.
C. Am 8. Januar 2010 reichte W._ ein neues Baugesuch ein. Nach den Plänen ist der Neubau eines kleineren zweigeschossigen Einfamilienhauses mit einem Grundriss von 16 x 16 m vorgesehen, das neben der Wohnnutzung auch einen privaten Arbeitsplatz des Gesuchstellers beinhaltet.
Gegen dieses Vorhaben erhoben X._ sowie Y._, Eigentümerin des Grundstücks Nr. 1507, und Z._, Eigentümer des Grundstücks Nr. 817, gemeinsam Einsprache. Am 27. April 2010 wies der Gemeinderat die Einsprachen ab und erteilte die Baubewilligung.
Dagegen erhoben die Einsprecher Rekurs an das Baudepartement. Dieses holte einen Amtsbericht des Hochbauamts ein. In seinem Bericht vom 16. August 2010 kam das Hochbauamt zum Ergebnis, dass das geplante Wohnhaus die ortsbaulichen und architektonischen Anforderungen erfülle und sich gut in das Landschaftsbild einfüge. Am 3. September 2010 wies das Baudepartement den Rekurs ab.
Dagegen führten die Einsprecher Beschwerde an das Verwaltungsgericht. Dieses wies die Beschwerde am 12. April 2011 ab.
D. Gegen den verwaltungsgerichtlichen Entscheid haben X._, Y._ und Z._ (im Folgenden: die Beschwerdeführer) am 19. Mai 2011 Beschwerde an das Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sowie die vorinstanzlichen Entscheide des Baudepartements und des Gemeinderats betreffend das Baugesuch Nr. 10.003 seien aufzuheben und die Baubewilligung zu verweigern. Eventualiter sei die Sache zu neuer Beurteilung an das Verwaltungsgericht zurückzuweisen. In verfahrensrechtlicher Hinsicht beantragen sie die Einholung eines unabhängigen Gutachtens, insbesondere zur Einfügung bzw. zur Wirkung des Bauvorhabens im Landschaftsschutzgebiet, sowie die Gewährung der aufschiebenden Wirkung.
W._ (im Folgenden: der Beschwerdegegner) sowie das Baudepartement und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen.
In ihrer Replik vom 25. August 2011 halten die Beschwerdeführer an ihren Anträgen fest.
E. Mit Verfügung vom 16. Juni 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen.
Erwägungen:
1. Da die Sachurteilsvoraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten vorliegen, ist auf die Beschwerde grundsätzlich einzutreten.
1.1 Die Verletzung von Grundrechten - einschliesslich die willkürliche Anwendung von kantonalem Recht - wird vom Bundesgericht nicht von Amtes wegen geprüft, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten qualifizierte Begründungsanforderungen (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen): Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind.
1.2 Das Bundesgericht ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. Die Beschwerdeführer rügen die Verletzung von Verfahrensgarantien (Art. 29 Abs. 1 und 2 BV; Art. 4 lit. a und c der Verfassung des Kantons St. Gallen vom 10. Juni 2001 [KV/SG]) im Zusammenhang mit dem Amtsbericht des Hochbauamts vom 16. August 2010.
2.1 Sie machen geltend, der Sachbearbeiter des Hochbauamts sei nicht mehr unbefangen gewesen, nachdem er bereits das (nach Auffassung der Beschwerdeführer praktisch identische) Baugesuch von 2007 als bewilligungsfähig und landschaftsverträglich erachtet habe. Es sei daher von Beginn weg klar gewesen, dass sich das Hochbauamt auch für das überarbeitete Projekt aussprechen würde.
In dieser Situation hätte zwingend eine unabhängige Expertise eingeholt werden müssen. Dies sei von den Beschwerdeführern auch beantragt worden. Diesem Beweisantrag sei jedoch nicht stattgegeben worden, und zwar ohne Begründung. Zudem habe das Baudepartement seine Prüfungsbefugnisse und -pflichten nicht wahrgenommen, indem es auf weitere Abklärungen verzichtete.
Am 24. August 2010 sei den Beschwerdeführern der Amtsbericht des Hochbauamts zugestellt worden. Am 27. August 2010 habe ihr Rechtsvertreter um eine Frist von mindestens 20 Tagen zur Einreichung einer Stellungnahme und eines Gegengutachtens ersucht. Dieser Antrag sei abgelehnt worden mit dem Hinweis, es stehe den Beschwerdeführern frei, eine Stellungnahme einzureichen. Aufgrund der knappen Zeitbemessung sei es ihnen nur möglich gewesen, ihren Standpunkt am 1. September 2010 summarisch darzulegen. Dagegen hätten sie keine Möglichkeit mehr gehabt, eine Beurteilung durch einen Architekten oder eine Heimatschutzorganisation vornehmen zu lassen. Ihnen sei auch keine Gelegenheit gegeben worden, sich zur Wahl des Gutachters und zum Beweisergebnis zu äussern.
Das Verwaltungsgericht sei auf diese formellen Rügen der Beschwerdeführer nicht eingegangen und habe damit ebenfalls die Begründungspflicht verletzt.
2.2 Das Baudepartement hält dazu in seiner Vernehmlassung (vor Bundesgericht, wie auch schon vor Verwaltungsgericht) fest, dass es bei der Rekursbearbeitung regelmässig auf die Sachkunde seiner eigenen Ämter und Fachstellen abstelle. Das Hochbauamt sei - wie schon im vorangegangenen Verfahren - von der Rechtsabteilung zur Erstellung eines Amtsberichts eingeladen worden. Diese Einladung vom 5. Juli 2010 sei von den Rekurrenten nicht bestritten worden. Erst nach Zustellung des Amtsberichts am 19. August 2010 und der gleichzeitigen Ankündigung des Entscheids hätten sie die Möglichkeit zur Stellungnahme und zur Einreichung eines Gegengutachtens verlangt. Die Möglichkeit zur Stellungnahme sei ihnen eingeräumt worden, weshalb keine Verletzung des rechtlichen Gehörs vorliege.
2.3 Es trifft zu, dass sich der angefochtene Entscheid vor allem mit der materiellen Kritik der Beschwerdeführer am Amtsbericht vom 16. August 2010 auseinandersetzt. Das Verwaltungsgericht hielt fest, es könne sich der Auffassung der Beschwerdeführer, wonach das Projekt hinsichtlich Bauart und Wirkung keine Änderungen gegenüber dem früheren, als unzulässig beurteilten Projekt aufweise, nicht anschliessen. Das nunmehr geplante Gebäude sei erheblich kleiner dimensioniert als das frühere Projekt. Aufgrund der Dimensionierung und der Bauart sei die Auffassung der Vorinstanz nicht unhaltbar. Insgesamt gelangte das Verwaltungsgericht zum Ergebnis, das Erfordernis der guten Einordnung sei erfüllt und es könne dem Baudepartement keine Rechtsverletzung vorgeworfen werden.
Daraus ergibt sich zugleich, dass das Verwaltungsgericht die Rüge der unzulässigen Vorbefassung des Hochbauamts aufgrund seines früheren Amtsberichts zum Baugesuch von 2007 für unbegründet erachtete, weil es sich um ein neues, wesentlich geändertes Baugesuch handle. Zumindest konkludent bejahte es damit auch die Zulässigkeit der Beauftragung des Hochbauamts mit dem Amtsbericht und verneinte damit die Notwendigkeit einer unabhängigen Expertise.
Keinerlei Ausführungen enthält das angefochtene Urteil dagegen zur Frage, ob die Frist zur Stellungnahme zum Amtsbericht zu kurz gewesen sei. Ob sich das Verwaltungsgericht in diesem Punkt (stillschweigend) der Begründung des Baudepartements angeschlossen hat, oder ob insoweit eine Verletzung der Begründungspflicht vorliegt, kann letztlich offenbleiben: Da es sich um eine Rechtsfrage des Bundes- bzw. des kantonalen Verfassungsrechts (Art. 29 Abs. 2 BV; Art. 4 lit. c KV/SG) handelt, die das Bundesgericht frei prüfen kann, kann eine allfällige Verletzung der Begründungspflicht noch im bundesgerichtlichen Verfahren geheilt werden.
2.4 Es entspricht der Praxis des Baudepartements und ist auch in anderen Kantonen üblich, im Rekursverfahren grundsätzlich auf den Sachverstand der eigenen Ämter und Mitarbeiter abzustellen, anstatt externe Gutachten einzuholen, die nicht nur zusätzliche Kosten verursachen, sondern i.d.R. auch die Verfahrensdauer verlängern. Der Umstand, dass der Sachbearbeiter des Hochbauamts bereits in einem früheren Baugesuchsverfahren des Beschwerdegegners einen Amtsbericht verfasst hatte, begründet für sich allein noch keine unzulässige Vorbefassung (vgl. dazu die Rechtsprechungsübersicht im Urteil 1C_150/2009 vom 8. September 2009 E. 3.5). Dies gilt erst recht, wenn im zweiten Umgang nicht mehr dasselbe, sondern ein neues, redimensioniertes Bauvorhaben zu beurteilen ist (vgl. dazu näher unten, E. 3.2).
Art. 13 des St. Galler Gesetzes über die Verwaltungsrechtspflege vom 16. Mai 1965 (VRP/SG) verweist nur für (verwaltungsexterne) Sachverständigengutachten, nicht aber für (verwaltungsinterne) Amtsberichte auf die Bestimmungen der Zivilprozessordnung. Insofern genügte es, den Beschwerdeführern eine Kopie des Schreibens vom 5. Juli 2010 an das Hochbauamt zuzustellen. Die Beschwerdeführer hätten somit die Möglichkeit gehabt, bereits zu diesem Zeitpunkt Einwände gegen die Einholung eines Amtsberichts des Hochbauamtes bzw. gegen die Unbefangenheit einzelner Sachbearbeiter dieses Amtes geltend zu machen.
2.5 Der Amtsbericht wurde ihnen mit Schreiben vom 19. August 2010 zugestellt. Mit E-Mail vom 27. August 2010 teilte der Rechtsvertreter der Beschwerdeführer mit, seine Mandantschaft wünsche, sich zum Amtsbericht zu äussern und gegebenenfalls ein Gegengutachten einzureichen; hierfür sei ihr eine Frist von mindestens 20 Tagen anzusetzen. Der juristische Mitarbeiter des Baudepartements antwortete telefonisch und bestätigte nochmals per E-Mail, dass es den Beschwerdeführern selbstverständlich freistehe, eine Stellungnahme zum Amtsbericht einzureichen. Ein Parteigutachten mache dagegen wenig Sinn, weil das Baudepartement bei seinem Entscheid regelmässig auf den Fachbericht seiner eigenen Fachstellen abstelle. Eine Frist von 20 Tagen könne leider nicht eingeräumt werden, weil beabsichtigt sei, in der nächsten Woche mit dem Entscheidentwurf zu beginnen. Die Beschwerdeführer wurden deshalb ersucht, eine allfällige Stellungnahme schnellstens einzureichen. Daraufhin reichte der Rechtsvertreter der Beschwerdeführer am 1. September 2010 eine summarische Stellungnahme ein.
Dieses Vorgehen ist aus Sicht des rechtlichen Gehörs nicht zu beanstanden. Die Beschwerdeführer bzw. deren Rechtsvertreter waren mit dem Bauvorhaben und den örtlichen Umständen vertraut, weshalb es ihnen möglich gewesen wäre, eine mehr als nur summarische Stellungnahme zum Amtsbericht abzugeben, ohne dass sie hierfür zwingend einen Architekten oder eine Heimatschutzorganisation hätten konsultieren müssen. In diesem Zusammenhang ist auch zu berücksichtigen, dass sie zwar um "schnellstmögliche" Stellungnahme ersucht wurden, ihnen hierfür aber keine feste Frist gesetzt wurde. Insofern hätten die Beschwerdeführer auch noch einige Tage mehr für ihre Stellungnahme beanspruchen können; diesfalls hätte das Baudepartement mit seinem Entscheid zuwarten müssen.
Insgesamt ist daher eine Verletzung des rechtlichen Gehörs zu verneinen.
2.6 Ist die Einholung des Amtsberichts des Hochbaudepartements aus rechtlicher Sicht nicht zu beanstanden, durften das Baudepartement und das Verwaltungsgericht auf diesen Bericht abstellen. Es besteht auch vor Bundesgericht kein Anlass, eine unabhängige Expertise einzuholen.
3. In der Sache rügen die Beschwerdeführer eine Verletzung des Willkürverbots (Art. 9 BV) bei der Beweiswürdigung und bei der Rechtsanwendung.
3.1 Sie sind der Auffassung, die Vorinstanzen hätten die gemäss Art. 9 Abs. 2 Schutzverordnung gebotene "gute" Einfügung ins Landschaftsbild in unhaltbarer Weise bejaht. Hierfür berufen sie sich vor allem auf den Amtsbericht des Hochbauamts vom 27. November 2008 zum ersten Projekt. Damals habe derselbe Mitarbeiter des Hochbauamts das Gebäude (nur) als im Landschaftsschutzgebiet "verträglich" beurteilt. Dagegen sei er im Bericht vom 16. August 2010 zum Ergebnis gekommen, das Wohnhaus füge sich "gut" in das Landschaftsbild ein, obwohl das Projekt bezüglich seiner Erscheinung keine grosse Änderung erfahren habe. Es handle sich weiterhin um ein schlichtes, kubisches Erscheinungsbild, welches durch grosszügige Verglasungen gegen Norden und eine geschlossene Fassade gegen Süden sowie eine Fenstergruppe im Osten und Weste geprägt sei. Auch an der Farbgestaltung und an der Terrainanpassung habe es keine Änderungen gegeben. Das Bauvorhaben trete somit in der Landschaft gleich in Erscheinung wie die früher geplante Baute, weshalb der plötzliche Wandel von "verträglich" zu "gut einfügen" sachlich nicht nachvollziehbar sei. Sei das frühere Bauvorhaben vom Verwaltungsgericht als unzulässig beurteilt worden, so sei es willkürlich, heute von einer guten Einfügung in die Schutzzone auszugehen.
Widersprüchlich sei es auch, wenn im ersten Amtsbericht betont werde, dass es nicht um die Architektur des Projektes gehe, sondern um dessen Einfügung in die Landschaft, im zweiten Amtsbericht dann aber die architektonische Gestaltung als Begründung für die gute Einfügung der Baute in die Landschaft verwendet werde.
3.2 Wie ein Vergleich mit dem Bauvorhaben 2007 zeigt, weist das hier zu beurteilende Bauvorhaben eine andere Form und erheblich kleinere Dimensionen auf als das Vorgängerprojekt: Während das Bauvorhaben 2007 eine polygonale Grundform mit einer Länge (Südfassade) von rund 30 m aufwies, ist das neue Bauvorhaben quadratisch, mit Seitenlängen von 16 x 16 m.
Im Amtsbericht vom 27. November 2008 wurde dazu ausgeführt, trotz aller Klarheit und schlichten Erscheinung bleibe das Projekt in seiner Art schematisch und gehe wenig auf die Qualitäten des Orts ein; der Grund für die polygonale Grundform und die Abdrehung aus der Strassenflucht könnten nicht gelesen werden; an dieser exponierten Lage, am Übergang von Wiesfläche zu Siedlung, vermöge der Bau nicht ganz die erwarteten ortsbaulichen und architektonischen Qualitäten zu erfüllen. Auf diese Passage stützte sich das Verwaltungsgericht in seinem Entscheid vom 15. Oktober 2009 (E. 3.5.1 S. 24 oben) massgeblich, um die Beschwerde gutzuheissen.
Im Amtsbericht vom 16. August 2010 wird dagegen ausgeführt, das geplante Wohnhaus weise einen schlichten, kubischen Baukörper auf. Die in der Grösse angemessene quadratische Grundform mit 16 m Kantenlänge werde parallel zur Heidenerstrasse gestellt (S. 1). Im Vergleich mit dem ersten Projekt sei nicht nur die Längenausdehnung fast halbiert, sondern die Grundform sei nun orthogonal und das Gebäude parallel zur Strasse ausgerichtet (S. 2). Insgesamt kommt das Hochbauamt zum Ergebnis, das geplante Wohnhaus, in seiner zeitgemässen und einfachen, zurückhaltenden Gestaltung und seiner nachhaltigen Materialwahl erfülle die ortsbaulichen und architektonischen Anforderungen und füge sich gut in das Landschaftsbild ein.
Wie sich aus dem Vergleich ergibt, spielten die Form (quadratisch bzw. polygonal), die Lage (parallel zur Strassenachse bzw. von ihr abgedreht) und die Dimensionierung des Bauwerks (Länge von 30 bzw. von nur 16 m) bei der Beurteilung der Landschaftsverträglichkeit der Projekte eine wichtige Rolle. Da sich die Bauvorhaben in diesen Punkten wesentlich voneinander unterscheiden, bestehen sachliche Gründe für die unterschiedliche Beurteilung beider Bauprojekte.
Die Unterscheidung zwischen architektonischen Qualitäten einerseits und der Einfügung in die Landschaft andererseits, die im ersten Amtsbericht vorgenommen wurde, erscheint kaum durchführbar und wurde auch im Verwaltungsgerichtsentscheid vom 15. September 2009 (S. 24) nicht übernommen. Insofern ist es nachvollziehbar und jedenfalls nicht willkürlich, wenn diese Unterscheidung im zweiten Amtsbericht nicht mehr getroffen wurde.
Der Entscheid der Vorinstanzen, die gute Einfügung des Bauvorhabens in die Landschaft zu bejahen, kann daher nicht als unhaltbar bzw. willkürlich erachtet werden.
4. Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben W._ für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Rorschacherberg, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 8. September 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber