Sachverhalt: A. W._ ist Eigentümer des unüberbauten Grundstücks Nr. 1506 an der Heidenerstrasse, Burenweid, Grundbuch Rorschacherberg. Es liegt gemäss dem kantonalen Richtplan und der Schutzverordnung der Gemeinde Rorschacherberg vom 21. April 1993 (im Folgenden: Schutzverordnung) in einem Landschaftsschutzgebiet und fällt stark nach Norden ab. Der östliche Teil des Grundstücks liegt gemäss Teilzonenplan Unterwienachtsträsschen vom 14. Juli 2003 in der Wohnzone (W2), der westliche Teil gemäss Zonenplan der Gemeinde Rorschacherberg vom 20. Oktober 1982 in der Landwirtschaftszone. B. W._ hat bereits mehrfach Gesuche für die Überbauung seines Grundstücks eingereicht. Ein Baugesuch vom 16. Januar 2006 wurde vom Gemeinderat Rorschacherberg am 5. September 2006 bewilligt. Das u.a. von X._ angerufene Baudepartement kam in einer ersten Beurteilung zum Ergebnis, dass die Rekurse gute Aussicht auf Erfolg hätten, weil das Bauvorhaben aufgrund diverser Planungenauigkeiten und Unklarheiten nicht als baurechtskonform bewilligt werden könne. Daraufhin wurde das Baugesuch zurückgezogen. Am 5. November 2007 reichte W._ ein Baugesuch für ein Einfamilienhaus auf dem der Bauzone zugewiesenen Teil seines Grundstücks ein. Gegen das Bauvorhaben erhoben wiederum mehrere Anwohner, darunter X._, Einsprache. Am 8. Juli 2008 wies der Gemeinderat Rorschacherberg die Einsprachen ab und erteilte die Baubewilligung. Dagegen erhoben die Einsprecher Rekurs an das Baudepartement und, nach Abweisung des Rekurses, Beschwerde an das Verwaltungsgerichts des Kantons St. Gallen. Dieses hiess die Beschwerden am 15. Oktober 2009 gut, soweit es darauf eintrat. Es ging davon aus, die nach Art. 9 Abs. 2 der Schutzverordnung gebotene gute Einfügung in das Landschaftsbild sei aufgrund der Beurteilung des Hochbauamts nicht ausgewiesen. Zudem verletze das geplante 30 m lange Wohnhaus in verschiedenen Punkten Vorschriften des Baureglements. C. Am 8. Januar 2010 reichte W._ ein neues Baugesuch ein. Nach den Plänen ist der Neubau eines kleineren zweigeschossigen Einfamilienhauses mit einem Grundriss von 16 x 16 m vorgesehen, das neben der Wohnnutzung auch einen privaten Arbeitsplatz des Gesuchstellers beinhaltet. Gegen dieses Vorhaben erhoben X._ sowie Y._, Eigentümerin des Grundstücks Nr. 1507, und Z._, Eigentümer des Grundstücks Nr. 817, gemeinsam Einsprache. Am 27. April 2010 wies der Gemeinderat die Einsprachen ab und erteilte die Baubewilligung. Dagegen erhoben die Einsprecher Rekurs an das Baudepartement. Dieses holte einen Amtsbericht des Hochbauamts ein. In seinem Bericht vom 16. August 2010 kam das Hochbauamt zum Ergebnis, dass das geplante Wohnhaus die ortsbaulichen und architektonischen Anforderungen erfülle und sich gut in das Landschaftsbild einfüge. Am 3. September 2010 wies das Baudepartement den Rekurs ab. Dagegen führten die Einsprecher Beschwerde an das Verwaltungsgericht. Dieses wies die Beschwerde am 12. April 2011 ab. D. Gegen den verwaltungsgerichtlichen Entscheid haben X._, Y._ und Z._ (im Folgenden: die Beschwerdeführer) am 19. Mai 2011 Beschwerde an das Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sowie die vorinstanzlichen Entscheide des Baudepartements und des Gemeinderats betreffend das Baugesuch Nr. 10.003 seien aufzuheben und die Baubewilligung zu verweigern. Eventualiter sei die Sache zu neuer Beurteilung an das Verwaltungsgericht zurückzuweisen. In verfahrensrechtlicher Hinsicht beantragen sie die Einholung eines unabhängigen Gutachtens, insbesondere zur Einfügung bzw. zur Wirkung des Bauvorhabens im Landschaftsschutzgebiet, sowie die Gewährung der aufschiebenden Wirkung. W._ (im Folgenden: der Beschwerdegegner) sowie das Baudepartement und das Verwaltungsgericht beantragen, die Beschwerde sei abzuweisen. In ihrer Replik vom 25. August 2011 halten die Beschwerdeführer an ihren Anträgen fest. E. Mit Verfügung vom 16. Juni 2011 wurde das Gesuch um aufschiebende Wirkung abgewiesen.