Sachverhalt:
A. Am 25. Januar 2011 erteilte die Baukommission der Gemeinde Neckertal Z._ die Bewilligung zum Bau eines Einfamilienhauses auf dem Grundstück Nr. 572S, Grundbuch St. Peterzell. Die Einsprache von X._ und Y._, Eigentümer der benachbarten Liegenschaft Nr. 682S, wies sie ab.
B. Dagegen erhoben X._ und Y._ Rekurs beim Baudepartement des Kantons St. Gallen. Dieses wies den Rekurs am 29. Juni 2011 ab. Die dagegen gerichtete Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen am 20. März 2012 ab, soweit es darauf eintrat.
C. Dagegen haben X._ und Y._ am 14. Mai 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, die Entscheide des Verwaltungsgerichts, des Baudepartements und der Baukommission Neckertal seien aufzuheben und die Sache sei zur weiteren Abklärung und zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Eventualiter sei die Baubewilligung für das Baugesuch des Beschwerdegegners zu verweigern.
D. Das Verwaltungsgericht und das Baudepartement St Gallen schliessen auf Beschwerdeabweisung. Z._ und die Baukommission Neckertal beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei.
Im weiteren Schriftenwechsel halten die Parteien an ihren Anträgen fest.
E. Mit Verfügung vom 6. Juni 2012 wurde das Gesuch der Beschwerdeführer um Gewährung der aufschiebenden Wirkung abgelehnt.
Erwägungen:
1. Da alle Sachurteilsvoraussetzungen vorliegen, ist auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) grundsätzlich einzutreten.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht kann insbesondere die Verletzung von Bundesrecht - einschliesslich Überschreitung oder Missbrauch des Ermessens - gerügt werden (Art. 95 lit. a BGG). Die Anwendung des - vorliegend streitigen - kantonalen Baurechts kann das Bundesgericht nur unter verfassungsrechtlichen Gesichtspunkten, namentlich unter dem Blickwinkel des Willkürverbots, überprüfen. Die Verletzung von Grundrechten wird vom Bundesgericht nur insoweit geprüft, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten qualifizierte Begründungsanforderungen (BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen).
Das Bundesgericht ist an den von der Vorinstanz festgestellten Sachverhalt gebunden, soweit dieser nicht offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 und Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel können nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG).
2. Vor Verwaltungsgericht war u.a. streitig, ob das Bauvorhaben den Bauvorschriften der Wohnzone 2 (W2) zur zulässigen Geschosszahl entspricht. Gemäss Art. 8 Abs. 2 des Baureglements der politischen Gemeinde Neckertal (BauR) gelten Geschosse, die bis Oberkant Decke gemessen, den Niveaupunkt nicht mehr als 1.3 m überragen, als Untergeschosse. Als Niveaupunkt gilt der Schwerpunkt des Gebäudegrundrisses auf dem gewachsenen Boden (Art. 60 Abs. 2 des St. Galler Gesetzes vom 6. Juni 1972 über die Raumplanung und das öffentliche Baurecht [Baugesetz; BauG])
Die Beschwerdeführer vermuteten, dass das unterste Geschoss mehr als 1.3 m über die Kote des Niveaupunktes hinausrage und deshalb nicht mehr als Untergeschoss, sondern als (unzulässiges) drittes Vollgeschoss zu qualifizieren sei. Sie machten geltend, der im Baugesuch angegebene Niveaupunkt sei aus einem früheren Bauprojekt übernommen worden und müsse für das aktuelle Projekt neu berechnet werden, gegebenenfalls durch eine Expertise. Dabei müsse nicht nur das Hauptgebäude, sondern auch die überdachte Eingangshalle im Südosten des Untergeschosses berücksichtigt werden.
Daraufhin liess der Beschwerdegegner den Niveaupunkt von der Geoinfo AG neu ermitteln, und zwar einmal mit und einmal ohne Berücksichtigung der Eingangshalle (Höhenkotenpläne vom 25. August 2011). Das Verwaltungsgericht stellte im angefochtenen Entscheid auf diese neuen Berechnungen ab. Es hielt fest, dass das Untergeschoss den Niveaupunkt um weniger als 1.3 m überrage, unabhängig davon, ob für dessen Berechnung nur auf das Hauptgebäude abgestellt oder auch die überdachte Eingangshalle im Südosten des Untergeschosses miteinbezogen werde.
3. Die Beschwerdeführer rügen zunächst, das Verwaltungsgericht habe offensichtlich falsche Feststellungen zur Kote des Niveaupunkts getroffen. Es habe festgehalten, dass dieser auf 843.34 m.ü.M. liege, wenn nur auf das Hauptgebäude abgestellt werde, und auf 843.43 m.ü.M., wenn der Eingangsbereich Südost miteinbezogen werde. Diese Feststellung sei offensichtlich falsch, weil das Gelände der Bauparzelle im Bereich des Baukörpers von Norden nach Südosten um rund 1.25 m abfalle, der Eingangsbereich Südost also tiefer liege als der übrige Baukörper im Norden. Dies habe zur Folge, dass der Niveaupunkt unter Einbezug des Eingangsbereichs Südost tiefer und keinesfalls höher liegen könne als ohne diesen Bereich.
Tatsächlich hat das Verwaltungsgericht - wie es selbst einräumt - die beiden Höhenkotenpläne der Geoinfo AG verwechselt: Nach deren Berechnungen liegt die Kote des Niveaupunkts ohne den Eingangsbereich auf 843.43 m.ü.M. und mit diesem auf 843.34 m.ü.M., d.h. etwas tiefer. Dies ändert allerdings nichts am Ergebnis, weil in beiden Fällen der Abstand zur Oberkant Decke (die unstreitig auf 844.60 m liegt) weniger als 1.3 m beträgt. Dies hat zur Folge, dass das unterste Geschoss als zulässiges Untergeschoss und nicht als unzulässiges drittes Vollgeschoss zu qualifizieren ist. Die Verwechselung der beiden Pläne durch die Vorinstanz führt daher nicht zur Aufhebung des angefochtenen Entscheids (vgl. Art. 97 Abs. 1 BGG).
4. Die Beschwerdegegner werfen dem Verwaltungsgericht ferner eine einseitige Beweiswürdigung vor. Es hätte nicht unbesehen auf die vom Beschwerdegegner in Auftrag gegebenen Berechnungen der Geoinfo AG abstellen dürfen, die als Parteibehauptungen zu werten seien. Dies gelte umso mehr, als die eingereichten Höhenkotenpläne Art und Grundlagen der Berechnung (gewachsenes Terrain, Gebäudegrundriss) nicht erkennen liessen, ihre Richtigkeit daher nicht habe überprüft werden können.
4.1 Die Beschwerdegegner wenden ein, die Geoinfo AG sei das grösste Geometerbüro der Ostschweiz und betreue an vier Standorten die amtliche Vermessung von über 50 Gemeinden in den Kantonen St. Gallen und Appenzell Ausserrhoden. Hätten die Vorinstanzen (und nicht der Beschwerdegegner) das Gutachten in Auftrag gegeben, wäre mit grösster Wahrscheinlichkeit ebenfalls die Geoinfo AG beauftragt worden. Es gebe keinen Grund, an der Richtigkeit der Vermessung zu zweifeln. Welchen Aufwand die Geoinfo AG für die Festlegung des Niveaupunktes für beide Varianten betrieben habe, ergebe sich aus deren Rechnung vom 9. September 2011. Zudem sei auf den Plänen angegeben, dass der Niveaupunkt unter Bezugnahme auf die in den Plänen eingetragenen Polygonpunkte ermittelt worden sei.
4.2 Die Berechnung des Niveaupunkts wurde von einem erfahrenen Geometerbüro vorgenommen. In den Höhenkotenplänen sind die jeweils zugrunde gelegten Grundrisse (rot), der Niveaupunkt (grün) sowie die Polygonpunkte (rot) markiert. Aus der Rechnung vom 9. September 2011 ergibt sich, dass die von einem Geomatiker berechneten Niveaupunkte im Gelände verpflockt und vermessen wurden.
Es gibt keinerlei Anhaltspunkte dafür, dass die Berechnung oder die Vermessung nicht korrekt vorgenommen worden wäre. Zwar kann es im Einzelfall schwierig sein, das gewachsene Terrain eindeutig zu bestimmen, z.B. wenn Geländeanpassungen oder Abgrabungen vorgenommen wurden. Die Beschwerdeführer machen jedoch nicht geltend, dass solche besonderen Umstände vorliegen. Unter diesen Umständen durfte das Verwaltungsgericht willkürfrei auf die von den Beschwerdegegnern eingereichten Höhenkotenpläne abstellen und war nicht verpflichtet, weitere Ermittlungen anzuordnen.
5. Schliesslich rügen die Beschwerdeführer, die Kosten für sämtliche vorinstanzlichen Verfahren seien ihnen auferlegt worden. Dies sei willkürlich, weil ihre Beschwerde vor Verwaltungsgericht gestützt auf die erst nachträglich eingereichten Höhenkotenpläne abgewiesen worden sei. Diese hätten nach Art. 20 Abs. 1 lit. d BauR bereits mit dem Baugesuch eingereicht werden müssen.
Dieser Umstand wurde jedoch vom Verwaltungsgericht berücksichtigt: Es führte im angefochtenen Entscheid (E. 5.2 S. 16) aus, dass das Baugesuch die Messung des Niveaupunkts zu enthalten habe (Art. 20 Abs. 1 lit. d BauR), weshalb es nicht gerechtfertigt sei, die Bemühungen des Anwalts des Beschwerdegegners, die dadurch erforderlich wurden, dass die Messung des Niveaupunktes erst im Rahmen des Beschwerdeverfahrens erfolgte, ausseramtlich zu entschädigen. Das Gericht erachtete daher eine Entschädigung von Fr. 4'500.-- (anstatt der in der Kostennote in Rechnung gestellten Fr. 6'177.60) für ausreichend und entschied, dass es Sache des Beschwerdegegners sei, die Rechnung der Geoinfo AG zu begleichen.
Unter diesen Umständen war es nicht willkürlich, die übrigen Verfahrens- und Parteikosten den in der Sache unterliegenden Beschwerdeführern aufzuerlegen, zumal diese im kantonalen Verfahren nicht nur den Niveaupunkt beanstandet, sondern weitere Rügen erhoben hatten, die sich allesamt als unbegründet erwiesen.
6. Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 4'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Neckertal, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 3. Oktober 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Gerber