Sachverhalt: A. Am 25. Januar 2011 erteilte die Baukommission der Gemeinde Neckertal Z._ die Bewilligung zum Bau eines Einfamilienhauses auf dem Grundstück Nr. 572S, Grundbuch St. Peterzell. Die Einsprache von X._ und Y._, Eigentümer der benachbarten Liegenschaft Nr. 682S, wies sie ab. B. Dagegen erhoben X._ und Y._ Rekurs beim Baudepartement des Kantons St. Gallen. Dieses wies den Rekurs am 29. Juni 2011 ab. Die dagegen gerichtete Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen am 20. März 2012 ab, soweit es darauf eintrat. C. Dagegen haben X._ und Y._ am 14. Mai 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht erhoben. Sie beantragen, die Entscheide des Verwaltungsgerichts, des Baudepartements und der Baukommission Neckertal seien aufzuheben und die Sache sei zur weiteren Abklärung und zur Neubeurteilung an das Verwaltungsgericht zurückzuweisen. Eventualiter sei die Baubewilligung für das Baugesuch des Beschwerdegegners zu verweigern. D. Das Verwaltungsgericht und das Baudepartement St Gallen schliessen auf Beschwerdeabweisung. Z._ und die Baukommission Neckertal beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Im weiteren Schriftenwechsel halten die Parteien an ihren Anträgen fest. E. Mit Verfügung vom 6. Juni 2012 wurde das Gesuch der Beschwerdeführer um Gewährung der aufschiebenden Wirkung abgelehnt.