Sachverhalt:
A. A.X._ und B.X._ sind u.a. Eigentümer des Grundstücks Nr. 573N (Grundbuch Nesslau-Krummenau-Stein) in Krummenau. Darauf befinden sich mehrere Gebäude, u.a. auch ihr Wohnhaus. Die Parzelle liegt in der zweigeschossigen Kernzone. Daneben gehören den beiden die weiter westlich gelegenen Grundstücke Nrn. 563N (Landwirtschaftszone) und 564N (Wohn-Gewerbezone WG2 und Landwirtschaftszone). Der nicht in der Landwirtschaftszone liegende Teil der letztgenannten Parzelle wurde an die Sportbahn Krummenau-Wolzenalp AG vermietet und wird von dieser als Parkplatz für die anreisenden Skitouristen genutzt.
Südwestlich des Grundstücks Nr. 573N, getrennt durch die Kammernstrasse, befindet sich ein Teil des landwirtschaftlichen Gewerbebetriebs von C._ (Nr. 557N). Anfangs des Jahrs 2009 intervenierten A.X._ und B.X._ bei der Gemeinde Nesslau-Krummenau gegen die Nutzung dieses Grundstücks als Parkfeld für Skitouristen und Kunden der Krummenau-Wolzenalp-Bahn. Nachdem unter den Beteiligten keine allseits befriedigende Lösung gefunden werden konnte, forderten A.X._ und B.X._ die Politische Gemeinde Nesslau-Krummenau mit Schreiben vom 26. Juli 2009 auf, bis 15. September 2009 ein Bewilligungsverfahren für die Nutzung des Grundstücks Nr. 557N als Parkplatz einzuleiten. Mit Schreiben vom 11. September 2009 teilte die Adressatin mit, es bestehe aus ihrer Sicht kein Grund für die Einleitung eines Baubewilligungsverfahrens, da die fragliche Fläche landwirtschaftlich genutzt werde und das Parkplatzproblem Krümmenswil somit während der Vegetationsperiode nicht bestehe. Das vorübergehende Parkieren von Fahrzeugen auf Wiesen sei im Übrigen aus ästhetischen Gründen kaum zu beanstanden, die Zustimmung der Grundeigentümer vorausgesetzt.
B. Daraufhin reichten A.X._ und B.X._ am 9. Oktober 2009 wie angekündigt Rechtsverweigerungsbeschwerde und Anzeige beim kantonalen Baudepartement ein. Sie verlangten im Wesentlichen, die Gemeinde sei anzuweisen, für die Umnutzung des landwirtschaftlichen Grundstücks Nr. 557N als Parkplatz ein Baubewilligungsverfahren durchzuführen (Ziff. 1 der Beschwerde). Neben der Gewährung der aufschiebenden Wirkung (Ziff. 2) beantragten sie in diesem Zusammenhang, C._ zu untersagen, die fragliche Parzelle Nr. 557N während der Wintersaison den Skisportlern zu Verfügung zu stellen (Ziff. 3). Das Baudepartement wies die Rechtsbegehren Ziff. 2 und 3 am 18. Dezember 2009 ab (Verfahren 09-5900). Im Rahmen des Vernehmlassungsverfahrens ergänzten die Beschwerdeführer ihre Eingabe mit dem Eventualbegehren, die Eingabe vom 9. Oktober 2009 als Rekurs entgegenzunehmen.
C. Am 11. Januar 2010 wandten sich A.X._ und B.X._ erneut an die Gemeinde Nesslau-Krummenau und machten darauf aufmerksam, dass an verschiedenen Tagen wiederum zahlreiche Autos auf den Grundstücken Nrn. 540N und 557N sowie direkt am Strassenrand parkiert hätten, obwohl der offizielle Parkplatz nicht ausgelastet sei. Sie forderten deswegen, den nicht bewilligten Parkplatzbetrieb ausserhalb der Bauzone mit sofortiger Wirkung bis zum Vorliegen einer Bewilligung zu unterbinden. C._ sei zudem aufzufordern, für die von ihm angebotene Parkfläche ein Baugesuch einzureichen. Weiter verlangten sie, eine etwaige Weigerung sei in einer formellen und anfechtbaren Verfügung festzuhalten. In diesem Zusammenhang wiesen sie darauf hin, dass es sich um einen neuen Fall handle, der unabhängig vom bereits beim Baudepartement hängigen Verfahren anhand zu nehmen sei. Die Situation sei deshalb neu, weil andere und zusätzliche Parkflächen betroffen seien und weil die damalige Begründung des Gemeinderats, wonach es in der Vegetationsperiode an der Aktualität des Parkplatzproblems fehle, entfallen sei.
D. Mit Beschluss vom 19. Januar 2010 nahm der Gemeinderat das Schreiben von A.X._ und B.X._ zur Kenntnis (Ziff. 1) und hielt u.a. fest, aufgrund der Sachlage werde C._ nicht aufgefordert, ein Baugesuch einzureichen (Ziff. 3). Auf den Erlass einer anfechtbaren Verfügung werde verzichtet (Ziff. 4). Dazu erwog der Gemeinderat, aufgrund der Stellungnahmen hätten weder die Sportbahn Krummenau-Wolzenalp AG noch C._ die Parkplätze für anreisende Skifahrer angeboten. Von einem Parkplatzbetrieb könne nicht die Rede sein. Das Fehlverhalten der Autofahrer sei keine baurechtliche Angelegenheit.
E. Gegen diesen Beschluss rekurrierten A.X._ und B.X._ am 1. Februar 2010 ans Baudepartement; eventualiter erhoben sie wiederum Rechtsverweigerungsbeschwerde und Anzeige (Verfahren 10-819).
Das Baudepartement verweigerte am 22. Februar 2010 gewisse superprovisorische Massnahmen, welche die Rekurrenten gefordert hatten. Es vereinigte die beiden Verfahren 09-5900 und 10-819 und entschied am 11. Oktober 2010 in der Sache selber. Die erste Rechtsverweigerungsbeschwerde nahm es als Rekurs entgegen und wies diesen ab. Den zweiten Rekurs hiess es teilweise gut und stellte fest, die Nutzung des Grundstücks Nr. 557N als Parkplatz für Skitouristen, so wie sie in den letzten beiden Wintersaisons betrieben worden sei, unterliege der Baubewilligungspflicht. Das Abstellen von Fahrzeugen auf dem Grundstück Nr. 540N und entlang der Kammernstrasse sei hingegen ohne Zutun von C._ erfolgt. Der Gemeinderat habe es darum bei der Feststellung bewenden lassen dürfen, das vereinzelte Falschparkieren sei kein baurechtliches Problem.
F. Die Politische Gemeinde Nesslau-Krummenau und C._ erhoben gegen diesen Entscheid mit separaten Eingaben Beschwerde beim Verwaltungsgericht des Kantons St. Gallen, zogen diese aber je wieder zurück.
Auch A.X._ und B.X._ gelangten ans Verwaltungsgericht. Sie beantragten insbesondere die Feststellung, dass nicht nur die Nutzung der Parzelle Nr. 557N, sondern auch diejenige sämtlicher Landwirtschaftsflächen im Gebiet Krümmenswil (Grundstücke Nrn. 540N, 555N, 566N und 547N) als Parkplatz für Skisportler der Bewilligungspflicht unterliege. Das Verwaltungsgericht wies die Beschwerde am 29. August 2011 ab.
G. In ihrer Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 6. Oktober 2011 beantragen A.X._ und B.X._ die Aufhebung des verwaltungsgerichtlichen Urteils vom 29. August 2011. Eventualiter - falls auf die Beschwerde wegen Wegfalls des aktuellen Interesses (teilweise) nicht eingetreten werden sollte - seien zumindest die Disp.-Ziff. 2 und 3 des angefochtenen Entscheids aufzuheben.
C._ beteiligt sich nicht am bundesgerichtlichen Verfahren. Das Baudepartement und das Verwaltungsgericht des Kantons St. Gallen schliessen je auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über die baurechtliche Bewilligungspflicht gewisser Nutzungen zugrunde. Nach Art. 34 Abs. 1 RPG (SR 700) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält keinen Ausschlussgrund (<ref-law>). Angefochten ist ein Entscheid einer letzten kantonalen Instanz, welcher das Verfahren abschliesst (Art. 86 Abs. 1 lit. d, Art. 90 BGG).
1.2 Die Beschwerdeführer sind Eigentümer der Grundstücke Nr. 573N, 563N sowie 564N und damit unmittelbar angrenzende Nachbarn verschiedener Parzellen, auf welchen ihrer Meinung nach unzulässig parkiert wird oder werden könnte; deshalb sind sie durch den angefochtenen Entscheid besonders berührt. Sie selber werfen indes die Frage auf, ob sie ein aktuelles schützenswertes Interesse an der Feststellung der Bewilligungspflicht für etwaige Parkplätze auf den von ihnen genannten Parzellen haben.
1.3 Das Bundesgericht sieht vom Erfordernis des aktuellen Interesses ab, wenn sich die mit der Beschwerde aufgeworfene Frage jederzeit und unter gleichen oder ähnlichen Umständen wieder stellen könnte, an ihrer Beantwortung wegen ihrer grundsätzlichen Bedeutung ein hinreichendes öffentliches Interesse besteht und eine rechtzeitige bundesgerichtliche Prüfung im Einzelfall kaum je möglich wäre (vgl. <ref-ruling> E. 1.2 S. 674; <ref-ruling> E. 1a S. 166; Urteil 1C_541/2009 vom 7. Juli 2010 E. 1, mit weiteren Hinweisen). Es fragt sich, ob diese Voraussetzungen erfüllt sind: Ob eine etwaige Nutzung gewisser Parzellen ausserhalb der Bauzone als Parkfelder baubewilligungspflichtig sei, kann auch im konkreten Fall geprüft werden. Dies zeigt nachgerade das Beispiel von Grundstück Nr. 557N auf, wo eine solche Bewilligungspflicht von den Vorinstanzen bejaht wurde. Aber selbst wenn auf die Beschwerde einzutreten wäre, weil nicht von vornherein auszuschliessen ist, dass die von den Beschwerdeführern genannten Grundstücke in der aktuellen Wintersportsaison als Parkplätze genutzt werden, ist diese abzuweisen, wie die nachfolgenden Erwägungen aufzeigen.
2. Die Beschwerdeführer wenden sich dagegen, dass das Verwaltungsgericht zwar das Parken auf Grundstück Nr. 557N als baubewilligungspflichtig qualifiziert, das "vereinzelte" Falschparkieren auf anderen Parzellen allerdings von dieser Pflicht ausnimmt. Sie rügen in diesem Zusammenhang eine offensichtlich falsche Sachverhaltsfeststellung und damit verbunden eine Gehörsverletzung: So hätten sie vier Zeugen offeriert, deren Einvernahme das Verwaltungsgericht aber abgelehnt habe. Diese Zeugen hätten bestätigen können, dass Skitouristen auf das Grundstück Nr. 540N gelotst worden seien, weshalb von vereinzeltem Falschparkieren nicht die Rede sein könne. Auch habe die Vorinstanz zu Unrecht einen unangekündigten Augenschein verweigert. Die Beschwerdeführer beharren auf ihrem Feststellungsinteresse, nicht nur hinsichtlich der Parzelle Nr. 540N, sondern auch betreffend der Grundstücke Nrn. 555N, 566N und 547N. Wenn gestützt auf ein rechtskräftiges Urteil die Grundstücke Nrn. 557N und 540N nicht mehr zur Verfügung stünden, dürfte die Versuchung nach Meinung der Beschwerdeführer gross sein, auf die umliegenden Wiesen auszuweichen.
2.1 Das Verwaltungsgericht stützt sich bei seiner Beurteilung in erster Linie auf Fotos in den Akten. Daraus schliesst es, entlang der Mattstrasse seien an einzelnen Tagen bis Mitte Januar 2010 im Durchschnitt zehn Fahrzeuge parkiert worden. Dies sei aber offensichtlich gegen den Willen der Sportbahn Krummenau-Wolzenalp AG geschehen, denn diese habe gegenüber der Gemeinde am 15. Januar 2010 festgehalten, sie werde nun entlang der Mattstrasse bis hin zur Piste eine Absperrung vornehmen. Der Behauptung der Beschwerdeführer, die Automobilisten seien durch das Personal der Sportbahn auf die Wiese oberhalb der Mattstrasse gelotst worden, hält das Verwaltungsgericht zusammen mit dem Baudepartement entgegen, der auf dem Bild zu sehende Einweiser befinde sich im Bereich des Grundstücks Nr. 564N, welches der Bahn als Parkplatz diene. Nach Eingang des erwähnten Schreibens vom 15. Januar 2010 von Seiten der Sportbahn und dem Gemeinderatsbeschluss vom 19. Januar 2010 seien auf dem Grundstück Nr. 540N keine Fahrzeuge mehr nachgewiesen. Aus dem Bild vom 24. Januar 2010 in den Akten lasse sich nichts anderes beweisen. Die Vorinstanz gesteht den Beschwerdeführern zwar zu, dass nach der Schliessung des Parkfelds auf der Parzelle Nr. 557N wieder vermehrt entlang der Mattstrasse parkiert werden könnte. Nachdem die Sportbahn aber zugesichert habe, eine Absperrung einzurichten, sei davon auszugehen, dass das Grundstück Nr. 540N für parkplatzsuchende Skitouristen künftig nicht mehr zur Verfügung stehen. Insofern stelle sich die Situation grundlegend anders dar als auf dem Grundstück Nr. 557N, welches vom Beschwerdegegner gezielt zu Parkzwecken zur Verfügung gestellt worden sei. Das Verwaltungsgericht schützt darum die Gemeinde in ihrer Feststellung, das vereinzelte Falschparkieren sei kein baurechtliches Problem und von einem allenfalls baubewilligungspflichtigen Parkplatzbetrieb könne keine Rede sein. Unter diesen Umständen erachtete es die Befragung der vier Zeugen als unnötig.
Entsprechend waren für das Verwaltungsgericht auch die Sachverhaltserhebungen durch das Baudepartement ausreichend. So führt es aus, es sei nicht aktenkundig, dass nach dem 10. Januar 2010 auf weiteren Grundstücken in unzulässiger Weise parkiert worden wäre. Die Beschwerdeführer würden in ihrer Rekursschrift zwar darauf hinweisen, dass das Grundstück Nr. 540N am Wochenende vom 30./31. Januar 2010 wiederum mehreren Autos als Parkplatz gedient habe; aus ihrer ansonsten umfangreichen Bilddokumentation gehe dies aber nicht hervor. Damit könne nicht gesagt werden, das Departement habe den Sachverhalt unrichtig dargestellt. Die Beschwerdeführer hätten lediglich angegeben, die von ihnen genannten vier Personen könnten die nicht hinzunehmende Verlagerung der Parkplatznutzung, weg vom offiziellen Parkplatz hin zur Talstation des Sesselliftes und nach Krümmenswil hinein bestätigen. Dies sei jedoch nicht umstritten und von der Vorinstanz darum nicht zu prüfen.
2.2 Ein Blick in die Akten bestätigt die Erwägungen des Verwaltungsgerichts, weshalb eine offensichtlich falsche Sachverhaltsfeststellung zu verneinen ist. Es durfte bei seiner Einschätzung die Entwicklung im Verlaufe des Verfahrens durchaus miteinbeziehen. Ergab sich dabei, dass seit dem Schreiben der Sportbahn Mitte Januar 2010 eine Veränderung der Parksituation entlang der Mattstrasse erfolgt war - was von den Beschwerdeführern nicht bestritten wurde -, war die Vorinstanz nicht gehalten, aufwendige Abklärungen zu den vormaligen Verhältnissen zu treffen, zumal die Beschwerdeführer keinen Augenschein verlangt hatten und in ihrer Beschwerdeergänzung vom 12. November 2010 sogar ausdrücklich zugestanden hatten, auf den von ihnen zum Rekurs II eingereichten Fotos vom 24. Januar 2010 seien auf dem Grundstück Nr. 540N entlang der Mattstrasse keine parkierten Autos zu sehen.
Damit hat das Verwaltungsgericht keine abschliessende Feststellung darüber getroffen, welche Massnahmen zu treffen sind, wenn trotz der Zusicherungen und Absperrungen der Sportbahnen regelmässig auf Landwirtschaftsparzellen geparkt werden sollte. Sowohl das Verwaltungsgericht (E. 3.1) wie auch das Baudepartement (E. 5.1 und 5.2) haben sich in ihren jeweiligen Entscheiden ausführlich mit der Rechtsprechung zur Baubewilligungspflicht nach Art. 22 RPG bzw. Art. 78 des kantonalen Baugesetzes vom 6. Juni 1972 (BauG/SG; sGS 731.1) auseinandergesetzt und dargelegt, in welchen Fällen ein Baugesuch einzureichen ist. Diese Grundsätze gelten selbstredend auch bei einer entsprechenden Nutzung auf den von den Beschwerdeführern angeführten Parzellen. Dem Verwaltungsgericht ist aber nicht vorzuwerfen, wenn es zwischen der Situation auf dem Grundstück Nr. 557N, wo der Grundeigentümer nachweislich selber aktiv geworden ist und Parkplätze gegen Entgelt zur Verfügung gestellt hat, und den übrigen Grundstücken entlang der Mattstrasse unterschieden hat. Auch hat es zu Recht ein Feststellungsinteresse der Beschwerdeführer, einzig basierend auf Befürchtungen über künftige widerrechtliche Nutzungen, verneint.
2.3 Die Beschwerdeführer verkennen in ihrer Argumentation, dass die Vorinstanzen das Parkieren auf Parzellen in der Landwirtschaftszone nicht als zulässig erklärt haben. Sie haben lediglich - im Unterschied zur Situation auf Grundstück Nr. 557N - einen eigentlichen Parkplatzbetrieb von relevanter Intensität und entsprechend eine derzeitige Bewilligungspflicht verneint. Das Fehlverhalten von entlang der Mattstrasse parkierenden Touristen ist unbestritten, kann aber durch entsprechende polizeiliche Anordnungen oder privatrechtliche Schritte der betroffenen Grundeigentümer geregelt werden. Wie indes bereits das Baudepartement festgestellt hat, fehlt es am Nachweis einer Parkplatznutzung für die Parzellen Nrn. 555N, 566N und 547N. Weitere Erwägungen durften darum ausbleiben und das Rechtsschutzinteresse der Beschwerdeführer in dieser Hinsicht verneint werden.
3. Im Zusammenhang mit der gerügten Gehörsverletzung werfen die Beschwerdeführer dem Verwaltungsgericht zudem einen willkürlichen Verstoss gegen Art. 50 Abs. 2 des kantonalen Gesetzes über die Verwaltungsrechtspflege vom 16. Mai 1965 (VRP/SG; sGS 951.1) vor.
3.1 In allgemeiner Weise statuiert Art. 11 VRP/SG das Vorgehen bei Eingaben an Behörden. Dessen Abs. 2 hält dazu fest, dass allfällige Beweismittel zu bezeichnen und soweit möglich beizulegen sind. Entsprechend sind im Falle eines Rekurses die angefochtene Verfügung oder der angefochtene Entscheid samt allfälligen Beweismitteln beizulegen. Soweit das nicht möglich ist, sind sie zu bezeichnen (Art. 50 Abs. 1 VRP/SG). Genügt der Rekurs diesen Anforderungen nicht, so fordert die Rekursinstanz oder ein von ihr beauftragtes Organ den Rekurrenten unter Ansetzung einer Frist auf, die Verfügung oder den Entscheid und die Beweismittel nachträglich beizubringen (Art. 50 Abs. 2 VRP/SG). Schliesslich ist gemäss Art. 50 Abs. 3 VRP/SG mit der Aufforderung zur nachträglichen Beibringung anzudrohen, dass nach unbenützter Frist aufgrund der Akten entschieden wird. Nach Art. 64 VRP/SG gilt Art. 50 VRG/SG sachgemäss auch in Beschwerdeverfahren vor dem Verwaltungsgericht.
3.2 Aus dem Wortlaut von Art. 50 Abs. 2 VRP/SG ergibt sich, dass eine Pflicht der Rechtsmittelinstanz, den Rechtsuchenden zur Beschwerdeergänzung aufzufordern, nur insoweit besteht, als Beweismittel genannt, aber nicht beigebracht oder nicht näher bezeichnet werden. Werden Tatsachenbehauptungen ohne Nennung von Beweismitteln aufgestellt, ist die Behörde nicht gehalten, weitere Aufforderungen zur Beschwerdeergänzung zu erlassen. Die Beschwerdeführer hatten zusätzlich zu den von ihnen eingereichten Fotos zwar vier Zeugen benannt. Wie gesehen, durfte das Verwaltungsgericht ohne Gehörsverletzung von deren Einvernahme absehen. Zu weiteren Schritten war es auch aufgrund von Art. 50 Abs. 2 VRP/SG nicht verpflichtet. Die Willkürrüge ist unbegründet.
4. Kein Vorwurf ist dem Verwaltungsgericht hinsichtlich seiner Feststellung zu machen, am 11. September 2009 hätten noch keine Umstände vorgelegen, welche auf eine systematische und intensive Nutzung der Wiese auf Parzelle Nr. 557N mit entsprechenden Auswirkungen auf die Umgebung hingedeutet hätten.
Es zieht dazu nämlich in Erwägung, der Gemeinde hätten im Zeitpunkt, da die Beschwerdeführer ein Tätigwerden verlangt hatten (mit Schreiben vom 26. Juli 2009) lediglich die Bilder vom 29. Dezember 2008 und vom 15. Februar 2009 (Rekurs-I act. 1/Beilage 4 und 8/2) zur Verfügung gestanden. Zudem habe die Sportbahn Krummenau-Wolzenalp AG in einer Stellungnahme zuhanden des kantonalen Amtes für Raumentwicklung und Geo-Information (AREG) mitgeteilt, sie benötige die zusätzlichen Parkierungsmöglichkeiten auf privatem Grund an drei bis vier Wochenenden und werde im Übrigen auf die Wintersaison 2009/2010 hin ein abgesprochenes und akzeptiertes Parkplatzkonzept vorlegen (Schreiben vom 16. Februar 2009, Rekurs-I, act. 1/Beilage 7). Sodann habe das AREG die Angelegenheit vor allem unter ästhetischen Gesichtspunkten vorgeprüft und sei zum Schluss gelangt, das vorübergehende Parkieren auf Wiesen sei unter Voraussetzung der Einwilligung durch den Grundeigentümer aus ästhetischen Gründen kaum zu beanstanden. Es sei kein Fall bekannt, bei dem das AREG wegen vorübergehenden Parkierens auf Wiesen ein Bewilligungsverfahren durchgeführt hätte (Schreiben vom 5. März 2009, Rekurs-I, act. 1/Beilage 5). Gestützt auf diese Grundlage habe die Gemeinde am 21. April 2009 beschlossen, das in Aussicht gestellte Parkplatzkonzept der Sportbahn abzuwarten und erst danach allfällige Massnahmen zu prüfen. Folgerichtig geht das Verwaltungsgericht davon aus, am 11. September 2009 hätten in tatsächlicher Hinsicht keine Umstände vorgelegen, welche die Feststellung einer Baubewilligungspflicht aufgedrängt hätten. Und zu Recht befand das Verwaltungsgericht das Zuwarten der Gemeinde bis zum Vorliegen des versprochenen Parkplatzkonzepts (dieses ging am 24. September 2009 bei der Gemeinde ein, Rekurs-I act. 8/12) als sachgerecht. Entsprechend durfte aber das Baudepartement auch die als Rekurs entgegengenommene Rechtsverweigerungsbeschwerde abweisen, da im Herbst 2009 noch keine baubewilligungspflichtige Nutzungsintensität nachgewiesen war.
Was die Beschwerdeführer dagegen vorbringen, vermag nicht zu überzeugen. Nachdem die kantonale Fachstelle sich zur Angelegenheit geäussert hatte und auch die Sportbahnen ihre Kooperationsbereitschaft gezeigt hatten, war die Gemeinde zumindest im damaligen Zeitpunkt noch nicht zu weiteren Schritten verpflichtet. Im Übrigen kann auf die zutreffenden Erwägungen im angefochtenen Entscheid verwiesen werden (<ref-law>).
5. Demnach ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer für dieses kostenpflichtig (<ref-law>). Parteientschädigungen sind keine zuzusprechen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Parteientschädigungen werden keine zugesprochen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Nesslau-Krummenau, dem Baudepartement und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 13. Januar 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Die Gerichtsschreiberin: Scherrer Reber