Sachverhalt:
A. Im Winter 2005/2006 kam es in der Waldregion II des Kantons St. Gallen zu einer überdurchschnittlichen Häufung von Schäl- und Verbissschäden durch Rotwild. In der Folge reichten verschiedene Ortsgemeinden und private Waldeigentümer Entschädigungsgesuche für Wildschaden und Verhütungsmassnahmen ein. Insgesamt wurden Forderungen im Betrag von Fr. 181'980.35 (Fr. 79'969.85 für Wildschaden, Fr. 102'010.50 für Verhütungsmassnahmen) erhoben. Der Wildschadenschätzer sprach mit Verfügung vom 18. Mai 2007 insgesamt Fr. 30'949.20 für Wildschaden und Fr. 1'725.-- für Verhütungsmassnahmen (total Fr. 32'674.20) zu. Auf Beschwerde namentlich der Ortsgemeinden Buchs, Grabs und Gams sowie der privaten Waldeigentümer X._ und Y._ einerseits sowie des kantonalen Amtes für Jagd und Fischerei (heute: Amt für Natur, Jagd und Fischerei; ANJF) andererseits hin legte die Verwaltungsrekurskommission des Kantons St. Gallen die massgebenden Beträge auf insgesamt Fr. 63'573.55 (Wildschaden) und Fr. 75'067.80 (Verhütungsmassnahmen), d.h. auf gesamthaft Fr. 138'641.35 fest.
Dagegen beschwerte sich das ANJF im Wesentlichen mit Erfolg beim Verwaltungsgericht des Kantons St. Gallen. Dieses hiess die Beschwerde mit Urteil vom 16. Juni 2009 teilweise gut, hob den angefochtenen Entscheid auf und wies die Sache zur weiteren Sachverhaltsfeststellung und neuen Beurteilung im Sinne der Erwägungen an die Verwaltungsrekurskommission zurück (Ziff. 1 des Urteilsdispositivs). Im Weiteren liquidierte es die bei ihm (Dispositivziff. 2 und 3) und die bei der Vorinstanz (Dispositivziff. 4 und 5) angefallenen Kosten und Entschädigungen. In der Begründung hielt das Verwaltungsgericht fest, für die Wildschadenschätzung sei die Waldfunktion nicht berücksichtigt worden, seien keine Abzüge wegen fehlender Standortgerechtigkeit der Bestockung gemacht worden und sei zu undifferenziert von einem Pflanzabstand von 1,2 x 1,2 m ausgegangen worden; dies sei gestützt auf weitere Feststellungen zu korrigieren. Hinsichtlich der Verhütungsmassnahmen bemängelte das Verwaltungsgericht, deren Tauglichkeit sei nicht geprüft worden und die Reduktion der Abgeltungsansätze hätte nicht generell auf 20 % festgelegt werden dürfen. Auch hierzu seien weitere Abklärungen und eine neue Beurteilung nötig.
B. Gegen dieses Urteil führen die Ortsgemeinden Buchs, Grabs und Gams sowie X._ und Y._ mit Eingabe vom 25. August 2009 Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde beim Bundesgericht. Sie beantragen, das angefochtene Urteil im Sinne ihrer Ausführungen aufzuheben und die Sache zum Teil zu neuer Entscheidung an die Verwaltungsrekurskommission des Kantons St. Gallen zurückzuweisen, soweit es um die materielle Beurteilung gehe. Bezüglich der Kostenliquidation sei die Angelegenheit an das Verwaltungsgericht und an die Verwaltungsrekurskommission zurückzuweisen.
C. Das Volkswirtschaftsdepartement des Kantons St. Gallen beantragt mit Vernehmlassung vom 26. Oktober 2009, auf die Beschwerde zum Teil nicht einzutreten und sie zum andern Teil abzuweisen, eventuell die Beschwerde ganz abzuweisen. Das Verwaltungsgericht schliesst ebenfalls auf Abweisung der Beschwerde. Der Wildschadenschätzer stellt keinen Antrag, doch ergibt sich aus seinen Ausführungen, dass er die Beschwerde für unbegründet hält.
Erwägungen:
1. Das Bundesgericht prüft die Zulässigkeit der bei ihm erhobenen Beschwerden von Amtes wegen und mit freier Kognition (Art. 29 Abs. 1 BGG; BGE 135 II 30 E. 1 S. 31).
1.1 Das angefochtene Urteil des Verwaltungsgerichts ist ein Entscheid einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d und Abs. 2 BGG) und betrifft eine Angelegenheit des öffentlichen Rechts (Art. 82 lit. a BGG). Ein Ausschlussgrund gemäss Art. 83 BGG liegt nicht vor, weshalb es grundsätzlich der Beschwerde in öffentlich-rechtlichen Angelegenheiten unterliegt und die subsidiäre Verfassungsbeschwerde ausscheidet (Art. 113 BGG). Auf diese ist nicht einzutreten.
1.2 Das Verwaltungsgericht hat die Angelegenheit zur weiteren Sachverhaltsabklärung und zu neuer Beurteilung an die Verwaltungsrekurskommission zurückgewiesen. Sein Rückweisungsentscheid stellt somit keinen Endentscheid, sondern einen Zwischenentscheid dar (BGE 133 V 477 E. 4.2 S. 481). Dass das Verwaltungsgericht einzelne Anspruchsvoraussetzungen abschliessend beurteilt hat, ändert an dieser Qualifikation nichts (BGE 134 II 137 E. 1.3.2 S. 140).
Selbständig eröffnete Vor- und Zwischenentscheide sind nach den Art. 90 ff. BGG nur wie Endentscheide anfechtbar, wenn sie die Zuständigkeit oder Ausstandsbegehren betreffen (vgl. insbes. Art. 92 BGG). Gegen andere selbständige Vor- und Zwischenentscheide ist die Beschwerde grundsätzlich nur unter den Voraussetzungen von Art. 93 BGG zulässig (BGE 135 II 30 E. 1.3 S. 33).
1.3 Gemäss Art. 93 Abs. 1 BGG ist die Beschwerde gegen einen Zwischenentscheid zulässig, wenn dieser einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Die Eintretensvoraussetzungen von Art. 93 Abs. 1 BGG sollen das Bundesgericht entlasten; dieses soll sich möglichst nur einmal mit einer Sache befassen müssen (BGE 135 II 30 E. 1.3.2 S. 34). Die Ausnahmevoraussetzungen sind deshalb strikt zu handhaben, zumal den Parteien daraus regelmässig kein Nachteil erwächst, können sie doch unliebsame Vor- oder Zwischenentscheide auch noch durch Beschwerde gegen den Endentscheid anfechten, soweit sich derartige Entscheide auf dessen Inhalt auswirken (Art. 93 Abs. 3 BGG).
1.4 Die Beschwerdeführer machen nicht geltend, der Rückweisungsentscheid sei für sie mit einem nicht wieder gutzumachenden Nachteil verbunden (vgl. Art. 93 Abs. 1 lit. a BGG; zum Begriff des nicht wieder gutzumachenden Nachteils statt vieler BGE 133 V 477 E. 5.2 S. 483; 133 IV 288 E. 3.1 S. 291). Ein solcher Nachteil ist auch nicht mit Bezug auf die Verlegung der Kosten früherer Verfahrensabschnitte ersichtlich. Auch insoweit kann das angefochtene Urteil mit der Beschwerde gegen den Endentscheid zur Überprüfung gebracht werden (BGE 135 III 329 E. 1.2 S. 331).
1.5 Die Beschwerdeführer bringen jedoch vor, ein Entscheid des Bundesgerichts würde - wenn er anders ausfalle als das vorinstanzliche Erkenntnis - ein weitläufiges Beweisverfahren ersparen (Art. 93 Abs. 1 lit. b BGG). Sie räumen allerdings selber ein (Ziff. II./4. S. 3, Ziff. IV./A.12 S. 8, Ziff. IV./B.15 cc S. 24 der Beschwerde; vgl. auch Rechtsbegehren Ziff. I./1 und 2 S. 2), dass selbst die Gutheissung der Beschwerde keinen sofortigen Endentscheid herbeiführen würde. Die Angelegenheit müsste auch in diesem Fall noch einmal von der Verwaltungsrekurskommission beurteilt werden.
Die Voraussetzungen von Art. 93 Abs. 1 lit. b BGG (sofortige Beendigung des Rechtsstreits und Zeit- bzw. Aufwandersparnis) sind kumulativ, d.h. sie müssen beide erfüllt sein, damit das Bundesgericht auf eine Beschwerde gegen einen Zwischenentscheid gestützt auf Art. 93 Abs. 1 BGG eintreten kann. Vorliegend ist nur die eine der beiden Voraussetzungen gegeben. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist daher nicht einzutreten.
2. Bei diesem Ergebnis werden die Beschwerdeführer unter solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 4 BGG). Eine Parteientschädigung ist nicht geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten und auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'500.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons St. Gallen und der Verwaltungsrekurskommission des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 17. Februar 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Winiger