Sachverhalt:
A. X._ und Y._ waren die Eigentümer von 17 Parzellen in der Gemeinde A._. Diese Grundstücke befinden sich im Baugebiet und wurden früher gesamthaft als Betrieb bzw. als Gesamtverpachtung landwirtschaftlich bewirtschaftet. In der Folge wurden die Parzellen zwar immer noch landwirtschaftlich genutzt, aber einzeln verpachtet, weshalb sie nicht mehr nach dem Ertragswert sondern dem Verkehrswert besteuert wurden. X._ und Y._ verkauften die Parzellen in den Jahren 2006-2009, worauf die Steuerverwaltung des Kantons Thurgau mit Veranlagungen vom 25. August und vom 10. September 2009 ergänzende Vermögenssteuern erhob. Das Datum der Veräusserung bzw. der Besitzantritt durch die neuen Eigentümer wurde jeweils als steuerbegründendes Ereignisdatum angenommen.
Die dagegen von X._ und Y._ erhobene Einsprache wies die Steuerverwaltung des Kantons Thurgau mit Entscheid vom 19. März 2010 ab.
B. Gegen den Einspracheentscheid rekurrierten X._ und Y._ an die Steuerrekurskommission des Kantons Thurgau. Diese wies den Rekurs mit Entscheid vom 6. Dezember 2010 ab. Zur Begründung führte die Steuerrekurskommission im Wesentlichen aus, weder die Ablösung der Gesamtverpachtung durch die parzellenweise Einzelverpachtung noch der Übergang von der Ertragswert- zur Verkehrswertbesteuerung stellten einen steuerauslösenden Tatbestand dar, ein solcher sei erst mit den Veräusserungen in den Jahren 2006-2009 begründet worden. Massgebend sei der Veräusserungserlös und nicht der Verkehrswert im Zeitpunkt des Übergangs von der Ertragswert- zur Verkehrswertbesteuerung, entsprechend verzichtete sie auf den Beizug der Einschätzungsakten.
Die von X._ und Y._ gegen den Entscheid der Steuerrekurskommission erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 8. Juni 2011 ab. Es bestätigte, dass der Übergang zur Verkehrswertbesteuerung keinen steuerauslösenden Tatbestand für die ergänzende Vermögenssteuer darstellte und keine Nutzungsänderung vorlag, weshalb die Veräusserung der frühest mögliche Zeitpunkt war, um die Steuer zu erheben.
C. Mit als "Verfassungsbeschwerde" bezeichneter Eingabe vom 12. September 2011 beantragen X._ und Y._, den Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 8. Juni 2011 aufzuheben, die Sache an die Vorinstanz zurückzuweisen zur vollständigen Erhebung des Sachverhalts und erneuten Beurteilung, eventualiter die Sache zur Vervollständigung der Entscheidgrundlagen direkt an die Steuerverwaltung des Kantons Thurgau zurückzuweisen. Zudem stellen sie das Begehren, der Beschwerde aufschiebende Wirkung zu gewähren.
Die Steuerverwaltung sowie das Verwaltungsgericht des Kantons Thurgau schliessen auf Abweisung der Beschwerde. Die Eidgenössische Steuerverwaltung hat auf Antragstellung verzichtet.
D. Mit Verfügung vom 16. September 2011 hat der Präsident der II. öffentlich-rechtlichen Abteilung das Gesuch um aufschiebende Wirkung abgewiesen.
Erwägungen:
1. 1.1 Das Bundesgericht prüft seine Zuständigkeit bzw. die Zulässigkeit des Rechtsmittels von Amtes wegen (Art. 29 Abs. 1 BGG) und mit freier Kognition (BGE 137 III 417 E. 1).
1.2 Angefochten ist ein letztinstanzlicher (End-)Entscheid einer oberen kantonalen Gerichtsbehörde in einer Angelegenheit des öffentlichen Rechts, der mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 82 ff. BGG i.V.m. Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Damit ist die subsidiäre Verfassungsbeschwerde ausgeschlossen. Die falsche Bezeichnung ihrer Eingabe schadet den Beschwerdeführern indessen nicht, soweit - wie hier - die Sachurteilsvoraussetzungen für die Beschwerde in öffentlich-rechtlichen Angelegenheiten erfüllt sind (vgl. BGE 134 III 379 E. 1.2 S. 382; 133 II 396 E. 3.1 S. 399; 133 I 300 E. 1.2 S. 302, 308 E. 4.1 S. 314, je mit Hinweisen). Die Beschwerdeführer sind gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf das frist- und formgerecht eingereichte Rechtsmittel ist grundsätzlich einzutreten.
1.3 Soweit die Anwendung kantonalen (Gesetzes-)Rechts gerügt wird, kann im Wesentlichen geltend gemacht werden, der angefochtene Entscheid verstosse gegen Bundesrecht (Art. 95 lit. a BGG), namentlich gegen die verfassungsmässigen Rechte und Grundsätze (BGE 137 V 143 E. 1.2 S. 145; 134 II 349 E. 3 S. 351). Das Bundesgericht prüft grundsätzlich frei, ob die Auslegung und Anwendung des kantonalen Rechts im harmonisierten Bereich mit den bundesrechtlichen Vorschriften übereinstimmen (vgl. Art. 106 Abs. 1 BGG). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft das Bundesgericht nur unter Rüge- und Begründungsvorbehalt (Art. 106 Abs. 2 BGG; BGE 134 I 65 E. 1.3 S. 68; 133 II 249 E. 1.4.2 S. 254). Wo das Bundesrecht den Kantonen einen Spielraum einräumt, ist die Kognition des Bundesgerichts auf Willkür beschränkt (BGE 134 II 207 E. 2 S. 210).
1.4 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die vorinstanzlichen Sachverhaltsfeststellungen, soweit rechtserheblich, können nur gerügt werden, falls sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 97 Abs. 1 BGG). Dies ist dann der Fall, wenn der Sachverhalt willkürlich ermittelt worden ist (vgl. BGE 138 I 49 E. 7.1 S. 51; 136 III 552 E. 4.2 S. 560) oder die Sachverhaltsfeststellungen unter Verletzung verfassungsmässiger Rechte und Grundsätze zustande gekommen sind (BGE 135 II 145 E. 8.1 S. 153; Urteil 2C_383/2012 vom 6. September 2012 E. 1.5). Zudem muss aufgezeigt werden, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG).
2. 2.1 Die Beschwerdeführer machen im Wesentlichen geltend, die Einschätzung zum Verkehrswert statt wie früher zum Ertragswert sei wegen der Neukonzeption der landwirtschaftlichen Nutzung der fraglichen Parzellen - anstelle der Gesamtverpachtung trat die parzellenweise Einzelverpachtung - der im Baugebiet befindlichen Grundstücke in Anwendung von § 44 Abs. 2 des Thurgauer Gesetzes vom 14. September 1992 über die Staats- und Gemeindesteuern (StG/TG; 640.1) erfolgt und diese Nutzungsänderung hätte damit seinerzeit zur Veranlagung der ergänzenden Vermögenssteuer führen müssen. Sie berufen sich dafür auf § 50 Abs. 3 StG/TG, machen aber - wohl aufgrund der Argumentation der kantonalen Behörden - auch (etwas irreführende) Ausführungen zum Absatz 1 dieser Bestimmung. Sie rügen, die Vorinstanz habe sich mit ihren Vorbringen überhaupt nicht auseinandergesetzt sowie die beantragten Sachverhaltsfeststellungen nicht vorgenommen und damit das rechtliche Gehör sowie das Willkürverbot verletzt.
2.2 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken (BGE 137 II 266 E. 3.2 S. 270; 136 I 229 E. 5.2 S. 236, je mit Hinweisen). Zum Anspruch auf rechtliches Gehör gehört zudem das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheides zur Sache zu äussern sowie das Recht auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel. Das Gericht kann jedoch in vorweggenommener Beweiswürdigung auf die Abnahme von Beweisen verzichten, wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür annehmen kann, seine Meinung werde durch weitere Beweiserhebungen nicht geändert (BGE 134 I 140 E. 5.3 S. 148 mit Hinweisen).
2.2 Das rechtliche Gehör nach Art. 29 Abs. 2 BV verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken (BGE 137 II 266 E. 3.2 S. 270; 136 I 229 E. 5.2 S. 236, je mit Hinweisen). Zum Anspruch auf rechtliches Gehör gehört zudem das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheides zur Sache zu äussern sowie das Recht auf Abnahme der rechtzeitig und formrichtig angebotenen rechtserheblichen Beweismittel. Das Gericht kann jedoch in vorweggenommener Beweiswürdigung auf die Abnahme von Beweisen verzichten, wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür annehmen kann, seine Meinung werde durch weitere Beweiserhebungen nicht geändert (BGE 134 I 140 E. 5.3 S. 148 mit Hinweisen).
2.3 2.3.1 Nach Art. 14 Abs. 2 StHG werden die land- und forstwirtschaftlich genutzten Grundstücke grundsätzlich zum Ertragswert bewertet. Das kantonale Recht kann bestimmen, dass bei der Bewertung der Verkehrswert mitberücksichtigt wird oder im Falle der Veräusserung oder Aufgabe der land- oder forstwirtschaftlichen Nutzung des Grundstückes eine Nachbesteuerung für die Differenz zwischen Ertrags- und Verkehrswert erfolgt. Die Nachbesteuerung darf für höchstens 20 Jahre erfolgen. Demnach kann der Kanton eine ergänzende Vermögenssteuer erheben, die dann geschuldet ist, wenn der Rechtsgrund für die Vorzugsbewertung wegfällt (vgl. ZIGERLIG/JUD, in: Kommentar zum schweizerischen Steuerrecht I/1, N 14 zu Art. 14 StHG). Damit soll die aus der Besteuerung des Ertragswerts resultierende - teilweise ungerechtfertigte - Unterbesteuerung kompensiert werden.
2.3.2 Der Kanton Thurgau hat von dieser im Steuerharmonisierungsgesetz eingeräumten Möglichkeit Gebrauch gemacht: Gemäss § 44 StG/TG werden land- oder forstwirtschaftlich genutzte Grundstücke mit Einschluss der erforderlichen Gebäude zum Ertragswert bewertet, solange diese Nutzung andauert (Abs. 1). Grundstücke im Baugebiet werden nur dann zum Ertragswert bewertet, wenn sie Bestandteil eines gesamthaft existenzfähigen Betriebes sind, der vom Eigentümer oder Nutzniesser hauptberuflich selbst bewirtschaftet wird, oder wenn ein existenzfähiger Betrieb gesamthaft verpachtet und hauptberuflich als Einheit bewirtschaftet wird (Abs. 2).
Die ergänzende Vermögenssteuer wird in § 50 StG/TG wie folgt geregelt:
"1 Wird eine Liegenschaft, die zum Ertragswert bewertet worden ist, ganz oder zum Teil veräussert oder der bisherigen land- und forstwirtschaftlichen Bewirtschaftung entfremdet, wird auf diesen Zeitpunkt vom bisherigen Eigentümer eine ergänzende Vermögenssteuer erhoben.
2 Die ergänzende Vermögenssteuer wird in einem besonderen, vom ordentlichen Einschätzungsverfahren unabhängigen Verfahren festgesetzt.
3 Der Betrag der ergänzenden Vermögenssteuer wird in den Fällen von § 44 Absatz 2 veranlagt. Die Fälligkeit tritt erst bei der Veräusserung des Grundstückes ein. Mit der Veräusserung beginnt die Bezugsverjährung."
Nach der im Kanton Thurgau geltenden Regelung lösen somit zwei Sachverhalte die ergänzende Vermögensbesteuerung aus: einerseits die (ganze oder teilweise) Veräusserung einer bisher zum Ertragswert bewerteten Liegenschaft, andererseits die Entfremdung von der bisherigen land- und forstwirtschaftlichen Bewirtschaftung (§ 50 Abs. 1 StG/TG). Das thurgauische Recht setzt damit die Vorgabe des Steuerharmonisierungsgesetzes um, wonach eine ergänzende Vermögenssteuer dann erhoben werden kann, wenn der Rechtsgrund für die Vorzugsbewertung wegfällt.
Der thurgauische Gesetzgeber hat sodann eine spezielle Regelung betreffend land- bzw. forstwirtschaftliche Grundstücke im Baugebiet vorgesehen. Erfüllt die Bewirtschaftung solcher Grundstücke nicht die in § 44 Abs. 2 StHG/TG geforderten Voraussetzungen, so werden sie gestützt auf die allgemeine Bewertungsbestimmung in § 43 StG/TG zum Verkehrswert besteuert. Die Regelung gemäss § 50 Abs. 3 StG/TG (Fassung gemäss Gesetz vom 6. Mai 1998, in Kraft seit dem 1. Januar 1999) betrifft Grundstücke im Baugebiet, die die Kriterien für eine Bewertung zum Ertragswert nicht mehr erfüllen (siehe Botschaft des Regierungsrates des Kantons Thurgau vom 27. Mai 1997 zur Teilrevision des Gesetzes über die Staats- und Gemeindesteuern vom 14. September 1992, S. 20 f.). Indem § 50 Abs. 3 StG/TG bestimmt, dass der Betrag der ergänzenden Vermögenssteuer in den Fällen von § 44 Absatz 2 veranlagt wird, kann diese Bestimmung willkürfrei nicht anders verstanden werden, als dass die aufgrund von § 44 Abs. 2 StG/TG vorgenommene Umqualifizierung die Festsetzung der Steuer zur Folge hat. Allerdings sieht § 50 Abs. 3 StG/TG vor, dass die Fälligkeit der ergänzenden Vermögenssteuer erst bei der Veräusserung des Grundstückes eintritt. Daraus ergibt sich, dass zwar die Erhebung der ergänzenden Vermögenssteuer erst bei der Veräusserung des betroffenen Grundstückes erfolgt, für die Festlegung der Steuer jedoch der Zeitpunkt der in Anwendung von § 44 Abs. 2 StG/TG vorgenommenen Änderung der Bewertungsart massgebend ist. Aus dem Urteil 2A.731/2004 vom 27. Mai 2005 lässt sich diesbezüglich schon deshalb nichts ableiten, weil sich die dortigen Erwägungen nicht mit § 50 Abs. 3 i.V.m. § 44 Abs. 2 StG/TG auseinandersetzen.
Im Übrigen steht die Regelung nach § 50 Abs. 3 StG/TG auch im Einklang mit der Behandlung der Nutzungsänderung von nicht durch § 44 Abs. 2 StG/TG erfassten land- oder forstwirtschaftlichen Liegenschaften. Solche Nutzungsänderungen gelten als Entfremdung im Sinne von § 50 Abs. 1 StG/TG und führen zur Erhebung der ergänzenden Vermögenssteuer im Zeitpunkt der Änderung. Würde § 50 Abs. 3 StG/TG nicht wie vorgehend ausgeführt verstanden, sondern so, dass die ergänzende Vermögenssteuer bei Grundstücken im Baugebiet, welche neu nicht mehr zum Ertragswert besteuert werden, auf den Zeitpunkt der Veräusserung erhoben und bemessen würde, wäre die Bestimmung überflüssig, da sich eine derartige Besteuerung bereits aufgrund von § 50 Abs. 1 StG/TG ergäbe.
2.4 Im vorinstanzlichen Beschwerdeverfahren rügen die Beschwerdeführer u.a. eine Verletzung von § 50 Abs. 1 und 3 i.V.m. § 44 Abs. 2 StG/TG. Sie machen geltend, im Fall einer gestützt auf § 44 Abs. 2 StG/TG erfolgten Änderung der Bewertungsart, sei die ergänzende Vermögenssteuer ausgehend vom Marktwert der fraglichen Liegenschaft zum Zeitpunkt dieser Änderung zu berechnen. Die Vorinstanz erwähnt zwar im angefochtenen Urteil die §§ 44 Abs. 2 und 50 Abs. 3 StG/TG. Im Rahmen der rechtlichen Subsumtion geht sie jedoch mit keinem Wort auf diese Bestimmungen ein, obwohl sie offenbar nicht in Frage stellt, dass es sich bei den fraglichen Parzellen um landwirtschaftlich bewirtschaftete Grundstücke im Baugebiet handelt und der Übergang zur Verkehrswertbesteuerung stattfand, weil die Parzellen einzeln verpachtet wurden. Diesfalls geht es aber entgegen der Meinung der Vorinstanz nicht um die Frage, ob die mit dem Übergang von Gesamtverpachtung zur Einzelverpachtung erfolgte Änderung der Nutzung eine Zweckentfremdung im Sinne von § 50 Abs. 1 StG/TG darstellt, sondern um die Anwendung von § 50 Abs. 3 StG/TG.
Indem die Vorinstanz sich mit den Vorbringen der Beschwerdeführer, wonach die ergänzende Vermögenssteuer - gestützt auf § 50 Abs. 3 StG/TG - basierend auf dem Marktwert zum Zeitpunkt der Änderung der Bewertungsart im Sinne von § 44 Abs. 2 StG/TG vorzunehmen sei, nicht auseinandersetzte, hat sie demnach deren rechtliches Gehör verletzt. Sie hätte insbesondere die notwendigen Sachverhaltsfeststellungen vornehmen und prüfen müssen, ob die in § 44 Abs. 2 StG/TG genannten Voraussetzungen für eine Ertragswertbesteuerung der fraglichen Grundstücke im Zeitpunkt der Neueinschätzung tatsächlich nicht mehr gegeben waren und demzufolge die Berechnung der ergänzenden Vermögenssteuer gemäss § 50 Abs. 3 StG/TG hätte vorgenommen werden müssen, und bejahendenfalls den für die Steuerberechnung massgebenden Marktwert der Grundstücke unter Beizug der entsprechenden Unterlagen ermitteln müssen.
3. 3.1 Das führt zur Gutheissung der Beschwerde und Aufhebung des angefochtenen Entscheids, ohne dass die weiteren Vorbringen der Beschwerdeführer zu prüfen sind. Die Sache wird zu neuem Entscheid im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
3.2 Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens dem Kanton Thurgau, der vermögensrechtliche Interessen wahrnimmt, aufzuerlegen (Art. 66 Abs. 4 BGG). Dieser hat zudem die Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird gutgeheissen, der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 8. Juni 2011 aufgehoben und die Sache zu neuem Entscheid im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Kanton Thurgau auferlegt.
3. Der Kanton Thurgau hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3000.-- zu entschädigen.
4. Dieses Urteil wird den Beschwerdeführern, der Steuerverwaltung des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 23. November 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Die Gerichtsschreiberin: Dubs