Sachverhalt:
A. X._ verkaufte am 5. Juni 2007 die von ihm gehaltenen 145 Namenaktien (50 A-Aktien à nominal Fr. 100.-- und 95 B-Aktien à nominal Fr. 1'000.--, entsprechend 20 % des Aktienkapitals) der Y._ AG an die Z._ Holding AG zum Preis von Fr. 2'500'000.--. Alleinaktionär der Käuferin ist der Bruder des Verkäufers.
Im Wertschriftenverzeichnis für das Jahr 2006 deklarierte X._ für die Aktien einen Steuerwert von Fr. 1'300'000.--, der von der kantonalen Steuerverwaltung bei der Veranlagung der Staats- und Gemeindesteuern 2006 auf den Verkaufspreis erhöht wurde. Die vom Steuerpflichtigen dagegen gerichtete Einsprache blieb wie der anschliessende Rekurs an die kantonale Steuerrekurskommission und die Beschwerde an das Verwaltungsgericht des Kantons Thurgau ohne Erfolg.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, den Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 8. Juli 2009 aufzuheben und die Steuerbehörde anzuweisen, den Vermögenswert nach den Elementen der Steuerperiode 2006 festzusetzen und den Minderheitsabzug zu gewähren. Zugleich erhebt er subsidiäre Verfassungsbeschwerde mit dem Antrag, den Entscheid als nichtig aufzuheben.
Das Verwaltungsgericht des Kantons Thurgau schliesst auf Abweisung der Beschwerden.
Die Eidgenössische Steuerverwaltung hat auf eine Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Der angefochtene Entscheid betrifft die gestützt auf das kantonale Gesetz vom 14. September 1992 (StG/TG) vorgenommene Veranlagung der Staats- und Gemeindesteuern (Vermögenssteuer) 2006, somit eine Angelegenheit des öffentlichen Rechts, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig ist (Art. 82 lit. a BGG in Verbindung mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG]). Auf die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde kann daher nicht eingetreten werden (Art. 113 BGG).
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden.
1.3 Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem Recht; das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2).
2. 2.1 Der Beschwerdeführer rügt eine Verletzung der Ausstandsregel von § 7 Abs. 1 Ziff. 4 des kantonalen Gesetzes vom 23. Februar 1981 über die Verwaltungsrechtspflege (VRG/TG). Nach dieser Bestimmung haben u.a. Behördemitglieder von Amtes wegen in den Ausstand zu treten in Verfahren, in welchen sie ein persönliches Interesse haben oder aus anderen Gründen befangen sind.
2.2 Der vom Beschwerdeführer angeführte Umstand, dass eine der in der Vorinstanz mitwirkende Richterin in ihrer sonstigen beruflichen Tätigkeit als selbständige Rechtsanwältin die Ehefrau seines Bruders in deren Scheidungsverfahren vertreten habe und diese sowie die gemeinsame Tochter in streitigen Angelegenheiten mit seinem Bruder weiterhin vertrete, lässt diese für das Steuerveranlagungsverfahren - d.h. in völlig anderer Sache - nicht als befangen erscheinen. Der Beschwerdeführer vermag keinerlei Indizien anzuführen, die für das Veranlagungsverfahren auf ein persönliches Interesse oder eine Befangenheit der Betroffenen als Richterin schliessen liessen; solche sind auch aus den Akten nicht ersichtlich. Von einer gegen die Bundesverfassung (Art. 9 und 30 BV) verstossenden Anwendung des kantonalen Rechts kann daher keine Rede sein.
Soweit sich der Beschwerdeführer auf die Schweizerische Zivilprozessordnung vom 19. Dezember 2008 beruft, so ist diese noch nicht in Kraft getreten und daher ohnehin noch nicht anwendbar. Auch der Hinweis auf Art. 6 Ziff. 1 EMRK hilft dem Beschwerdeführer nicht. Diese Bestimmung findet nach ständiger Praxis des Bundesgerichts auf das Steuerveranlagungsverfahren keine Anwendung (BGE 132 I 140 E. 2).
3. 3.1 Gemäss Art. 14 Abs. 1 StHG wird das Vermögen zum Verkehrswert bewertet, wobei der Ertragswert angemessen berücksichtigt werden kann. Die Bewertung zum Verkehrswert ist für die Kantone bindend. Nach welchen Regeln der Verkehrswert zu ermitteln ist, schreibt das Steuerharmonisierungsgesetz indessen nicht vor. Ebenso wenig wird die Kann-Vorschrift der angemessenen Berücksichtigung des Ertragswertes näher geregelt. Den Kantonen steht daher ein weiter Ermessensspielraum offen (BGE 134 II 207 E. 3.6 S. 214, mit Hinweisen). In dem Umfang, als das Steuerharmonisierungsgesetz den Kantonen wie im vorliegenden Fall bewusst einen Handlungsspielraum belässt, beschränkt sich die Prüfungsbefugnis des Bundesgerichts auf die Frage, ob die Vorinstanzen bei Anwendung und Konkretisierung der kantonalen Steuerordnung gegen Bundesverfassungsrecht, insbesondere gegen das Willkürverbot verstossen haben (BGE 134 II 207 E. 2 S. 210).
3.2 Gemäss § 43 Abs. 1 StG/TG werden für die Festsetzung der Vermögenssteuer die Aktiven zum Verkehrswert bewertet, soweit das Gesetz nichts Abweichendes festsetzt. Für Forderungs- oder Beteiligungsrechte mit regelmässiger Kursnotierung gilt diese als Verkehrswert (§ 46 Abs. 1 StG/TG); für entsprechende Rechte ohne Kurswert ist der Verkehrswert zu schätzen, wobei für Beteiligungsrechte der Ertrags- und der Substanzwert des Unternehmens angemessen zu berücksichtigen sind (Abs. 2). Das steuerbare Vermögen bemisst sich nach dem Stand am Ende der Steuerperiode oder der Steuerpflicht (§ 57 Abs. 1 StG/TG). Diese Regelung steht im Einklang mit den Vorgaben des Steuerharmonisierungsgesetzes (Art. 13 Abs. 1, Art. 14 Abs. 1, Art. 16 und Art. 66 Abs. 1 StHG).
3.3 Der Verkehrswert im steuerrechtlichen Sinn ist nicht eine mathematisch exakt bestimmbare Grösse, sondern in der Regel ein Schätz- oder Vergleichswert (BGE 128 I 240 E. 3.2.1). Als Verkehrswert gilt der objektive Marktwert eines Vermögensobjektes. Dieser entspricht dem Preis, der bei einer Veräusserung im gewöhnlichen Geschäftsverkehr mutmasslich zu erzielen ist, den also ein unbefangener Käufer bzw. ein fernstehender Dritter unter normalen Umständen zu zahlen bereit wäre (vgl. BGE 128 I 240 E. 3.1.2 S. 248; vgl. RAINER ZIGERLIG/ GUIDO JUD, in: Kommentar zum Schweizerischen Steuerrecht [I/1], Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG], 2. Aufl. 2002, N 1 zu Art. 14 StHG).
Fehlen Anhaltspunkte dafür, dass die Aktien aus persönlichen oder anderen Gründen zu einem nicht dem Marktpreis entsprechenden Vorzugspreis veräussert wurden, so darf bei einem sach- oder branchenkundigen Erwerber davon ausgegangen werden, dass er den Wert der Aktien bzw. der Unternehmung einigermassen sicher abzuschätzen weiss und wohl nicht bereit gewesen wäre, einen wesentlich über dem Verkehrswert liegenden Kaufpreis zu bezahlen (vgl. Urteil 2A.213/1994 vom 8. Oktober 1996 E. 5, in: ASA 66 484).
In diesem Sinn sieht auch das Kreisschreiben Nr. 28 vom 21. August 2006 "Wegleitung zur Bewertung von Wertpapieren ohne Kurswert für die Vermögenssteuer" der Schweizerischen Steuerkonferenz wie schon die Ausgabe 1995 der Konferenz staatlicher Steuerbeamter und der Eidgenössischen Steuerverwaltung (ASA 65 872 f.) vor, dass als Verkehrswert der Kaufpreis gilt, wenn für solche Titel eine massgebende Handänderung unter unabhängigen Dritten stattgefunden hat; dieser Wert wird solange berücksichtigt, als sich die wirtschaftliche Lage der Gesellschaft nicht wesentlich ändert.
Diese Wegleitung bezweckt - wie bereits die früheren Fassungen von 1977 und 1982 -, im Interesse der Steuerharmonisierung zwischen den Kantonen eine in der Schweiz einheitliche Bewertung nicht kotierter Wertpapiere für die Vermögenssteuer zu erreichen. Sie ist zwar weder Bundesrecht noch interkantonales Recht sondern eine reine Verwaltungsverordnung, die bloss verwaltungsinterne Regeln für das Verhalten der Steuerbeamten enthält und keine Rechte und Pflichten begründet (Urteil 2C_800/2008 vom 12. Juni 2009 E. 5.1, in: StR 64/2009 S. 910). Sie gilt indessen nach ständiger Praxis des Bundesgerichts als zuverlässige Methode zur Bestimmung des Verkehrswertes, da in ihr die Überlegungen, die für die Preisbildung bei den nicht an der Börse kotierten Aktien im Allgemeinen massgebend sind, zum Ausdruck kommen (vgl. Urteil 2A.213/1994 vom 8. Oktober 1996 E. 4, in: ASA 66 484).
Die grundsätzliche Massgeblichkeit der Wegleitung wird auch von der Lehre anerkannt (vgl. RAINER ZIGERLIG/GUIDO JUD, a.a.O., N. 18 zu Art. 14 StHG; FELIX RICHNER UND ANDERE, Handkommentar zum DGB, 2. Aufl., 2009, N. 102 f. zu Art. 16 DBG; BRUNO KNÜSEL, Kommentar zum schweizerischen Steuerrecht I/2a, 2. Aufl., 2008, N. 11 zu Art. 17 DBG; CHRISTOPH LEUCH/PETER KÄSTLI, Praxiskommentar zum Berner Steuergesetz, 2006, N. 5 zu Art. 49 StG/BE; MARIANNE KLÖTI-WEBER UND ANDERE, Kommentar zum Aargauer Steuergesetz, 3. Aufl., 2009, N. 10 f. zu § 50 StG/AG).
3.4 Der Beschwerdeführer anerkennt denn auch, dass für die Bemessung der Vermögenssteuer auf den Aktienverkauf abgestellt wird. Er rügt indessen eine Verletzung des Willkürverbotes (Art. 9 BV) und des Legalitätsprinzips (Art. 5 BV). Diese erblickt er darin, dass die Vorinstanz den beim Verkauf im Juni 2007 vereinbarten Kaufpreis als Vermögenswert für das Steuerjahr 2006 berücksichtigt habe.
3.5 Die Vorinstanz hat festgestellt, der vom Beschwerdeführer in der Steuererklärung deklarierte Verkehrswert der Aktien von Fr. 1'300'000.-- stelle die blosse Fortschreibung des Wertes aus dem Vorjahr dar; eine Bewertung entsprechend den anerkannten Regeln sei nicht vorgenommen worden. Dies wird vom Beschwerdeführer nicht bestritten. Da im Kaufvertrag Übergang von Nutzen und Gefahr rückwirkend per 1. Januar 2007 vereinbart worden sei, ist die Vorinstanz davon ausgegangen, dass der Kaufpreis auch schon am 31. Dezember 2006 - d.h. nur einen Tag zuvor - dem Verkehrswert der Aktien entsprochen habe.
3.6 Was der Beschwerdeführer dagegen vorbringt, lässt diese Würdigung nicht als willkürlich erscheinen. Da es sich um einen Verkauf an den Bruder handelt, durfte die Vorinstanz mit haltbaren Gründen davon ausgehen, dass der Kaufpreis als solcher nicht übersetzt war. Die Berücksichtigung des im Jahr 2007 erzielten Kaufpreises im Steuerjahr 2006 hat die Vorinstanz nicht auf die Wegleitung gestützt, sodass der entsprechende Vorwurf von vornherein unbegründet erscheint.
Dasselbe gilt für das Heranziehen des Kaufpreises bei der Schätzung des Verkehrswertes der Aktien per Ende 2006. Die massgebenden gesetzlichen Bestimmungen (Art. 66 Abs. 1 StHG, § 57 Abs. 1 StG/TG) legen einzig fest, dass sich das Vermögen nach dem Stand am Ende der Steuerperiode bemisst. Dem steht nicht entgegen, für die auf diesen Zeitpunkt gemäss § 46 Abs. 2 StG/TG vorzunehmende Schätzung Indizien heranzuziehen, die sich erst in der Folgeperiode zugetragen haben, wenn diese auf Grund der zeitlichen Nähe zuverlässige Rückschlüsse erlauben. Der Beschwerdeführer führt keine plausiblen Gründe dafür an, weshalb der Wert seiner Aktien am 31. Dezember 2006 lediglich die Hälfte des rückwirkend auf den 1. Januar 2007 vereinbarten Kaufpreises betragen haben soll; auch den Akten sind keine Anhaltspunkte für eine solche Bewertung zu entnehmen.
3.7 Da die Vorinstanz bereits gestützt auf den Kaufvertrag ohne Verletzung von Bundesrecht davon ausgehen durfte, dass der Kaufpreis dem Verkehrswert der Aktien entsprach und dies bereits am 31. Dezember 2006 der Fall war, spielt das von ihr zusätzlich angeführte Indiz der entsprechenden Bewertung der fraglichen Aktien durch eine Treuhandfirma (in einem Schreiben vom 10. Juli 2007) anlässlich des Aktionär-Buy-outs keine Rolle. Auf die insoweit erhobene Rüge der willkürlichen Beweiswürdigung ist nicht näher einzugehen.
4. Der Antrag des Beschwerdeführers auf Gewährung des von der Vorinstanz nicht gewährten Minderheitsabzuges wird nicht begründet, weshalb darauf nicht einzutreten ist (Art. 42 Abs. 2 BGG).
5. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Steuerverwaltung und dem Verwaltungsgericht des Kantons Thurgau sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 15. April 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng