Sachverhalt:
A. X._ ist Eigentümer der Grundstücke GB Nr. ...1, ...2 und ...3 in A._. Die Parzellen GB ...1 und ...2 liegen vollumfänglich, Parzelle GB ...3 grösstenteils in der Golfzone mit Gestaltungsplanpflicht. Diese gehört gemäss Baureglement der Gemeinde A._ zur Bauzone. Von der gesamten Fläche (122 921 m2) hat X._ 118 300 m2 an die Betreiberin der Golfanlage verpachtet (Pachtvertrag vom 4. Juni 1993). Soweit die verpachteten Flächen nicht durch den Golfsport beansprucht werden, sind sie der Landwirtschaft vorbehalten oder dienen sie als ökologische Ausgleichsflächen (Art. 10 der Sonderbauvorschriften für den Golfplatz). Die nicht verpachtete Fläche von 4621 m2 gehört vollumfänglich zur Parzelle GB ...2. Darauf befinden sich das Wohnhaus mit vier Wohnungen, der Stall und die Remise.
B. B.a Mit Schätzungsverfügungen für nichtlandwirtschaftliche Grundstücke vom 30. Mai 2007 nahm die Steuerverwaltung des Kantons Schwyz eine generelle Neuschätzung für die Grundstücke GB Nr. ...1 und ...3 vor. Die Liegenschaft GB Nr. ...2 wurde infolge Umbaus des Wohnhauses neu geschätzt.
B.b Gegen diese Schätzungsverfügung erhob X._ Einsprache. Im Einspracheverfahren verlangte die kantonale Steuerverwaltung beim Amt für Landwirtschaft einen Feststellungsentscheid für die drei Grundstücke im Sinne von Art. 80 ff. des Bundesgesetzes über das bäuerliche Bodenrecht (BGBB; SR 211.412.11). Mit Verfügung vom 26. Juli 2010 stellte das Amt für Landwirtschaft fest, die Flächen der drei Grundstücke seien - soweit sie nicht durch den Golfsport beansprucht würden - für die landwirtschaftliche Nutzung geeignet; diese sei längerfristig gesichert. Die landwirtschaftlichen Nutzflächen betrügen 25 Aren auf GB Nr. ...1 (Gesamtfläche 2 474 m2), 719 Aren auf GB Nr. ...2 (Gesamtfläche 83 527 m2) und 307 Aren auf GB Nr. ...3 (Gesamtfläche 36 920 m2). Die Grundstücke würden durch insgesamt vier Personen, darunter der Eigentümer, bewirtschaftet und bildeten ein landwirtschaftliches Gewerbe (<ref-law>). Demzufolge seien die landwirtschaftlich genutzten Gebäude und Anlagen auf GB Nr. ...2 ebenfalls dem Gesetz unterstellt.
B.c Mit Einspracheentscheid vom 27. April 2011 setzte die Steuerkommission des Kantons Schwyz die Werte der Grundstücke per 1. Januar resp. 1. Juni 2007 wie folgt fest:
GB Nr. Eigenmietwert (Fr.) Vermögenssteuerwert (Fr.)
...1 39'584
...2 24'877 2'833'970
...3 590'720
Die Steuerkommission ging davon aus, dass gemäss § 42 Abs. 2, 2. Satz, des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 (StG; SRSZ 21.10) unüberbaute Grundstücke in der Bauzone ungeachtet einer allfälligen landwirtschaftlichen Nutzung nicht landwirtschaftlich, sondern unter Berücksichtigung ihres Erschliessungszustandes zu bewerten seien. Den Vermögenssteuerwert (Ertragswert) des an die Betreiberin des Golfplatzes verpachteten Landes ermittelte die Steuerkommission durch Kapitalisierung des Pachtzinses (Ertragswert Fr. 16.--/m2). Den steueramtlichen Verkehrswert der Gebäude (Wohnhaus mit vier Wohnungen, Stall und Remise) auf dem Grundstück GB Nr. ...2 - nur dieses liegt vorliegend noch im Streit - ermittelte die Steuerkommission aus dem Ertragswert und Realwert, wobei sie den Ertragswert gegenüber dem Realwert dreifach gewichtete. Zum Ertragswert gelangte sie aufgrund der Mieteinnahmen und Eigenmietwerte, wobei sie Stall und Remise nach dem ortsüblichen Mietwert für Lagerräume bewertete; der Realwert entspricht dem Zeitwert, den die Steuerkommission aus dem Neuwert interpolierte. Den relativen Landwert der überbauten Fläche auf GB ...2 (2254 m2) ermittelte sie in Prozenten des Neuwerts der Bebauung, und zwar nach der Lageklassemethode.
Damit bestätigte die Einsprachebehörde im Wesentlichen die Schätzungsverfügung der Schätzungsabteilung der Steuerverwaltung vom 30. Mai 2007.
C. Mit Beschwerde an das Verwaltungsgericht des Kantons Schwyz beantragte X._ u.a.:
1. Der Eigenmietwert der selbstgenutzten Wohnung sowie einer Betriebsleiterwohnung und der Vermögenssteuerwert der Gebäude und Anlagen auf GB Nr. ...2 seien nach Massgabe der eidgenössischen Schätzungsanleitung zu schätzen.
2. a) Das für die Golfanlage verpachtete Land auf GB Nr. ...2 von 78 906 m2 sei zum Verkehrswert mit einem Kapitalisierungssatz von 4,5 % zu schätzen.
b) Die für die Golfanlage verpachteten Flächen von GB ...1 und ...3 seien zum Verkehrswert mit einem Kapitalisierungssatz von 4,5 % zu schätzen.
Mit Entscheid vom 26. August 2011 setzte das Verwaltungsgericht die Werte für die fraglichen Grundstücke wie folgt fest:
GB Nr. Eigenmietwert (Fr.) Vermögenssteuerwert (Fr.)
...1 37'110 (statt 39'584)
...2 20'977 (statt 24'877) 2'711'062 (statt 2'833'970)
...3 529'244 (statt 590'720)
Die Korrekturen ergaben sich im Wesentlichen aus einer Änderung des Kapitalisierungssatzes (4,25 % statt 4,0 %) bei der Ermittlung des Vermögenssteuerwerts der an die Betreiberin des Golfplatzes verpachteten Landflächen (Parzellen ...1-...3) einerseits sowie aus einer Herabsetzung des Eigenmietwerts bei Remise und Stall (Parzelle ...2), die als Lagerraum benutzt werden, andererseits.
Die Kosten des Einspracheverfahrens von Fr. 1'188.-- und des Beschwerdeverfahrens von Fr. 3'000.-- wurden X._ zu 4/5 und dem Kanton zu 1/5 auferlegt (Dispositiv Ziffern 2.1, 2.2). Zudem wurde dem Beschwerdeführer eine reduzierte Parteientschädigung von Fr. 400.-- zugesprochen (Dispositiv Ziffer 3).
D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht sinngemäss, Dispositiv Ziff. 1 des Entscheids des Verwaltungsgerichts des Kantons Schwyz vom 26. August 2011 sei bezüglich des für das Grundstück GB Nr. ...2 verfügten Eigenmietwerts von Fr. 20'977 und Vermögenssteuerwerts von Fr. 2'711'062 aufzuheben, und es sei festzustellen, dass der Eigenmietwert der selbstgenutzten Wohnung sowie einer Betriebsleiterwohnung im Wohngebäude auf GB Nr. ...2 zum Ertragswert nach Massgabe der eidgenössischen Schätzungsanleitung (Anleitung für die Schätzung des landwirtschaftlichen Ertragswerts, Anhang I zur eidgenössischen Verordnung über das bäuerliche Bodenrecht; SR 211.412.110) zu schätzen sei. Eventualiter seien die Vorinstanz oder die Steuerkommission des Kantons Schwyz anzuweisen, dementsprechend vorzugehen.
Die Ziffern 2.1., 2.2. und 3 des Dispositivs des angefochtenen Entscheides (Kosten des Einsprache- und Beschwerdeverfahrens; Parteientschädigung) seien vollumfänglich aufzuheben.
Die Kantonale Steuerverwaltung Schwyz beantragt Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz hat auf eine Vernehmlassung verzichtet. Am 28. Februar 2012 nahm der Beschwerdeführer Stellung zu den Vernehmlassungen. Die Eidgenössische Steuerverwaltung verzichtete auf eine Stellungnahme.

Erwägungen:
1. 1.1 Das Verfahren über die Grundstückschätzung im Kanton Schwyz ist ein vom ordentlichen Veranlagungsverfahren gesondertes Verfahren. Die Vermögenssteuer- und Eigenmietwerte werden dem Eigentümer in Form einer selbständig anfechtbaren Verfügung eröffnet (§ 19 der kantonalen Verordnung über die steueramtliche Schätzung nichtlandwirtschaftlicher Grundstücke vom 24. November 2004 [SchätzV; SRSZ 172.113]; § 20 der kantonalen Verordnung über die steueramtliche Schätzung landwirtschaftlicher Grundstücke und Gewerbe vom 21. April 2004 [LSchätzV; SRSZ 172.220]). Der Entscheid über die Schätzung schliesst daher ein selbständiges Verfahren ab und ist, wenn kantonal letztinstanzlich, als Endentscheid im Sinne von <ref-law> mit Beschwerde in öffentlich-rechtlichen Angelegenheiten anfechtbar (Urteil 2C_101/2010 vom 24. Juni 2010 E. 1.4 mit weiteren Hinweisen).
Die gegen den Entscheid des Verwaltungsgerichts des Kantons Schwyz betreffend Eigenmietwert der selbst genutzten Liegenschaftsteile und die Vermögenssteuerwerte der genannten Landparzelle erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig (Art. 82 ff., 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 73 [in Verbindung mit Art. 7 Abs. 1 und Art. 14] des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden vom 14. Dezember 1990 (StHG; SR 642.14]). Der Beschwerdeführer ist durch den angefochtenen Entscheid im Sinne von <ref-law> betroffen und zur Beschwerde legitimiert.
1.2 Mit der Beschwerde kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>) grundsätzlich nur die geltend gemachten Rechtswidrigkeiten (<ref-ruling> E. 1.4.1 S. 254). Die Verletzung von Grundrechten und von kantonalem Recht ist ausdrücklich zu rügen (<ref-law>).
Das Bundesgericht prüft demnach frei, ob Auslegung und Anwendung des kantonalen Steuerrechts im harmonisierten Bereich mit den bundesrechtlichen Vorschriften übereinstimmen. Wo das Bundesrecht den Kantonen einen Gestaltungsspielraum einräumt, ist die Kognition des Bundesgerichts auf Willkür beschränkt (<ref-ruling> E. 2 S. 210; Urteil 2C_705/2011 vom 26. April 2012 E. 1.5.2 mit Hinweisen). Das ist hier insoweit der Fall, als Art. 14 Abs. 2 StHG den Kantonen für die Frage, ob sie bei der Bewertung von land- und forstwirtschaftlich genutzten Grundstücken den Verkehrswert mitberücksichtigen wollen, ein Wahlrecht belässt (vgl. Zigerlig/Jud, Kommentar zum Schweizerischen Steuerrecht, Band I/1, 2. Aufl. 2002, N. 8 zu Art. 14 StHG). Andererseits besteht aber auch bei der Konkretisierung des vermögenssteuerrechtlichen Begriffs des Verkehrswerts ein kantonaler Gestaltungsspielraum (<ref-ruling> E. 3.6 S. 214).
1.3 Der von der Vorinstanz festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (vgl. Art. 105 Abs. 1 und 2 BGG). Die Sachverhaltsfeststellung kann, sofern rechtserheblich, nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Der Beschwerdeführer rügt eine solche unrichtige und unvollständige Sachverhaltsfeststellung. Er macht geltend, das Verwaltungsgericht habe nicht beachtet, dass das Grundstück GB ...2 überbaut sei. Diese Rüge ist offensichtlich unbegründet. Dem Verwaltungsgericht entging nicht, dass das Grundstück GB ...2 mit einem Wohnhaus mit vier Wohnungen, einem Stall und einer Remise überbaut ist. Es hat aber aufgrund der Gesamtfläche dieser Parzelle (83 527 m2) und der Tatsache, dass die Fläche ganz überwiegend an die Golfgesellschaft verpachtet ist, das Grundstück als (weitgehend) unüberbaut bezeichnet und es dem Anwendungsbereich von § 42 Abs. 2, 2. Satz, StG zugewiesen. Darin kann gegebenenfalls eine bundesrechtswidrige Anwendung von kantonalem Recht erblickt werden. Die Rüge wegen offensichtlich unrichtiger Sachverhaltsfeststellung geht aber an der Sache vorbei.
3. Der Beschwerdeführer rügt auch eine formelle Rechtsverweigerung und Verweigerung seines Anspruchs auf rechtliches Gehör im Sinne von <ref-law>, weil die Vorinstanz seinen Beschwerdeantrag, wonach der Eigenmietwert der selbstgenutzten Wohnung und der Mietwert einer Betriebsleiterwohnung sowie der Vermögenssteuerwert der Gebäude und Anlagen auf GB ...2 nach Massgabe der eidgenössischen Schätzungsanleitung zu schätzen seien, nicht behandelt habe. Das trifft nicht zu. Die Vorinstanz hat eingehend dargelegt, weshalb die fragliche Parzelle GB ...2 nicht ausschliesslich nach dem Ertragswert (darauf läuft der Antrag des Beschwerdeführers auf Vornahme der Schätzung gemäss der eidgenössischen Schätzungsanleitung hinaus), sondern auch unter Mitberücksichtigung des Verkehrswerts, mithin verkehrswertorientiert, vorzunehmen sei. Sie hat sich dabei auch mit den Gesetzesmaterialien auseinandergesetzt und die Entstehung der massgeblichen Norm (§ 42 Abs. 2 StG) erläutert. Die Vorinstanz hat damit weder einen Beschwerdeantrag unbehandelt gelassen, noch hat sie ihren Entscheid unzureichend begründet.
4. Die Bewertung der Grundstücke GB ...1 und GB ...3, deren Flächen vollumfänglich an die Betreiberin des Golfplatzes verpachtet sind, ist vor Bundesgericht nicht mehr umstritten. Auch die Schätzung der an den Golfbetrieb verpachteten Fläche der Parzelle ...2 wird von der Beschwerdeführerin nicht mehr angefochten. In Frage steht einzig die Bewertung der nicht verpachteten Restfläche auf GB ...2 mit den Gebäuden (Wohnhaus, Stall und Remise) hinsichtlich des Vermögenssteuerwerts und der Eigenmietwerte (Beschwerde S. 7 f.).
4.1 Gemäss Art. 13 Abs. 1 StHG und § 40 Abs. 1 StG unterliegt der Vermögenssteuer das gesamte Reinvermögen, mithin auch das unbewegliche Vermögen. Art. 14 Abs. 1 StHG und § 41 Abs. 1 StG schreiben vor, dass das Vermögen zum Verkehrswert zu bewerten ist, wobei der Ertragswert angemessen berücksichtigt werden kann. Für land- und forstwirtschaftlich genutzte Grundstücke bestimmt Art. 14 Abs. 2 StHG:
"Die land- und forstwirtschaftlich genutzten Grundstücke werden zum Ertragswert bewertet. Das kantonale Recht kann bestimmen, dass bei der Bewertung der Verkehrswert mitberücksichtigt wird oder im Falle der Veräusserung oder Aufgabe der land- oder forstwirtschaftlichen Nutzung des Grundstückes eine Nachbesteuerung für die Differenz zwischen Ertrags- und Verkehrswert erfolgt. (...)"
Von diesem Wahlrecht (s. dazu Zigerlig/Jud, a.a.O., N. 8 f. zu Art. 14 StHG, auch im Folgenden) hat der Schwyzer Gesetzgeber Gebrauch gemacht und in § 42 Abs. 2 StG bestimmt:
"Land- und forstwirtschaftlich genutzte Grundstücke werden mit Einschluss der erforderlichen Gebäude zum Ertragswert bewertet. Unüberbaute Grundstücke in der Bauzone werden ungeachtet einer allfälligen landwirtschaftlichen Nutzung unter Berücksichtigung ihres Erschliessungszustandes besteuert."
4.2 Es ist unbestritten, dass das Grundstück GB ...2 des Beschwerdeführers sich vollständig in der Bauzone (Golfzone) befindet und (teilweise) landwirtschaftlich genutzt wird. Gemäss dem Feststellungsentscheid des kantonalen Amts für Landwirtschaft vom 26. Juli 2010 bildet es mit den erforderlichen Gebäuden ein landwirtschaftliches Gewerbe, das gemäss <ref-law> diesem Gesetz untersteht. Für den Beschwerdeführer folgt daraus, dass die Bewertung der Liegenschaft auf der Grundlage der kantonalen Verordnung über die steueramtliche Schätzung landwirtschaftlicher Grundstücke und Gewerbe (LSchätzV; SRSZ 172.220) resp. gemäss der eidgenössischen Schätzungsanleitung (vgl. § 15 LSchätzV) zum Ertragswert vorzunehmen sei.
Die Vorinstanz ging demgegenüber davon aus, dass es sich bei der fraglichen Parzelle um ein weitgehend unüberbautes Grundstück in der Bauzone handelt, weshalb sich die Bewertung nach § 42 Abs. 2, 2. Satz, StG richtet. Massgebend sei der Verkehrswert unter Berücksichtigung des Erschliessungszustandes (Art. 14 Abs. 2, 2. Satz, StHG). Anwendbar sei die kantonale Verordnung über die steueramtliche Schätzung nichtlandwirtschaftlicher Grundstücke und Gewerbe (SchätzV; SRSZ 172.113). Der Beschwerdeführer bestreitet dies.
In Frage stehen hier die Begriffe landwirtschaftlich genutztes Grundstück und unüberbautes Grundstück. Beim ersteren handelt es sich um einen Begriff des Bundesrechts (vgl. Art. 14 Abs. 2 StHG), dessen Auslegung und Anwendung das Bundesgericht frei prüft; beim letzteren geht es um einen solchen des kantonalen Rechts (vgl. § 42 Abs. 2. 2. Satz, StG), für den die auf Willkür beschränkte Kognition gilt (vgl. vorstehende E. 1.2).
5. 5.1 Mit dem Begriff landwirtschaftliche Grundstücke hat sich das Bundesgericht bereits im Urteil 2C_539/2010 vom 15. Dezember 2010 E. 3.2 (in: StR 67/2012 S. 54, Auszug) befasst. Es ging um die Frage des Aufschubs der Grundstückgewinnsteuer bei der Ersatzbeschaffung von land- und forstwirtschaftlichen Grundstücken (Art. 12 Abs. 3 lit. d StHG). Das Bundesgericht führte aus, dass weder das Steuerharmonisierungsgesetz noch das kantonale Steuerrecht - das trifft auch für das Steuerrecht des Kantons Schwyz zu - den Begriff des landwirtschaftlichen Grundstücks definiere. Eine solche Begriffsbestimmung könne sich nicht allein auf steuerrechtliche Belange beschränken, sondern müsse auch die weiteren Gesetze wie namentlich das BGBB, das Bundesgesetz über die Raumplanung vom 22. Juni 1979 (RPG, SR 700) und das Bundesgesetz über die Landwirtschaft vom 29. April 1998 (LwG; SR 910.1) berücksichtigen. Diese Gesetze, soweit sie auf das bäuerliche Bodenrecht Bezug haben, verfolgten den gemeinsamen Zweck, das Eigentum des landwirtschaftlichen Bodens als ein volkswirtschaftlich wesentlicher Produktionsfaktor zu Gunsten landwirtschaftlicher Betriebe zu erhalten.
In <ref-ruling> E. 2.2.1 hat das Bundesgericht diese Rechtsprechung im Hinblick auf die Besteuerung des Gewinns aus der Veräusserung eines landwirtschaftlichen Grundstücks übernommen. Es hat ausgeführt, dass in Kantonen mit dualistischem System der Besteuerung von Grundstückgewinnen die privilegierte Besteuerung mit der Grundstückgewinnsteuer ausschliesslich den Wertzuwachsgewinn betreffe; die wieder eingebrachten Abschreibungen unterlägen der Einkommenssteuer von Bund und Kanton; diese Privilegierung sei aber angemessen zu begrenzen, indem der steuerrechtliche Begriff des "land- und forstwirtschaftlichen Grundstückes" gemäss Art. 12 Abs. 1 StHG im Einklang mit dem Anwendungs- und Schutzbereich sowie den Veräusserungsbeschränkungen des bäuerlichen Bodenrechts konkretisiert werde (vgl. E. 2.1 und 2.2); die steuerliche Privilegierung landwirtschaftlicher Grundstücke rechtfertige sich folglich nur, wenn die für die Anwendung des BGBB gültigen Voraussetzungen erfüllt seien; das sei hauptsächlich dann der Fall, wenn es sich um einzelne oder zu einem landwirtschaftlichen Gewerbe gehörende Grundstücke handelt, die ausserhalb einer Bauzone nach Art. 15 RPG liegen und für welche die landwirtschaftliche Nutzung zulässig ist (<ref-law>). Darüber hinaus gelte das BGBB (und damit auch die steuerliche Ausnahmeregelung) für die vier weiteren in <ref-law> genannten Fälle, nämlich (vgl. E. 2.2.1):
a) Grundstücke und Grundstücksteile mit landwirtschaftlichen Gebäuden und Anlagen, einschliesslich angemessenem Umschwung, die in einer Bauzone liegen und zu einem landwirtschaftlichen Gewerbe gehören;
b) Waldgrundstücke, die zu einem landwirtschaftlichen Gewerbe gehören;
c) Grundstücke, die teilweise innerhalb einer Bauzone liegen, solange sie nicht entsprechend den Nutzungszonen aufgeteilt sind;
d) Grundstücke mit gemischter Nutzung, die nicht in einen landwirtschaftlichen und einen nichtlandwirtschaftlichen Teil aufgeteilt sind.
5.2 Vorliegendenfalls ist unbestritten, dass sich die Parzelle GB ...2 vollumfänglich - wie auch grösstenteils die beiden anderen Parzellen GB ...1 und ...3 - in der Bauzone GPZ (Golfzone mit Gestaltungsplanpflicht) befindet. Gemäss den Sonderbauvorschriften für den Gestaltungsplan werden alle von der Golfnutzung nicht beanspruchten Flächen landwirtschaftlich genutzt, wobei mindestens ein Drittel als ökologische Ausgleichsflächen regionaltypisch zu gestalten ist. Aufgrund der im angefochtenen Entscheid (E. 2.5) getroffenen tatsächlichen Feststellungen ist erstellt, dass die für den Golfbetrieb nicht beanspruchten Flächen der landwirtschaftlichen Nutzung offenstehen und durch verschiedene Personen tatsächlich auch bewirtschaftet werden. Gemäss den Abklärungen des Amts für Landwirtschaft im Feststellungsentscheid vom 26. Juli 2010 (Ziff. 2.7) bilden die vom Golfsport nicht beanspruchten Flächen der Grundstücke GB ...1, ...2 und ...3 - zusammen mit den Bauten und Anlagen, die sich auf dem Grundstück GB ...2 befinden - ein landwirtschaftliches Gewerbe im Sinne von <ref-law>. Die Vorinstanz stellt diese Qualifikation nicht in Frage. Ob die Unterstellung unter das BGBB zutreffend ist, scheint aber fraglich. Das Amt für Landwirtschaft bejaht, dass die drei Parzellen mit einer landwirtschaftlichen Nutzfläche von rund 711 900 m2 zusammen ein landwirtschaftliches Gewerbe im Sinne von <ref-law> bilden. Es berücksichtigt aber nicht, durch wen die landwirtschaftlich genutzten Flächen bewirtschaftet werden. Es zieht zudem für die Berechnung der Betriebsgrösse nach Standardarbeitskraft im Sinne von <ref-law> die in der Bauzone (Golfzone) liegenden Parzellen GB ...1, ...2 und ...3 heran, ohne vorher über deren Unterstellung gemäss <ref-law> zu entscheiden. Das ist widersprüchlich. Die Frage, ob es sich um ein landwirtschaftlich genutztes Grundstück handelt, kann aber offenbleiben, da die Beschwerde bereits aus anderen Gründen abgewiesen werden muss.
6. Unüberbaute Grundstücke in der Bauzone werden ungeachtet einer allfälligen landwirtschaftlichen Nutzung unter Berücksichtigung ihres Erschliessungszustandes besteuert (2. Satz von § 42 Abs. 2 StG). Der Beschwerdeführer bestreitet, dass es sich bei der Parzelle GB ...2 um ein unüberbautes Grundstück im Sinne dieser Vorschrift handelt. Beim Begriff unüberbautes Grundstück geht es - wie erwähnt (E. 4.2) - um den Gestaltungsspielraum des kantonalen Gesetzgebers, weshalb das Bundesgericht die kantonale Regelung und deren Anwendung nur unter einem verfassungsgerichtlichen Gesichtswinkel, insbesondere unter dem Aspekt des Gleichbehandlungsgebots und des Willkürverbots, prüft.
6.1 Ausgangspunkt jeder Auslegung bildet der Wortlaut der Bestimmung. Ist der Text nicht ganz klar und sind verschiedene Interpretationen möglich, muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente (Methodenpluralismus). Die Gesetzesmaterialien sind nicht unmittelbar entscheidend, dienen aber als Hilfsmittel, um den Sinn der Norm zu erfassen. Vom Wortlaut darf abgewichen werden, wenn triftige Gründe für die Annahme bestehen, dass dieser nicht den wahren Sinn der Regelung wiedergibt (<ref-ruling> E. 3 S. 154). Sind mehrere Auslegungen möglich, ist jene zu wählen, die den verfassungsrechtlichen Vorgaben am besten entspricht. Eine verfassungskonforme Auslegung findet dabei im klaren Wortlaut und Sinn einer Gesetzesbestimmung ihre Schranken (<ref-ruling> E. 4.2, 137 II 164 E. 4.1; je mit Hinweisen).
6.2 Die Begriffe unüberbaut und Erschliessungszustand in § 42 Abs. 2, 2. Satz, StG werden durch das Gesetz nicht definiert. Die Vorinstanz befasst sich mit dem Begriff "unüberbaute Grundstücke" in dieser Vorschrift nicht näher. Sie geht aber aufgrund einer teleologischen Auslegung dieser Norm davon aus, dass für die Frage der Bewertung eines (weitgehend unbebauten) Grundstücks in der Bauzone nach dem landwirtschaftlichen Ertragswert oder nach dem Verkehrswert es nicht entscheidend darauf ankommen könne, ob das Grundstück dem BGBB unterstellt sei oder nicht. Befinde sich ein Grundstück in der Bauzone, so rechtfertige es sich, bei der Bewertung für die Vermögenssteuer unabhängig der BGBB-Unterstellung das Ausmass der Realisierungsmöglichkeiten einer zonenkonformen Nutzung miteinzubeziehen. Könne eine landwirtschaftsfremde - aber zonenkonforme - Nutzung realisiert werden, entfalle die Grundlage für eine privilegierte, sich ausschliesslich am landwirtschaftlichen Ertragswert orientierte Besteuerung (angefochtenes Urteil E. 2.4.1).
Die Vorinstanz knüpft dabei massgeblich an die Gesetzeslage vor dem Inkrafttreten des harmonisierten Steuergesetzes vom 9. Februar 2000 und an ihre eigene, kantonale Rechtsprechung an. Danach galt früher gemäss § 28 Abs. 3 des alten Steuergesetzes (aStG) in der Fassung vom 19. Mai 1988 für die Bewertung von unüberbauten Grundstücken in der Bauzone Folgendes:
"Den übrigen Grundstücken gleichgestellt sind unüberbaute Grundstücke in der Bauzone, wenn die Groberschliessung gemäss Planungs- und Baugesetz erfolgt ist."
Danach war insbesondere zu prüfen, ob das betreffende Grundstück im Sinne des Gesetzes "groberschlossen" war. Im Verwaltungsgerichtsentscheid VGE 618/97 vom 15. Dezember 1997 (zitiert im angefochtenen Urteil E. 2.3.2) erwog das Verwaltungsgericht: Wo sich der Wert baureifen, eigentumsrechtlich nicht zu einem landwirtschaftlichen Heimwesen gehörenden Landes nicht mehr nach der landwirtschaftlichen Nutzung, sondern aufgrund der künftigen baulichen Nutzungsmöglichkeiten (Liegenschaft mit Baulandcharakter) bestimme, erscheine eine verkehrswertorientierte Besteuerung sachgemäss. Es verwies in diesem Entscheid auch auf <ref-ruling> E. 2 S. 458, wo das Bundesgericht entschieden hatte, dass ein kantonales Gesetz nicht gegen den Grundsatz der Rechtsgleichheit verstosse, wenn es in Zonen mit andauernder Baulandnachfrage landwirtschaftliche Grundstücke höher als zum Ertragswert besteuert.
Die Vorinstanz beruft sich im angefochtenen Urteil (E. 2.3.2) auch auf die damaligen Absichten des kantonalen Gesetzgebers, wie sie in der Vorlage des Regierungsrats an den Kantonsrat (RRB Nr. 114 vom 26. Januar 1988) zum Ausdruck kamen. Allerdings habe der Gesetzgeber mit der gewählten Formulierung als massgebendes Abgrenzungskriterium die vollständige Groberschliessung festgeschrieben, was in vielen Fällen (teilweiser oder noch nicht ganz vollendeter Groberschliessung) zu unbefriedigenden Abgrenzungen geführt habe. Abhilfe habe allein der Gesetzgeber im Rahmen einer Revision des Steuergesetzes schaffen können (so das angefochtene Urteil E. 2.3.3 mit Hinweis auf den Verwaltungsgerichtsentscheid VGE 625/97 vom 15. Dezember 1997). Mit dem Verweis auf den Erschliessungszustand im neuen Steuergesetz werde nun zum Ausdruck gebracht, dass der steuerlich massgebende Verkehrswert eines dem Bauland zugewiesenen Grundstücks massgeblich davon abhängt, ab wann dieses überbaubar sei (s. angefochtenes Urteil E. 2.3.4 mit Hinweis auf den Verwaltungsgerichtsentscheid VGE II 2008 33 vom 20. November 2008).
6.3 Die Begründung des angefochtenen Urteils zeigt damit anhand der Entstehungsgeschichte der Norm nachvollziehbar auf, weshalb es sich nach der kantonalen Regelung rechtfertigt, unüberbaute Grundstücke in der Bauzone nach Massgabe ihres Erschliessungsgrades verkehrswertorientiert zu bewerten. Der Begriff "unüberbaute Grundstücke" wurde zwar beibehalten. Aus Gründen der rechtsgleichen Behandlung müssen diese Grundsätze aber auch dann zur Anwendung kommen, wenn ein grosses, landwirtschaftlich genutztes Grundstück in der Bauzone - wie im Falle des Beschwerdeführers - teilweise mit landwirtschaftlichen oder nichtlandwirtschaftlichen Gebäuden und Anlagen überbaut ist. Dieser - im Gesetz nicht explizit geregelte - Fall bewegt sich im Rahmen des vom Gesetz durch Grundsatz (Bewertung zum Verkehrswert unter angemessener Berücksichtigung des Ertragswerts, § 41 Abs. 1 StG) und Ausnahme (Bewertung zum Ertragswert unter Mitberücksichtigung des Verkehrswerts, § 42 Abs. 2 StG) gespannten Rahmens. Wenn daher die Vorinstanz entschieden hat, als unüberbaut gelte auch ein Grundstück, welches "weitgehend unüberbaut" ist, verfiel sie nicht in Willkür.
7. 7.1 Vorliegend ist erstellt, dass das Grundstück GB ...2 - gleich wie die beiden anderen Parzellen - flächenmässig ganz überwiegend dem Golfsport dient. Die notwendigen Installationen und Anlagen für den Golfsport sind vorhanden. Im Lichte der zonenmässigen Zuweisung (Golfzone mit Gestaltungsplanpflicht) scheint die Zone gemäss den Sonderbauvorschriften nicht nur grob erschlossen, sondern fertig erstellt zu sein (wobei sich die Groberschliessung von vornherein nur auf die Golfinfrastruktur wie Klubhaus, Verkehrsflächen etc. beziehen kann, die sich aber nicht primär auf dem Grundstück GB ...2 befinden). Eine überwiegend nichtlandwirtschaftliche Nutzung ist somit gegeben, und zwar auch in Bezug auf das Grundstück GB ...2 des Beschwerdeführers.
Die Interpretation von § 42 Abs. 2, 2. Satz, StG durch die Vorinstanz hält sich zudem im Rahmen des möglichen Wortsinns. Der gesetzliche Begriff Erschliessungszustand verlangt keinen Mindestgrad der Groberschliessung (im Sinne einer minimalen Groberschliessung). Es ist auch nicht willkürlich anzunehmen, dass sich der Begriff "unüberbaute Grundstücke in der Bauzone" nicht oder nicht in erster Linie auf die landwirtschaftlichen Gebäude und Anlagen bezieht, sondern primär auf die Abwesenheit zonenkonformer Bauten oder Anlagen. In diesem Licht betrachtet erweist sich die Qualifikation des Grundstücks des Beschwerdeführers durch die Vorinstanz als "(weitgehend) unbebautes Grundstück" nicht als willkürlich.
7.2 Was der Beschwerdeführer weiter vorbringt, dringt nicht durch. Er beruft sich im Wesentlichen auf den positiven Unterstellungsentscheid nach BGBB des Amts für Landwirtschaft, was aber nach dem Gesagten nicht ausreichend ist, weil das Gesetz (Art. 14 Abs. 2, 2. Satz, StHG) selbst für landwirtschaftlich genutzte Grundstücke eine Sonderordnung zulässt, und im Übrigen der Unterstellungsentscheid selbst Fragen aufwirft. Auch die Ansicht, dass eine bauliche Nutzung bei einem Grundstück in der Golfzone nicht möglich sein soll, kann nicht bestätigt werden. Vielmehr geht es qualitativ um andere bauliche Vorrichtungen und Massnahmen, die die Ausübung des Golfsports erst ermöglichen. Die Golfzone ist denn auch der Bauzone zugeordnet, und zwar der Intensiverholungszone.
Der Umstand, dass der Beschwerdeführer den Landwirtschaftsbetrieb als Selbstbewirtschafter fortzuführen gedenkt (Beschwerde S. 14), ändert an der Möglichkeit einer zonenkonformen Nutzung des Grundstücks als Teil des Golfgeländes nichts. Auch eine willkürliche Anwendung von baurechtlichen Vorschriften, wie der Beschwerdeführer sie behauptet (Beschwerde S. 20 oben), ist nicht zu sehen.
8. Einzelheiten der Güterschätzung der Schätzungsabteilung der Steuerverwaltung und der Steuerkommission sind nicht gerügt worden. Die Güterschätzung ist einlässlich und gründlich durchgeführt worden und lässt keine Fehler erkennen.
9. Schliesslich ist auch die Beanstandung, die Vorinstanz habe über den Beschwerdeantrag 2 (Festlegung des Eigenmietwerts der selbstgenutzten Wohnung und des Mietwerts der Betriebsleiterwohnung nach Massgabe der eidgenössischen Schätzungsanleitung) nicht entschieden, unbegründet. Die Vorinstanz hat die bei ihr eingereichte Beschwerde (in einem anderen Punkt) teilweise gutgeheissen und im Übrigen abgewiesen. Damit wurde auch über den Beschwerdeantrag 2 entschieden.
10. Weshalb die Kosten- und Entschädigungsfolgen des Verwaltungsgerichtsbeschwerde- und des Einspracheverfahrens (vgl. vorstehenden Sachverhalt, Buchstabe C am Ende) anders verlegt werden sollten (Beschwerdeantrag 1b), wird nicht begründet und ist bei diesem Verfahrensausgang auch nicht ersichtlich.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Da der Beschwerdeführer vollumfänglich unterliegt, hat er die Gerichtskosten zu tragen (Art. 65 und 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Kantonalen Steuerkommission Schwyz, dem Verwaltungsgericht des Kantons Schwyz und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 22. Oktober 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann