Sachverhalt:
A. X._, Rentner, geboren 1929, erwarb im Jahre 1969 von seinem Onkel die Liegenschaft "A._" in F._, umfassend 51'121m2 mit Wohnhaus, Scheune, Wald und Wiese. Nach Parzellierung am 19. Dezember 1996, Genehmigung des Gestaltungsplans und Erschliessung begann er mit dem Verkauf der Parzellen. Für den Zeitraum vom 1. Januar 1997 bis 31. Dezember 1998 sind insgesamt 15 Handänderungen belegt. Die Steuerverwaltung für die direkte Bundessteuer des Kantons Schwyz setzte den Zeitpunkt der Aufnahme der selbständigen Erwerbstätigkeit als Liegenschaftenhändler auf den 19. Dezember 1996 fest und veranlagte X._ am 24. Juli 2001 für die direkte Bundessteuer 1999/2000 (unter Ausscheidung der ausländischen Einkünfte) mit einem steuerbaren Einkommen von Fr. 23'700.-- (satzbestimmend Fr. 28'300.--), bestehend im Wesentlichen aus AHV-Rente und dem Mietwert der eigenen Wohnung.
Die Einsprache, mit welcher der Steuerpflichtige einen anrechenbaren Verlust aus Liegenschaftenhandel von Fr. 1'087'554.-- geltend machte, wies die Kantonale Steuerkommission Schwyz mit Entscheid vom 23. September 2008 ab.
B. Mit Urteil vom 4. März 2009 hiess das Verwaltungsgericht des Kantons Schwyz die Beschwerde des Steuerpflichtigen gut, hob den Einspracheentscheid auf und wies die Sache zur neuen Veranlagung an die Steuerverwaltung zurück. Es schützte den Standpunkt des Steuerpflichtigen, wonach anlässlich der gemeinsamen Besprechung zwischen dem Steuerpflichtigen und der kantonalen Steuerverwaltung vom 19. Dezember 2001 eine Vereinbarung zustande gekommen sei. Danach betrage der Einbuchungswert für das damals noch unerschlossene Land per 19. Dezember 1996 Fr. 380.--/m2. Die Planungs- und Erschliessungskosten dürften, soweit geschäftsmässig begründet, zusätzlich eingebucht werden.
C. Hiergegen führt die Verwaltung für die direkte Bundessteuer des Kantons Schwyz Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 4. März 2009 sei aufzuheben und der Veranlagungsentscheid zu bestätigen.
Der Steuerpflichtige beantragt Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Schwyz und die Eidgenössische Steuerverwaltung haben auf eine Stellungnahme verzichtet.

Erwägungen:
1. 1.1 Das Eintreten auf die Beschwerde wirft keine besonderen Fragen auf. Zur Beschwerdeführung in Sachen der direkten Bundessteuer ist auch die kantonale Verwaltung für die direkte Bundessteuer legitimiert (<ref-law> in Verbindung mit <ref-law> [SR 642.11]). Der angefochtene Entscheid beendet das Verfahren zwar nicht, sondern weist die Sache zu neuem Entscheid an die Steuerverwaltung zurück. Durch den Rückweisungsentscheid wäre jedoch die Beschwerdeführerin gezwungen, nach den Vorgaben der oberen kantonalen Instanz einen ihrer Auffassung widersprechenden Entscheid zu treffen, den sie mangels Beschwer nicht mehr anfechten könnte. Ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> ist damit zu bejahen (vgl. <ref-ruling> E. 4.2 und 5.2.4; ferner 135 V 141 E. 1.1 S. 143; Urteil 2C_792/2008 vom 19. Februar 2009 E. 1.1, in: StE 2009 B 73.14 Nr. 3).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (vgl. <ref-ruling> E. 1.2 S. 252; <ref-ruling> E. 2.5 S. 262). Das Bundesgericht legt seinem Urteil grundsätzlich den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (vgl. Art. 105 Abs. 1 und 2 BGG), es sei denn, die Sachverhaltsfeststellung sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
Inwiefern der angefochtene Akt Recht verletzt, ist in der Beschwerde darzulegen (<ref-law>). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Ähnlich strenge Anforderungen gelten für die Sachverhaltsrügen im Sinne von <ref-law>. Es genügt daher nicht, einen von den vorinstanzlichen Feststellungen abweichenden Sachverhalt zu behaupten, sondern es ist darzulegen, inwiefern die Feststellungen willkürlich oder unter Verletzung von Verfahrensgarantien zustande gekommen sind (<ref-ruling> E. 1.4.3 S. 255 f.; ferner 133 III 399 E. 7.1).
2. 2.1 Es ist unbestritten, dass der Beschwerdegegner als gewerbsmässiger Liegenschaftenhändler zu qualifizieren ist und mit der Parzellierung der Liegenschaft "A._" die Händlereigenschaft erlangte. Es steht auch unangefochten fest, dass die in den Jahren 1997 und 1998 verkauften Liegenschaften zum Geschäftsvermögen gehörten, Handelsobjekte darstellten und dem Umlaufvermögen zuzurechnen waren. Ebenfalls anerkannt sind die Veräusserungspreise, Handänderungs- und Grundbuchkosten sowie die Planungs- und Erschliessungskosten.
2.2 Umstritten ist einzig der Verkehrswert (Einbuchungswert), den die damals unerschlossene Liegenschaft "A._" bei der Einbringung ins Geschäftsvermögen zum Zeitpunkt der Aufnahme des gewerbsmässigen Liegenschaftenhandels am 19. Dezember 1996 aufwies.
Die Beschwerdeführerin macht geltend, inwiefern das Vermögen in der Eingangsbilanz im Sinne von <ref-law> werthaltig gewesen sei, sei eine frei zu prüfende Rechtsfrage (Beschwerde S. 6 oben). Die Vorinstanz lasse in ihrer Beurteilung rechtserhebliche Tatsachen ausser Betracht, wenn sie die 15 Verkäufe ab der Baulandparzelle vom 1. Januar 1997 bis 31. Dezember 1998 nicht berücksichtige. Daraus hätten sich die Wertansätze für die Einbuchung mühelos zeitnah und sachgerecht ableiten lassen.
Auch der Beurteilung der Vorinstanz, wonach die Parteien anlässlich der Besprechung vom 19. Dezember 2001 verbindlich übereingekommen seien, dass der Einbuchungswert (Verkehrswert) des Landes Fr. 380.--/m2 (vor Erschliessungs- und Planungskosten) betragen habe, könne nicht gefolgt werden. Nachdem im Zeitpunkt der Anfrage des Anwaltes des Beschwerdegegners vom 14. Mai 1997 bereits vier Parzellen verkauft worden seien und die übrigen elf Transaktionen in den Bemessungszeitraum 1997/98 fielen, erübrige sich selbstredend eine Übereinkunft. Aus denselben Gründen seien auch die Voraussetzungen für einen Vorbescheid der Steuerverwaltung (Ruling) in keinem Zeitpunkt erfüllt gewesen.
3. 3.1 Steuerverwaltung und Steuerpflichtiger können sich ausnahmsweise an Stelle einer amtlichen Untersuchung über Teile des steuerlich relevanten Sachverhalts einigen, und zwar auch ohne ausdrückliche gesetzliche Grundlage, wenn über massgebende Tatsachen Unsicherheiten bestehen, die sich nur schwer oder mit unverhältnismässigem Aufwand beseitigen lassen (wenn etwa der Verkehrswert einer Liegenschaft nicht bekannt ist und die Ermittlung oder Schätzung nur mit grossem Aufwand erreichbar ist; vgl. Urteil 2A.52/2003 vom 23. Januar 2004 E. 4.2, in: ASA 74 S. 737; 2C_75/2007 vom 9. November 2007 E. 4.3 f., in: RtiD 2008 I S. 939; Känzig/Behnisch, Die direkte Bundessteuer, 2. Aufl., III. Teil, 1992, N. 26 ff. zu Art. 88 BdBSt; Zweifel/Casanova, Schweizerisches Steuerverfahrensrecht, Direkte Steuern, 2008 S. 5 f.; Peter Rickli, Die Einigung zwischen Behörden und Privaten im Steuerrecht, 1987, S. 5, 39 ff., 96, 102 ff. und passim). Die Einigung kann sich aber nur auf unsichere Sachverhaltsfeststellungen beziehen; Auslegungsfragen sind davon ausgeschlossen. Eine solche Einigung darf zudem nicht im Widerspruch zum materiellen Recht stehen (2C_75/2007 vom 9. November 2007 E. 4.3 f., in: RtiD 2008 I S. 939; 2A.53/1998 vom 12. November 1998 E. 7b/aa in fine, in: RDAF 1999 II S. 97 = StR 54/1999 S. 118).
Sind die Voraussetzungen für eine Einigung nicht gegeben, liegt ein Steuerabkommen vor. Ein Steuerabkommen bezweckt, eine für einen konkreten Tatbestand geltende, von den gesetzlichen Bestimmungen abweichende Regelung hinsichtlich Bestand, Umfang oder Art der Erfüllung der Steuerpflicht zu treffen (Urteil 2A.52/2003 vom 23. Januar 2004 E. 4.2, in: ASA 74 S. 737). Steuerabkommen sind nur zulässig, wenn das Gesetz für sie Raum lässt (<ref-ruling> E. 2b S. 34, 505 E. 3a und b S. 512/513; Urteil 2A.227/2006 vom 10. Oktober 2006 E. 3.1 in: ASA 76 S. 748). Wegen fehlender gesetzlicher Grundlage sind Abkommen über das steuerbare Einkommen oder über den Steuerbetrag im Recht der direkten Bundessteuer unzulässig und unwirksam (2A.227/2006 vom 10. Oktober 2006 E. 3.1 in: ASA 76 S. 748; ferner <ref-ruling> E. 1c S. 279; Urteil A.454/1987 vom 25. August 1988 E. 2c, 2e in: ASA 58 S. 210).
3.2 Es ist zwischen den Parteien unbestritten, dass für die Überführung der Liegenschaft vom Privat- ins Geschäftsvermögen der Verkehrswert massgebend ist. Als Verkehrswert wird im Allgemeinen der Wert verstanden, zu welchem eine Sache oder ein Vermögenswert am freien Markt zu einem bestimmten Zeitpunkt veräussert werden kann (Peter Locher, Kommentar zum DBG, I. Teil, 2001, N. 80 zu <ref-law>; Ernst Känzig, Die eidgenössische Wehrsteuer, 2. Aufl., I. Teil, 1982, N. 211 ff. zu Art. 21 Abs. 1 lit. d WStB). Was unter dem Begriff Verkehrswert zu verstehen ist, stellt eine Rechtsfrage (oder Auslegungsfrage) dar. Welcher Preis tatsächlich erzielt werden kann, ist demgegenüber eine Frage des Sachverhalts. Hierfür sind die Steuerbehörden häufig auf Schätzungen angewiesen. Insofern über den Verkehrswert der fraglichen Liegenschaft und damit über den massgeblichen Einbuchungswert am 19. Dezember 1996 Unsicherheit bestand, die sich auch durch eine amtliche Untersuchung nicht ohne Weiteres beseitigen liess, war somit eine Festlegung des Verkehrswerts auf dem Weg der Einigung auch ohne ausdrückliche gesetzliche Grundlage zulässig. Namentlich bei der Bewertung von Liegenschaften anhand des Verkehrswerts scheint die Einigung ein zulässiges Mittel zur Beseitigung von Unklarheit im Sachverhalt (Urteil 2A.53/1998 vom 12. November 1998 E. 7b/bb, in: RDAF 1999 II S. 97 = StR 54/1999 S. 118; unveröffentlichtes Urteil 2P.327/1995 vom 20. Mai 1997 E. 2; s. auch Urteil 2A.52/2003 vom 23. Januar 2004 E. 4.2, in: ASA 74 S. 737).
3.3 Vorliegend nahm das Schätzungsamt der kantonalen Steuerverwaltung auf eine Anfrage des damaligen Rechtsanwalts des Beschwerdegegners vom 14. Mai 1997 eine Verkehrswertschätzung für die fragliche Liegenschaft vor. Am 3. Juni 1997 teilte es dem Beschwerdeführer mit:
"Bezugnehmend auf ihre Schreiben vom 14. Mai 1997 teilen wir Ihnen mit, dass der Verkehrswert per 1.1.1997 für obige von Stammparzelle ... abparzellierten Landflächen mit einem Durchschnittswert von Fr. 450.-- pro m2 bewertet werden können."
Im Einspracheverfahren kam der Verkehrswert zwischen den Parteien erneut zur Sprache. Nachdem die kantonale Steuerverwaltung den Sachverhalt nochmals dem Leiter des Schätzungsamtes zur Beurteilung vorgelegt hatte, wurde seitens der Steuerverwaltung klargestellt, dass der Wert von Fr. 450.-- m2 "für vollerschlossenes Bauland" gilt: "Weitere Aufwendungen im Zusammenhang mit der Erschliessung haben keinen Platz und können deshalb nicht berücksichtigt werden" (vgl. Schreiben Steuerverwaltung vom 16. November 2001). Am 19. Dezember 2001 fand eine Besprechung zwischen den Parteien statt. In einem weiteren Schreiben vom 7. Januar 2002 hielt die kantonale Steuerverwaltung (einschliesslich der kantonalen Verwaltung für die direkte Bundessteuer) gegenüber der Vertreterin des Beschwerdegegners fest:
"Anlässlich unserer Besprechung vom 19. Dezember 2001 mit Ihnen sowie Frau S._ haben wir uns grundsätzlich auf den Land-Einbuchungswert von Fr. 380.--/m2 geeinigt. Zusätzlich dazu können sämtliche ausgewiesenen und geschäftsmässig begründeten Erschliessungs- und Plankosten eingebucht werden.
Eine Verlustanerkennung bzw. eine überperiodische Verlustverrechnung kennt als formelles Erfordernis den Verlustnachweis mittels einer ordnungsgemäss geführten Buchhaltung. Zur Vervollständigung unserer Akten bitten wir Sie, uns noch die Jahresabschlüsse 1997 und 1998 (Bilanzen/Erfolgsrechnungen) nachzureichen."
Wenn daher die Steuerverwaltung anlässlich der Besprechung am 19. Dezember 2001 mit dem Beschwerdegegner übereinkam, dass das fragliche Land im Zeitpunkt der Einbuchung einen Verkehrswert von Fr. 380.--/m2 aufgewiesen habe, wurde eine Einigung über ein Sachverhaltselement (und nicht eine Auslegungsfrage) getroffen. Das ist zulässig. Die Einigung enthob die Steuerbehörde von einer weiteren Schätzung der Liegenschaft, welche naturgemäss nie mit letzter Genauigkeit durchgeführt werden kann und immer einen Rest von Unsicherheit belässt. Diesbezüglich hat die Vorinstanz weder den massgebenden, zur Einigung führenden Sachverhalt offensichtlich unrichtig festgestellt, noch die Einigung selbst rechtlich falsch gewürdigt.
3.4 Die Beschwerdeführerin wendet ein, aufgrund der insgesamt 15 Handänderungen, welche allesamt in die Bemessungsperiode 1997/ 1998 fielen, sei erstellt, dass die Liegenschaft zu einem überhöhten Wert einbilanziert worden sei. Die Vorschrift zur Bewertung des Vermögens in <ref-law> werde verletzt.
Eine Einigung über den Sachverhalt darf, wie vorstehend ausgeführt (E. 3.1), nicht gegen materielles Recht verstossen. Es mag zutreffen, dass - rückblickend gesehen - das Land allzu optimistisch, zu einem zu hohen Preis, eingebucht worden ist. Allerdings war dieser Wert keineswegs aus der Luft gegriffen, sondern er beruhte auf Abklärungen durch das Schätzungsamt. Es bestehen auch keine Anhaltspunkte, dass damals die Verkehrswertschätzung nicht in vertretbarer Weise erfolgt sein könnte. Am 3. Juni 1997 wurde der Verkehrswert auf Fr. 450.--/m2 veranschlagt. Später stellte die Steuerverwaltung klar, dass damit erschlossenes Land gemeint sei, und setzte den Preis für das unerschlossene Land einvernehmlich mit dem Beschwerdegegner auf Fr. 380.--/m2 fest.
Allein der Umstand, dass die seitherigen Transaktionen von erschlossenem Land Verluste zeitigten, lässt nicht darauf schliessen, dass das Aktivum damals (19. Dezember 1996) erkennbar zu einem zu hohen Wert in die Buchhaltung aufgenommen wurde. Für einen derartigen Schluss liesse die Beschwerde auch die erforderliche Begründung vermissen. Massgebend wäre eine Beurteilung aus damaliger Sicht. Es müsste schon dargelegt worden sein, woraus sich eine Überbewertung seinerzeit klar ergeben haben sollte und inwiefern die Vorinstanz den Sachverhalt offensichtlich unrichtig oder rechtsverletzend festgestellt habe (vgl. vorn E. 1.2). Das ist nicht der Fall. Eine Rechtsverletzung ist weder in Bezug auf <ref-law> noch im Rahmen der Sachverhaltsfeststellung zu erkennen.
3.5 Nach der Rechtsprechung des Bundesgerichts gilt der Grundsatz von Treu und Glauben nicht nur im Privatrecht, sondern auch im öffentlichen Recht und insbesondere im Steuerrecht. Steuerbehörden und Steuerpflichtige haben ihr Verhalten danach zu richten. Eine Einigung ist nicht verbindlich, wenn sich im Nachhinein ergibt, dass ihr unrichtige Voraussetzungen zugrunde liegen oder die Steuerbehörde durch falsche oder unvollständige Angaben in einen Irrtum versetzt worden war (s. auch Urteil vom 26. Oktober 1962 E. 3 in fine, in: ASA 31 S. 500 E. 3). Darauf beruft sich die Beschwerdeführerin.
Von einem Irrtum der Steuerverwaltung oder einem ihr unvollständig unterbreiteten Sachverhalt kann indessen keine Rede sein. Sie hatte bereits aufgrund des Schreibens des Rechtsanwalts des Beschwerdegegners vom 14. Mai 1997 (S. 2 oben) Kenntnis, dass "inzwischen ... ca. 4 Bauparzellen verkauft" worden seien. Anlässlich der Besprechung und Einigung am 19. Dezember 2001 wusste die Steuerverwaltung, dass die Liegenschaft parzelliert, erschlossen und in Teilen verkauft worden war, waren doch die Veräusserungsverluste Gegenstand des Einspracheverfahrens. Wollte die Steuerverwaltung massgeblich auf die erzielten Preise (für erschlossenes Land) abstellen, hätte sie es schon damals signalisieren können. Damals lagen auch die kantonalen Grundstückgewinnsteuerveranlagungen vom 27. März 2000 für die insgesamt 15 Handänderungen für den Zeitraum vom 1. Januar 1997 bis 31. Dezember 1998 vor; sie wurden mit der Einsprache am 22. August 2001 eingereicht. Wenn daher die Steuerverwaltung sich mit der Vertreterin des Beschwerdegegners anlässlich der Besprechung vom 19. Dezember 2001 "auf den Land-Einbuchungswert von Fr. 380.--/m2" einigte, wobei zusätzlich dazu "sämtliche ausgewiesenen und geschäftsmässig begründeten Erschliessungs- und Plankosten eingebucht werden" können (Schreiben der Steuerverwaltung/Bundessteuerverwaltung vom 7. Januar 2002), hatte sie Kenntnis von allen massgeblichen Tatsachen. Die Steuerverwaltung war zwar nicht verpflichtet, sich bezüglich des massgebenden Land-Einbuchungswertes im Voraus festzulegen. Wenn sie dies aus praktischen Gründen dennoch tat, muss sie sich bei dieser Verständigung behaften lassen.
4. Da die Beschwerde bereits aus diesen Gründen nicht durchzudringen vermag, kann offenbleiben, ob bereits die Mitteilung des kantonalen Schätzungsamt vom 3. Juni 1997 auf die Anfrage des Anwalts des Beschwerdeführers vom 14. Mai 1997, wonach die abparzellierten Landflächen der Parzelle mit einem Durchschnittswert von Fr. 450.-- pro m2 bewertet werden könne, als eine nach Treu und Glauben verbindliche Auskunft (sog. Ruling) betrachtet werden muss, was die Beschwerdeführerin bestreitet (s. dazu auch Zweifel/Casanova, a.a.O., S. 6: Känzig/Behnisch, a.a.O. N. 27 zu <ref-law>).
5. Die Beschwerde erweist sich als unbegründet, soweit darauf einzutreten ist. Entsprechend diesem Verfahrensausgang sind die Gerichtskosten (<ref-law>) dem Kanton aufzuerlegen (Art. 66 Abs. 1 und 4, e contrario, BGG). Dieser hat den Beschwerdegegner für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Kanton Schwyz auferlegt.
3. Der Kanton Schwyz hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. Februar 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Wyssmann