Sachverhalt:
A. X._ ist Eigentümer verschiedener Liegenschaften (vorwiegend Mehrfamilienhäuser) vor allem in der Stadt A._ und Umgebung. Diese ergaben im Jahr 2006 einen Ertrag von über ... Mio. Franken und wurden Ende 2005 mit ... Mio. Franken bzw. Ende 2006 mit ... Mio. Franken bilanziert. Die Hypothekarschulden beliefen sich per Ende 2005 auf ... Mio. Franken und Ende 2006 auf über ... Mio. Franken.
Zum Immobilienkomplex von X._ gehörten auch vier in den Jahren 1993 und 1998 erworbene Grundstücke der Überbauung E._ in B._ (Kat. Nr. ...., ...., .... und ....). Am 3. Juli 2006 verkaufte er diese Liegenschaften zum Gesamtpreis von Fr. ... an eine Versicherungsgesellschaft. Mit dem Erlös erwarb er ein Ersatzgrundstück für ... Mio. Franken in der Stadt A._, investierte ... Mio. Franken in ihm gehörende überbaute Grundstücke und ging eine Verpflichtung für die Überbauung eigener Grundstücke über ... Mio. Franken ein.
X._ liess seine Einzelfirma erst am 5. Juni 2009 im Handelsregister eintragen. Der Firmenzweck lautet auf "Erwerb, Verwaltung, Vermittlung und Handel mit Immobilien". Kurze Zeit später übertrug er die Liegenschaften der Einzelfirma auf die Y._ Immobilien AG.
B. Im Grundsteuerverfahren der am 3. Juli 2006 veräusserten Grundstücke beantragte X._ den Aufschub der Grundstückgewinnsteuer infolge Ersatzbeschaffung von betriebsnotwendigem Anlagevermögen. Mit Einschätzungsentscheid vom 13. September 2007, bestätigt mit Einspracheentscheid vom 6. März 2008, veranlagte die Kommission für Grundsteuern der Stadt B._ einen Grundstückge- winn von Fr. ... und eine Grundstückgewinnsteuer von Fr. ....
Den Rekurs des Steuerpflichtigen gegen den Einspracheentscheid wies die Steuerrekurskommission III des Kantons Zürich am 10. September 2008 ab. Am 8. Juli 2009 hiess das Verwaltungsgericht des Kantons Zürich die dagegen gerichtete Beschwerde teilweise gut und wies die Sache an die Steuerrekurskommission III zur Abklärung, ob bei den betroffenen Grundstücken die für die Ersatzbeschaffung erforderlichen Voraussetzungen eines Betriebs erfüllt seien, zurück.
Nach durchgeführter Untersuchung wies die Steuerrekurskommission III des Kantons Zürich den Rekurs von X._ im zweiten Rechtsgang mit Entscheid vom 17. Februar 2010 ab.
Die Beschwerde von X._ gegen dieses Urteil wies das Verwaltungsgericht des Kantons Zürich mit Entscheid vom 17. November 2010 ab, soweit es darauf eintrat.
C. Hiergegen führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den sinngemässen Anträgen, es sei der Entscheid des Verwaltungsgerichts vom 17. November 2010 aufzuheben und die Grundstückgewinnsteuer aufzuschieben; eventuell sei die Sache an das Verwaltungsgericht zur Neubeurteilung zurückzuweisen. Gerügt wird die Verletzung von Bundesrecht sowie des Anspruchs auf rechtliches Gehör.
Die Kommission für Grundsteuern der Stadt B._, das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich beantragen Abweisung der Beschwerde (soweit darauf einzutreten ist). Die Eidgenössische Steuerverwaltung hat auf die Stellung eines Antrags verzichtet.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Verwaltungsgerichts des Kantons Zürich betreffend die zürcherische Grundstückgewinnsteuer ist zulässig (Art. 82 ff., 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 73 des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, StHG [SR 642.14]). Der Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>).
1.2 Mit der Beschwerde kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden. Die Verletzung von kantonalem Recht ist kein eigenständiger Rügegrund. Das Bundesgericht prüft frei, ob die Auslegung und Anwendung des kantonalen Rechts im harmonisierten Bereich mit den bundesrechtlichen Vorschriften übereinstimmen. Wo das Bundesrecht den Kantonen einen Spielraum einräumt, ist die Kognition des Bundesgerichts auf Willkür beschränkt (<ref-ruling> E. 2 S. 210).
Der Bundesgesetzgeber hat in Art. 12 Abs. 3 und 4 StHG abschliessend umschrieben, welche Steueraufschubstatbestände von den Kantonen bei der Grundstückgewinnsteuer zu übernehmen sind. Zugleich hat er auch eine inhaltliche Harmonisierung der kantonalen Regelung betreffend Steueraufschub angestrebt (<ref-ruling> E. 3.2 S. 207 f.). Den Kantonen verbleibt insoweit kein Spielraum. Das Bundesgericht prüft den angefochtenen Entscheid daher mit freier Kognition (Urteil 2C_539/2010 vom 15. Dezember 2010 E. 1.3, in: StR 67/2012 S. 54; 2C_308/2009 vom 14. Oktober 2009 E. 1.3 in: ASA 78 S. 690).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Sachverhaltsfeststellung der Vorinstanz kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
2. Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör, weil ihm "für den Leerlauf vor der Rekurskommission" eine Staatsgebühr von Fr. 25'000.-- auferlegt worden sei. Deshalb habe er den Antrag auf Übernahme der Kosten durch die Staatskasse gestellt, was die Vorinstanz mit dem Satz, hierzu bestehe keine Veranlassung, abgelehnt habe. Dies sei keine Begründung, sondern eine blosse Feststellung.
Aus dem Anspruch auf rechtliches Gehör gemäss <ref-law> fliesst die Pflicht zur Begründung von Verfügungen. Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann (<ref-ruling> E. 3.1; <ref-ruling> E. 3.3 S. 445 mit Hinweis). Die erforderliche Begründungsdichte hängt dabei eng mit den zugrunde liegenden materiell-rechtlichen Fragen zusammen.
In der Beschwerde an die Vorinstanz vom 12. April 2010 (zweiter Rechtsgang) machte der Beschwerdeführer geltend, dass die Rekurskommission entgegen den Vorgaben des Verwaltungsgerichts im Rückweisungsentscheid das Vorhandensein eines Betriebs nicht geprüft, sondern diese Frage (erneut) offen gelassen habe. Es gehe daher nicht an, den Beschwerdeführer die zusätzlichen Kosten des zweiten Rechtsgangs vor der Steuerrekurskommission in der Höhe von Fr. 5'320.-- tragen zu lassen.
Demgegenüber hielt die Vorinstanz in der Erwägung 4 unter Bezugnahme auf die einschlägigen Vorschriften des Zürcher Steuergesetzes vom 8. Juni 1997 (StG) sowie des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 (VRG) fest, es bestehe im Falle des Beschwerdeführers kein Grund, von der gesetzlich vorgesehenen Auferlegung der Verfahrenskosten an die unterliegende Partei abzuweichen. Diese Begründung ist sehr knapp. In Verbindung mit den angeführten Gesetzesbestimmungen und mit dem Hinweis im Rückweisungsentscheid, wonach der zweite Rechtsgang vor allem im Interesse des Beschwerdeführers erfolgt sei - um diesem nochmals Gelegenheit zu geben, die Betriebseigenschaften darzulegen und dann auch nachzuweisen (vgl. angefochtener Entscheid E. 3.2.1) - ist die Begründung unter dem Aspekt der Kostentragung aber doch ausreichend.
3. 3.1 Gemäss Art. 12 Abs. 1 StHG unterliegen der Grundstückgewinnsteuer Gewinne, die sich bei der Veräusserung eines Grundstücks des Privatvermögens oder eines land- und forstwirtschaftlichen Grundstücks sowie von Anteilen daran ergeben, soweit der Erlös die Anlagekosten (Erwerbspreis oder Ersatzwert zuzüglich Aufwendungen) übersteigt. Nach Art. 12 Abs. 4 StHG können die Kantone die Grundstückgewinnsteuer auch auf Gewinnen aus der Veräusserung von Grundstücken des Geschäftsvermögens des Steuerpflichtigen erheben, sofern sie diese Gewinne von der Einkommens- und Gewinnsteuer ausnehmen (sog. monistisches System der Grundstückgewinnbesteuerung). Dabei haben sie aber Art. 8 Abs. 4 StHG über die Ersatzbeschaffung zu beachten. Danach können beim Ersatz von Gegenständen des betriebsnotwendigen Anlagevermögens die stillen Reserven innert angemessener Frist auf ein Ersatzobjekt mit gleicher Funktion übertragen werden.
Ein monistisches System der Grundstückgewinnsteuer kennt auch der Kanton Zürich (§ 216 ff. des Zürcher Steuergesetzes vom 8. Juni 1977 [StG]). Gemäss § 216 Abs. 3 lit. g StG wird die Grundstückgewinnsteuer aufgeschoben bei:
"vollständiger oder teilweiser Veräusserung eines zum betriebsnotwendigen Anlagevermögen gehörenden Grundstücks, soweit der Erlös innert angemessener Frist zum Erwerb eines neuen oder zur Verbesserung eines eigenen Ersatzgrundstücks im Kanton mit gleicher Funktion verwendet wird."
Das entspricht den harmonisierungsrechtlichen Vorgaben. Der Grundstückgewinnsteuer unterliegen im Kanton Zürich - anders als unter bestimmten Voraussetzungen etwa im Kanton Bern mit seinem ebenfalls monistischen System der Grundstückgewinnbesteuerung (Art. 21 Abs. 4 des Steuergesetzes vom 21. Mai 2000; vgl. Urteil 2C_598/2007 vom 2. Juli 2008 E. 2, in: StR 63/2008 S. 864) - auch Liegenschaftenhändler. Allerdings können sie gewisse weitere, mit der Liegenschaft zusammenhängende Aufwendungen geltend machen (vgl. Urteil 2C_689/2010 vom 4. April 2011 E. 2.1, in: ASA 80 S. 361).
3.2 Das Geschäftsvermögen besteht aus Umlaufvermögen und Anlagevermögen. Letzteres beinhaltet das für den Betrieb notwendige Vermögen einerseits sowie das Kapitalanlagevermögen (nicht betriebsnotwendig) andererseits.
Bei einem (interkantonalen) Liegenschaftenhändler unterscheiden Rechtsprechung und Lehre drei Arten von Immobilien: solche, die für den Verkauf bestimmt sind und damit Handelsware (Umlaufvermögen) bilden, Betriebsliegenschaften, d.h., unmittelbar dem Handelsbetrieb dienende Liegenschaften (Anlagevermögen), sowie Kapitalanlageliegenschaften, die nur mittelbar durch ihren Ertrag als Kapitalanlage einem Unternehmen bzw. einem Privaten dienen (vgl. Urteil 2C_50/2011 vom 16. Mai 2011 E. 2.1, in: StE 2011 B 23.45.2 Nr. 8; Urteil 2A.667/2006 vom 16. Februar 2007 E. 2, in: StE 2008 B 23.43.2 Nr. 15; s. auch <ref-ruling> E. 2.1 S. 252; Peter Locher, Einführung in das interkantonale Steuerrecht, 3. Aufl. 2009, S. 116 ff.; Peter Mäusli-Allenspach, Interkantonale Steuerausscheidung bei Grundstücken des Geschäfts- und Privatvermögens - Eine Standortbestimmung, in: Steuerrecht 2007, S. 95 ff.; Rütsche/Fischer, in: Kommentar zum Schweizerischen Steuerrecht, Interkantonales Steuerrecht, 2011, § 38 N. 31 S. 457; Julia von Ah, Besteuerung des Liegenschaftenhandels und Ermittlung des Grundstückgewinns bei Geschäftsgrundstücken, in: Steuerrecht 2007, S. 129 ff.).
Normalerweise stellen Immobilien bei Liegenschaftenhändlern Umlaufvermögen dar, d.h., sie sind weder Betriebs- noch Kapitalanlageliegenschaften (vgl. Urteil 2A.36/2007 vom 21. August 2007 E. 2.1, in: StE 2009 B 11.3 Nr. 18 mit Hinweis). Ordentliche Abschreibungen sind nur auf Betriebsliegenschaften (Anlagevermögen geschäftlicher Betriebe) denkbar, d.h. nicht auf Kapitalanlageliegenschaften oder auf Immobilien des Umlaufvermögens (vgl. Urteil 2A.667/2006 vom 16. Februar 2007 E. 3, in: StE 2008 B 23.43.2 Nr. 15 mit Hinweisen).
3.3 Eine Immobilienverwaltung weist in der Regel nicht die Merkmale eines Betriebs auf. Immobilien, die als Anlagevermögen gehalten werden und der Unternehmung nur mit ihrem Ertrag dienen, sind nicht betriebsnotwendig. Ausnahmsweise kann indessen auch eine Immobilienverwaltung das Betriebserfordernis erfüllen. Das setzt aber eine professionelle Immobilienbewirtschaftung voraus (Markus Reich in: Kommentar zum Schweizerischen Steuerrecht, Band I/1, 2. Aufl. 2002, N. 71 zu Art. 8 StHG; Richner/Frei/Kaufmann/Meuter, Kommentar zum harmonisierten Zürcher Steuergesetz, 2. Aufl. 2006, N. 54 ff. zu § 19 StG; Frage offen gelassen im Urteil 2A.122/2005 vom 16. September 2005 E. 3.1 f., nicht publ.).
Die Eidgenössische Steuerverwaltung hat in ihrem Kreisschreiben Nr. 5 vom 1. Juni 2004 betreffend Umstrukturierungen - welches für die Gerichte nicht verbindlich ist - die Erfordernisse festgehalten, die erfüllt sein müssen, damit das Halten und Verwalten eigener Immobilien als Betrieb akzeptiert werden kann: Erforderlich ist, dass ein Marktauftritt erfolgt oder Betriebsliegenschaften an Konzerngesellschaften vermietet werden, dass die Unternehmung mindestens eine Person für die Verwaltung der Immobilien beschäftigt oder beauftragt (eine Vollzeitstelle für rein administrative Arbeiten) und dass die Mieterträge mindestens das 20-fache des marktüblichen Personalaufwands für Immobilienverwaltung betragen (Kreisschreiben, a.a.O. Ziff. 3.2.2.3, S. 22).
4. Vorliegend ist umstritten, ob dem Beschwerdeführer der Steueraufschub für die Grundstückgewinnsteuer der im Jahre 2006 veräusserten vier Liegenschaften in B._ infolge Ersatzbeschaffung gewährt werden kann (§ 216 Abs. 3 lit. g StG; Art. 8 Abs. 4 StHG). Das hängt einerseits davon ab, ob die selbständige Erwerbstätigkeit des Beschwerdeführers als Betrieb zu qualifizieren ist. Andererseits kommt es darauf an, ob die fraglichen Liegenschaften zum "betriebsnotwendigen" Anlagevermögen zu zählen sind. Nur unter diesen beiden Voraussetzungen kommt eine Ersatzbeschaffung in Betracht.
4.1 Während die Rekurskommission III des Kantons Zürich die Frage offen liess, ob ein Betrieb vorliege, weil es sich bei den veräusserten Liegenschaften um nicht betriebsnotwendige fremdvermietete Mehrfamilienhäuser handelte, hat das Verwaltungsgericht die Frage geprüft. Es erwog, auch wenn Immobilien, die als Anlagevermögen gehalten werden, grundsätzlich dem Steuerpflichtigen nur mit ihrem Ertrag dienen und damit nicht betriebsnotwendig seien, könne unter bestimmten Umständen auch ein professionell verwalteter Immobilienkomplex die Voraussetzungen eines Betriebs aufweisen. Das setze jedoch eine professionelle Immobilienverwaltung voraus, die alle Tätigkeiten im Zusammenhang mit der Planung, Bewirtschaftung und Vermietung der Gebäude übernehme. Hierfür sei aber Personal oder die entsprechende Tätigkeit eines Einzelkaufmanns (Grundeigentümers) nötig. Die Immobilienverwaltung dürfe sich nicht in dem erschöpfen, was mit der blossen Anlage in Immobilien ohnehin verbunden sei. Die Beauftragung einer externen Immobilienverwaltung schliesse damit die Annahme eines Betriebs von vornherein aus. Vorliegend habe der Beschwerdeführer die betriebswesentlichen Tätigkeiten an die Z._ AG ausgelagert, welche ihrerseits einen Betrieb darstelle. Damit würden die streitbetroffenen Liegenschaften dem Beschwerdeführer lediglich als nutzbringende Kapitalanlage dienen.
4.2 Diesem Schluss kann nicht zugestimmt werden. In den vorinstanzlichen Verfahren war umstritten, ob der Beschwerdeführer einen "Betrieb" führte. Es stand aber fest, dass der Beschwerdeführer in früheren Jahren als Liegenschaftenhändler behandelt wurde, zumal er immer wieder einzelne Objekte veräusserte und durch neue ersetzte. In den Jahren 2002-2006 verkaufte er drei Stockwerkeinheiten in D._ (2002), ein Grundstück in C._ (2003), zwei Grundstücke in A._ (2005) sowie die streitbetroffenen Grundstücke in B._ (2006). Bereits mit Schreiben des Kantonalen Steueramts Zürich vom 8. Februar 1999 wurde der Beschwerdeführer als "(nebenerwerblicher) gewerbsmässiger Liegenschaftenhändler" eingestuft. Mit Schreiben vom 15. Januar 2002 forderte es ihn zudem auf, über sämtliche Liegenschaften ab 1. Januar 2000 eine geordnete Buchhaltung zu führen, was der Beschwerdeführer dann auch befolgte. Damit lag eindeutig Geschäftsvermögen vor und konnte die Tätigkeit des Beschwerdeführers hinsichtlich der geschäftlichen Immobilien nicht mehr als blosse Verwaltung des eigenen Vermögens betrachtet werden (grundlegend Urteil 2A.52/2003 vom 23. Januar 2004 E. 2.5, in: ASA 74 S. 737).
Allerdings hat das Kantonale Steueramt im Schreiben vom 8. Februar 1999 auch darauf hingewiesen, dass auf den Liegenschaften Abschreibungen vorgenommen werden können: Da diese als Objekte des gewerbsmässigen Liegenschaftenhandels betrachtet werden, seien sie als Geschäftsvermögen zu behandeln und seien dementsprechend "auch Abschreibungen (im Rahmen der Abschreibungstabelle der EStV) zulässig". Diese Zusicherung ging offensichtlich zu weit. Abschreibungen auf diesen Liegenschaften waren grundsätzlich nur möglich, wenn es sich bei diesen um betriebsnotwendiges Anlagevermögen handelte, nicht aber, wenn sie im Umlaufvermögen (Handelsbestand) des Liegenschaftenhändlers gehalten wurden. Diese Differenzierung nahm das Kantonale Steueramt nicht vor.
Richtigerweise hätten die Steuerbehörden den Liegenschaftsbestand als Geschäftsvermögen eines Liegenschaftenhandelsbetriebs qualifizieren müssen. Dann wäre klar gewesen, dass die Liegenschaften im Umlaufvermögen Handelsware bildeten (ohne die Möglichkeit ordentlicher Abschreibungen). Bezüglich der langfristig gehaltenen Liegenschaften hätte bloss Anlagevermögen vorgelegen, auf dem Abschreibungen nur zulässig waren, wenn sie dem Betrieb auf Dauer dienten. Diese Unterscheidung zu treffen, haben die Steuerbehörden unterlassen.
4.3 Wenn daher das Verwaltungsgericht das Geschäft des Beschwerdeführers einzig unter dem Gesichtswinkel der Immobilienverwaltung beurteilte und den Liegenschaftenhandel völlig ausblendete, beurteilte es den Sachverhalt nur unvollständig. Tatsächlich liegt ein aus Liegenschaftenhandel und Immobilienverwaltung gemischter Betrieb vor und waren die Liegenschaften ursprünglich als Anlagevermögen zu qualifizieren. Werden aber solche Liegenschaften veräussert, dann wechseln sie - im gemischten Immobilienhandels- und -verwaltungsbetrieb - automatisch ihre Funktion und werden sie zu Umlaufvermögen. Wohl kann ein solcher Betrieb nebeneinander Anlage- und Umlaufvermögen halten (und nur auf Ersterem abschreiben). Werden aber Liegenschaften des bisherigen Anlagevermögens zum Verkauf ausgeschrieben, dann dienen sie dem Betrieb offensichtlich nicht mehr auf Dauer (was das Wesen des Anlagevermögens ausmacht) und wechseln zum Umlaufvermögen. In diesem Sinne gibt die Art des Aktivums oder seine Beschaffenheit noch nicht Auskunft über die Zuordnung, sondern massgebend ist der Verwendungszweck. Daher ist es auch möglich, dass gleichartige Güter Umlauf- oder Anlagevermögen bilden und hat die Änderung der Zweckbestimmung eines Vermögensgutes normalerweise eine Neuzuordnung innerhalb der Aktiven zur Folge (so auch Schweizer Handbuch der Wirtschaftsprüfung, Band 1, 2009, S. 194). Deshalb steht - in einem gemischten Betrieb - die Zuordnung nicht ein für alle Mal (statisch) fest.
Aus diesen Gründen geht auch die Beschwerde (Ziff. 10) von einer falschen Prämisse aus, wenn geltend gemacht wird, dass die hier fraglichen Liegenschaften nicht Umlaufvermögen sein könnten, "da die Grundstücke nicht zum Verkauf bestimmt waren". Entscheidend ist nicht die Funktion zu Beginn der Haltezeit, sondern im Zeitpunkt der Veräusserung.
4.4 Aus der Tatsache, dass das Kantonale Steueramt Abschreibungen zuliess, leitet der Beschwerdeführer im vorliegenden Grundstückgewinnsteuerverfahren nun allerdings ab, dass die Liegenschaften implizit als betriebsnotwendiges Anlagevermögen und sein Geschäft als "Vermögensverwaltungsbetrieb" (mit der Möglichkeit der steuerneutralen Ersatzbeschaffung auf Gegenständen des betriebsnotwendigen Anlagevermögens) zu betrachten seien. Das trifft nicht zu. Die Zusicherung bezog sich auf die Zulässigkeit von Abschreibungen. Die Steuerbehörde liess zwar Abschreibungen auf Umlaufvermögen zu, doch gab sie keine Zusicherung ab, dass diese Liegenschaften auch im Falle einer Veräusserung weiterhin als Liegenschaften des betriebsnotwendigen Anlagevermögens zu behandeln seien. Die Zusicherung war daher nicht geeignet, eine Vertrauensposition auch im Falle der Ersatzbeschaffung zu begründen.
5. 5.1 Fraglich ist, ob die vier, mit Mehrfamilienhäusern überbauten und fremdvermieteten Liegenschaften, die der Beschwerdeführer im Jahr 2006 veräussert hatte, im Sinne von § 216 Abs. 3 lit. g StG und Art. 8 Abs. 4 StHG betriebsnotwendig waren. Es ist anzuerkennen, dass die fraglichen Liegenschaften in einem landläufigen Sinn "betriebsnotwendig" sind, als ein Immobilienverwaltungsbetrieb ohne sie nicht existieren kann. Das bedeutet aber nicht, dass die Immobilien auch im Sinne des Ersatzbeschaffungsrechts betriebsnotwenig sind. Denn ein Zwang zur Wiederbeschaffung wie bei echt betriebsnotwendigen Liegenschaften im Anlagevermögen besteht hier nicht. Der Beschwerdeführer muss den Erlös nicht zwingend wieder in Renditeliegenschaften investieren. Er kann die flüssigen Mittel auch anderweitig ertragsbringend investieren oder den Erlös durch Kapitalentnahme überhaupt abziehen. Insofern ist das Band zwischen dem Ersatz- und dem zu ersetzenden Objekt offensichtlich weniger eng als bei einem echten Ersatzbeschaffungstatbestand. Die Anlageobjekte erfüllen zwar ihre Funktion in einem Immobilienverwaltungsbetrieb definitionsgemäss nicht nur mittelbar, aber doch nicht dermassen unmittelbar, wie es für eine steuerneutrale Ersatzbeschaffung unbedingt erforderlich ist.
Die Ersatzbeschaffungskriterien mögen gemäss dem Kreisschreiben Nr. 5 der Eidgenössischen Steuerverwaltung (a.a.O.) erfüllt sein. Wie die Vorinstanz im angefochtenen Entscheid jedoch zu Recht ausgeführt hat, wurde dieses Kreisschreiben im Rahmen des am 1. Juli 2004 in Kraft gesetzten Bundesgesetzes vom 3. Oktober 2003 über Fusion, Spaltung, Umwandlung und Vermögensübertragung (FusG) geschaffen. Dessen Kriterien sind daher nicht direkt auf die Ersatzbeschaffung im Grundsteuerrecht anwendbar. Die steuerneutrale Übertragung eines Betriebs im Rahmen einer Umstrukturierung setzt voraus, dass die stillen Reserven weiterhin dem Betrieb dienen. Demgegenüber wird im steuerlichen Ersatzbeschaffungsrecht diese Verknüpfung gerade aufgelöst und werden die stillen Reserven auf ein Ersatzobjekt übertragen. An die Betriebsnotwendigkeit des Grundstücks für die Anerkennung einer steuerneutralen Ersatzbeschaffung ist ein strenger Massstab anzulegen.
5.2 Wohl war die - ursprünglich handelsrechtlich nicht dokumentierte - Tätigkeit des Beschwerdeführers nicht primär auf die Handelstätigkeit ausgerichtet. Vielmehr strebte er vorab die Erzielung von Mieterträgen an. Damit ging aber auch ein Verkauf von Liegenschaften einher (vorstehende E. 4.2). Dies genügte aber bereits, um von einer zumindest nebenbei betriebenen Liegenschaftenhandelstätigkeit auszugehen, auch wenn die Liegenschaften über mehrere Jahre gehalten wurden. Auch die bedeutenden Hypothekarschulden sprechen dafür. Der Beschwerdeführer befasste sich zwangsläufig auch mit dem Liegenschaftenhandel. Das schliesst es aus, die Liegenschaften im Zeitpunkt des Verkaufs noch als (betriebsnotwendiges) Anlagevermögen zu betrachten. Vielmehr handelt es sich in diesem Moment um Umlaufvermögen, auf welchem eine steueraufschiebende Ersatzbeschaffung nicht mehr möglich war. Das gilt auch für die vier streitbetroffenen Grundstücke in B._.
6. Die Beschwerde ist nach dem Gesagten abzuweisen. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 56 und 66 Abs. 1 BGG). Der Stadt B._ ist keine Parteientschädigung zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 20'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Stadt B._, vertreten durch die Kommission für Grundsteuern, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 2. April 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann