Sachverhalt:
A. Mit Bundesgesetz über die Verbesserung der steuerlichen Rahmenbedingungen für unternehmerische Tätigkeiten und Investitionen vom 23. März 2007 (Unternehmenssteuerreformgesetz II, UStRG II; BBl 2007 2321) wurde namentlich ein neuer Artikel 37b in das Bundesgesetz über die direkte Bundessteuer vom 14. Dezember 1990 (DBG; SR 642.11) aufgenommen und ein neuer Absatz 5 in Art. 11 des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden vom 14. Dezember 1990 (StHG; 642.14) eingefügt. Die neuen Vorschriften betreffen die steuerliche Behandlung der realisierten stillen Reserven, wenn die selbstständige Erwerbstätigkeit nach dem vollendeten 55. Altersjahr oder wegen Unfähigkeit zur Weiterführung infolge Invalidität definitiv aufgegeben wird.
Mit Gesetz vom 12. Juli 2010, Nachvollzug des Unternehmenssteuerreformgesetzes II des Bundes, erliess der Zürcher Kantonsrat die notwendigen Bestimmungen zur Anpassung des Steuergesetzes des Kantons Zürich vom 8. Juni 1977 (StG) an die neuen Bestimmungen des Steuerharmonisierungsgesetzes. Da gegen dieses Gesetz das Referendum ergriffen wurde, konnten die kantonalen Vorschriften nicht wie vorgesehen auf den 1. Januar 2011 in Kraft gesetzt werden. Aus diesem Grund erliess der Regierungsrat des Kantons Zürich mit der "Verordnung über den Vollzug des Unternehmenssteuerreformgesetzes II des Bundes" vom 3. November 2010 (nachfolgend: "Verordnung") die vorläufig erforderlichen Vorschriften (Art. 72 Abs. 3 StHG). Die Verordnung übernimmt zwecks Umsetzung von Art. 11 Abs. 5 StHG im Wesentlichen die Regelung von § 37b StG gemäss Gesetz vom 12. Juli 2010.
B. Gegen die Verordnung des Regierungsrats des Kantons Zürich vom 3. November 2010 führte X._ Beschwerde beim Verwaltungsgericht des Kantons Zürich mit dem Antrag, die Verordnung sei insoweit aufzuheben, als sie dem Steuerharmonisierungsgesetz widerspreche. Mit Urteil vom 5. Juli 2011 wies das Verwaltungsgericht des Kantons Zürich die Beschwerde ab.
C. X._ erhob am 30. September 2011 Beschwerde in öffentlich-rechtlichen Angelegenheiten (und subsidiäre Verfassungsbeschwerde), wobei sich die Beschwerde sowohl gegen das Urteil des Verwaltungsgerichts vom 5. Juli 2011 wie auch "aus Gründen der Prozessökonomie (...) gegen den noch nicht vorliegenden Publikations-/ Erwahrungsbeschluss des Kantonsrats/Regierungsrats (...) betreffend den StHG-widrige(n) § 37b StG-ZH" richtet. Gestützt auf diese Eingabe sind mithin zwei bundesgerichtliche Verfahren eröffnet worden, nämlich das Verfahren 2C_809/2011 (betreffend die regierungsrätliche Verordnung) und das Verfahren 2C_816/2011 (betreffend § 37b StG selbst).
Das vorliegende Verfahren betrifft die regierungsrätliche Verordnung. Der Beschwerdeführer beantragt diesbezüglich, das Urteil des Verwaltungsgerichts vom 5. Juli 2011 sowie die Verordnung des Regierungsrats vom 3. November 2010 seien aufzuheben. Zudem verlangt er, die willkürlich hohe und prohibitive Kostenauflage sei aufzuheben und es sei festzustellen, dass aufgrund des Harmonisierungsauftrags begründete Beschwerden zur Durchsetzung des Steuerharmonisierungsgesetzes mittels abstrakter Normenkontrolle kostenfrei sein müssten. Im Hinblick auf künftige weitere Fälle seien diese Anträge auch bei Gutheissung der Beschwerde zu behandeln.
Während das Verfahren 2C_816/2011 betreffend § 37b StG im Hinblick auf die ausstehende Volksabstimmung sistiert wurde, ist das Sistierungsgesuch für das vorliegende Verfahren abgewiesen worden (Verfügung vom 17. Oktober 2011).
D. Die Finanzdirektion des Kantons Zürich beantragt Abweisung der Beschwerde. Sie macht zudem geltend, bei einer allfälligen Aufhebung von § 1 der Verordnung des Regierungsrats müsse Klarheit herrschen, wie Art. 11 Abs. 5 StHG bis zur definitiven rechtskräftigen Anpassung des Zürcher Steuergesetzes kantonal umzusetzen sei.
Das Verwaltungsgericht des Kantons Zürich beantragt Abweisung der Beschwerde, soweit darauf einzutreten ist. Die Eidgenössische Steuerverwaltung hat auf eine Stellungnahme verzichtet.
Erwägungen:
1. 1.1 Angefochten ist ein Entscheid des Verwaltungsgerichts des Kantons Zürich im Verfahren der abstrakten Normenkontrolle gemäss Art. 82 lit. b BGG. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist zulässig. Soweit das kantonale Recht, wie im vorliegenden Fall, gegen den Erlass selbst ein Rechtsmittel vorsieht, ist der kantonale Instanzenzug auszuschöpfen (vgl. Art. 87 Abs. 2 BGG; BGE 137 I 107 E. 1.4.1). Anfechtungsobjekt ist dann der kantonale letztinstanzliche Entscheid, doch kann gleichwohl die Aufhebung des kantonalen Erlasses verlangt werden (AEMISEGGER/SCHERRER REBER, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 2 zu Art. 87 mit Hinweisen; s. auch Urteil 2C_88/2009 vom 19. März 2010 E. 1.1 f. und 3.1 f.). Die Verfassungsbeschwerde ist demgegenüber subsidiär und kommt vorliegend nicht zum Zug (Art. 113 BGG).
1.2 Zur Anfechtung eines kantonalen Erlasses ist gemäss Art. 89 Abs. 1 lit. b und c BGG legitimiert, wer durch den Erlass aktuell oder virtuell besonders berührt ist und ein schutzwürdiges Interesse an dessen Änderung oder Aufhebung hat; das schutzwürdige Interesse kann rechtlicher oder tatsächlicher Natur sein (BGE 136 I 17 E. 2.1; 135 I 43 E. 1.4 S. 47). Virtuelles Berührtsein setzt voraus, dass die beschwerdeführende Person durch die angefochtene Regelung früher oder später einmal mit einer minimalen Wahrscheinlichkeit betroffen ist (BGE 136 I 17 E. 2.1; Urteil 2C_169/2010 vom 17. November 2011, in BGE 138 II 70 nicht publizierte E. 1.2).
Ein solches minimales virtuelles (und rechtliches) Interesse ist beim Beschwerdeführer zu bejahen: Es kann nicht ausgeschlossen werden, dass er als Steuerpflichtiger im Kanton Zürich und als Steuerspezialist einmal selbständig erwerbstätig und von der angefochtenen Regelung betroffen ist. Das kantonale Gesetz über die Änderung des Zürcher Steuergesetzes vom 12. Juli 2010 wurde zwar zwischenzeitlich in der kantonalen Volksabstimmung vom 17. Juni 2012 verworfen. Das bedeutet für den vorliegenden Fall aber nur, dass die Verordnung des Regierungsrates weiterhin in Kraft bleibt und das Interesse weiterhin schutzwürdig ist. Damit kann offen bleiben, ob auch ein rein tatsächliches Interesse aufgrund der Tätigkeit des Beschwerdeführers als Steuerberater (in selbständiger oder unselbständiger Stellung) zu bejahen wäre. Auf die Beschwerde ist einzutreten.
1.3 Der Beschwerdeführer beantragt nicht nur die Aufhebung des angefochtenen Entscheids sowie der kantonalen Verordnung, sondern auch Feststellungen darüber, inwiefern die angefochtene kantonale Regelung verfassungswidrig sein soll. Diesen Feststellungsbegehren kommt hier neben dem Antrag auf Aufhebung der angefochtenen Regierungsratsverordnung nur subsidiäre Bedeutung zu; sie erübrigen sich, wenn es zur Aufhebung der angefochtenen Regelung kommt (s. auch BGE 133 I 206 E. 3.3 S. 213; BGE 124 I 193 E. 5c S. 201 f.).
2. 2.1 Für die Frage, ob die Regelung des Zürcher Regierungsrats sich im Rahmen des harmonisierten Rechts hält, sind vorab die bundesrechtlichen Normen auszulegen. Ausgangspunkt jeder Auslegung bildet der Wortlaut der Bestimmung. Ist der Text nicht ganz klar und sind verschiedene Interpretationen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente. Abzustellen ist dabei namentlich auf die Entstehungsgeschichte der Norm und ihren Zweck sowie auf die Bedeutung, die der Norm im Kontext mit anderen Bestimmungen zukommt. Die Gesetzesmaterialien sind zwar nicht unmittelbar entscheidend, dienen aber als Hilfsmittel, um den Sinn der Norm zu erkennen. Namentlich bei neueren Texten kommt den Materialien eine besondere Stellung zu, weil veränderte Umstände oder ein gewandeltes Rechtsverständnis eine andere Lösung weniger nahe legen (BGE 138 V 23 E. 3.4.1; 131 II 697 E. 4.1 S. 702 f.).
2.2 Das Steuerharmonisierungsgesetz ist ein Rahmen- oder Grundsatzgesetz. Es überlässt es dem kantonalen Gesetzgeber, im Rahmen seines Steuergesetzes die Normen zu erlassen, welche direkt anwendbar sind. Das Steuerharmonisierungsgesetz weist in Bezug auf die einzelnen Materien jedoch eine unterschiedliche normative Dichte auf. Welcher Regelungsspielraum dem kantonalen Gesetzgeber zusteht, ist nach den gleichen Methoden zu bestimmen, wie sie für die Gesetzesauslegung allgemein gelten. Im Rahmen des teleologischen Auslegungselements ist immerhin zu beachten, dass das Steuerharmonisierungsgesetz eine Harmonisierung der direkten Steuern sowohl in horizontaler Richtung (zwischen den Kantonen) wie auch in vertikaler Richtung (zwischen dem Bund und den Kantonen) bezweckt (BGE 130 II 65 E. 5.2 S. 72 f.; ferner 128 II 56 E. 6a S. 64 f.; Urteil 2A.39/2004 vom 29. März 2005 E. 3, in: ASA 75 S. 329; 2C_442/2010 vom 24. November 2010, in: StE 2011 B 71.64 Nr. 6).
Von der Harmonisierung ausgenommen bleiben aber die Steuertarife, Steuersätze und Steuerfreibeträge. Deren Regelung ist Sache der Kantone (Art. 129 Abs. 2 BV, Art. 1 Abs. 3 StHG). Sie haben dabei aber die Grundrechte zu beachten (BGE 134 I 248 E. 2; 133 I 206 E. 4).
3. 3.1 In Frage steht, ob die Verordnung des Regierungsrats des Kantons Zürich über den Vollzug des Unternehmenssteuerreformgesetzes II des Bundes vom 3. November 2010 mit den harmonisierten neuen Bestimmungen in Art. 37b DBG bzw. Art. 11 Abs. 5 StHG im Einklang steht.
Gemäss Art. 11 Abs. 5 StHG ist die Summe der in den letzten zwei Geschäftsjahren realisierten stillen Reserven getrennt vom übrigen Einkommen zu besteuern, wenn die selbstständige Erwerbstätigkeit nach dem vollendeten 55. Altersjahr oder wegen Unfähigkeit zur Weiterführung infolge Invalidität definitiv aufgegeben wird (1. Satz). Einkaufsbeiträge gemäss Artikel 9 Absatz 2 Buchstabe d sind abziehbar (2. Satz). Werden keine solchen Einkäufe vorgenommen, so wird auf dem Betrag der realisierten stillen Reserven, für den der Steuerpflichtige die Zulässigkeit eines Einkaufs gemäss Artikel 9 Absatz 2 Buchstabe d nachweist, die Steuer in gleicher Weise wie bei den Kapitalleistungen aus Vorsorge gemäss Art. 11 Abs. 3 erhoben (3. Satz). Der auf den Restbetrag der realisierten stillen Reserven anwendbare Satz wird durch das kantonale Recht bestimmt (4. Satz).
Praktisch gleichlautend regeln die Sätze1-3 von Art. 37b Abs. 1 DBG die Besteuerung der realisierten stillen Reserven bei Aufgabe der selbständigen Erwerbstätigkeit nach dem vollendeten 55. Altersjahr oder bei Unfähigkeit zu deren Weiterführung infolge Invalidität. Gemäss dem 4. Satz ist für die Bestimmung des auf den Restbetrag der realisierten stillen Reserven anwendbaren Steuersatzes ein Fünftel des Restbetrages massgebend, wobei der Steuersatz aber mindestens 2 Prozent betragen muss.
3.2 Die Liquidation eines Unternehmens führt bezüglich der ordentlichen Einkommenssteuern zur Realisation und Besteuerung der stillen Reserven. Sofern stille Reserven während der Dauer des Bestands des Unternehmens realisiert werden, sind sie dem Einkommen zuzurechnen und unterliegen sie der Einkommenssteuer. Werden jedoch die angesammelten stillen Reserven bei der Liquidation der Unternehmung auf einen Schlag realisiert, so kann dies aufgrund der Progression des Steuertarifs oft zu einer stark erhöhten Steuerbelastung führen (Botschaft des Bundesrats vom 22. Juni 2005, BBl 2005 4733 Ziff. 451 S. 4824). Aus diesem Grund hat der Bundesrat im Entwurf zum Unternehmenssteuerreformgesetz II einen neuen Art. 37b DBG (damals noch Art. 37a DBG) und für Art. 11 StHG einen neuen Absatz 5 (damals noch Absatz 4) vorgeschlagen. Diese beiden Bestimmungen sind harmonisiert und hatten im Entwurf des Bundesrats folgenden Wortlaut:
"Art. 37a DBG Liquidationsgewinne
Wird die selbstständige Erwerbstätigkeit nach dem vollendeten 55. Altersjahr oder wegen Unfähigkeit zur Weiterführung infolge Invalidität definitiv aufgegeben, so sind die in den letzten zwei Geschäftsjahren realisierten stillen Reserven zusammen mit dem übrigen Einkommen zu besteuern; für die Satzbestimmung ist jeweils ein Achtel der realisierten stillen Reserven massgebend.
Absatz 1 gilt auch für den überlebenden Ehegatten (...)"
"Art. 11 Abs. 4 StHG
Wird die selbstständige Erwerbstätigkeit nach dem vollendeten 55. Altersjahr oder wegen Unfähigkeit zur Weiterführung infolge Invalidität definitiv aufgegeben, so sind die in den letzten zwei Geschäftsjahren realisierten stillen Reserven zusammen mit dem übrigen Einkommen zu besteuern. Der für die Satzbestimmung massgebende Anteil an den realisierten stillen Reserven wird durch das kantonale Recht bestimmt. Die gleiche Satzmilderung gilt auch für den überlebenden Ehegatten (...)"
3.3 In der parlamentarischen Beratung vom 13. Juni 2006 beschloss der Ständerat als Erstrat, die in den letzten zwei Jahren realisierten Reserven nicht zusammen mit dem übrigen Einkommen zu besteuern, wie der Bundesrat vorschlug, sondern getrennt von diesem. Für die Satzbestimmung bei der direkten Bundessteuer wäre ein Fünftel der realisierten stillen Reserven massgebend. Eine getrennte Besteuerung der realisierten stillen Reserven wurde auch im neuen Absatz 4 von Art. 11 StHG vorgeschlagen, wobei der für die Satzbestimmung massgebende Anteil durch die Kantone bestimmt würde (AB 2006 S. 447). Es bestand offensichtlich der Wille, die Besteuerung der realisierten stillen Reserven von der ordentlichen Besteuerung des Einkommens abzukoppeln, damit sich die beiden Einkunftsarten - das Einkommen aus der Liquidation einerseits und jenes aus der ordentlichen Geschäftstätigkeit andererseits - nicht gegenseitig beeinflussen; zudem sollte die Progression auf den realisierten stillen Reserven gebrochen werden; wären diese Gewinne über die Jahre kontinuierlich realisiert worden, wären sie gestaffelt und mit kleinerer Progressionswirkung in das steuerbare Einkommen geflossen (s. auch Anhang II S. 4 zum Kreisschreiben Nr. 28 der Eidgenössischen Steuerverwaltung vom 3. November 2010).
3.4 Der Nationalrat beschloss am 4. Oktober 2006 als Zweitrat demgegenüber, die während der letzten beiden Jahre realisierten stillen Reserven stets einer vollen Jahressteuer zu unterwerfen und die Steuer auf einen Fünftel des ordentlichen Tarifs festzusetzen. Damit würden die realisierten stillen Reserven bei der Aufgabe der selbständigen Erwerbstätigkeit gleich wie Kapitalleistungen aus Vorsorgeeinrichtungen besteuert (vgl. Art. 38 DBG). Hinsichtlich der kantonalen Steuern vom Einkommen käme der im Kanton massgebende Satz für die Besteuerung von Kapitalleistungen aus Vorsorgeeinrichtungen zur Anwendung (AB 2006 N 1481). Im Nationalrat herrschte die Meinung vor, dass die in kleineren und mittleren Unternehmen gebundenen stillen Reserven immer auch Vorsorgecharakter aufweisen würden, weil sie zum Aufbau des Geschäfts benötigt werden und während der Berufsphase für den Einkauf in eine Vorsorgeeinrichtung nicht zur Verfügung stünden. Mit der Besteuerung der realisierten stillen Reserven wie Kapitalleistungen aus Vorsorgeeinrichtungen soll den kleinen und kleinsten Unternehmen, die ihre Mittel im Betrieb behalten haben, die Möglichkeit gegeben werden, ihre Altersvorsorge steuerbegünstigt zu bestreiten (AB 2006 N 1481 ff.).
3.5 Im Differenzbereinigungsverfahren hielt der Ständerat am 6. März 2007 an seinem Beschluss vom 13. Juni 2006 grundsätzlich fest, kam aber dem Nationalrat insofern entgegen, als er Art. 37a Abs. 1 DBG und Art. 11 Abs. 4 StHG dahingehend ergänzte, dass die gesetzlich zulässigen Einkaufsbeiträge an Vorsorgeeinrichtungen gemäss Art. 33 Abs. 1 lit. d DBG und Art. 9 Abs. 2 lit. d StHG abziehbar sein sollen. Damit will er die rechtliche Gleichbehandlung der selbständig Erwerbenden, die ihr Geschäft liquidieren, mit den Arbeitnehmern bei der Vorsorge herstellen (AB 2007 S 23).
Der Nationalrat gab in der Folge am 15. März 2007 den von ihm beschlossenen Tarif und auch die Jahressteuer auf und schloss sich dem Ständerat an. Er wollte aber sicherstellen, dass Gewerbetreibende ohne ausreichende Altersvorsorge nicht gezwungen werden, sich in eine Vorsorgeeinrichtung einzukaufen, um kurz darauf die einbezahlten Mittel wieder zu beziehen. Deshalb sah er - als eine weitere Ergänzung - vor, dass Steuerpflichtige, die nachweisen, dass ein Einkauf in eine Vorsorgeeinrichtung zulässig gewesen wäre, steuerrechtlich so behandelt werden, wie wenn ein Einkauf in eine Vorsorgeeinrichtung mit anschliessendem Bezug stattgefunden hätte. Das wird gesetzestechnisch und steuerlich dadurch bewerkstelligt, dass derjenige Betrag der realisierten stillen Reserven, auf welchem die Zulässigkeit eines Einkaufs gemäss Art. 33 Abs. 1 lit. d DBG und Art. 9 Abs. 2 lit. d StHG nachgewiesen wird, wie eine Kapitalleistung aus Vorsorge besteuert wird (Art. 38 Abs. 1 und 2 DBG; Art. 11 Abs. 5 4. Satz StHG; vgl. AB 2007 N 311, 312; s. auch Kreisschreiben, a.a.O., Anhang II S. 5).
Für die verbleibenden realisierten stillen Reserven ist für die Steuersatzbestimmung ein Fünftel der verbleibenden Reserven massgebend (mindestens aber ein Satz von 2 %). Für die kantonalen Steuern bestimmt das kantonale Recht den anwendbaren Satz. An seiner Debatte vom 19. März 2007 stimmte auch der Ständerat dieser Lösung zu (AB 2007 S. 217).
3.6 Gemäss dieser Gesetz gewordenen Regelung werden somit die in den letzten zwei Geschäftsjahren vor der definitiven Aufgabe der selbständigen Erwerbstätigkeit realisierten stillen Reserven (nachfolgend auch "Liquidationsgewinn", s. Marginalie zu Art. 37b DBG) getrennt vom übrigen Einkommen besteuert. Dabei werden von der Summe der realisierten stillen Reserven in einem ersten Schritt die Einkaufsbeiträge gemäss Art. 33 Abs. 1 lit. d DBG und Art. 9 Abs. 2 lit. d StHG abgezogen, sofern sie nicht bereits mit dem ordentlichen Einkommen verrechnet worden sind (s. dazu IVO P. BAUMGARTNER, in: Kommentar zum Schweizerischen Steuerrecht, Bundesgesetz über die direkte Bundessteuer, 2. Aufl. 2008, N. 15 f. zu Art. 37b DBG; RICHNER/FREI/KAUFMANN/ MEUTER, Handkommentar zum DBG, 2. Aufl. 2009, N. 13 ff. zu Art. 37b DBG). Vom verbleibenden Liquidationsgewinn ist sodann der Betrag zu separieren, der den noch möglichen (aber nicht vorgenommenen) Einkaufsbeiträgen gemäss Art. 33 Abs. 1 lit. d DBG bzw. Art. 9 Abs. 2 lit. d StHG entspricht. Diese möglichen ("fiktiven") Einkäufe werden, gleich wie Kapitalleistungen aus Vorsorge, vom übrigen Einkommen getrennt besteuert, und zwar zum gleichen Satz wie die Kapitalleistungen aus Vorsorge (Art. 38 Abs. 1 und 2 DBG; Art. 11 Abs. 3 StHG).
Der restliche Liquidationsgewinn wird für die direkte Bundessteuer zum ordentlichen Tarif besteuert, wobei die Progression bei der direkten Bundessteuer dadurch gebrochen wird, dass für die Satzbestimmung ein Fünftel dieses Restbetrags massgebend ist (bei einem Mindestbesteuerungssatz von 2 %); für die kantonalen Steuern bestimmt das kantonale Recht den anwendbaren Tarif (vgl. BAUMGARTNER, a.a.O., N. 18 ff. zu Art. 37 b DBG; Richner et al., a.a.O., N. 15 ff. zu Art. 37b DBG; s. auch Kreisschreiben, a.a.O., Anhang II, Ziff. 2.4).
4. 4.1 Der hier angefochtene § 1 der Verordnung des Regierungsrats vom 3. November 2010 über den Vollzug des Unternehmenssteuerreformgesetzes II des Bundes lautet:
"§ 1 1 Wird die selbstständige Erwerbstätigkeit nach dem vollendeten 55. Altersjahr oder wegen Unfähigkeit zur Weiterführung infolge Invalidität definitiv aufgegeben, ist die Summe der in den letzten zwei Geschäftsjahren realisierten stillen Reserven ab der Steuerperiode 2011 getrennt vom übrigen Einkommen nach § 37 des Steuergesetzes vom 8. Juni 1997 (StG) zu besteuern. Einkaufsbeiträge gemäss § 31 Abs. 1 lit. d StG sind abziehbar.
2 Abs. 1 gilt auch für den überlebenden Ehegatten, die anderen Erben und die Vermächtnisnehmer, sofern sie das übernommene Unternehmen nicht fortführen; die steuerliche Abrechnung erfolgt spätestens fünf Kalenderjahre nach Ablauf des Todesjahres des Erblassers."
Die Regelung entspricht im Wesentlichen dem Wortlaut des neuen § 37b StG gemäss Gesetz vom 12. Juli 2010 (Abstimmungsvorlage).
4.2 Der Beschwerdeführer beanstandet, dass die realisierten stillen Reserven gesamthaft besteuert werden. Harmonisierungsrechtlich müssten die realisierten stillen Reserven bis zur Höhe des Betrags, für den die Zulässigkeit eines Einkaufs in eine Einrichtung der beruflichen Vorsorge möglich wäre, gesondert besteuert werden (vgl. den 3. Satz von Art. 11 Abs. 5 StHG). Die Kumulation des Betrags des möglichen Einkaufs mit dem Restbetrag der realisierten stillen Reserven (vgl. den 4. Satz von Art. 11 Abs. 5 StHG) bewirke eine stärkere Progression, als wenn die beiden Einkommensteile getrennt besteuert würden. Die Lösung des Regierungsrats sei harmonisierungswidrig (Art. 11 Abs. 5 StHG).
4.3 Gemäss § 1 der Verordnung des Regierungsrats vom 3. November 2010 über den Vollzug des Unternehmenssteuerreformgesetzes II des Bundes wird die Summe der in den letzten zwei Geschäftsjahren realisierten stillen Reserven getrennt vom übrigen Einkommen besteuert; Einkaufsbeiträge gemäss § 31 Abs. 1 lit. d StG sind abziehbar. Das entspricht den Sätzen 1 und 2 von Art. 11 Abs. 5 (in Verbindung mit Art. 9 Abs. 2 lit. d) StHG. Insoweit ist die Lösung des Regierungsrates harmonisierungskonform.
Hingegen sieht die Verordnung für den Betrag des Liquidationsgewinns, für den ein Einkauf nach Art. 31 Abs. 1 lit. d StG noch möglich gewesen wäre, sowie für den Restbetrag keine separate Besteuerung vor. Vielmehr werden diese beiden Komponenten zusammen besteuert, und zwar zum Satz für Kapitalleistungen aus Vorsorge gemäss § 37 StG. Dadurch unterliegen diese beiden Arten des Liquidationsgewinns, für welche das harmonisierte Recht zwingend eine getrennte Besteuerung vorsieht, einer höheren Progression, als wenn sie separat besteuert würden. Das verletzt die Sätze 3 und 4 von Art. 11 Abs. 5 StHG. Aus der Entstehungsgeschichte (E. 3) geht eindeutig hervor, dass die getrennte Besteuerung der Leistungen aus den noch möglichen (fiktiven) Einkäufen zum Satz für Kapitalleistungen aus Vorsorge einerseits und den restlichen realisierten stillen Reserven zum Satz von einem Fünftel dieses Restbetrags (bzw. zu einem vom kantonalen Recht bestimmten Satz) andererseits vom Gesetzgeber gewollt ist. Durch diese Aufteilung wird eine zusätzliche Dämpfung der Steuerbelastung erreicht (BAUMGARTNER, a.a.O., N. 19 zu Art. 37 b DBG). Diese Auslegung entspricht auch dem klaren Wortlaut der neuen harmonisierten Vorschriften in Art. 11 Abs. 5 StHG und Art. 37b Abs. 1 DBG. Die Rüge des Beschwerdeführers ist berechtigt.
4.4 Die Finanzdirektion des Kantons Zürich macht geltend, wenn § 1 Abs. 1 der Verordnung - gleich wie der neue § 37b StG gemäss Abstimmungsvorlage - den Tarif für Kapitalleistungen aus Vorsorge auf dem gesamten Liquidationsgewinn zur Anwendung bringe, könne ein allfälliger Mehrbetrag, der durch Zusammenrechnung des Betrags der zulässigen möglichen Einkäufe (Art. 11 Abs. 5 Satz 3 StHG) und des Restbetrags des Liquidationsgewinns progressionsbedingt entstehe, vollumfänglich dem Restbetrag zugerechnet werden. Der auf dem Restbetrag der realisierten stillen Reserven anwendbare Satz werde durch das kantonale Recht bestimmt. Insofern bestehe die kantonale Tarifhoheit. Dabei dürfe der Kanton für den Restbetrag einen Tarif vorsehen, der, unter Berücksichtigung der Steuer auf dem möglichen Einkauf, insgesamt zu einer höheren Besteuerung führe als der Tarif für Kapitalleistungen aus Vorsorge.
Der Einwand geht fehl. Die Kantone sind bei der Festlegung des Steuersatzes im Rahmen von Art. 11 Abs. 5 Satz 4 StHG zwar autonom, sie haben dabei aber die zwingenden Vorgaben der Steuerharmonisierung und die Grundrechte zu beachten. Werden Mehrbeträge, die durch Zusammenrechnung progressionsbedingt auf den möglichen ("fiktiven") Einkäufen entstehen, der Steuer auf dem Restbetrag zugerechnet, so wird dadurch der Steuersatz für diesen Restbetrag erhöht. Der Steuersatz für den Restbetrag hängt mit anderen Worten davon ab, ob die steuerpflichtige Person daneben noch Einkaufsbeiträge gemäss § 31 Abs. 1 lit. d StG geltend machen kann oder nicht. Ein solcher variabler Steuersatz ist aber vom Steuerharmonisierungsgesetz, das für die beiden Komponenten die getrennte Besteuerung ausdrücklich anordnet, nicht vorgesehen.
4.5 Die weiteren Vorbringen der Finanzdirektion erweisen sich ebenfalls als unbegründet.
Da nach dem klaren Willen des Bundesgesetzgebers und dem eindeutigen Wortlaut der Bundesgesetze die getrennte Besteuerung Platz greift, vermögen die von der Finanzdirektion für eine einheitliche Besteuerung angeführten Praktikabilitäts- und Vereinfachungsgründe von vornherein nicht aufzukommen.
Die Finanzdirektion macht geltend, aus den gesetzgeberischen Arbeiten gehe hervor, dass die eidgenössischen Räte den Gesamtbetrag des Liquidationsgewinns nie tiefer besteuern wollten als eine (entsprechende) Kapitalleistung aus Vorsorge (s. auch vorn E. 3.4, Beschluss des Nationalrats vom 4. Oktober 2006). Würde der Liquidationsgewinn aufgeteilt in einen Betrag der zulässigen Einkäufe und einen Restbetrag und jeder Teil nach dem Tarif für Kapitalleistungen aus Vorsorge besteuert, käme eine tiefere Besteuerung zustande, was dem Willen des Gesetzgebers zuwiderlaufe. Dieser Einwand trifft offensichtlich nicht zu. Der Gesetzgeber wollte den Liquidationsgewinn in der Höhe der möglichen zulässigen Einkäufe adäquat, d.h. wie eine Kapitalleistung aus Vorsorgeeinrichtung besteuern, und im Übrigen den Restbetrag, unter Brechung der Progression, einer angemessenen Besteuerung zuführen. Nachdem Art. 11 Abs. 4 4. Satz StHG in Bezug auf die Besteuerung des Restbetrags die Tarifhoheit der Kantone respektiert, ist es Sache des kantonalen Rechts, hierfür den angemessenen Tarif festzulegen. Da dieser Betrag keinen vorsorgerechtlichen Bezug hat, ist es nicht zwingend, darauf den Tarif für Kapitalleistungen aus Vorsorge anzuwenden (s. auch Art. 37b Abs. 1 Satz 4 DBG).
5. Die Beschwerde ist nach dem Gesagten begründet und § 1 der regierungsrätlichen Verordnung aufzuheben. Der Regierungsrat hat im Sinne einer Sofortmassnahme § 1 der Verordnung an das Steuerharmonisierungsgesetz anzupassen (Art. 72 Abs. 3 StHG). Nach dem Gesagten unterliegt es keinem Zweifel, dass der Gesetzgeber sowohl für die direkte Bundessteuer wie auch für das Steuerharmonisierungsgesetz für den Betrag des möglichen ("fiktiven") Einkaufs und für den Restbetrag die separate Besteuerung vorgesehen hat. Im Übrigen ist es Sache des kantonal zuständigen Gesetz- oder Verordnungsgebers festzulegen, ob er für den Restbetrag den Tarif für Kapitalleistungen aus Vorsorge beibehalten will oder ob eine andere gesetzliche Grundlage in Frage kommt oder eine solche noch zu schaffen ist. Das Bundesgericht hat - entgegen dem "Antrag auf Klarstellung" der Finanzdirektion - nicht darüber zu befinden, nach welchem Steuersatz der Restbetrag zu erfassen ist.
6. Die Gerichtskosten sind dem Kanton Zürich, der unterliegt, aufzuerlegen (Art. 65 und 66 Abs. 1 BGG). Da es um Vermögensinteressen des Kantons geht, greift die Befreiung des Art. 66 Abs. 4 BGG nicht ein. Entschädigungspflichtige notwendige Parteikosten im Sinne von Art. 68 Abs. 2 BGG sind im bundesgerichtlichen Verfahren nicht entstanden, zumal der Beschwerdeführer sich nicht durch einen Rechtsanwalt vertreten liess.
Die Überprüfung der Kostenauflage im vorinstanzlichen Verfahren kommt bei diesem Ergebnis, entgegen den Anträgen des Beschwerdeführers, nicht in Frage. Über die kantonalen Kosten- und Entschädigungsfolgen hat vielmehr die Vorinstanz entsprechend dem Ausgang des vorliegenden Verfahrens neu zu befinden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und § 1 der Verordnung des Regierungsrats des Kantons Zürich vom 3. November 2010 über den Vollzug des Unternehmenssteuerreformgesetzes II des Bundes aufgehoben.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Kanton Zürich auferlegt.
3. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen des kantonalen Verfahrens and das Verwaltungsgericht des Kantons Zürich zurückgewiesen.
4. Dieses Urteil wird dem Beschwerdeführer, dem Regierungsrat des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 29. Juli 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann