Sachverhalt:
A. A.a X._ war bis 31. Mai 2009 als Oberarzt am Universitätsspital Zürich (USZ) in einem öffentlich-rechtlichen Arbeitsverhältnis angestellt. Das USZ wurde per 1. Januar 2007 in eine selbstständige öffentlich-rechtliche Anstalt umgewandelt. Gleichzeitig stellte das Amt für Wirtschaft und Arbeit des Kantons Zürich in einer Verfügung vom 24. Januar 2007 zuhanden des Verbands Schweizerischer Assistenz- und Oberärzte fest, das USZ sei mit der Verselbstständigung den Arbeits- und Ruhezeitvorschriften des Bundesgesetzes vom 13. März 1964 über die Arbeit in Industrie, Gewerbe und Handel (Arbeitsgesetz, ArG; SR 822.11) unterworfen, unter Vorbehalt von Art. 71 lit. b ArG. Diese Feststellungsverfügung wurde von der Volkswirtschaftsdirektion des Kantons Zürich mit Verfügung vom 26. März 2008 bestätigt, nachdem das USZ dagegen Rekurs erhoben hatte. Damit galt für die Oberärzte ab 1. Januar 2007 eine wöchentliche Höchstarbeitszeit gemäss Art. 9 Abs. 1 lit. b ArG von 50 Stunden.
A.b X._ leistete in den Jahren 2007 und 2008 unbestrittenermassen 2002 Stunden Überzeit. Dies entspricht einem Überzeitlohn, einschliesslich des Zuschlags von 25% gemäss Art. 13 Abs. 1 ArG, von Fr. 131'957.-.
Im gleichen Zeitraum erhielt X._ Entschädigungen von Fr. 157'785.- aus den Honorarpools ausbezahlt.
A.c Am 1. Januar 2008 trat das kantonalzürcherische Gesetz über die ärztlichen Zusatzhonorare vom 12. Juni 2006 (LS 813.14; nachfolgend: Honorargesetz) in Kraft. Gestützt darauf - und für die Zeit bis Ende 2007 gestützt auf einen Beschluss des Regierungsrats vom 19. Dezember 1990 (RRB 4094/1990) - verfügte die Spitaldirektion des USZ am 9. Oktober 2009, der Betrag von Fr. 157'785.- werde an die Entschädigung für geleistete Überzeit angerechnet.
A.d Hiegegen rekurrierte X._ - wie 26 weitere Oberärzte und Oberärztinnen als Adressaten vergleichbarer Verfügungen - an den Spitalrat des USZ. Dieser fällte am 20. Oktober 2010 folgenden Grundsatzentscheid:
"1. Oberärztinnen und Oberärzten mit Bewilligung zur privatärztlichen Tätigkeit wird das Überzeitguthaben der Jahre 2007 und 2008 unter Anrechnung der in derselben Zeitperiode ausbezahlten Honorare bzw. Leistungsprämien aus den Honorarpools ausbezahlt. Vom anrechenbaren Betrag ist das von der Spitalleitung für die Jahre 2007 und 2008 festgesetzte und gemäss Anstellungsgrad und -dauer berechnete Minimal-Honorar gemäss Beschluss über die Verwendung des Oberarzt-Gemeinschaftspools vom 27.8.2003, Ziffer 2b, abzuziehen.
2. Oberärztinnen und Oberärzten ohne Bewilligung zur privatärztlichen Tätigkeit, welche als Honorare ausschliesslich das Minimal-Honorar aus dem Oberarzt-Gemeinschaftspool gemäss Beschluss über die Verwendung des Oberarzt-Gemeinschaftspools vom 27.8.2003, Ziffer 2b, erhalten haben, wird das Überzeitguthaben der Jahre 2007 und 2008 ohne Anrechnung von Honoraren ausbezahlt.
3. Dieser Beschluss ist den Rekursentscheiden betreffend Abrechnung Mehrzeitguthaben und Anrechnung der Honorarauszahlungen als Begründung beizulegen."
Mit Entscheid vom gleichen Tag und unter Hinweis auf den oben genannten Grundsatzentscheid wies der Spitalrat den Rekurs von X._ im Grundsatz ab und wies die Sache zur Neuberechnung der Minimal-Honorare an die Vorinstanz zurück.
B. X._ reichte Beschwerde beim Verwaltungsgericht des Kantons Zürich ein mit dem Antrag, es sei der Entscheid des Spitalrats vom 20. Oktober 2010 aufzuheben und das USZ zur Zahlung von Fr. 131'957.- nebst Zins zu verpflichten. Das Verwaltungsgericht wies die Beschwerde mit Entscheid vom 7. Oktober 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt X._ - unter Aufrechterhaltung seiner vorinstanzlichen Rechtsbegehren - die Aufhebung des Entscheids des Verwaltungsgerichts vom 7. Oktober 2011 beantragen. Eventuell sei die Sache zur Abnahme weiterer Beweise und zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das USZ lässt auf Abweisung der Beschwerde schliessen, soweit darauf eingetreten werden könne.
D. Am 23. August 2012 hat das Bundesgericht eine publikumsöffentliche Beratung durchgeführt.
Erwägungen:
1. 1.1 Der angefochtene Entscheid ist ein Endentscheid einer letzten kantonalen Instanz (Art. 86 Abs. 1 lit. d, Art. 90 BGG) und betrifft ein öffentlich-rechtliches Arbeitsverhältnis. Es handelt sich um eine vermögensrechtliche Streitigkeit, weshalb der Ausschlussgrund von Art. 83 lit. g BGG nicht gegeben ist. Der Streitwert ist offensichtlich erfüllt. Auf die Beschwerde ist einzutreten.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten können Rechtsverletzungen im Sinne von Art. 95 BGG gerügt werden. Rügen gegen die vorinstanzliche Sachverhaltsfeststellung sind nur zulässig, wenn diese offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2 S. 252). Das Bundesgericht prüft die Auslegung des eidgenössischen und kantonalen Verfassungsrechts frei, die Auslegung des kantonalen Gesetzesrechts dagegen nur unter dem Gesichtspunkt der Willkür (BGE 128 I 3 E. 2b S. 9; Urteil 2C_187/2009 vom 1. Dezember 2009 E. 4.1 mit Hinweis auf BGE 134 I 140 E. 5.3 S. 148). Nach der Rechtsprechung ist eine Entscheidung willkürlich, wenn sie eine Norm oder einen klaren und unumstrittenen Rechtsgrundsatz offensichtlich schwer verletzt, sich mit sachlichen Gründen schlechthin nicht vertreten lässt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Willkürliche Rechtsanwendung liegt zudem nicht schon vor, wenn eine andere Lösung vertretbar oder sogar vorzuziehen wäre (BGE 134 II 124 E. 4.1 S. 133; 133 I 149 E. 3.1 S. 153 mit Hinweisen).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 132 II 257 E. 2.5 S. 262; 130 III 136 E. 1.4 S. 140; vgl. auch BGE 137 II 313 E. 1.4 S. 317 f. mit Hinweis). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
2. Es ist nicht umstritten, dass seit dem 1. Januar 2007 das Arbeitsgesetz auch am USZ Wirkung entfaltet. Ebenfalls nicht umstritten ist, dass Oberärzte in den persönlichen Geltungsbereich des Arbeitsgesetzes fallen und daher für sie eine wöchentliche Höchstarbeitszeit von 50 Stunden gilt.
Strittig und zu prüfen ist die Frage, ob dem Beschwerdeführer in den Jahren 2007 und 2008 ausbezahlte Entschädigungen aus den Honorarpools an ein Überzeitguthaben desselben Zeitraums angerechnet werden können oder ob er vielmehr Anspruch auf Entschädigung der Überzeit hat.
3. Für das Jahr 2008 ist kantonalrechtlich das Honorargesetz massgeblich. Der Beschwerdeführer rügt eine willkürliche Auslegung dieses Gesetzes durch die Vorinstanz. Dies ist vorab zu prüfen.
3.1 Das Honorargesetz regelt u.a. die Voraussetzungen für die Erteilung der Bewilligung zur privatärztlichen Tätigkeit (§ 2) und die Arbeitszeit (§ 10). Gemäss § 2 Abs. 1 lit. c Honorargesetz ist eine der Voraussetzungen für den Erhalt der Bewilligung, dass "die Gesuchstellenden bereit sind, Arbeitszeit nach § 10 zu leisten". Im Antrag des Regierungsrates vom 18. August 2004 zum "Gesetz über die ärztlichen Zusatzhonorare" (ABl 2004, 871 ff.) lautete die Voraussetzung gemäss § 2 Abs. 1 lit. c noch dahingehend, dass "die Gesuchstellenden nicht den Arbeitszeitvorschriften des Arbeitsgesetzes unterstellt und bereit sind, Arbeitszeit nach § 9 zu leisten" (Hervorhebung beigefügt).
§ 10 Abs. 1 Honorargesetz bestimmt betreffend der Arbeitszeit der Inhaber einer Bewilligung zur privatärztlichen Tätigkeit und sonstiger Bezüger von Poolgeldern folgendes:
"(...). Es besteht kein Anspruch auf finanziellen oder zeitlichen Ausgleich von Arbeitszeit, die über die Arbeitszeit gemäss kantonalem Personalrecht hinausgeht."
Im regierungsrätlichen Antrag vom 18. August 2004 lautete diese Bestimmung noch wie folgt:
"Es besteht kein Anspruch auf finanziellen oder zeitlichen Ausgleich von Arbeitszeit, die über die Arbeitszeit gemäss kantonalem Personalrecht oder nach Arbeitsgesetz hinausgeht". (Hervorhebung beigefügt)
3.2 Die Arbeitszeit gemäss kantonalem Personalrecht beträgt 42 Stunden (§ 116 Abs. 1 Vollzugsverordnung zum Personalgesetz, VVPG, LS 177.111), jene nach der hier anwendbaren Regelung des Arbeitsgesetzes 50 Stunden (vgl. Sachverhalt A.a hievor).
3.3 Die Vorinstanz nahm gestützt auf § 10 Abs. 1 Honorargesetz an, dass der Beschwerdeführer, da er unbestrittenermassen eine Bewilligung zur Ausübung einer privatärztlichen Tätigkeit besass, keinen Anspruch für sämtliche über 42 Wochenstunden hinaus geleistete Arbeit habe, also weder für eigentliche Überzeit (d.h. über die Arbeitszeit von 50 Stunden gemäss Arbeitsgesetz hinausgehende Tätigkeit) noch für Überstunden (d.h. über die Arbeitszeit gemäss Personalgesetz bis zur Grenze gemäss Arbeitsgesetz geleistete Arbeit). Abgesehen vom Wortlaut stützte sie sich auch auf die Entstehungsgeschichte der gesetzlichen Normierung. Nach dem Willen des Gesetzgebers habe mit der Zusatzerwerbsmöglichkeit aus privatärztlicher Tätigkeit selbst bei Anwendbarkeit des Arbeitsgesetzes ein gleichzeitiger Anspruch auf finanzielle oder zeitliche Kompensation geleisteter Arbeitszeit, das heisst auch von Überzeit im Sinne des Arbeitsgesetzes, entfallen sollen.
3.4 Der Beschwerdeführer geht demgegenüber davon aus, mit § 10 Abs. 1 Honorargesetz habe der Gesetzgeber nur die eigentlichen Überstunden regeln wollen, nicht hingegen die Überzeit nach Arbeitsgesetz. Bewilligungsinhaber hätten somit keinen Anspruch auf Entschädigung der Arbeitsstunden zwischen der 42. und der 50. Stunde. Nicht ausgeschlossen werde dadurch aber die Entschädigung der Überzeit (über 50 Stunden). Er leitet dies insbesondere aus der Entstehungsgeschichte des Gesetzes ab, namentlich dem ursprünglich anderen Wortlaut von § 10 und § 2 (vgl. E. 3.1 hievor).
3.5 Alle Mehrarbeit über 42 Stunden ist im Sinne des Wortlauts von § 10 Abs. 1 Honorargesetz "Arbeitszeit, die über die Arbeitszeit gemäss kantonalem Personalrecht hinausgeht" (E. 3.1 hievor). Die Auslegung der Vorinstanz stützt sich daher auf den Wortlaut der Bestimmung.
Die dem Wortlaut entsprechende Anwendung einer Vorschrift ist nicht willkürlich, es sei denn, sie widerspreche dem Sinn und Zweck der Vorschrift offensichtlich (Urteile des Bundesgerichts 1P.738/1999 vom 21. März 2000 E. 3e/ee [publ. in: ZBl 102/2001 S. 80]; P.1029/1975 vom 14. Januar 1976 [publ. in: ASA 46 S. 139]). Dies ist hier nicht der Fall. Es trifft zu, dass im Zeitpunkt der Beratungen des Gesetzes unklar war, ob nach der Verselbstständigung der Spitäler das Arbeitsgesetz gelte, und die Gesundheitsdirektion des Kantons Zürich der Meinung war, dies sei nicht der Fall, währenddem die Ärzteschaft die gegenteilige Auffassung vertrat. Es war somit unklar, ob das Arbeitsgesetz künftig gelten sollte. In der Folge wurde in § 2 des Honorargesetzes der Passus "nicht den Arbeitszeitvorschriften des Arbeitsgesetzes unterstellt sind" gestrichen. Begründet wurde dies wie folgt: "Mit dem Verzicht auf die Erwähnung der Nichtunterstellung unter das Arbeitsgesetz kommen wir der Oberärzteschaft entgegen, die befürchtet hat, dass sie im Fall einer Unterstellung unter das Arbeitsgesetz ihre Honorarberechtigung verlieren könnte". In Bezug auf die Änderung des Wortlauts von § 10 Honorargesetz (§ 9 gemäss Entwurf) wurde sodann angeführt, die Begründung sei die Gleiche wie bei § 2. Es handle sich um eine redaktionelle Änderung (Protokoll des Kantonsrats Nr. 154 vom 15. Mai 2006, S. 11198 resp. S. 11201). Wenn der Beschwerdeführer geltend macht, mit der Streichung in § 10 Honorargesetz (§ 9 gemäss Entwurf) habe der Gesetzgeber dieser Bestimmung eine ganz andere inhaltliche Bedeutung geben wollen, fehlen dafür nach dem Gesagten konkrete Anhaltspunkte in den Materialien. Eine willkürliche Auslegung durch die Vorinstanz liegt daher nicht vor.
4. Für die Zeit bis Ende 2007 ergibt sich die Regelung der Arbeitszeit der Oberärzte und der Voraussetzungen für deren privatärztliche Tätigkeit aus dem RRB 4094/1990 vom 19. Dezember 1990. Auch diesbezüglich wird eine willkürliche Auslegung durch die Vorinstanz gerügt.
4.1 Ziffer III des Dispositivs des RRB, welche sich widerspruchslos aus dessen Begründung ergibt, bestimmt, dass die Arbeitszeit für Oberärzte ohne Honorar- und Gebühreneinnahmen in der Regel 55 Wochenstunden und jene der honorar- und gebührenberechtigten Oberärzte 70 Wochenstunden nicht überschreiten soll. Allfällige Überschreitungen seien nach Möglichkeit zeitlich zu kompensieren. Entgegen der Vorinstanz folgt daraus nicht, dass die Überzeitentschädigung für honorar- und gebührenberechtigte Oberärzte grundsätzlich als durch die ausbezahlten Honorare gedeckt betrachtet wurde. Dass Überschreitungen "nach Möglichkeit zeitlich zu kompensieren" seien, bedeutet, dass bei fehlender Möglichkeit ein Entschädigungsanspruch bestand. Das ergibt sich auch aus der Begründung des RRB (Ziff. 2 a.E.), wonach "lediglich massive Überschreitungen" der Arbeitszeit von 70 Stunden zusätzlich als Arbeitszeit zu vergüten seien, sofern ein zeitlicher Ausgleich nicht möglich sei. Diese Einschränkung gegenüber der vorinstanzlichen Interpretation ändert jedoch nichts am Ergebnis, denn der Beschwerdeführer macht nicht geltend, dass er im Jahr 2007 jeweils mehr als 70 Stunden wöchentlich gearbeitet hat. Wie sich die insgesamt 2002 Stunden Überzeit auf die Jahre 2007 und 2008 verteilen, ist nicht bekannt. Die Vorinstanz konnte somit willkürfrei davon ausgehen, dass auch gestützt auf den RRB 4094/1990 kein Anspruch des Beschwerdeführers auf zusätzliche Entschädigung von Überzeit bestand.
4.2 Was der Beschwerdeführer vorbringt, vermag daran nichts zu ändern. Er macht geltend, die Auslegung berücksichtige nicht, dass per 1. Januar 2007 das Arbeitsgesetz Anwendung gefunden habe. Niemand könne aber sagen, was der Gesetzgeber gewollt hätte, wenn er gewusst hätte, dass die Höchstarbeitszeit dereinst bei 50 Stunden pro Woche liegen würde. Der Wille des Gesetzgebers kann indessen kein anderer sein, weil später ein allenfalls mit seiner Regelung in Konflikt tretendes Gesetz Anwendung findet. Vielmehr wäre es dann an eben diesem Gesetzgeber, seine bisherige Regelung dem neuen Gesetz anzupassen, wenn das seinem Willen entspricht. Unterlässt er dies, ist der Konflikt nicht durch eine Uminterpretation des RRB zu lösen, sondern stellt sich die Frage, ob der korrekt ausgelegte Beschluss allenfalls höherrangigem Recht weichen muss (dazu unten E. 5). Vorliegend hat der kantonale Gesetzgeber im Übrigen den RRB durch das Honorargesetz ersetzt. Wie dargelegt, traf er aber auch dort eine Regelung, welche honorar- und gebührenberechtigten Oberärzten keine Entschädigung für Mehrarbeit zugesteht.
5. 5.1 Der Beschwerdeführer rügt sodann einen Verstoss gegen Art. 13 und Art. 71 lit. b ArG und damit eine Verletzung des Grundsatzes der derogatorischen Kraft des Bundesrechts (Art. 49 Abs. 1 BV).
Gemäss Art. 13 ArG hat der Arbeitgeber für die Überzeitarbeit einen Lohnzuschlag von wenigstens 25% auszurichten (...) (Abs. 1); wird Überzeit im Einverständnis mit dem einzelnen Arbeitnehmer innert eines angemessenen Zeitraums durch Freizeit von gleicher Dauer ausgeglichen, ist kein Zuschlag geschuldet (Abs. 2). Art 71 lit. b ArG enthält einen allgemeinen Vorbehalt zugunsten der Vorschriften des Bundes, der Kantone und der Gemeinden über das öffentlich-rechtliche Dienstverhältnis; von den Vorschriften über den Gesundheitsschutz und über die Arbeits- und Ruhezeit dürfen aber auch diese nur zugunsten des Arbeitnehmers abweichen.
5.2 Die Vorinstanz prüfte aufgrund des Vorbehaltes von Art. 71 lit. b ArG, ob die Regelungen gemäss Honorargesetz und RRB 4094/1990 gleichwertig zur Lösung des Arbeitsgesetzes sind. Sie hat dies bejaht, denn das Arbeitsgesetz regle nicht, auf welche Weise die von Art. 13 ArG verlangte Entschädigung zu erfolgen habe. Erforderlich sei lediglich eine Zahlung, welche erkennbar der Entschädigung der geleisteten Überzeit diene. Der kantonale Gesetzgeber sei daher frei zu bestimmen, ob mit den Honoraren für privatärztliche Tätigkeit - auf die von Bundesrechts wegen kein Anspruch bestehe - die über der Höchstarbeitszeit liegende Arbeitsleistung abgegolten werden sollte.
5.3 Nach Auffassung des Beschwerdeführers widerspricht diese Auslegung dem Zweck von Art. 13 ArG. Diese Bestimmung wolle, dass die Überzeitarbeit den Arbeitgeber teurer zu stehen komme als die im Rahmen der normalen Höchstarbeitszeit geleistete Arbeit. Die Mehrarbeit müsse die Ausnahme bleiben, solle der Schutzzweck der Norm eingehalten werden. Angesichts dieses Zwecks sei eine Verrechnung oder Anrechnung mit anderen Forderungen, die dem Arbeitnehmer aus anderen Titeln zustünden, absolut unzulässig. Art. 13 ArG lasse also zum Beispiel eine Verrechnung mit einem Anteil am Geschäftsergebnis (Art. 322a OR), einer Gratifikation (Art. 322d OR) oder einem Bonus nicht zu. Genau solches sei jedoch das Ergebnis der vorinstanzlichen Vorgehensweise. Nach dem Willen des Gesetzgebers hätten die Zahlungen an die Ärzte aus den Honorarpools verschiedene Zwecke erfüllen sollen. Die Leistung von Überzeit sei jedoch kein für die Auszahlung massgebliches Kriterium gewesen. Vielmehr seien die Honorarauszahlungen als Leistungsprämie konzipiert. Eine Gleichwertigkeit kantonaler Lösungen gegenüber den Vorschriften von Art. 13 ArG müsse zudem für alle Personen in allen denkbaren Fällen eine Gleichwertigkeit beinhalten. Dies sei aber hier nicht der Fall. Indem der Beschwerdegegner die Abgeltung der Überzeit durch Kompensation mit den Honorarentschädigungen gewählt habe, sei er schlechter gestellt, als er es im Fall einer zeitlichen Kompensation gewesen wäre.
5.3 Nach Auffassung des Beschwerdeführers widerspricht diese Auslegung dem Zweck von Art. 13 ArG. Diese Bestimmung wolle, dass die Überzeitarbeit den Arbeitgeber teurer zu stehen komme als die im Rahmen der normalen Höchstarbeitszeit geleistete Arbeit. Die Mehrarbeit müsse die Ausnahme bleiben, solle der Schutzzweck der Norm eingehalten werden. Angesichts dieses Zwecks sei eine Verrechnung oder Anrechnung mit anderen Forderungen, die dem Arbeitnehmer aus anderen Titeln zustünden, absolut unzulässig. Art. 13 ArG lasse also zum Beispiel eine Verrechnung mit einem Anteil am Geschäftsergebnis (Art. 322a OR), einer Gratifikation (Art. 322d OR) oder einem Bonus nicht zu. Genau solches sei jedoch das Ergebnis der vorinstanzlichen Vorgehensweise. Nach dem Willen des Gesetzgebers hätten die Zahlungen an die Ärzte aus den Honorarpools verschiedene Zwecke erfüllen sollen. Die Leistung von Überzeit sei jedoch kein für die Auszahlung massgebliches Kriterium gewesen. Vielmehr seien die Honorarauszahlungen als Leistungsprämie konzipiert. Eine Gleichwertigkeit kantonaler Lösungen gegenüber den Vorschriften von Art. 13 ArG müsse zudem für alle Personen in allen denkbaren Fällen eine Gleichwertigkeit beinhalten. Dies sei aber hier nicht der Fall. Indem der Beschwerdegegner die Abgeltung der Überzeit durch Kompensation mit den Honorarentschädigungen gewählt habe, sei er schlechter gestellt, als er es im Fall einer zeitlichen Kompensation gewesen wäre.
5.4 5.4.1 Im vorinstanzlichen Verfahren präzisierte der Beschwerdeführer, seine Überzeit sei nicht durch privatärztliche Tätigkeit entstanden, sondern durch Einhaltung des Dienstplanes. Dies blieb unbestritten. Entsprechend hielt die Vorinstanz fest, die privatärztliche Tätigkeit des Beschwerdeführers sei während der durch den Klinikbetrieb notwendigen Präsenzzeit entstanden. Von diesem unbestrittenen Sachverhalt ist auszugehen.
5.4.2 Der Grundsatz des Vorrangs von Bundesrecht nach Art. 49 Abs. 1 BV schliesst in Sachgebieten, welche die Bundesgesetzgebung abschliessend regelt, eine Rechtssetzung durch die Kantone aus. In Sachgebieten, die das Bundesrecht nicht abschliessend ordnet, dürfen die Kantone nur solche Vorschriften erlassen, die nicht gegen Sinn und Geist des Bundesrechts verstossen und dessen Zweck nicht beeinträchtigen oder vereiteln. Der Grundsatz der derogatorischen Kraft des Bundesrechts kann als verfassungsmässiges Individualrecht angerufen werden. Das Bundesgericht prüft mit freier Kognition, ob die kantonale Norm mit dem Bundesrecht im Einklang steht (BGE 137 I 31 E. 4.1 S. 40 mit Hinweis; vgl. auch BGE 133 I 110 E. 4 S. 115 ff.; 133 II 64 E. 5.3 S. 67; 130 I 279 E. 2.2 S. 283; 129 I 346 E. 3.1 S. 350; Urteil 2C_804/2010 vom 17. Mai 2011 E. 5.3.3; ALEXANDER RUCH, in: Ehrenzeller et al. [Hrsg.], Schweizerische Bundesverfassung, St. Galler Kommentar, 2. Aufl. 2008, N. 17 zu Art. 49; ANDREAS AUER/ GIORGIO MALINVERNI/MICHEL HOTTELIER, Droit constitutionnel suisse, Bd. I, 2. Aufl. 2006, Rz. 1064).
Um zu entscheiden, ob ein Konflikt zwischen einer bundesrechtlichen Bestimmung und einer kantonalen Norm vorliegt, sind diese Regeln vorerst auszulegen (vgl. AUER/MALINVERNI/HOTTELIER, a.a.O., Rz. 1056).
5.4.3 Gemäss Honorargesetz findet keine direkte Entschädigung von Überzeit statt. Grundgedanke des Gesetzes war vielmehr das Entfallen des Anspruchs auf finanzielle oder zeitliche Kompensation von Überzeit als Bedingung für eine Bewilligungserteilung beziehungsweise als Folge von Bezügen aus den Honorarpools. Entsprechend diesem grundsätzlichen Konnex unterscheidet die Arbeitszeitregelung zwischen Bewilligungsinhabern und sonstigen Bezügern von Poolgeldern einerseits und den übrigen Ärzten anderseits (§ 10 Honorargesetz; vgl. auch Antrag des Regierungsrates, a.a.O., S. 875 ff., S. 882 zu § 2 und S. 884 zu § 9). Dieser vom Gesetzgeber gewollte Konnex wurde durch das Unterstellen der Oberärzte unter das Arbeitsgesetz - als systemfremder Faktor, der den Verzicht auf Überzeitentschädigung nicht zulässt - gestört (Schreiben vom 12. Februar 2010 der Gesundheitsdirektion des Kantons Zürich an den Spitalrat lit. A.c). Entsprechend dieser Konzeption des Gesetzes wurde auch nicht vorgesehen, dass die in den Pool fallenden Honorare direkt entsprechend den geleisteten Überzeiten verteilt werden. Vielmehr sollte das Poolsystem der leistungsorientierten Verteilung der Honorareinnahmen dienen (Antrag des Regierungsrates, a.a.O., S. 884 zu § 8). Gemäss § 5 Honorargesetz werden solche Leistungsprämien namentlich an Bewilligungsinhaberinnen und Bewilligungsinhaber ausgerichtet (Abs. 1), wobei insbesondere folgende Kriterien zu berücksichtigen sind: Einsatzbereitschaft, Mitwirkung bei der Erbringung von Mehrleistungen für Patientinnen und Patienten im Privatpatientenstatus, Übernahme von Aufgaben im übergeordneten Klinik- oder Institutsinteresse sowie Erfüllung von qualitativen und quantitativen Leistungsvorgaben (Abs. 2). Die Mitwirkung bei der Honorargenerierung ist damit ein leistungsbezogener Faktor; daneben sind aber noch andere massgeblich. Die Honorarpools sollten daher als Führungsinstrument eingesetzt werden (Antrag des Regierungsrates, a.a.O., S. 883 zu §§ 4 und 5).
Gemäss Wortlaut sowie Systematik des Gesetzes und dem Willen des Gesetzgebers ist es also nicht so, dass ein Entschädigungsanspruch für Überzeit entsteht, der dann durch einen anderen Anspruch getilgt wird. Vielmehr soll gar kein Entschädigungsanspruch entstehen, weil gleichzeitig ein anderer Anspruch eingeräumt wird. Dem entspricht, dass das Honorargesetz keinen Mindestanspruch auf Leistungsprämien in Höhe der Überzeitentschädigung gewährt.
5.4.4 Die Regelung gemäss RRB 4094/1990 entspricht in der Systematik jener des Honorargesetzes. Zwar kann Überzeit über 70 Wochenstunden in Ausnahmefällen entschädigt werden. Grundsätzlich entfällt aber gegenüber honorar- und gebührenberechtigten Oberärzten für die Überzeit bis 70 Stunden ein Entschädigungsanspruch.
Die im RRB getroffene Regelung ist im Übrigen nur rudimentär. Wie aber bereits der Spitalrat im Entscheid vom 20. Oktober 2010 festgehalten hat, galten auch bei Auszahlungen von Poolgeldern aus dem Oberarzt-Klinikpool gemäss Beschluss des Regierungsrats über die Oberarztpools von 1999 als massgebliche Kriterien in erster Linie die Einsatz- und Leistungsbereitschaft für allgemeine Interessen und Aufgaben der Klinik, zweitens das von den Oberärzten tatsächlich erzielte Honorar und drittens die Obergrenze von indexiert Fr. 50'000.- gemäss RRB 4094/1990. Schliesslich diente gemäss dem spitalrätlichen Entscheid vom 20. Oktober 2010 der Oberarzt-Gemeinschaftspool der Weiterbildung und für Aufwendungen, welche der Attraktivität des USZ im Allgemeinen zugute kommen sollten. Auch diesbezüglich lässt sich somit festhalten, dass die Mitwirkung bei der Honorargenerierung ein leistungsbezogener Faktor war, aber nicht der einzige. Unter der Regelung des RRB gab es zudem auch noch die Möglichkeit, dass die Honorareinnahmen nicht in die Pools flossen, sondern vom privat tätigen Arzt direkt in Rechnung gestellt wurden und teilweise an das Spital weiterzugeben waren. Der Beschwerdeführer selber erhielt aber unbestrittenermassen die ganzen hier zur Diskussion stehenden Entschädigungen von Fr. 157'785.- aus Pools ausbezahlt. Im Übrigen waren aber auch solche Honorareinnahmen nach der bundesgerichtlichen Rechtsprechung (Pra 1999 Nr. 3 S. 11, 2P.158/1997) als Leistungslohn mit Gewinnbeteiligung zu qualifizieren, worauf der Regierungsrat in seinem Antrag zum Honorargesetz (a.a.O., S. 877) zu Recht hingewiesen hat.
Zusammenfassend war es somit im Geltungsbereich des RRB ebenfalls so, dass keine direkte Entschädigung von Überzeit stattfand resp. stattfinden sollte. Vielmehr wurde, wie der Beschwerdegegner in der Beschwerdeantwort auch selber anführt, ein Anspruch auf Leistungsprämien "unter Berücksichtigung der Mehrleistungen und der weiteren Kriterien" eingeräumt.
5.4.5 Die entscheidende Frage ist deshalb, ob das Arbeitsgesetz zulässt, dass in öffentlich-rechtlichen Arbeitsverhältnissen nach kantonalem Recht Überzeit nicht direkt entschädigt, dafür aber ein zusätzlicher (Leistungs-)Lohnanspruch gewährt wird. Dies hängt vorerst davon ab, ob eine Entschädigung im Sinn von Art. 13 ArG auch dann vorliegt, wenn diese nur in Form eines pauschalen Leistungslohns erfolgt (nachfolgend E. 5.4.5.1). Ist dies zu verneinen, stellt sich zweitens die Frage, ob die kantonale Regelung aufgrund des Vorbehalts von Art. 71 lit. b ArG trotzdem zulässig ist (nachfolgend E. 5.4.5.2).
5.4.5.1 Die Vorinstanz begründete ihre Auffassung damit, das Arbeitsgesetz regle nicht, auf welche Weise die Überzeit zu entschädigen sei. Erforderlich sei lediglich eine Zahlung, welche erkennbar der Entschädigung der geleisteten Überzeit dienen solle. Dies sei mit den Zahlungen aus dem Honorarpool der Fall. Das kantonale Gericht übernahm damit die entsprechenden Ausführungen des Beschwerdegegners in dessen vorinstanzlicher Vernehmlassung welche sich ihrerseits auf STREIFF/VON KAENEL, Arbeitsvertrag, Praxiskommentar zu Art. 319-362 OR, 6. Aufl. 2006, N. 10 zu Art. 321c OR, sowie einen kantonalen Entscheid stützte.
Dem ist nicht zu folgen. Die zitierte Lehrmeinung bezieht sich - zu Recht - nur auf die Entschädigung von Überstunden. Art. 321c Abs. 3 OR sieht ausdrücklich vor, dass von der (gesonderten) Überstundenentschädigung abweichende Vereinbarungen getroffen werden dürfen. Neben dem schlichten Verzicht ist die wohl häufigste Abweichung die Pauschalierung beziehungsweise die Vertragsbestimmung, Überstunden seien im Lohn inbegriffen (STREIFF/VON KAENEL, a.a.O., N. 5 zu Art. 321c OR; Streiff/von Kaenel/Rudolph, Arbeitsvertrag, Praxiskommentar zu Art. 319-362 OR, 7. Aufl. 2012, N. 5 zu Art. 321c OR; REHBINDER/STÖCKLI, Berner Kommentar, 3. Aufl. 2010, N. 11 zu Art. 321c OR). Wieweit solche Abreden im Hinblick auf Überstunden zulässig sind (vgl. zu den kontroversen Lehrmeinungen, insbesondere zum vollständigen Verzicht: STREIFF/VON KAENEL/RUDOLPH, a.a.O., N. 5 zu Art. 321c OR), ist hier nicht zu entscheiden. Nachdem jedoch mit BGE 126 III 337 anerkannt wurde, dass Art. 13 Abs. 1 ArG zwingend ist, schliesst dies jede abweichende Vereinbarung betreffend Überzeit aus, auch eine solche, wonach die Überzeit im Lohn inbegriffen sei oder durch andere Sonderleistungen abgegolten werde. Das entspricht auch dem Zweck des Arbeitsgesetzes. Wäre es zulässig zu vereinbaren, die Entschädigung für Überzeitarbeit sei im Lohn bereits enthalten oder durch gewisse Sonderleistungen pauschal entschädigt, bestünde für den Arbeitgeber keinerlei Anreiz, auf Überzeitarbeit zu verzichten oder die geleistete Überzeit mit Freizeit auszugleichen (BGE 136 III 539 E. 2.5.3 S. 543). Dem Beschwerdeführer ist somit zuzustimmen, wenn er im Hinblick auf den privatrechtlichen Arbeitsvertrag geltend macht, Abreden, mit denen Überzeitansprüche mit einem Anteil am Geschäftsergebnis, einer Gratifikation oder einem Bonus abgegolten oder verrechnet würden, seien nach Art. 13 Abs. 1 ArG nicht zulässig.
5.4.5.2 Zu prüfen ist somit weiter, nach welchen Kriterien sich die Gleichwertigkeit im Sinn von Art. 71 lit. b ArG bestimmt. Es geht mit anderen Worten darum, ob der kantonale öffentlich-rechtliche Arbeitgeber im Rahmen dieser Bestimmung eine Pauschalentschädigung vorsehen kann, obwohl diese allgemein nach Art. 13 ArG nicht zulässig wäre.
Zweifellos ging der kantonale Gesetzgeber davon aus, indem er einerseits von den Oberärzten einen Verzicht auf Überstundenentschädigung verlangte, ihnen aber gleichzeitig die Möglichkeit zur privatärztlichen Tätigkeit zugestand, habe er eine gleichwertige Lösung getroffen. Gemäss dem Wortlaut des Art. 71 lit. b ArG darf "von den Bestimmungen über den Gesundheitsschutz und über die Arbeits- und Ruhezeit (...) nur zu Gunsten der Arbeitnehmer abgewichen werden" ("toutefois, les prescriptions en matière de protection de la santé, de temps de travail et de repos ne peuvent faire l'objet de dérogations qu'en faveur des travailleurs"; "le prescrizioni in materia di protezione della salute e sulla durata del lavoro e del riposo possono tuttavia essere oggetto di deroghe solo nell'interesse dei lavoratori"). Art. 13 ArG gehört zu den Bestimmungen über die Arbeits- und Ruhezeit. Art. 71 lit. b ArG wurde mit der Änderung des Arbeitsgesetzes vom 22. März 2002 (in Kraft seit 1. Januar 2005; AS 2002 2547) eingeführt. Die Gleichwertigkeit bezieht sich nach dem klaren Wortlaut auf die Bereiche Gesundheitsschutz sowie Arbeits- und Ruhezeit. Das kantonale Recht darf daher in diesen Bereichen mehr, aber nicht weniger als das Arbeitsgesetz bieten. In der Lehre ist unklar, wie weit der Vergleich innerhalb dieser Bereiche gezogen werden darf. Es fragt sich beispielsweise, ob die in Art. 71 lit. b ArG erwähnten beiden Bereiche Gesundheitsschutz resp. Arbeits- und Ruhezeiten isoliert voneinander zu betrachten sind oder ob etwa mit grosszügigeren Vorschriften zum Gesundheitsschutz eine nachteiligere Arbeitszeitregelung kompensiert werden kann. Aufgrund des Wortlauts, der Systematik und auch des Zweckes des Arbeitsgesetzes ist aber zu schliessen, dass jedenfalls eine Kompensation mit anderen Leistungen, die im Arbeitsgesetz nicht geregelt sind, nicht zulässig ist (PASCAL MAHON/ANNE BENOÎT [MICHÈLE TIEGERMANN], in: Geiser/von Kaenel/Wyler [Hrsg.], Arbeitsgesetz, 2005, N. 15 zu Art. 71 ArG; CHRISTOPH SENTI, Arbeitsrechtliche Vorschriften für Pflegeberufe in öffentlichen Spitälern, in: ArbR 2005, S. 67 ff., S. 81, 84), zumal der Gestaltungsspielraum, der den Kantonen im Arbeitsschutzrecht gemäss Art. 110 Abs. 1 lit. a BV bleibt, ohnehin nicht zu weit interpretiert werden darf (THOMAS GÄCHTER, in: die schweizerische Bundesverfassung, St. Galler Kommentar, Ehrenzeller und andere [Hrsg.], 2. Aufl. 2008, N. 21 zu Art. 110 BV). Das Arbeitsgesetz regelt die Entlöhnung nicht resp. nur marginal. Ein Ausgleich mit Leistungsprämien ist daher auch gestützt auf Art. 71 lit. b ArG nicht zulässig.
5.4.6 Zusammenfassend ist somit festzuhalten, dass die kantonalen Bestimmungen, nach welchen bei Überzeit kein Anspruch auf Überzeitentschädigung besteht, gegen Bundesrecht verstossen. Zu prüfen bleibt, welche Rechtsfolge dies hat.
Der Spitalrat hat im Entscheid vom 20. Oktober 2010 festgehalten, bei Einführung der hier umstrittenen Regelung habe das ausbezahlte Honorar - unabhängig von seiner Höhe - eine Art "Pauschalentschädigung für erbrachte Mehrleistungen" und damit nichts anderes als eine Form Überzeitlohn dargestellt. Mit der Unterstellung unter das Arbeitsgesetz sei diese "doppelte" Pauschalierung, bestehend darin, dass "jegliche Ansprüche aus Mehrleistungen, unabhängig der Höhe der Mehrleistung und unabhängig der Höhe der Honorareinnahmen, ausgeschlossen" worden seien, nicht mehr tragbar. Das ist insoweit richtig. Der Spitalrat zog dann aber den Schluss, es genüge, wenn nun anstelle der allgemeinen Pauschalierung konkret im Einzelfall die Überzeit ausgerechnet und der entsprechende Überzeitlohn dann mit den ausbezahlten Poolgeldern verrechnet werde. Das kantonale Gericht hat dies bestätigt und erwogen, § 10 Honorargesetz verstosse nur insofern gegen Art. 13 ArG, als die Bestimmung nach ihrem Wortlaut auch finanzielle Kompensationen von Überzeit wegbedinge, die im Einzelfall nicht durch die Höhe der erhaltenen Honorare gedeckt sei.
Dem ist nicht zu folgen. Die Bundesrechtswidrigkeit kantonaler Normen hat deren Nichtanwendbarkeit im Einzelfall zur Folge (AUER/MALINVERNI/HOTTELIER, a.a.O., Rz. 1070; ARNOLD MARTI, in: Zürcher Kommentar, 3. Aufl. 1998, N. 273 Vorb. Art. 5 und 6 ZGB; GIOVANNI BIAGGINI, in: Staatsrecht, Biaggini/Gächter/Kiener [Hrsg.], 2011, S. 108; BGE 135 V 134 E. 4.5 S. 140; 129 I 346 E. 3.1 S. 350). Es bleibt daher beim bundesrechtlichen Anspruch auf Überzeitentschädigung. Eine Kompensation dieses Anspruchs im Einzelfall durch andersartige Entschädigungen schliesst das Arbeitsgesetz wie dargelegt aus. Der Beschwerdeführer hat somit Anspruch auf den geltend gemachten Überzeitlohn von Fr. 131'957.- zusätzlich zu den erhaltenen Poolgeldern.
6. Das Bundesgericht kann reformatorisch oder kassatorisch entscheiden. Es entscheidet eher reformatorisch, wenn dies im Einzelfall aufgrund der konkreten Sach- und Rechtslage möglich ist (Art. 107 Abs. 2 BGG; vgl. UELI MEYER/JOHANNA DORMANN, Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 12 zu Art. 107 BGG).
Der Beschwerdeführer verlangt nebst der Bezahlung von Fr. 131'957.- 5% Zins auf Fr. 45'875.15 seit 1. August 2009 und 5% Zins auf Fr. 86'081.85 seit 16. November 2009. Das USZ lehnt die Verzugszinsforderung ab, einerseits weil keine genügende Mahnung vorliege und andererseits weil die Zinsforderung nicht Gegenstand der ursprünglichen Verfügung gewesen sei, was sie aber nach kantonalem Recht hätte sein müssen. Das Verwaltungsgericht hat die Frage nicht beurteilt, weil es die Forderung ohnehin abwies. Die Sache ist aufgrund der gegebenen Umstände an die Vorinstanz zurückzuweisen, damit sie über diesen noch nicht beurteilten Punkt entscheidet.
7. Der Beschwerdegegner hat dem Verfahrensausgang entsprechend die Kosten zu tragen (Art. 66 Abs. 1 BGG). Da er zwar Gemeinwesen, aber als Arbeitgeber in seinen Vermögensinteressen betroffen ist, findet der Ausnahmetatbestand von Art. 66 Abs. 4 BGG keine Anwendung (BGE 136 I 39 E. 8.1.4 S. 41). Der Beschwerdegegner hat überdies eine Parteientschädigung an den Beschwerdeführer zu bezahlen (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne teilweise gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Zürich, 4. Abteilung, vom 7. Oktober 2011 aufgehoben und festgestellt wird, dass der Beschwerdegegner dem Beschwerdeführer Überzeitlohn von Fr. 131'957.- zu bezahlen hat. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie im Sinne der Erwägungen bezüglich Zins und bezüglich Kosten des vorinstanzlichen Verfahrens entsprechend dem Ausgang des Verfahrens vor dem Bundesgericht neu entscheide.
2. Die Gerichtskosten von Fr. 3000.- werden dem Beschwerdegegner auferlegt.
3. Der Beschwerdegegner hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 6000.- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, schriftlich mitgeteilt.
Luzern, 23. August 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz