Sachverhalt:
A. X._ und A._ gründeten 1991 mit einem dritten Partner die Vermögensverwaltungsfirma B._ AG in Zürich. 1993 gründeten die drei Gesellschafter eine weitere Firma namens B._ mit Sitz auf den British Virgin Islands (nachfolgend: B._ BVI). Für diese Firma eröffneten sie bei der C._ Private Bank ein Konto, das wirtschaftlich betrachtet ihr eigenes war, und wickelten hierüber umfangreiche Geschäfte ab.
Per 1. Januar 2000 wandelten sie im Rahmen einer Umstrukturierung die B._ AG in eine Holdinggesellschaft, die B._ Holding AG, um, während eine Tochtergesellschaft unter der Firma B._ AG das operative Vermögensverwaltungsgeschäft weiterführte. Sie verwendeten das Konto der B._ BVI dabei namentlich für die Vereinnahmungen von Geschäftserträgen, die der B._ Holding AG oder der B._ AG zustanden.
X._ bekleidete bei der B._ AG (später B._ Holding AG) bis 31. Januar 2001 die Funktion als Direktor mit Einzelzeichnungs- sowie bis 31. Mai 2004 mit Kollektivzeichnungsberechtigung. Bei der am 1. Januar 2000 entstandenen neuen B._ AG war er vom 9. Juni 2000 bis 1. November 2001 Direktor mit Einzel-, anschliessend bis 31. Mai 2004 Generaldirektor mit Kollektivunterschrift.
X._ und A._ leiteten vom 3. Februar 1993 bis 31. Dezember 2003 gemeinsam die Geschäfte der B._ AG bzw. B._ Holding AG und der neuen B._ AG, wobei jeder in seinem Tätigkeitsbereich mit selbständigen Entscheidungsbefugnissen ausgestattet war. Neben diesen beiden Aktionären waren stets bis zu fünf verschiedene Mitarbeiter als Minderheitsaktionäre an den Gesellschaften beteiligt.
Die Anklage geht zusammenfassend davon aus, X._ und A._ hätten vom 5. Juli 1995 bis zum 4. Mai 2001 Verwaltungsgebühren von insgesamt Fr. 1'156'115.-- und Platzierungskommissionen im Wert von Fr. 1'538'938.-- nicht auf die Konten der berechtigten B._ Holding AG bzw. der B._ AG gebucht, sondern sie auf das Konto der B._ BVI überwiesen bzw. überweisen lassen. Dadurch seien der B._ Holding AG und der B._ AG ein Schaden von insgesamt Fr. 2'695'053.-- entstanden. Diesen Schaden hätten sie zumindest billigend in Kauf genommen. Indem sie dieses Geld ins Ausland überwiesen und anschliessend auf steuerlich nicht deklarierte Privatkonten weitergeleitet oder bar abgehoben hätten, sei der "paper-trail" unterbrochen worden. Dadurch hätten sie in Kauf genommen, die Herkunftsermittlung des Geldes und dessen Einziehung zu vereiteln. Sie hätten dabei während sechseinhalb Jahren nach der Art eines Berufes gehandelt.
B. Das Bezirksgericht Zürich verurteilte X._ am 10. Dezember 2009 wegen mehrfacher qualifizierter ungetreuer Geschäftsbesorgung und mehrfacher Urkundenfälschung sowie qualifizierter Geldwäscherei und mehrfachen Steuerbetrugs zu einer Freiheitsstrafe von zwölf Monaten, unter Anrechnung von zwei Tagen Untersuchungshaft, und zu einer Geldstrafe von 90 Tagessätzen zu Fr. 200.--. Den Vollzug der Freiheitsstrafe schob das Gericht bei einer Probezeit von zwei Jahren auf. Die Geldstrafe fällte es unbedingt aus.
Das Obergericht des Kantons Zürich bestätigte am 31. Mai 2011 den Schuldspruch und die ausgefällten Strafsanktionen.
C. X._ erhebt Beschwerde in Strafsachen. Er beantragt, er sei von den Vorwürfen der mehrfachen qualifizierten ungetreuen Geschäftsbesorgung, der mehrfachen Urkundenfälschung, der gewerbsmässigen Geldwäscherei und des mehrfachen Steuerbetrugs freizusprechen. Eventualiter sei das Urteil des Obergerichts des Kantons Zürich aufzuheben und zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Kosten des Verfahrens seien auf die Staatskasse zu nehmen. Ausserdem verlangt X._ für die persönlichen Umtriebe in den vorinstanzlichen Verfahren und für die Verteidigungskosten eine angemessene Entschädigung.

Erwägungen:
1. 1.1 Die Vorinstanz erwägt, es sei auch im Berufungsverfahren unbestritten geblieben, dass der B._ Holding AG und der B._ AG Erträge von nahezu 2,7 Mio. Franken zugestanden hätten und zugeflossen wären. Der Beschwerdeführer und A._ hätten ihre Vertragspartner jedoch angewiesen, die Zahlungen auf das von ihnen beherrschte Konto der B._ BVI zu leisten. Die B._ BVI sei nie mit den anderen Gesellschaften verbunden gewesen und habe auch nie in einer Mutter-Tochter-Beziehung mit ihnen gestanden. Der Beschwerdeführer und A._ hätten dadurch mit Wissen und Willen eine Vermehrung der Aktiven der beiden schweizerischen Gesellschaften verhindert. Gleichzeitig hätten sie es zugelassen, dass die B._ BVI Vermögenswerte erhalten habe, auf die sie keinerlei Anspruch gehabt habe, weshalb in diesem Umfang eine ungerechtfertigte Bereicherung vorliege (angefochtenes Urteil, S. 49 f.).
Der Beschwerdeführer und A._ hätten nie behauptet, sie seien die einzigen Aktionäre der B._ Holding AG bzw. der B._ AG gewesen. Von einer wirtschaftlichen Identität könne keine Rede sein. Dies werde auch durch den Umstand illustriert, dass sich die Rentenanstalt/Swisslife im Jahre 2001 an einer Kapitalerhöhung der B._ Holding AG mit 25 % beteiligt habe (angefochtenes Urteil, S. 50 f.).
Weiter sei unbestritten, dass der Beschwerdeführer und A._ eine unrechtmässige Bereicherung zum Nachteil des Schweizer Fiskus beabsichtigt hätten. Obwohl weder seitens der Gesellschaften, noch von deren Verwaltungsgräten oder Aktionären ein entsprechender Vorwurf erhoben oder konkretisiert worden sei, hätten die Buchungen über die B._ BVI zumindest vorübergehend zu einer ungerechtfertigten Bereicherung dieser Gesellschaft geführt, da ihr kein Anspruch auf irgendwelche Erträge der B._ Holding AG bzw. der B._ AG zugestanden habe. Die B._ BVI habe denn auch nie substanzielle Forderungen gegenüber diesen Gesellschaften gehabt (angefochtenes Urteil, S. 51).
Die Behauptung treffe nicht zu, die von der B._ BVI vereinnahmten Erträge der B._ Holding AG bzw. der B._ AG wären dem Beschwerdeführer und A._ mit Zustimmung von Verwaltungsrat und Aktionären auch bei einer ordnungsgemässen Buchung als Gehalt oder Entschädigungen zugeflossen. Es handle sich um eine unbelegte Schutzbehauptung. Aus den Protokollen der Generalversammlungen und den förmlichen Einladungen gehe hervor, dass die beiden Geschäftsleiter nicht frei hätten schalten und walten können. Es habe sich zudem um namhafte Beträge gehandelt, was gegen eine stillschweigende Ermächtigung des Beschwerdeführers und von A._ spreche (angefochtenes Urteil, S. 53 f.). Zu ihren Gunsten sei allerdings davon auszugehen, dass die über die B._ BVI gebuchten Beträge zu geringeren Netto-Ausfällen bei der B._ Holding AG bzw. der B._ AG geführt hätten als in der Anklage behauptet. Dies sei deshalb der Fall, weil den vereinnahmten knapp 2,7 Mio. Franken auch ein gewisser Aufwand gegenübergestanden habe (angefochtenes Urteil, S. 55).
1.2 Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt und deshalb bei der Beurteilung des Tatbestandes der ungetreuen Geschäftsbesorgung zu Unrecht den (Eventual-)Vorsatz zur Vermögensschädigung der Gesellschaft und die Absicht des direkten Vorsatzes zur unrechtmässigen Bereicherung gemäss <ref-law> angenommen. Indem die Vorinstanz einen reinen Aktenprozess durchgeführt habe, habe sie seine Parteirechte und damit den Grundsatz des rechtlichen Gehörs verletzt (Beschwerde, S. 7). Die Vorinstanz verletze bei ihrer Sachverhaltsfeststellung überdies den Grundsatz "in dubio pro reo" als Beweiswürdigungsregel. Die vorinstanzlichen Tatsachenfeststellungen zum Nachweis der subjektiven Tatbestandsvoraussetzungen seien offensichtlich unvollständig und unrichtig (Beschwerde, S. 5 f.). Er sei nie zu einem allfälligen direkten Vorsatz befragt worden. Er habe in der Untersuchung immer geltend gemacht, keine Absicht gehabt zu haben, seinem Unternehmen zu schaden. Er habe lediglich beabsichtigt, die Besteuerung seines persönlichen Einkommens zu vermeiden.
Der Beschwerdeführer führt aus, es sei unbestrittenermassen seine Absicht gewesen, zusammen mit A._ die gesamten Erträge der B._ BVI in Anspruch zu nehmen, was aber auch in Bezug auf die B._ AG der Fall gewesen wäre. Der Verwaltungsrat sei über die Aktivitäten der B._ BVI orientiert gewesen, weshalb sie von der Billigung ihres Vorgehens hätten ausgehen dürfen. Gegenteilige Zeugenaussagen entsprächen nicht der Wahrheit. Aus den von der Vorinstanz zitierten Generalversammlungsprotokollen ergebe sich nichts Belastendes. Die Geschäftsleitung habe mangels Organisationsreglement und Interventionen des Verwaltungsrats oder der Generalversammlung die Löhne und Boni frei festlegen können (Beschwerde, S. 9-14). Auch wenn die Erträge der B._ BVI in die B._ AG geflossen wären, hätten sie keinerlei Anlass gehabt, diese in der Gesellschaft zu belassen. Da sie über ihre Bezüge und derjenigen der übrigen Portfoliomanager allein hätten entscheiden können, wären diese Erträge als Geschäftsaufwand im Sinne von Boni und Umsatzbeteiligungen verbucht worden (Beschwerde, S. 14 f.).
Das Vorgehen von ihm und A._ habe auf die Finanzlage der B._ AG keinerlei Einfluss gehabt. Entgegen der Vorinstanz habe er nie einen Schaden zulasten der B._ Holding AG bzw. der B._ AG eingeräumt (Beschwerde, S. 15 f.). Den Gesellschaften sei auch kein Schaden entstanden. Da er davon habe ausgehen können, ein Anrecht auf die Einkünfte zu haben, habe ihm die Absicht gefehlt, sich unrechtmässig zu bereichern (Beschwerde, S. 16-18).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 2.4 mit Hinweis; vgl. zum Begriff der Willkür <ref-ruling> E. 2.4 mit Hinweisen).
1.4 Nach dem sogenannten Treuebruchtatbestand der ungetreuen Geschäftsbesorgung (<ref-law>) wird mit Freiheitsstrafe bis zu drei Jahren oder Geldstrafe bestraft, wer aufgrund des Gesetzes oder eines Rechtsgeschäfts damit betraut ist, Vermögen eines andern zu verwalten oder eine solche Vermögensverwaltung zu beaufsichtigen, und dabei unter Verletzung seiner Pflichten bewirkt oder zulässt, dass der andere am Vermögen geschädigt wird (ausführlich zum Wesen und Inhalt der ungetreuen Geschäftsbesorgung vgl. die Ausführungen im Urteil des Bundesgerichts 6B_223/2010 vom 13. Januar 2011 E. 3.3.1, 3.3.2 und 3.3.3 mit Hinweisen; zum Begriff des Vermögensschadens <ref-ruling> E. 3.1). Als Qualifikationsgrund tritt in <ref-law> das Handeln in Bereicherungsabsicht hinzu (hierzu in E. 2).
1.5 Die Vorinstanz begründet ausführlich, inwiefern der Beschwerdeführer und A._ im Rahmen ihrer beruflichen Stellung die Vermögensinteressen derjenigen Personen, deren Gelder die B._ AG bzw. B._ Holding AG verwaltete, verletzt hatten. Der Beschwerdeführer und A._ verhinderten mit Wissen und Willen eine Vermehrung der Aktiven der beiden Gesellschaften in der Schweiz. Die Buchungen über die B._ BVI führten mindestens vorübergehend zu einer ungerechtfertigten Bereicherung dieser Gesellschaft, der kein Anspruch auf Erträge der B._ AG zustand. Die B._ BVI war nie mit den anderen Gesellschaften verbunden gewesen und stand auch nie in einer Mutter-Tochter-Beziehung mit ihnen.
1.6 Der Beschwerdeführer zeigt in seiner über weite Strecken appellatorischen Kritik am vorinstanzlichen Urteil nicht auf, inwiefern die Vorinstanz den Sachverhalt willkürlich festgestellt hätte. Er räumt selber ein, dass es die Absicht von ihm und A._ gewesen sei, die gesamten Erträge der B._ BVI für sich selber in Anspruch zu nehmen. Die vorgebrachte Relativierung, dass sie dies auch bei der B._ AG gemacht hätten, wenn das Geld dort geblieben wäre, kann die willkürfreien Ausführungen der Vorinstanz nicht in Frage stellen. Sie stützt sich einerseits auf die Protokolle der Generalversammlungen und andererseits auf die förmlichen Einladungen zu diesen Versammlungen. Aus diesen Dokumenten geht hervor, dass der Beschwerdeführer und A._ in Entschädigungsfragen keine Generalermächtigung besassen und entsprechend nicht frei schalten und walten konnten. So sind die ausgewiesenen Gewinne nicht (und schon gar nicht automatisch) als Bonus an die beiden Gesellschafter gegangen, ebenso sind etwa Fragen der Dividendenausschüttung kontrovers diskutiert worden. Die Vorinstanz verneint angesichts der namhaften Beträge auch eine stillschweigende Ermächtigung des Beschwerdeführers und von A._. Dies ist nicht zu beanstanden.
Die Vorinstanz hat damit den objektiven und subjektiven Tatbestand der ungetreuen Geschäftsbesorgung gemäss <ref-law> zu Recht bejaht.
2. 2.1 Handelt der Täter bei der ungetreuen Geschäftsbesorgung in der Absicht, sich oder einen andern unrechtmässig zu bereichern, kann auf Freiheitsstrafe von einem Jahr bis zu fünf Jahren erkannt werden (<ref-law>).
Das Bezirksgericht erwägt, der Beschwerdeführer und A._ hätten den Schaden der B._ Holding AG bzw. der B._ AG auf ihrem Weg zu ihrer primären Intention der "Steueroptimierung" in Kauf genommen (erstinstanzliches Urteil, S. 46 f.). Die Vorinstanz führt weiter aus, es sei unbestritten, dass der Beschwerdeführer und A._ "mit Ihrem Handeln eine unrechtmässige Bereicherung zum Nachteil des Schweizer Fiskus" beabsichtigt hätten (angefochtenes Urteil, S. 51).
2.2 Die Vorinstanz erwägt in diesem Zusammenhang zutreffend, dass der Tatbestand der ungetreuen Geschäftsbesorgung die Vermögensinteressen der durch den Geschäftsführer vertretenen Personen (vorliegend die B._ Holding AG und die B._ AG) und nicht diejenigen des Fiskus schützt (angefochtenes Urteil, S. 51). Die Vorinstanz stellt fest, dass der Beschwerdeführer mit der inkriminierten Tätigkeit seine Steuerbelastung optimieren wollte. Neben dieser Bereicherungsabsicht zulasten des Fiskus, nahm er jedoch zusätzlich (wie in E. 1.6. ausgeführt) eine ungerechtfertigte Bereicherung zum Nachteil der B._ Holding AG bzw. der B._ AG zumindest in Kauf. Der Schuldspruch wegen qualifizierter ungetreuer Geschäftsbesorgung zulasten dieser beiden Gesellschaften verletzt daher kein Bundesrecht.
2.3 Auf die Rüge des Beschwerdeführers, die Vorinstanz habe ihn nicht ausdrücklich zum subjektiven Tatbestand der qualifizierten ungetreuen Geschäftsbesorgung befragt, ist nicht einzutreten. Die Vorinstanz machte den Beschwerdeführer zu Beginn der Hauptverhandlung darauf aufmerksam, dass das Berufungsverfahren ein Aktenprozess sei und aus diesem Grund nicht das ganze Beweisverfahren wiederholt werde (HV-Protokoll, act. 59, S. 5 der Vorakten). Die Vorinstanz räumte dem Beschwerdeführer im Rahmen der Befragung zur Sache zudem die Gelegenheit ein, von sich aus Ergänzungen zum Sachverhalt anzubringen. Ebenfalls bestand die Gelegenheit, weitere Fragen zur Sache durch den anwesenden Verteidiger des Beschwerdeführers zu stellen (HV-Protokoll, act. 59, S. 12 der Vorakten). In beiden Fällen machten der Beschwerdeführer bzw. sein Rechtsvertreter davon keinen Gebrauch. Nach dem Grundsatz von Treu und Glauben ist es nicht zulässig, verfahrensrechtliche Einwendungen, welche in einem früheren Verfahrensstadium hätten geltend gemacht werden können, noch später vorzubringen (<ref-ruling> E. 2; <ref-ruling> E. 2a). Der Beschwerdeführer hätte deshalb die Rüge der fehlenden Befragung zum subjektiven Tatbestand der qualifizierten ungetreuen Geschäftsbesorgung bereits im Rahmen der vorinstanzlichen Befragung zur Sache vorbringen müssen.
3. 3.1 Der Beschwerdeführer wendet sich gegen den Schuldspruch wegen Urkundenfälschung und Steuerbetrugs. Die Vorinstanz verstosse gegen Bundesrecht, indem sie die für die Sachverhaltsdarstellung notwendigen Beweise nicht erhoben habe und bei der Beurteilung des subjektiven Tatbestandsmerkmals des Steuerbetrugs von einem offensichtlich unrichtigen Sachverhalt ausgehe. Er habe sich persönliche Steuervorteile verschaffen, nie aber für die Gesellschaft Steuern hinterziehen wollen. Wenn ihm die Vorinstanz einerseits eine Schädigung der Gesellschaften und andererseits gestützt auf denselben Sachverhalt eine Falschbeurkundung sowie eine Steuerhinterziehung zugunsten derselben Gesellschaften vorwerfe, bestehe darin ein Widerspruch. Die Erträge der Gesellschaften wären bei korrekter Verbuchung als steuerfreier Aufwand für sein persönliches Einkommen verwendet worden. Die Anklageschrift und die Vorinstanz stützten sich zudem auf falsche bzw. unbestimmte Beträge, die dem Fiskus entzogen worden sein sollen. Er sei vom Vorwurf des Steuerbetrugs und der Urkundenfälschung freizusprechen (Beschwerde, S. 18 ff.).
3.2 Die Vorinstanz erwägt, der Beschwerdeführer und A._ hätten als geschäftsleitende Organe der B._ Holding AG bzw. der B._ AG die Verantwortung für eine korrekte Buchhaltung und die Erstellung von Jahresrechnung und Bilanz übernommen. Die bewusste schlechtere Darstellung der Ertragslage dieser Gesellschaften sei zumindest potentiell geeignet gewesen, vermögensrechtliche Ansprüche anderer Aktionäre zu beeinträchtigen oder zu gefährden. Dieses Vorgehen habe darauf abgezielt, Erträge der B._ Holding AG bzw. der B._ AG vorzuenthalten und diese persönlich ohne steuerliche Abgabe zu vereinnahmen. Zur Vertuschung hätten sie falsche Urkunden (Erfolgsrechnungen und Bilanzen) erstellt. Selbst wenn die unrealistische These des Beschwerdeführers zutreffen sollte, wonach auch bei einer korrekten Verbuchung der Erträge und Aufwände keine höheren Steuerforderungen resultiert hätten, ändere dies nichts am Zweck der Falschbuchungen, Steuern zu hinterziehen (angefochtenes Urteil, S. 57 ff.).
3.3 Gemäss <ref-law> macht sich der Urkundenfälschung schuldig, wer in der Absicht, jemanden am Vermögen oder an andern Rechten zu schädigen oder sich oder einem andern einen unrechtmässigen Vorteil zu verschaffen, eine Urkunde fälscht oder verfälscht, die echte Unterschrift oder das echte Handzeichen eines andern zur Herstellung einer unechten Urkunde benützt oder eine rechtlich erhebliche Tatsache unrichtig beurkundet oder beurkunden lässt.
Den Tatbestand des Steuerbetrugs gemäss <ref-law> bzw. § 261 Abs. 1 StG/ZH erfüllt, wer zum Zwecke einer Steuerhinterziehung im Sinne der Art. 175-177 DBG bzw. §§ 235-237 StG/ZH gefälschte, verfälschte oder inhaltlich unwahre Urkunden wie Geschäftsbücher, Bilanzen, Erfolgsrechnungen oder Lohnausweise und andere Bescheinigungen Dritter zur Täuschung gebraucht.
3.4 Die Vorbringen des Beschwerdeführers zur vorinstanzlichen Sachverhaltsfeststellung im Zusammenhang mit dem Schuldspruch wegen Urkundenfälschung und Steuerbetrugs gehen fehl. Ein Widerspruch in der Argumentation der Vorinstanz ist nicht auszumachen. Eine Schädigung der B._ Holding AG und der B._ AG und eine Falschbeurkundung sowie Steuerhinterziehung bzw. Steuerbetrug zum Vorteil dieser Gesellschaften schliessen sich nicht aus. Ein zu tiefer Gewinnausweis schädigt die Gesellschaft auch, wenn diese in der Folge Steuern bezahlen muss. Die Vorinstanz stellt denn auch zutreffend fest, dass es dem Beschwerdeführer und A._ darum ging, der B._ Holding AG bzw. der B._ AG zustehende Erträge vorzuenthalten und gleichzeitig diese Erträge ohne Steuerabgabe zu vereinnahmen (angefochtenes Urteil, S. 58 f.). Der Einwand des Beschwerdeführers, wonach bei einer korrekten Verbuchung automatisch höhere Aufwände für sein persönliches Einkommen resultiert hätten, ist, wie bereits in E. 1.6 ausgeführt wurde, nicht stichhaltig.
4. Der weitere Vorwurf des Beschwerdeführers, die Anklageschrift und die Vorinstanz stützten sich auf falsche bzw. unbestimmte Beträge, die dem Fiskus entzogen worden seien, kann nichts am Schuldspruch wegen Steuerbetrugs und Urkundenfälschung ändern. Die Vorinstanz erwägt hierzu, dass sich eine genaue Schadensberechnung nicht erstellen lasse und auch eine ungefähre Berechnung mit grossen Unsicherheiten behaftet sei. Zu seinen Gunsten sei daher anzunehmen, dass die Netto-Ausfälle für die B._ Holding AG bzw. die B._ AG nur einen Bruchteil der 2,7 Mio. Franken gemäss Anklageschrift ausmachten (angefochtenes Urteil, S. 55). Die Vorinstanz berücksichtigt diesen Umstand im Rahmen der Strafzumessung, was nicht zu beanstanden ist. Der Beschwerdeführer beanstandet die vorinstanzliche Strafzumessung nicht. Er macht auch nicht geltend, ihm sei unklar, welche Delikte ihm die Anklageschrift vorwerfe.
5. 5.1 Nicht einzutreten ist auf den Antrag des Beschwerdeführers, ihn vom Vorwurf der gewerbsmässigen Geldwäscherei freizusprechen, da er in seiner Beschwerde in keiner Weise begründet, inwiefern die Vorinstanz bei ihrem Schuldspruch Bundesrecht verletzt hat (<ref-law>).
5.2 Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind dem Beschwerdeführer die Gerichtskosten aufzuerlegen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 22. Juni 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: Keller