Sachverhalt:
A. Y._ (Beschwerdegegner) ist Rechtsanwalt und Partner in der Anwaltskanzlei W._ in A._. Er vertritt seit Jahren den russischen Staatsangehörigen V._ und dessen Unternehmung U._ AG mit Sitz in A._ und ist zudem deren Verwaltungsrat.
X._ (Beschwerdeführer) ist Inhaber eines schweizerischen Anwaltspatents und ist bzw. war als Verwaltungsrat und/oder Sekretär mehrerer Unternehmen tätig. Seit 2006 führt er gegen den Beschwerdegegner eine E-Mail-Kampagne. Er wirft ihm in zahlreichen E-Mails gegenüber ausgewählten Adressaten (darunter Mitarbeitern der Kanzlei W._, Mitgliedern des Zürcher Anwaltsverbandes und Mitarbeitern diverser Banken sowie Behörden) illegales bzw. strafbares Verhalten vor. Diese Kampagne steht vor dem Hintergrund einer angeblichen Geschäftsbeziehung zwischen dem Beschwerdeführer und V._ und/oder der U._ AG. Der Beschwerdeführer geht davon aus, dass ihm aus dieser Beziehung finanzielle Ansprüche zustehen. Da er keine Möglichkeit sah, die ihm angeblich gegen V._ und/oder die U._ AG zustehenden Forderungen geltend zu machen, entschied er sich, gegen den Beschwerdegegner als Verwaltungsrat der U._ AG vorzugehen. Demgegenüber verzichtete der Beschwerdeführer darauf, auf dem Rechtsweg ernsthafte Schritte zur Durchsetzung seiner angeblichen Forderungen gegen V._ und/oder die U._ AG zu unternehmen.
B. B.a Am 20. März 2009 klagte der Beschwerdegegner gegen den Beschwerdeführer und beantragte die Feststellung der Verletzung seiner Persönlichkeit durch den Inhalt zahlreicher E-Mails aus dem Zeitraum vom Februar 2007 bis März 2009. Zudem verlangte er, es sei dem Beschwerdeführer unter Androhung der Bestrafung gemäss <ref-law> im Fall der Widerhandlung zu verbieten, entsprechende Behauptungen aufzustellen oder die beanstandeten Aussagen weiterzuverbreiten. Zusammengefasst geht es um Behauptungen bzw. Äusserungen, der Beschwerdegegner habe kriminell gehandelt oder kriminelle Handlungen unterstützt, gefördert oder geduldet oder sei in solche verstrickt (insbesondere gewerbsmässiger Betrug, Steuerbetrug, Urkundenfälschung, Veruntreuung, Geldwäscherei, Bestechung etc.) oder er sei sich bewusst gewesen, dass Klienten oder Gesellschaften, bei denen er Organfunktion habe, kriminell gehandelt oder kriminelle Handlungen unterstützt, gefördert oder geduldet hätten oder in solche verstrickt gewesen seien und davon profitiert hätten; der Beschwerdegegner habe widerrechtlich gehandelt oder solche Handlungen unterstützt, gefördert, geduldet oder gedeckt oder er sei in solche Handlungen verstrickt; er habe Gelder am russischen Fiskus vorbei und unter Verletzung der Kapitalexportbestimmungen der Russischen Föderation in die Schweiz transferiert; er habe V._ eine Struktur für widerrechtliche Handlungen aufgebaut oder ihn dabei unterstützt; die vom Beschwerdegegner oder einem seiner Partner vertretenen Strukturen stünden mit dem organisierten Verbrechen in Osteuropa oder Russland in Verbindung; der Beschwerdegegner habe den Beschwerdeführer angelogen und nehme es mit der Wahrheit und der anwaltlichen Berufsethik nicht so ernst; der Beschwerdegegner habe die Bezahlung von Schmiergeld unterstützt oder selber solches bezahlt; er habe gesagt, es sei in Russland normal, Schmiergelder zu zahlen und dass er eine Struktur schaffen würde, um solche Zahlungen zu verschleiern; durch seine Tätigkeit seien natürliche oder juristische Personen (insbesondere der Beschwerdeführer) geschädigt worden; Geldinstitute würden die Zusammenarbeit mit dem Beschwerdegegner ablehnen oder hätten dies getan; er werde gedeckt und an ihn komme man nicht heran; der Beschwerdegegner habe ein Haus in Südfrankreich; der Beschwerdeführer habe eine Strafanzeige gegen den Beschwerdegegner eingereicht oder es werde ein Strafverfahren gegen ihn geführt oder sei geführt worden; es laufe gegen den Beschwerdegegner, einen seiner Kanzleipartner oder eine von ihnen errichtete Gesellschaft eine Untersuchung wegen Geldwäscherei; der Beschwerdegegner hole dreckiges Russengeld in die Schweiz, habe Russenschweine als Klienten, sei geldgeil und unter seinen Klienten habe es ganz gefährliche Typen; ein Mitarbeiter der Bank T._ habe die Bank wegen des Beschwerdegegners verlassen müssen; er sei ein Anwalt, der alles mache; er manipuliere die Compliance der T._ oder anderer Banken; er oder seine Kanzlei erhalte von Banken Zahlungen als Kommissionen, Retrozessionen, Finder Fees oder ähnliches.
Der Beschwerdegegner beantragte ausserdem, dem Beschwerdeführer - wiederum unter Androhung der Strafe gemäss <ref-law> - zu verbieten, die vom Beschwerdeführer bei Behörden im In- oder Ausland gegen den Beschwerdegegner und Dritte eingereichte Strafanzeige oder andere Akten, Verfügungen oder Protokolle aus dem Strafverfahren weiterzugeben oder Dritten zugänglich zu machen, sowie schliesslich, die Einkommenszahlen des Beschwerdegegners Dritten zugänglich zu machen.
B.b Mit Urteil vom 1. November 2010 stellte das Bezirksgericht die widerrechtliche Verletzung der Persönlichkeit des Beschwerdegegners durch die Äusserungen des Beschwerdeführers in den E-Mails fest und verbot ihm, die beanstandeten Äusserungen gegenüber Dritten schriftlich oder mündlich, ausdrücklich oder sinngemäss zu machen, mit Ausnahme von Aussagen in hängigen und künftigen Strafuntersuchungen, Straf- und Zivilprozessen sowie in Gesprächen, die dem anwaltlichen Berufsgeheimnis unterstehen. Das Bezirksgericht verbot dem Beschwerdeführer des Weiteren (wiederum mit den genannten Ausnahmen), Dritten von ihm bei Behörden im In- oder Ausland gegen den Beschwerdegegner und/oder allfällige Dritte eingereichte Strafanzeigen und/oder andere Akten, Verfügungen oder Protokolle aus damit zusammenhängenden Strafverfahren weiterzugeben oder zugänglich zu machen, sowie, Dritten die Einkommenszahlen des Beschwerdegegners zugänglich zu machen. Die Verbote versah das Bezirksgericht mit der Androhung der Ungehorsamsstrafe gemäss <ref-law>.
C. Am 24. November 2010 erklärte der Beschwerdeführer Berufung. Er beantragte die Aufhebung des bezirksgerichtlichen Urteils und die Abweisung der Klage sowie eventualiter die Reduktion der erstinstanzlichen Gerichtsgebühr und Parteientschädigung.
Mit Urteil vom 29. November 2011 bestätigte das Obergericht des Kantons Zürich das Urteil des Bezirksgerichts in der Sache, reduzierte jedoch die Parteientschädigung für das erstinstanzliche Verfahren geringfügig.
D. Am 23. Januar 2012 hat der Beschwerdeführer gegen das obergerichtliche Urteil Beschwerde in Zivilsachen erhoben. Er beantragt dessen Aufhebung. Auf die Klage des Beschwerdegegners sei nicht einzutreten, eventualiter sei sie abzuweisen. Allenfalls sei die Sache zur Sachverhaltsergänzung und neuer Beurteilung an das Obergericht zurückzuweisen.
Nach entsprechender Aufforderung reichte der Beschwerdeführer fristgerecht das angefochtene Urteil nach.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist binnen Frist (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 1 lit. c i.V.m. <ref-law>) ein kantonal letztinstanzlicher, von einer Rechtsmittelinstanz erlassener Endentscheid (Art. 75, 90 BGG). Die Beschwerde betrifft eine persönlichkeitsrechtliche Angelegenheit und damit eine Zivilsache (<ref-law>) nicht vermögensrechtlicher Natur (<ref-ruling> E. 1a S. 483; Urteil 5A_445/2010 vom 30. November 2010 E. 1 mit Hinweisen).
1.2 Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG gerügt werden. In der Beschwerdebegründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 3.3 S. 60).
Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Seine Feststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig - d.h. willkürlich (<ref-ruling> E. 1.5 S. 130 mit Hinweis) - ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>). Inwiefern diese Voraussetzungen erfüllt sein sollen, muss in der Beschwerde substantiiert begründet werden (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 5.1 S. 356). Dabei ist zu beachten, dass bei der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung das strenge Rügeprinzip (<ref-law>) gilt und demnach anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern die vorinstanzliche Sachverhaltsfeststellung willkürlich sein soll. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten (<ref-ruling> E. 1.4.2 und 1.4.3 S. 254 f.). Auf solche rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein (BGE <ref-ruling> E. 5.1 S. 356 mit Hinweis).
2. 2.1 Der Beschwerdeführer bestreitet zunächst das Rechtsschutzinteresse des Beschwerdegegners sowohl am Feststellungsbegehren wie auch an den Unterlassungsbegehren. Hinsichtlich des Feststellungsbegehrens führt er aus, die behaupteten Persönlichkeitsverletzungen stünden nicht in einem Massenmedium. Die E-Mails seien weder allgemein zugänglich noch könnten sie allgemein eingesehen werden. Zudem seien sie an Personen versandt worden, die einem Amts- oder Berufsgeheimnis unterstünden. Ferner hätte der Beschwerdegegner eine E-Mail an dieselben Adressaten schreiben und die Behauptungen zurückweisen können, was er wohl auch getan habe. Damit sei seinem Beseitigungsinteresse Genüge getan. Hinsichtlich der Unterlassungsbegehren führt der Beschwerdeführer aus, er habe seit 15. Juli 2009 keine entsprechenden Äusserungen mehr gemacht. Eine Gefahr weiterer Persönlichkeitsverletzungen bestehe demnach nicht. Auf die Klage sei folglich nicht einzutreten.
2.2 Das Obergericht hat hinsichtlich des Feststellungsinteresses auf die Ausführungen des Bezirksgerichts verwiesen. Das Bezirksgericht hat ausgeführt, die Äusserungen des Beschwerdeführers riefen bei den Empfängern einen für den Beschwerdegegner negativen Nachklang hervor und sie besässen einen entsprechenden Erinnerungswert, der sich weiterhin auswirke. Sie hätten deshalb auch heute offenkundig einen störenden Charakter (Urteil des Bezirksgerichts S. 64, 73 f., 79 und implizit auch S. 89, 92, 101 f., 107, 118). Auf diese Erwägungen, die die Vorinstanz durch die Verweisung zu ihren eigenen gemacht hat, geht der Beschwerdeführer nicht ein. Stattdessen beschränkt er sich auf die Behauptung, seine damaligen Äusserungen hätten nicht dieselben Auswirkungen wie Publikationen in Massenmedien, insbesondere was die Zugänglichkeit angehe. Im Übrigen ergänzt er den vorinstanzlich festgestellten Sachverhalt, ohne eine rechtsgenüglich begründete Sachverhaltsrüge zu erheben, wenn er geltend macht, die Empfänger der E-Mails unterstünden einem Amts- oder Berufsgeheimnis oder der Beschwerdegegner habe sich wohl per E-Mail gegenüber denselben Adressaten gegen die Vorwürfe verwahrt. Darauf ist nicht einzutreten.
Das Interesse an den Unterlassungsbegehren bestreitet der Beschwerdeführer lediglich mit der appellatorischen Behauptung, seit dem 15. Juli 2009 keine entsprechenden Äusserungen mehr gemacht zu haben. Der Beschwerdeführer verweist in diesem Zusammenhang zwar auf S. 42 f. des bezirksgerichtlichen Urteils. Daraus kann er jedoch nichts zu seinen Gunsten ableiten, denn dort ist festgehalten, dass Gegenstand der Klage einzig die bis am 9. März 2009 verbreiteten Äusserungen bildeten, dass der Beschwerdeführer aber auch später E-Mails zu denselben Themen verschickt habe. Mit den einlässlichen Ausführungen des Bezirksgerichts zur Gefahr weiterer Verletzungen (insbesondere S. 64 ff.), auf die die Vorinstanz verweist, setzt er sich hingegen nicht auseinander. Das Bezirksgericht hat dargelegt, der Beschwerdeführer bezwecke, den Beschwerdegegner durch die Anschwärzungen zu einem sachlichen Gespräch zu zwingen bzw. irgendeine Zustimmung von ihm zu erhalten. Der Beschwerdeführer habe diese Ziele zugegebenermassen noch nicht erreicht. Die Klage fasse er als Maulkorb auf. Es dürfe davon ausgegangen werden, dass er seine Äusserungen weiter verbreiten werde, zumal ihn die Klage davon nicht abgehalten habe. Zudem habe sich der Beschwerdeführer auch in einem Buch in herabsetzender Weise mit dem Beschwerdegegner befasst und er habe das einstweilige Verbot weiterer Äusserungen so zu deuten versucht, dass ihm entsprechende Aussagen dennoch weiterhin zumindest teilweise erlaubt seien. Auf all dies geht der Beschwerdeführer nicht ein.
3. 3.1 Der Beschwerdeführer macht ausserdem geltend, die Vorinstanzen hätten nicht abgeklärt, ob seine Tatsachenbehauptungen wahr seien oder nicht, obwohl er entsprechende Dokumente ins Recht gelegt habe. Es müsse wie im deutschen Recht die Regel gelten, dass der Kläger die Unwahrheit der Tatsachenbehauptungen des Beklagten beweisen müsse. Da die Unwahrheit nicht erstellt sei, müsse die Klage abgewiesen werden. Die Beweislastregel von <ref-law> sei verletzt worden. Insbesondere mit Blick auf die Vorwürfe strafbaren Verhaltens führt er aus, die Argumentation des Obergerichts treffe nicht zu, dass die Äusserung, eine Person hätte eine strafbare Handlung begangen, nur wahr sei, wenn diese Person für die betreffende strafbare Handlung rechtskräftig verurteilt worden sei. Wer behaupte, eine Person habe eine strafbare Handlung begangen, behaupte nicht, diese Person sei rechtskräftig verurteilt worden. Selbst wenn die Beweislast für die Wahrheit seiner Tatsachenbehauptungen bei ihm läge, hätte die Vorinstanz ihn zum Beweis zulassen müssen. Da sie dies nicht getan habe, sei sein Beweisführungsanspruch verletzt worden.
Bundesrechtswidrig sei schliesslich das Vorgehen des Obergerichts, auf die Prüfung von privaten oder öffentlichen Interessen als Rechtfertigungsgründe zu verzichten, da die Äusserungen unwahr seien. Willkürlich sei der Schluss der Vorinstanz, es gehe dem Beschwerdeführer darum, den Beschwerdegegner anzuschwärzen. Ihm sei es vielmehr darum gegangen, Personen, die sich durch Beteiligung an den illegalen Handlungen des Beschwerdegegners eventuell selber strafbar gemacht hätten oder weiterhin machen könnten, auf diese Tatsache und Gefahr hinzuweisen. Dies liege im öffentlichen Interesse.
3.2 Das Obergericht hat im Einklang mit dem Bezirksgericht die beanstandeten Äusserungen als Tatsachenbehauptungen bzw. gemischte Werturteile qualifiziert. Entgegen der Meinung des Beschwerdeführers haben sich das Bezirksgericht und das Obergericht, das wiederum weitgehend auf das bezirksgerichtliche Urteil verweist, zur Wahrheit der Aussagen geäussert und diese für unwahr befunden (z.B. S. 50 des obergerichtlichen Urteils mit Verweis auf S. 49 ff. des bezirksgerichtlichen Urteils). Zuweilen hat das Bezirksgericht auch als unerheblich erachtet, ob die Vorwürfe wahr seien, da jedenfalls die Art und Weise der Äusserungen des Beschwerdeführers persönlichkeitsverletzend seien (vgl. Urteil des Bezirksgerichts S. 100 f.). Während sich der Beschwerdeführer mit Letzterem gar nicht befasst, geht die Rüge der fehlerhaften Beweislastverteilung von vornherein an der Sache vorbei, soweit die Vorinstanzen einen bestimmten Sachverhalt als erwiesen erachtet haben (<ref-ruling> E. 3.4 S. 634). Soweit der Beschwerdeführer davon ausgeht, die Vorinstanzen hätten für die Bestimmung der Wahrheit seiner Vorwürfe strafbaren Verhaltens auf ein falsches Kriterium abgestellt (Vorliegen einer rechtskräftigen Verurteilung), so geht er nicht auf die detaillierten Erwägungen des Bezirksgerichts ein, wonach bei Fehlen einer rechtskräftigen Verurteilung der sich Äussernde offenlegen müsse, dass es sich einzig um seinen persönlichen Verdacht handle, eine andere Person habe sich strafbar gemacht. Warum diesbezüglich an Äusserungen von Privatpersonen weniger strenge Anforderungen als bei Massenmedien zu stellen seien, wie der Beschwerdeführer meint, führt er nicht näher aus. Hinsichtlich des behaupteten Beweisführungsanspruchs legt der Beschwerdeführer nicht dar, dass er überhaupt entsprechende Anträge gestellt hat und er begründet auch nicht, inwiefern ein allfälliges Beweisergebnis die vorinstanzliche Würdigung hätte verändern können, nachdem das Bezirksgericht festgestellt hatte, der Beschwerdeführer selber behaupte nicht einmal, der Beschwerdegegner sei rechtskräftig verurteilt worden (vgl. Urteil des Bezirksgerichts S. 51 f.).
Obschon das Bezirksgericht ausgeführt hat, unwahre Äusserungen seien grundsätzlich per se rechtswidrig (unter Hinweis auf <ref-ruling> E. 3a S. 213) und die Rechtfertigungsgründe des überwiegenden privaten oder öffentlichen Interesses müssten deshalb nicht geprüft werden, hat es dies der Vollständigkeit halber dennoch getan. Gegenüber den äusserst eingehenden Erwägungen des Bezirksgerichts, auf die die Vorinstanz wiederum verweist, beschränkt sich der Beschwerdeführer einerseits auf die Rüge, der tatsächliche Schluss sei willkürlich, es gehe ihm darum, den Beschwerdegegner anzuschwärzen. Er legt allerdings nicht detailliert dar, inwiefern dieser Schluss willkürlich sein soll. Darauf ist nicht einzutreten. Andererseits behauptet der Beschwerdeführer ein öffentliches Interesse an der Warnung von Dritten, setzt sich aber nicht damit auseinander, dass das Bezirksgericht dem Beschwerdeführer abgesprochen hat, er beabsichtige die Wahrung von Interessen des allgemeinen Geschäfts- oder Rechtsverkehrs (Urteil des Bezirksgerichts S. 60). Vielmehr gehe es ihm - wie er sogar selber hervorhebe - darum, die ausgewählten Empfänger der E-Mails gegenüber dem Beschwerdegegner systematisch und kontinuierlich bösgläubig zu machen, d.h. den Beschwerdegegner als Person darzustellen, der man weder im rechtsgeschäftlichen Verkehr noch als Anwalt Vertrauen entgegenbringen dürfe (Urteil des Bezirksgerichts S. 47). Vor Bundesgericht beruft sich der Beschwerdeführer nicht mehr auf überwiegende private Interessen, die er mit seinem Vorgehen gewahrt haben will.
3.3 Somit erweist sich die Beschwerde insgesamt als unzureichend begründet. Auf sie kann nicht eingetreten werden.
4. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Da keine Vernehmlassungen eingeholt worden sind, wird er jedoch nicht entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 10. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg