Sachverhalt:
A. Y._ und Z._ sind Rechtsanwälte und Partner in der Anwaltskanzlei W._ in A._. Y._ vertritt seit Jahren den russischen Staatsangehörigen V._ und dessen Unternehmung U._ AG mit Sitz in A._ und ist zudem deren Verwaltungsrat.
X._ ist Inhaber eines schweizerischen Anwaltspatents und ist bzw. war als Verwaltungsrat und/oder Sekretär mehrerer Unternehmen tätig. Seit 2006 führt er gegen Y._ eine E-Mail-Kampagne. Er wirft Y._ in zahlreichen E-Mails gegenüber ausgewählten Adressaten (darunter Mitarbeitern der Kanzlei W._, Mitgliedern des Zürcher Anwaltsverbandes und Mitarbeitern diverser Banken sowie Behörden) illegales bzw. strafbares Verhalten vor. Diese Kampagne steht vor dem Hintergrund einer angeblichen Geschäftsbeziehung zwischen X._ und V._ und/oder der U._ AG. X._ geht davon aus, dass ihm aus dieser Beziehung finanzielle Ansprüche zustehen.
Im Jahre 2009 gab X._ bekannt, er sei im Besitz einer Vielzahl von Unterlagen und Daten aus der Kanzlei W._.
B. Am 13. Oktober 2009 klagten Y._ und Z._ beim Bezirksgericht Zürich gegen X._ und verlangten, dem Beklagten unter Androhung der Strafe gemäss <ref-law> im Widerhandlungsfalle zu verbieten, Informationen oder Dokumente, die aus ihrer Anwaltskanzlei stammen und deren Klienten betreffen (insbesondere Namen von Klienten, Geschäftsbeziehungen und Firmenstrukturen von Klienten, wirtschaftliche Berechtigungen von Klienten an Gesellschaften und Bankkonti) zu verbreiten, direkt oder indirekt zugänglich zu machen oder zu verwerten. Zudem sei dem Beklagten unter Androhung der Strafe gemäss <ref-law> im Widerhandlungsfalle zu befehlen, alle Datenträger, Dokumente, USB Memory Sticks, Listen, Excel-Tabellen und Fotos, die aus ihrer Anwaltskanzlei stammen und deren Klienten betreffen und sich im direkten oder indirekten Besitz des Beklagten befinden, unverzüglich, spätestens aber bis zum zehnten Kalendertag nach Rechtskraft des Urteils in dieser Sache, an die Kläger herauszugeben.
Mit Urteil vom 13. Dezember 2010 schützte das Bezirksgericht die Klage und erliess die verlangten Verbote und Befehle unter Androhung der Ungehorsamsstrafe.
C. Gegen dieses Urteil erklärte X._ am 21. Dezember 2010 Berufung. Er verlangte im Wesentlichen dessen Aufhebung und die Abweisung der Klage. Mit Urteil vom 29. November 2011 bestätigte das Obergericht des Kantons Zürich das bezirksgerichtliche Urteil.
D. Am 23. Januar 2012 hat X._ (Beschwerdeführer) gegen dieses Urteil Beschwerde in Zivilsachen erhoben. Er beantragt dessen Aufhebung und die Abweisung der Klage. Eventualiter sei ihm bloss zu verbieten, die fraglichen Informationen (und nicht auch die Dokumente) zu verbreiten, zu verwerten oder Dritten zugänglich zu machen, und es sei der Herausgabebefehl (und insoweit auch die Androhung der Ungehorsamsstrafe) aufzuheben. Subeventualiter sei die Sache zur Sachverhaltsergänzung und Neubeurteilung an das Obergericht zurückzuweisen.
Nach entsprechender Aufforderung reichte der Beschwerdeführer fristgerecht das angefochtene Urteil nach.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Angefochten ist binnen Frist (Art. 100 Abs. 1 i.V.m. Art. 46 Abs. 1 lit. c i.V.m. <ref-law>) ein kantonal letztinstanzlicher, von einer Rechtsmittelinstanz erlassener Endentscheid (Art. 75, 90 BGG). Die Beschwerde betrifft eine persönlichkeitsrechtliche Angelegenheit und damit eine Zivilsache (<ref-law>) nicht vermögensrechtlicher Natur (<ref-ruling> E. 1a S. 483; Urteil 5A_445/2010 vom 30. November 2010 E. 1 mit Hinweisen).
1.2 Mit der Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 f. BGG gerügt werden. In der Beschwerdebegründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 3.3 S. 60).
Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (<ref-law>). Seine Feststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig - d.h. willkürlich (<ref-ruling> E. 1.5 S. 130 mit Hinweis) - ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>). Inwiefern diese Voraussetzungen erfüllt sein sollen, muss in der Beschwerde substantiiert begründet werden (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 5.1 S. 356). Dabei ist zu beachten, dass bei der Rüge der offensichtlich unrichtigen Sachverhaltsfeststellung das strenge Rügeprinzip (<ref-law>) gilt und demnach anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern die vorinstanzliche Sachverhaltsfeststellung willkürlich sein soll. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten (<ref-ruling> E. 1.4.2 und 1.4.3 S. 254 f.). Auf solche rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein (BGE <ref-ruling> E. 5.1 S. 356 mit Hinweis).
2. Das Obergericht ist zunächst auf Vorbringen des Beschwerdeführers hinsichtlich des Herausgabebegehrens eingegangen, die dieser im Berufungsverfahren neu vorgebracht hatte. Der Beschwerdeführer hatte neu behauptet, die fraglichen Unterlagen zwischenzeitlich vernichtet zu haben. Das Obergericht hat diese Behauptung für unbeachtlich befunden. Einerseits habe der Beschwerdeführer zwar in der Berufungsbegründung ausgeführt, er habe sich "zur Vernichtung der Dokumente entschlossen", in der Replik dann aber erklärt, die Dokumente lediglich ins Ausland verbracht zu haben. Die Unterlagen befänden sich nach dieser letzten und damit massgebenden Darstellung immer noch in seinem Herrschaftsbereich. Andererseits hätte sich der Beschwerdeführer gegen Treu und Glauben verhalten, falls er die Dokumente vernichtet und damit den Herausgabeanspruch vereitelt haben sollte, obwohl ihm bereits am 16. Oktober 2009 verboten worden sei, in irgendeiner Form über die Dokumente zu verfügen. Ein solch treuwidriges Verhalten könnte ihm keine Vorteile verschaffen. Der Herausgabeanspruch von Y._ und Z._ (Beschwerdegegner) bestehe somit weiterhin.
Im Übrigen hat das Obergericht weitgehend auf die Ausführungen des Bezirksgerichts verwiesen. Dem Beschwerdeführer seien unberechtigt umfangreiche Unterlagen und Informationen aus der Anwaltskanzlei der Beschwerdegegner zugetragen worden und er sei nicht gewillt, diese den Beschwerdegegnern zurückzugeben. Die fraglichen Unterlagen und Informationen fielen unter die von <ref-law> geschützte Persönlichkeitssphäre der Beschwerdegegner, insbesondere in den vom Anwaltsgeheimnis geschützten beruflichen Geheimbereich. Zugleich liege in der Verwendung der Unterlagen ein unrechtmässiges Bearbeiten von Daten gemäss Art. 12 lit. a-c des Bundesgesetzes vom 19. Juni 1992 über den Datenschutz (DSG; SR 235.1) und eine Verletzung von Geschäftsgeheimnissen gemäss <ref-law> (SR 241). Rechtfertigungsgründe bestünden nicht, weshalb das Unterlassungs- und das Herausgabebegehren gutzuheissen seien.
3. Der Beschwerdeführer macht geltend, die Vorinstanz habe den Sachverhalt willkürlich festgestellt. Er habe die Unterlagen vernichtet, was er bereits vor Obergericht geltend gemacht habe. Dies ergebe sich aus der Berufungsbegründung. In der Berufungsreplik habe er zwar ausgeführt, dass er einst beschlossen habe, die Unterlagen ins Ausland zu transferieren. Dabei habe er sich aber auf einen Zeitpunkt vor der Vernichtung bezogen. Dies ergebe sich bereits daraus, dass vernichtete Unterlagen nicht mehr verschoben werden könnten. Die Feststellung des Obergerichts, dass ihm verboten worden sei, über die Dokumente zu verfügen, sei unrichtig und damit willkürlich. Selbst wenn er durch die Vernichtung einen Herausgabeanspruch vereitelt habe, könne dies nicht zur Folge haben, dass er zu einer unmöglichen Herausgabe verurteilt werde. Schliesslich sei sein in <ref-law>, Art. 6 Ziff. 1 EMRK und <ref-law> gründender Anspruch auf Beweisführung hinsichtlich der Vernichtung der Dokumente verletzt worden.
4. Der Beschwerdeführer genügt den Begründungsanforderungen an eine Sachverhaltsrüge (oben E. 1.2) nicht. Er beschränkt sich darauf, der vorinstanzlichen Feststellung, wonach die Unterlagen noch in seinem Herrschaftsbereich seien, seine eigene Sachverhaltsdarstellung gegenüberzustellen. Diese stützt er lediglich auf eine andere Interpretation seiner eigenen Rechtsschriften. Darauf kann nicht eingetreten werden. Was seinen Beweisführungsanspruch angeht, so zeigt er nicht auf, dass er je einen entsprechenden Antrag auf Beweisabnahme gestellt hätte. Auf die Beschwerde kann somit insgesamt nicht eingetreten werden.
5. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Da keine Vernehmlassungen eingeholt worden sind, wird er jedoch nicht entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 10. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zingg