Sachverhalt:
A. Rechtsanwalt X._ erhob am 4. und 20. April 2011 Strafanzeige gegen Rechtsanwalt Y._ wegen Vermögensdelikten, Nötigung, Verletzung des Berufsgeheimnisses und Verleumdung. Er warf diesem vor, sich geweigert zu haben, versehentlich zugesandte Prozessunterlagen wieder auszuhändigen. Zudem habe er zwei gemeinsame Mandanten dazu genötigt, gegen ihn Strafanzeige wegen eines übersetzten Anwaltshonorars einzureichen. Weiter habe er in einem Gerichtsverfahren einen Betreibungsregisterauszug von ihm eingereicht, um so eine Sicherheitsleistung verlangen zu können. Schliesslich seien die Ausführungen, welche er in der Beschwerdeschrift jenes Verfahrens gemacht habe, ehrverletzend gewesen.
Mit Verfügung vom 2. September 2011 entschied die Staatsanwaltschaft I des Kantons Zürich, die Strafuntersuchung sei nicht anhand zu nehmen. Eine von Rechtsanwalt X._ gegen diese Verfügung erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 2. Februar 2012 ab.
B. Mit Beschwerde in Strafsachen vom 15. März 2012 ans Bundesgericht beantragt Rechtsanwalt X._, der Beschluss des Obergerichts und die Nichtanhandnahmeverfügung der Staatsanwaltschaft seien aufzuheben und gegen Rechtsanwalt Y._ sei ein (gerichtliches) Strafverfahren einzuleiten.
Das Obergericht und die Staatsanwaltschaft haben auf eine Vernehmlassung verzichtet. Der Beschwerdegegner beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Eventualiter sei der Beschwerdeführer mit seiner Entschädigungsforderung auf den Zivilweg zu verweisen. In seiner Stellungnahme dazu hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1. 1.1 Mit dem angefochtenen Entscheid wird bestätigt, dass das vom Beschwerdeführer angestrebte Strafverfahren nicht anhand genommen wird. Damit ist das Verfahren abgeschlossen. Es handelt sich um einen Endentscheid einer letzten kantonalen Instanz in einer Strafsache, gegen den die Beschwerde in Strafsachen zulässig ist (Art. 78 Abs. 1, Art. 80 Abs. 1, Art. 90 BGG).
1. 1.1 Mit dem angefochtenen Entscheid wird bestätigt, dass das vom Beschwerdeführer angestrebte Strafverfahren nicht anhand genommen wird. Damit ist das Verfahren abgeschlossen. Es handelt sich um einen Endentscheid einer letzten kantonalen Instanz in einer Strafsache, gegen den die Beschwerde in Strafsachen zulässig ist (Art. 78 Abs. 1, Art. 80 Abs. 1, Art. 90 BGG).
1.2 1.2.1 Zur Beschwerde in Strafsachen ist nach <ref-law> berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a) und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b). Nach Ziff. 5 von <ref-law> wird der Privatklägerschaft ein rechtlich geschütztes Interesse zuerkannt, wenn sich der angefochtene Entscheid auf die Beurteilung ihrer Zivilansprüche auswirken kann. Dies verlangt grundsätzlich vom Privatkläger, dass er bereits adhäsionsweise Zivilforderungen geltend gemacht hat. Ausnahmsweise, bei Nichtanhandnahme oder Einstellung des Strafverfahrens, ist auf dieses Erfordernis zu verzichten, zumal von der Privatklägerschaft in diesen Fällen nicht verlangt werden kann, dass sie bereits adhäsionsweise Zivilforderungen geltend gemacht hat. Immerhin ist jedoch erforderlich, dass im Verfahren vor Bundesgericht dargelegt wird, aus welchen Gründen sich der angefochtene Entscheid inwiefern auf welche Zivilforderungen auswirken kann, sofern dies - etwa aufgrund der Natur der Straftat - nicht ohne Weiteres aus den Akten ersichtlich ist (<ref-ruling> E. 3 S. 87 f.; <ref-ruling> E. 1.3.1 S. 247 f.; 219 E. 2.4 S. 222 f.; zur Publ. vorgesehenes Urteil 1B_78/2012 vom 3. Juli 2012 E. 1.4.1; je mit Hinweisen).
1.2.2 Der Beschwerdeführer wirft dem Beschwerdegegner vor, ihm versehentlich zugesandte Dokumente mit missbräuchlicher und formalistischer Begründung vorenthalten zu haben. Insbesondere habe er zu Unrecht von der Person, welche die Unterlagen habe abholen wollen, eine schriftliche Vollmacht und einen Ausweis mit Foto verlangt. Auch die nachfolgende Hinterlegung der Dokumente beim Bezirksgericht Zürich sei unzulässig gewesen. Der Beschwerdeführer sieht aufgrund dieses Verhaltens die Tatbestände der unrechtmässigen Aneignung (<ref-law>) und der Sachentziehung (<ref-law>) als erfüllt an. Dass ihm ein Schaden entstanden wäre, behauptet er jedoch nicht und ist auch nicht ersichtlich. Unter diesen Voraussetzungen ist auf die Beschwerde in diesem Punkt nicht einzutreten.
1.2.3 Nicht einzutreten ist auf die Beschwerde auch insofern, als der Beschwerdeführer die Nichtanhandnahme des Strafverfahrens wegen versuchter Nötigung gegenüber zwei seiner Klienten beanstandet (<ref-law>). Zum einen ist auch in dieser Hinsicht nicht ersichtlich, welche Zivilforderungen betroffen sein könnten, zum andern setzt sich der Beschwerdeführer mit dem vorinstanzlichen Entscheid bezüglich der Frage, ob eine versuchte Nötigung vorliegt, nicht auseinander (<ref-law>).
1.2.4 Der Beschwerdeführer wirft dem Beschwerdegegner vor, das Berufsgeheimnis verletzt zu haben (<ref-law>). Dem Beschwerdegegner sei infolge seines Berufs anvertraut worden, dass gegen ihn, den Beschwerdeführer, eine Betreibung laufe. Nur deshalb sei der Beschwerdegegner auf die Idee gekommen, sich einen Betreibungsregisterauszug zu besorgen. Der Beschwerdeführer macht auch in Bezug auf diesen Vorwurf nicht geltend, geschädigt worden zu sein. Auf die Beschwerde ist auch insofern nicht einzutreten.
1.2.5 Einzutreten ist dagegen auf die Rüge, das Obergericht habe <ref-law> i.V.m Art. 173 f. StGB verletzt. Geschütztes Rechtsgut von Art. 173 und 174 StGB ist die Ehre. Eine üble Nachrede oder eine Verleumdung ist geeignet, einen Anspruch auf Genugtuung und damit einen Zivilanspruch im Sinne von Art. 81 Abs. 1 lit. b Ziff. 5 BGG zu begründen (Urteil 1B_222/2012 vom 19. Juli 2012 E. 1.3).
1.3 Unzulässig ist der Antrag des Beschwerdeführers, auch die Verfügung der Staatsanwaltschaft aufzuheben. Diese ist durch den Entscheid des Obergerichts ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis).
2. 2.1 Die Staatsanwaltschaft verzichtet auf die Eröffnung einer Untersuchung, wenn sie sofort eine Nichtanhandnahmeverfügung oder einen Strafbefehl erlässt (<ref-law>). Die Nichtanhandnahme wird unter anderem verfügt, wenn aufgrund der Strafanzeige oder des Polizeirapports feststeht, dass die fraglichen Straftatbestände oder die Prozessvoraussetzungen eindeutig nicht erfüllt sind (<ref-law>). Dies setzt voraus, dass sicher ist, dass der Sachverhalt unter keinen Straftatbestand fällt. Dies ist etwa der Fall bei rein zivilrechtlichen Streitigkeiten. Eine Nichtanhandnahme darf nur in sachverhaltsmässig und rechtlich klaren Fällen ergehen (<ref-ruling> E. 2.3 S. 287 f. mit Hinweisen).
2.2 Der Beschwerdeführer wirft dem Beschwerdegegner Ehrverletzung vor, weil dieser ihm in einer Beschwerdeschrift vom 18. Juli 2011 in einem zivilrechtlichen Verfahren vor dem Obergericht des Kantons Zürich vorgeworfen habe, er führe "schwarze Kassen" und seine Gelder seien "mit hoher Wahrscheinlichkeit kriminell kontaminiert". Die betreffenden Ausführungen des Beschwerdegegners betreffen eine Sicherheitsleistung. Der Beschwerdegegner machte geltend, der Lohn des Beschwerdeführers sei gemäss den Feststellungen des Bezirksgerichts Zürich gepfändet. Wenn dieser dessen ungeachtet unter anderem Fr. 5'000.-- an Vorschüssen leisten wolle, so sei davon auszugehen, dass er "schwarze Kassen" führe. Sollte der Beschwerdeführer gegenüber dem Betreibungsamt nicht sämtliches Vermögen im In- und Ausland angegeben haben, begehe er einen Betrug sowie ein Urkundendelikt in Bezug auf das Protokoll. Der Beschwerdegegner schloss, unter diesen Umständen könne er die vom Beschwerdeführer bezahlte Sicherheitsleistung nicht annehmen. Er setze sich dem Risiko aus, allenfalls kriminell kontaminierte Gelder als Parteientschädigung entgegennehmen zu müssen.
2.3 Das Obergericht legt dar, es könne anhand der Akten nicht abschliessend beurteilt werden, ob die vom Beschwerdegegner geäusserten Befürchtungen zutreffen. Auch wenn die II. Zivilkammer im Urteil vom 13. September 2011 zum Schluss gekommen sei, dass nicht von einer Pfändung sämtlicher Vermögenswerte und damit auch nicht von einer strafbaren Handlung auszugehen sei, sei der Beschwerdegegner berechtigt gewesen, dem Gericht seine diesbezüglichen Bedenken mitzuteilen. Es könne ihm nicht verwehrt werden, sich dagegen zu wehren, mit unter <ref-law> fallenden Vermögenswerten bezahlt zu werden. Seine Äusserungen seien vertretbar gewesen und zudem habe er sie durch die Worte "mit hoher Wahrscheinlichkeit" und "allenfalls" relativiert. Auch habe er den Ausdruck "schwarze Kassen" in Anführungszeichen gesetzt. Ungeachtet der Frage der Ehrenrührigkeit sei die Erfüllung eines Ehrverletzungsdelikts aber auch zu verneinen, weil der subjektive Tatbestand nicht erfüllt sei. Es gebe keine Anhaltspunkte für vorsätzliches Handeln.
2.4 Der Beschwerdeführer entgegnet, dass es keinen Anlass für die erwähnten Ausführungen gegeben habe und dass die Relativierungen am ehrverletzenden Charakter nichts änderten. Er behauptet zudem unter Berufung auf eine Literaturstelle, bei Antragsdelikten könne erst dann eine Nichtanhandnahme erfolgen, wenn der Geschädigte ausdrücklich auf den Strafantrag verzichtet oder diesen zurückgezogen habe.
2.5 Dass eine Nichtanhandnahme generell nur dann erfolgen kann, wenn der Geschädigte ausdrücklich auf den Strafantrag verzichtet oder diesen zurückgezogen hat, trifft nicht zu. Der Beschwerdeführer übersieht, dass sich die von ihm zitierte Literaturstelle (NATHAN LANDSHUT, in: Kommentar zur Schweizerischen Strafprozessordnung, 2010, N. 3 zu <ref-law>) auf fehlende Prozessvoraussetzungen und konkret auf das Fehlen eines Strafantrags bei Antragsdelikten bezieht. Vorliegend geht es aber nicht um Prozessvoraussetzungen, sondern um die Frage, ob die erwähnten Straftatbestände eindeutig nicht erfüllt sind (vgl. <ref-law> und die entsprechende Differenzierung bei LANDSHUT, a.a.O., N. 2 ff. zu <ref-law>).
2.6 Der Vorwurf, eine strafbare Handlung begangen zu haben, ist geeignet, im Sinne von Art. 173 und 174 StGB den Ruf zu schädigen (<ref-ruling> E. 2.2 S. 115; <ref-ruling> E. 1.2 S. 157). Ein derartiges Verhalten ist jedoch - das Vorliegen der weiteren objektiven und subjektiven Merkmale dieser beiden Tatbestände vorausgesetzt - nur dann strafbar, wenn kein Rechtfertigungsgrund vorliegt. Anders als in <ref-law>, wo die Gründe für die Einstellung des Verfahrens aufgelistet sind, nennt <ref-law> Rechtfertigungsgründe indessen nicht. Dieser Unterschied, auf den weder die Botschaft noch, soweit ersichtlich, die Literatur eingeht, dürfte auf dem Umstand beruhen, dass das Vorliegen von Rechtfertigungsgründen häufig nicht bereits bei der Eröffnung der Untersuchung erstellt ist, sondern sich erst in deren Verlauf abzeichnet (vgl. in diesem Zusammenhang LANDSHUT, a.a.O., N. 22 zu <ref-law>). Allerdings besteht auch bei einem tatbestandsmässigen Verhalten, das - etwa aufgrund einer Amtspflicht - offenkundig erlaubt oder gar geboten ist, kein Anlass, eine Untersuchung zu eröffnen. Eine Nichtanhandnahme nach <ref-law> darf deshalb auch dann erfolgen, wenn zwar ein Straftatbestand erfüllt ist, aber offenkundig ein Rechtfertigungsgrund besteht.
2.7 Nach der bundesgerichtlichen Rechtsprechung sind ehrverletzende Äusserungen von Parteien und ihren Anwälten im Prozess aufgrund der aus der Verfassung und aus gesetzlichen Bestimmungen sich ergebenden Darlegungsrechte und -pflichten beziehungsweise durch die Berufspflicht gemäss <ref-law> gerechtfertigt, sofern sie sachbezogen sind, nicht über das Notwendige hinausgehen, nicht wider besseres Wissen erfolgen und blosse Vermutungen als solche bezeichnen (BGE <ref-ruling> E. 1.3.1 S. 157; <ref-ruling> E. 4b S. 161, 248 E. 2c S. 252; <ref-ruling> E. 4 S. 212 ff.; je mit Hinweisen).
Mit seiner Rechtsschrift vom 18. Juli 2011 bezweckte der Beschwerdegegner, die vom Beschwerdeführer in jenem Verfahren offenbar geleistete Sicherheitsleistung für die Parteientschädigung nicht akzeptieren zu müssen. Zur Begründung wies er auf eine Lohnpfändung und die damit einhergehende Gefahr hin, wegen des schuldbetreibungsrechtlichen Verfügungsverbots die Parteientschädigung wieder dem Betreibungsamt abliefern zu müssen. Um dieses Vorbringen zu begründen, legte der Beschwerdegegner dar, weshalb er davon ausging, dass es sich um mit Beschlag belegte Vermögenswerte handelte. Damit stand indessen automatisch auch der Vorwurf der Verletzung von <ref-law> im Raum. Daraus ergibt sich, dass der Beschwerdegegner nicht über das zur Begründung seines Rechtsbegehrens Notwendige hinausgegangen ist. Schliesslich hat der Beschwerdegegner trotz einer insgesamt pointierten Stellungnahme an der entscheidenden Stelle eine zurückhaltende Formulierung gewählt, indem er mit den Worten "mit hoher Wahrscheinlichkeit" und "allenfalls" zum Ausdruck brachte, dass er sich letztlich auf Vermutungen stützen musste. Dementsprechend forderte er, es müsse untersucht werden, ob der Beschwerdeführer sein ausländisches Einkommen und Vermögen angegeben habe.
Die beanstandeten Passagen erfüllten somit offenkundig die in der Rechtsprechung wiederholt bestätigten Voraussetzungen der Rechtfertigung ehrverletzender Äusserungen von Parteien und ihren Anwälten im Prozess. Die Vorinstanz verletzte deshalb <ref-law> i.V.m Art. 173 f. StGB nicht, indem sie die Nichtanhandnahme als rechtmässig bezeichnete. Die betreffende Rüge des Beschwerdeführers ist unbegründet.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Dem als Anwalt in eigener Sache prozessierenden Beschwerdegegner ist keine Parteientschädigung zuzusprechen, da ihm kein besonderer Aufwand entstanden ist (Art. 68 Abs. 1 und 2 BGG; <ref-ruling> E. 5 S. 304; <ref-ruling> E. 4.1 S. 116; <ref-ruling> E. 5b S. 519 f.; je mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, der Staatsanwaltschaft I und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 15. Oktober 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Dold