Sachverhalt: A. Rechtsanwalt X._ erhob am 4. und 20. April 2011 Strafanzeige gegen Rechtsanwalt Y._ wegen Vermögensdelikten, Nötigung, Verletzung des Berufsgeheimnisses und Verleumdung. Er warf diesem vor, sich geweigert zu haben, versehentlich zugesandte Prozessunterlagen wieder auszuhändigen. Zudem habe er zwei gemeinsame Mandanten dazu genötigt, gegen ihn Strafanzeige wegen eines übersetzten Anwaltshonorars einzureichen. Weiter habe er in einem Gerichtsverfahren einen Betreibungsregisterauszug von ihm eingereicht, um so eine Sicherheitsleistung verlangen zu können. Schliesslich seien die Ausführungen, welche er in der Beschwerdeschrift jenes Verfahrens gemacht habe, ehrverletzend gewesen. Mit Verfügung vom 2. September 2011 entschied die Staatsanwaltschaft I des Kantons Zürich, die Strafuntersuchung sei nicht anhand zu nehmen. Eine von Rechtsanwalt X._ gegen diese Verfügung erhobene Beschwerde wies das Obergericht des Kantons Zürich mit Beschluss vom 2. Februar 2012 ab. B. Mit Beschwerde in Strafsachen vom 15. März 2012 ans Bundesgericht beantragt Rechtsanwalt X._, der Beschluss des Obergerichts und die Nichtanhandnahmeverfügung der Staatsanwaltschaft seien aufzuheben und gegen Rechtsanwalt Y._ sei ein (gerichtliches) Strafverfahren einzuleiten. Das Obergericht und die Staatsanwaltschaft haben auf eine Vernehmlassung verzichtet. Der Beschwerdegegner beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Eventualiter sei der Beschwerdeführer mit seiner Entschädigungsforderung auf den Zivilweg zu verweisen. In seiner Stellungnahme dazu hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest.